W trakcie zamkniętego spotkania w Londynie Sam Altman, prezes OpenAI, otwarcie poruszył szereg istotnych kwestii, które obecnie dotyczą tej organizacji. Najważniejszym z nich jest brak dostępnych jednostek przetwarzania grafiki (GPU), które ograniczają rozwój OpenAI.
📉 Wpływ niedoboru GPU na rozwój OpenAI
Altman przyznał, że OpenAI jest obecnie mocno ograniczone przez braki GPU na rynku. Klienci skarżą się zarówno na wydajność, jak i szybkość API, a dłuższy kontekst (32k tokenów) nie może być udostępniony większej ilości osób. Przyczyną jest niedostatek dostępnych GPU. Osobnym wyzwaniem jest okno kontekstowe (100k-1mln tokenów), które wymaga przełomu w badaniach. Ta sytuacja potencjalnie zagraża planom rozwoju modelu GPT-5.
🚀 Krótkoterminowy plan OpenAI
Pomimo tych wyzwań, OpenAI ma plan na przyszłość. Na 2023 rok priorytetem jest stworzenie tańszego i szybszego GPT-4. Kluczowym celem jest obniżenie „kosztów inteligencji” jak najbardziej. Plan zakłada dłuższe okno kontekstowe (do 1 miliona tokenów) i wersję API, która zapamięta historię rozmowy.
Na 2024 rok, planowana jest wielomodalność – funkcja, która została zaprezentowana w ramach wydania GPT-4, ale nie może zostać udostępniona wszystkim dopóki nie będzie więcej GPU.
📱 Integracja ChatGPT z aplikacjami
Altman podkreślił, że wtyczki nie pojawią się w API w najbliższym czasie. Zasugerował, że wiele osób chciało, aby ich aplikacje były wewnątrz ChatGPT, ale tak naprawdę chcieli ChatGPT w swoich aplikacjach.
👥 OpenAI i relacje z klientami
Altman dał znać, że OpenAI nie będzie konkurować ze swoimi klientami. Powiedział, że firma nie wyda więcej produktów poza ChatGPT, której wizją jest bycie superinteligentnym asystentem do pracy.
⚖️ Regulacje i otwartość
Mimo, że Altman wzywa do regulacji przyszłych modeli AI, uważa, że obecne modele nie są niebezpieczne i ich regulowanie byłoby dużym błędem. Jego zdaniem, open source jest niezbędne i rozważa udostępnienie modelu GPT-3.
⏩ Zasady skalowania i przyszłość AI
Pomimo tez, że „era gigantycznych modeli AI już się skończyła”, Altman jest przekonany, że zasady skalowania wydajności modeli nadal obowiązują. Wskazał, że tempo skalowania nie może zostać utrzymane, ale powiększanie modeli będzie nadal przynosić korzyści. Fakt, że skalowanie nadal działa, ma znaczące implikacje dla harmonogramu rozwoju AGI.
💰 Konkurencja na rynku GPU
Sytuację OpenAI komplikuje fakt, że chińska firma ByteDance (TikTok) złożyła zamówienie na 100 tys. GPU (Nvidia A100 + H800) o wartości 1 mld $. Sugeruje to, że rywalizacja o dostępne zasoby GPU na rynku może się zaostrzyć, a tym samym stanowić kolejne wyzwanie dla OpenAI.
