W sieci opublikowano interesującą notatkę naukową pochodzącą od pracownika Google, wnioski:
– Google pozostaje w tyle w wyścigu o dominację w obszarze AI
– W społeczności Open Source pojawiają się tańsze i bardziej efektywne rozwiązania AI
– Firma OpenAI także jest zagrożona
(Bloomberg)
Notatkę opublikował SemiAnalysis. Jest to najlepsze podsumowanie ostatnich dwóch miesięcy innowacji w AI.
„Nie mamy szans na zwycięstwo w wyścigu z AI, podobnie jak firma OpenAI. Społeczność open source nas przegania i przewyższa naszą wydajność.”
Link do notatki:
https://www.semianalysis.com/p/google-we-have-no-moat-and-neither
„Najistotniejsze problemy zostały rozwiązane i są dostępne dla każdego użytkownika. Wymieniony został Model Llama (Meta), który został uruchomiony na smartfonie Pixel.”
„W ciągu jednego wieczoru na laptopie możesz zainstalować spersonalizowaną sztuczną inteligencję.”
https://github.com/tloen/alpaca-lora
„Model ScienceQA Sota został wytrenowany w ciągu godziny.”
https://arxiv.org/pdf/2303.16199.pdf
„Modele open source są bardziej efektywne i wydajne, potrafią wykonywać zadania z 13 miliardów parametrów przy koszcie 100 dolarów, w przeciwieństwie do nas, gdzie zmagamy się z problemami przy budżecie wynoszącym 10 milionów dolarów i 540 miliardów parametrów.”
https://lmsys.org/blog/2023-03-30-vicuna/
„Nie posiadamy tajemniczej receptury. Naszym celem jest nauka oraz kooperacja z osobami spoza organizacji Google. Niezbędne jest umożliwienie integracji zewnętrznym firmom i jednostkom, a także nadanie temu priorytetu. Nasza przewaga maleje.”
„Skupienie się na utrzymaniu jednego z największych modeli na ziemi stawia nas w niekorzystnej sytuacji.”
Trenowanie modeli od podstaw na drogim sprzęcie nie jest już przewagą konkurencyjną, ponieważ jest LoRa.
arxiv.org/abs/2106.09685
„Jakość danych ważniejsza niż ich ilość”.
„Wiele projektów oszczędza czas i zasoby, korzystając z niewielkiej, ale starannie wyselekcjonowanej próbki danych”.
https://bair.berkeley.edu/blog/2023/04/03/koala/
„Instytucje badawcze na całym globie współpracują ze sobą i korzystają z prac innych, aby badać zakres rozwiązań w sposób przewyższający ich własne możliwości.”
„Paradoksalnie, firma Meta jest zwycięzcą w tej sytuacji dzięki temu, że społeczność open source wykorzystuje jej model Llama do tworzenia innowacyjnych rozwiązań opartych na jego architekturze.”
„Google powinien przewodzić w świecie open source.”
Co z OpenAI?
„OpenAI powtarza nasze błędy, a ich zdolność do zachowania przewagi w wyścigu jest niepewna.”
Open source może ostatecznie przesłonić alternatywy. Google może przynajmniej podjąć pierwszy krok.
Całą sprawę opisał Bloomberg.
https://www.bloomberg.com/news/articles/2023-05-05/google-staffer-claims-in-leaked-ai-warning-we-have-no-secret-sauce
