Firmy zajmujące się sztuczną inteligencją, takie jak OpenAI, próbują przezwyciężyć nieoczekiwane opóźnienia i wyzwania w opracowywaniu coraz większych modeli językowych, opracowując metody szkoleniowe, które wykorzystują algorytmy bardziej ludzkie do „myślenia”.
Kilkunastu naukowców, badaczy i inwestorów zajmujących się sztuczną inteligencją powiedziało agencji Reuters, że wierzy, że techniki stojące za niedawno wydanym modelem o1 OpenAI mogą zmienić wyścig zbrojeń AI i wpłynąć na rodzaje zasobów, na które firmy zajmujące się sztuczną inteligencją mają nienasycone zapotrzebowanie. energia dla typów chipów.
OpenAI odmówiło komentarza w tej sprawie. Po wypuszczeniu dwa lata temu wirusowego chatbota ChatGPT firmy technologiczne, których wyceny odniosły ogromne korzyści z boomu na sztuczną inteligencję, publicznie argumentowały, że „skalowanie” obecnych modeli poprzez dodanie większej ilości danych i mocy obliczeniowej będzie konsekwentnie prowadzić do ulepszeń modeli sztucznej inteligencji.
Jednak teraz niektórzy z najwybitniejszych naukowców zajmujących się sztuczną inteligencją mówią o ograniczeniach filozofii „im większe, tym lepsze”.
Ilya Sutskevers, współzałożycielka laboratoriów AI Safe Superintelligence (SSI) i OpenAI, powiedziała niedawno agencji Reuters, że wynika to z coraz częstszego szkolenia wstępnego, czyli fazy szkoleniowej modelu sztucznej inteligencji, która wykorzystuje duże ilości nieoznaczonych danych do zrozumienia wzorców i struktur językowych. – osiągnęły plateau.
Sutskever jest powszechnie uznawany za wczesnego zwolennika dokonania gigantycznych postępów w generatywnej sztucznej inteligencji poprzez wykorzystanie większej ilości danych i mocy obliczeniowej na potrzeby szkoleń wstępnych, co ostatecznie doprowadziło do powstania ChatGPT. Sutskever opuścił OpenAI na początku tego roku i założył SSI.
„2010. Lata 2000. były erą skalowania, teraz znów wracamy do ery cudów i odkryć. Wszyscy szukają czegoś następnego” – powiedział Suckevers. „Właściwe skalowanie jest teraz ważniejsze niż kiedykolwiek”.
Sutskever odmówił podania szczegółów, w jaki sposób jego zespół radzi sobie z tą kwestią, poza tym, że powiedział, że SSI pracuje nad alternatywnym podejściem mającym na celu zwiększenie liczby wcześniejszych szkoleń.
Za kulisami badacze z głównych laboratoriów sztucznej inteligencji stanęli w obliczu opóźnień i rozczarowujących wyników w wyścigu o wydanie głównego modelu językowego, który pobije model GPT-4 OpenAI, który ma prawie dwa lata, według trzech źródeł zaznajomionych ze sprawami prywatnymi.
Tak zwane „przebiegi szkoleniowe” dla dużych modeli mogą kosztować dziesiątki milionów dolarów przy jednoczesnym uruchomieniu setek chipów. Biorąc pod uwagę złożoność systemu, prawdopodobnie wystąpi u nich awaria sprzętu; badacze mogą nie znać potencjalnej wydajności modeli aż do końca cyklu, co może zająć miesiące.
Kolejnym problemem jest to, że duże modele językowe zużywają ogromne ilości danych, a modele AI wyczerpały wszystkie łatwo dostępne dane na świecie. Brak mocy utrudniał także trening, gdyż proces ten wymaga ogromnej ilości energii.
Aby pokonać te wyzwania, badacze badają „obliczanie czasu kontrolnego” – technikę ulepszającą istniejące modele sztucznej inteligencji w tak zwanej fazie „wnioskowania” lub w trakcie użytkowania modelu. Na przykład zamiast od razu wybierać jedną odpowiedź, model może generować i oceniać wiele opcji w czasie rzeczywistym, ostatecznie wybierając najlepszą ścieżkę do przodu.
Technika ta pozwala modelom przeznaczyć większą moc obliczeniową na złożone zadania, takie jak problemy matematyczne lub kodowanie, bądź złożone operacje wymagające rozumowania i podejmowania decyzji na poziomie ludzkim.
„Okazało się, że bot, który podczas gry w pokera myśli tylko około 20 sekund, uzyskał taką samą poprawę, jak skalowanie modelu 100 000 razy i trenowanie 100 000 razy dłużej” – powiedział Noam Brown, badacz OpenAI, który nad tym pracował. o1, w zeszłym miesiącu na konferencji TED AI w San Francisco.
OpenAI zastosowało tę technikę w swoim niedawno wydanym modelu znanym jako „o1”, wcześniej znanym jako Q* i Strawberry, o którym po raz pierwszy poinformował Reuters w lipcu. Model O1 potrafi „myśleć” o problemach wielopoziomowo, podobnie jak człowiek. rozumowanie obejmuje również wykorzystanie danych i informacji zwrotnych zebranych przez doktorantów i ekspertów branżowych. Sekretem serii O1 jest kolejny zestaw przebiegów szkoleniowych na modelach „bazowych”, takich jak GPT-4, z których firma, jak twierdzi, planuje korzystać. tę technikę w przypadku coraz większych modeli podstawowych.
W tym samym czasie badacze z innych wiodących laboratoriów zajmujących się sztuczną inteligencją, z Anthropic, xAI i DeepMind należącego do Google, również pracowali nad opracowaniem własnych wersji tej metody, według pięciu osób zaznajomionych z tym wysiłkiem.
„Widzimy wiele nisko wiszących owoców, które możemy wybrać, aby bardzo szybko ulepszyć te modele” – powiedział Kevin Weil, dyrektor ds. produktu w OpenAI, na październikowej konferencji technologicznej. „Kiedy ludzie to zauważą, postaramy się być jeszcze trzy kroki do przodu”.
Google i xAI nie odpowiedziały na prośby o komentarz, a Anthropic nie udzieliło natychmiastowego komentarza.
Konsekwencje mogą zmienić krajobraz konkurencyjny sprzętu AI, który do tej pory był zdominowany przez stłumiony popyt na chipy AI firmy Nvidia. Wybitni inwestorzy venture capital, od Sequoia po Andreesena Horowitza, którzy zainwestowali miliardy w finansowanie rozwoju kosztownych modeli sztucznej inteligencji w kilku laboratoriach AI, w tym OpenAI i xAI, zauważają tę zmianę i rozważają jej wpływ na swoje drogie inwestycje.
„To przejście przeniesie nas ze świata ogromnych klastrów przedtreningowych do chmur wnioskowania, które są rozproszonymi, opartymi na chmurze serwerami służącymi do wnioskowania” – powiedziała agencji Reuters Sonia Huang, partnerka w Sequoia Capital.
Popyt na najnowocześniejsze chipy AI firmy Nvidia przyczynił się do wzrostu firmy do pozycji najcenniejszej firmy na świecie, wyprzedząc w październiku Apple. W przeciwieństwie do chipów szkoleniowych, w których dominuje Nvidia, gigant chipowy może spotkać się z większą konkurencją na rynku wnioskowania.
Zapytana o potencjalny wpływ na popyt na swoje produkty, Nvidia wskazała na ostatnie prezentacje firmy na temat znaczenia techniki modelu o1. Jej dyrektor generalny, Jensen Huang, mówił o rosnącym zapotrzebowaniu na wykorzystanie chipów do wnioskowania.
„Odkryliśmy teraz drugie prawo skalowania, czyli prawo skalowania na podstawie wniosków… Wszystkie te czynniki doprowadziły do niewiarygodnie wysokiego popytu na Blackwell” – powiedział Huang na konferencji w Indiach w zeszłym miesiącu. , nawiązując do najnowszego chipa AI firmy.
