Krążą pogłoski, że OpenAI pracuje nad następną generacją swojego flagowego modelu dużego języka (LLM), jednak mogło napotkać wąskie gardło. Jak wynika z raportu, firma zajmująca się sztuczną inteligencją z siedzibą w San Francisco stara się znacząco ulepszyć możliwości swojego kolejnego modelu sztucznej inteligencji, o wewnętrznej nazwie kodowej Orion. Mówi się, że model ten przewyższa starsze modele, jeśli chodzi o zadania językowe, ale jest niezadowalający w przypadku niektórych zadań, takich jak kodowanie. Warto zauważyć, że mówi się również, że firma ma trudności z zgromadzeniem wystarczającej ilości danych szkoleniowych, aby prawidłowo trenować modele sztucznej inteligencji.
Według doniesień model AI Orion AI OpenAI nie wykazuje znaczących ulepszeń
Informacje zgłoszone że kolejna duża spółka LLM firmy AI, Orion, nie radzi sobie zgodnie z oczekiwaniami, jeśli chodzi o zadania związane z kodowaniem. W raporcie, powołując się na anonimowych pracowników, stwierdzono, że model sztucznej inteligencji wykazał znaczną poprawę, jeśli chodzi o zadania językowe, ale niektóre zadania są rozczarowujące.
Uważa się, że jest to poważny problem, ponieważ według doniesień Orion jest droższy w obsłudze w centrach danych OpenAI w porównaniu ze starszymi modelami, takimi jak GPT-4 i GPT-4o. Stosunek kosztów do wydajności nadchodzącego LLM może stanowić wyzwanie dla firmy, aby uczynić go atrakcyjnym dla przedsiębiorstw i abonentów.
Ponadto w raporcie stwierdzono również, że ogólny skok jakości między GPT-4 a Orionem jest mniejszy niż skok między GPT-3 i GPT-4. Jest to niepokojąca zmiana, jednak trend ten zauważa się również w innych niedawno wydanych modelach AI przez konkurentów, takich jak Anthropic i Mistral.
Na przykład wyniki testów porównawczych Claude 3.5 Sonnet pokazują, że skok jakości jest bardziej powtarzalny w przypadku każdego nowego modelu fundamentu. Jednak konkurenci w dużej mierze uniknęli uwagi, koncentrując się na opracowywaniu nowych możliwości, takich jak agentyczna sztuczna inteligencja.
W raporcie w publikacji podkreślono również, że aby stawić czoła temu wyzwaniu, branża decyduje się na ulepszenie modelu sztucznej inteligencji po zakończeniu wstępnego szkolenia. Można tego dokonać poprzez dostrojenie sygnału wyjściowego poprzez dodanie dodatkowych filtrów. Jest to jednak obejście i nie równoważy ograniczeń spowodowanych albo strukturą, albo brakiem wystarczających danych.
O ile to pierwsze stanowi raczej wyzwanie technologiczne i badawcze, to drugie wynika w dużej mierze z dostępności bezpłatnych i licencjonowanych danych. Aby rozwiązać ten problem, OpenAI podobno utworzyło podstawowy zespół, którego zadaniem było znalezienie sposobu poradzenia sobie z brakiem danych szkoleniowych. Nie można jednak powiedzieć, czy zespół ten będzie w stanie na czas pozyskać więcej danych, aby móc dalej szkolić i ulepszać możliwości Oriona.
