OpenAI rozwija model CriticGPT zdolny do wykrywania błędów generacji kodu GPT-4

OpenAI opublikowało w czwartek badanie na temat nowego modelu sztucznej inteligencji (AI), który może wyłapać błędy GPT-4 w generowaniu kodu. Firma AI stwierdziła, że ​​nowy chatbot został wyszkolony przy użyciu struktury uczenia się przez wzmacnianie z ludzkiej informacji zwrotnej (RLHF) i był zasilany przez jeden z modeli GPT-4. Nierozwijany chatbot został zaprojektowany w celu poprawy jakości kodu generowanego przez AI, który użytkownicy otrzymują z dużych modeli językowych. Obecnie model nie jest dostępny dla użytkowników ani testerów. OpenAI podkreśliło również kilka ograniczeń modelu.

OpenAI udostępnia szczegóły dotyczące CriticGPT

Firma zajmująca się sztuczną inteligencją udostępniła szczegóły nowego modelu CriticGPT w post na blogustwierdzając, że został oparty na GPT-4 i zaprojektowany do identyfikowania błędów w kodzie generowanym przez ChatGPT. „Odkryliśmy, że gdy ludzie otrzymują pomoc od CriticGPT w celu przejrzenia kodu ChatGPT, osiągają lepsze wyniki niż ci, którzy nie otrzymali pomocy, w 60 procentach przypadków”, twierdzi firma. Model został opracowany przy użyciu struktury RLHF, a wyniki opublikowano w papier.

RLHF to technika uczenia maszynowego, która łączy dane wyjściowe maszyny z danymi od ludzi, aby trenować systemy AI. W takim systemie ludzcy ewaluatorzy przekazują informacje zwrotne na temat wydajności AI. Służy to do dostosowywania i ulepszania zachowania modelu. Ludzie przekazujący informacje zwrotne do AI nazywani są trenerami AI.

CriticGPT został wytrenowany na dużej objętości danych kodu, które zawierały błędy. Model AI został obarczony zadaniem znalezienia tych błędów i dokonania krytyki kodu. W tym celu trenerzy AI zostali poproszeni o zapisanie błędów w kodzie na podstawie naturalnie występujących błędów, a następnie napisanie przykładowych informacji zwrotnych, tak jakby wykryli te błędy.

Gdy CriticGPT udostępnił swoje liczne warianty krytyki, trenerzy zostali poproszeni o sprawdzenie, czy błędy, które wprowadzili, zostały wyłapane przez AI obok naturalnie występujących błędów. OpenAI w swoich badaniach odkryło, że CriticGPT działa o 63 procent lepiej niż ChatGPT w wyłapywaniu błędów.

Jednak model nadal ma pewne ograniczenia. CriticGPT został wytrenowany na krótkich ciągach kodu wygenerowanych przez OpenAI. Model musi zostać jeszcze wytrenowany na długich i złożonych zestawach zadań. Firma AI odkryła również, że nowy chatbot nadal ma halucynacje (generuje nieprawidłowe odpowiedzi faktyczne). Ponadto model nie został przetestowany w scenariuszach, w których wiele błędów jest rozproszonych w kodzie.

Ten model raczej nie zostanie upubliczniony, ponieważ został zaprojektowany, aby pomóc OpenAI lepiej zrozumieć techniki szkoleniowe, które mogą generować wyniki wyższej jakości. Jeśli CriticGPT zostanie upubliczniony, uważa się, że zostanie zintegrowany z ChatGPT.