Naukowcy ze Stanford odkryli, że GPT-4 z czasem staje się głupszy

Nowy badanie od naukowców z Uniwersytetu Stanforda potwierdził to, na co internauci narzekają od tygodni: ChatGPT Plus, oparty na GPT-4 naprawdę stał się głupszy - w przeciwieństwie do GPT-3.5, który obsługuje darmową wersję chatbota.

W swoim badaniu autorzy porównali odpowiedzi na różne żądania chatbota opartego na GPT-4 i GPT-3.5. Oni stwierdzili, że zachowanie chatbota i trafność odpowiedzi na niektóre zapytania w nowej wersji znacznie się różnią pogorszyło się.

Autorzy porównali modele językowe GPT-4 i GPT-3.5 opublikowane w marcu i styczniu. Odkryli, że w tym czasie dokładność GPT-4 wyraźnie spadła, podczas gdy GPT-3.5 wręcz przeciwnie.

Na przykład dokładność odpowiedzi na pytanie, czy 17077 jest liczbą pierwszą, spadła o 95,2%, podczas gdy GPT-3.5, wręcz przeciwnie, wzrosła z 7,4% do 86,8%. Zmniejszyła się również szansa na pomyślne wykonanie kodu napisanego przez sieć neuronową w obecnych wersjach obu modeli.

Wcześniej wiceprezes OpenAI, Peter Welinder, już to zrobił

odpowiedział na zarzuty użytkowników ChatGPT Plus:

W jednej z odpowiedzi na ten tweet Welinder spytał przedstawić dowody na to, że chatbot się pogorszył. Badanie przeprowadzone przez naukowców ze Stanford pojawiło się 5 dni później – i nie ma jeszcze odpowiedzi od OpenAI.

To nie pierwszy raz, kiedy GPT-4 został oskarżony o podawanie fałszywych informacji. W marcu analitycy NewsGuard odkrytyże ChatGPT oparty na GPT-4 jest łatwiejszy do skłamania - podczas gdy sam OpenAI twierdzi, że dokładność odpowiedzi jest o 40% większa niż w przypadku GPT-3.5. W w szczególności w testach NewsGuard nowa wersja sieci neuronowej rzadziej obalała fałszywe informacje – w tym fałszywe dane o współczesnych wydarzeniach i teoriach spiski.