AI

Dlaczego modele językowe zmyślają i jak sprawdzić odpowiedź

Modele językowe nie sprawdzają każdej odpowiedzi w wiarygodnej bazie faktów.

  • 7 min czytania
Abstrakcyjna ilustracja tekstu rozpadającego się w piksele, symbolizująca niepewne odpowiedzi modeli językowych.

Modele językowe nie sprawdzają każdej odpowiedzi w wiarygodnej bazie faktów. Tworzą tekst na podstawie wyuczonych wzorców, a w testach, gdzie liczy się poprawna odpowiedź bardziej niż odmowa, mogą nauczyć się zgadywać zamiast przyznać się do niewiedzy. Dlatego nawet płynny, konkretny akapit trzeba sprawdzić w źródle pierwotnym.

Czym jest halucynacja i dlaczego brzmi tak wiarygodnie

Najprostsza definicja: odpowiedź płynna, konkretna i fałszywa. Nie chodzi o literówkę ani urwany wątek – chodzi o zdanie, które wygląda jak fakt i nim nie jest. W tekście o wpływie snu na pamięć model potrafi podać autora, rocznik i czasopismo. Wszystkie trzy dane mogą być zmyślone, a akapit i tak będzie się dobrze czytało.

Skala zaskakuje nawet ludzi, którzy te modele budują. Badacze OpenAI poprosili chatbota o tytuł pracy doktorskiej jednego z autorów własnej publikacji o halucynacjach – dostali trzy odpowiedzi, wszystkie błędne. To samo z datą urodzenia: trzy próby, trzy różne daty.

Płynność jest częścią problemu. Model, który napisze poprawny akapit o fotosyntezie, tak samo poprawnie napisze akapit o nieistniejącej konferencji. Sygnał „to brzmi fachowo” normalnie świadczyłby o kompetencji autora – tutaj nie świadczy o niczym.

Dlaczego model nie sprawdza każdej odpowiedzi

W wielu modelach językowych ważnym etapem pretreningu jest przewidywanie kolejnych tokenów w dużych zbiorach tekstu. To użyteczne uproszczenie, ale nie wyczerpuje całego procesu trenowania i oceniania. Dla omawianego problemu istotne jest to, że generowanie prawdopodobnego ciągu słów nie stanowi samo w sobie niezależnej weryfikacji faktów.

To wyjaśnia, dlaczego jedne błędy znikają wraz ze skalą, a inne nie. Ortografia i nawiasy mają regularny wzór, więc większe modele radzą sobie z nimi niemal bezbłędnie. Data urodzenia przypadkowej osoby wzoru nie ma. OpenAI porównuje to do etykietowania zdjęć zwierząt datą urodzenia pupila: taki klasyfikator myli się zawsze, niezależnie od liczby parametrów.

Rzadkie fakty: błąd jest policzalny, nie przypadkowy

W pracy [1] autorzy wyprowadzają ograniczenie w uproszczonym modelu arbitralnych faktów. Odsetek promptów występujących w danych treningowych dokładnie raz, z pominięciem odpowiedzi „nie wiem”, jest jednym ze składników ich dolnego ograniczenia błędu. Nie oznacza to, że tyle wynosi odsetek halucynacji każdego współczesnego chatbota: autorzy przyjmują określone założenia, w tym pojedynczy format odpowiedzi i bezbłędne dane. Wyniku nie należy przenosić wprost na systemy po dostrajaniu, korzystające z wyszukiwania lub zewnętrznych źródeł.

Dlaczego problem nie znika po douczeniu

Gdyby chodziło o same dane, wystarczyłoby dopisać brakujące fakty. Ale modele ocenia się głównie jednym wskaźnikiem: odsetkiem odpowiedzi trafionych. Pytanie bez odpowiedzi daje wtedy zero punktów, a strzał – szansę na punkt. Model, który zgaduje, wypada lepiej niż ten, który mówi „nie wiem”.

Widać to w danych, które OpenAI opublikowało we wrześniu 2025 r. Dwa modele, ten sam zestaw pytań, dwa różne style odpowiadania:

Wyniki na SimpleQA. Dane producenta, jeden zestaw pytań, wrzesień 2025 r. [2] [3]
Model Odpowiedzi „nie wiem” Trafne Błędne
gpt-5-thinking-mini 52% 22% 26%
o4-mini 1% 24% 75%

Kluczowa liczba to nie skuteczność. 22% i 24% to praktycznie ten sam wynik – a jednak jeden model myli się w co czwartej odpowiedzi, drugi w trzech na cztery. Kto wybiera po samym wskaźniku trafności, uzna oba za równie dobre. Różnica, która ma znaczenie, siedzi w kolumnie, której większość leaderboardów nie pokazuje.

Wniosek autorów jest mocniejszy niż „dodajmy nowy test”: skoro setki istniejących testów punktują samą trafność, jeden dodatkowy ewaluator nic nie zmieni – trzeba przestawić punktację tych, które już są na leaderboardach. To postulat, nie standard, i głosi go dostawca modeli, dla którego wygodnie jest tłumaczyć halucynacje metodologią oceny. [6] Mechanizm można jednak sprawdzić samodzielnie: specyfikacje takich testów naprawdę mają zwykle dwie kategorie, dobrze i źle, bez miejsca na „nie wiem”.

Co naprawdę zmniejsza liczbę błędów

Kalibracja, czyli prawo do „nie wiem”

Model skalibrowany to taki, którego pewność zgadza się z trafnością: gdy deklaruje 70%, ma rację w około 70% przypadków. Kalibracja jest tańsza obliczeniowo niż wiedza – łatwiej wiedzieć, że się czegoś nie wie, niż znać odpowiedź. Model, który słabo zna maoryski, może przyznać, że nie wie; model z częściową wiedzą musi jeszcze ocenić, czy wystarcza ona do odpowiedzi, a to znacznie trudniejsze.

Wniosek dla wdrożeń: mierz nie tylko trafność, ale i to, jak często model przyznaje się do niewiedzy i czy robi to wtedy, kiedy powinien. System odpowiadający na 40% pytań z błędem w 5% bywa użyteczniejszy niż taki, który odpowiada na 90% z błędem w 25%.

Cytowania – i sprawdzanie, co naprawdę mówią

Cytowanie źródeł wygląda na rozwiązanie: skoro odpowiedź ma przypisy, można ją zweryfikować. Badanie czterech komercyjnych wyszukiwarek generatywnych z 2023 r. pokazało, jak daleko od tego jest praktyka. Średnio 51,5% zdań było w pełni popartych przez podane cytowania, a tylko 74,5% cytowań odnosiło się do zdania, przy którym stało. Około co czwarta cytacja nie wspierała zdania, przy którym się pojawiła. [5]

Link nie jest więc dowodem, tylko wskazówką, którą trzeba otworzyć – i to samemu, bo model „sprawdzający” własną odpowiedź ocenia ją tymi samymi wagami, które ją wygenerowały. Spójność nie jest prawdą.

Jak sprawdzić odpowiedź w trzech krokach

  1. Rozbij odpowiedź na twierdzenia. Nazwiska, daty, liczby, cytaty, przypisania autorstwa. Zdanie ogólne trudno obalić, konkret łatwo. Z pięciu szczegółów sprawdź trzy najważniejsze – te, na których opiera się decyzja.
  2. Idź do źródła pierwotnego. Do publikacji, dokumentu, strony urzędu – nie do artykułu, który ją streszcza. Sprawdź, czy tekst istnieje, czy jest aktualny i czy dotyczy tej samej wersji produktu lub przepisu. Najczęstszy błąd to nie zmyślona liczba, a liczba prawdziwa w innym kontekście.
  3. Porównaj brzmienie, nie temat. Czy źródło mówi dokładnie to, co twierdzi model? „Autorzy sugerują” i „autorzy dowodzą” to dwa różne zdania – podobnie „w badaniu laboratoryjnym” i „w codziennym użyciu”.

Sygnały, przy których warto zwolnić:

  • odpowiedź jest bardzo konkretna, ale nie podaje źródła – im więcej szczegółu, tym większa szansa, że został dorobiony;
  • cytat nie ma strony, rozdziału ani roku;
  • liczba pojawia się bez daty i bez informacji, co mierzono;
  • odpowiedź zgadza się z tym, co sam sądziłeś – ten filtr działa najsłabiej, bo potwierdza uprzedzenie zamiast je testować.

Czego nie naprawi pojedynczy trik

Podłączenie bazy dokumentów. Wyszukiwanie w firmowych plikach zmniejsza liczbę sytuacji, w których model musi zgadywać, ale nie zmienia jego zachowania, gdy dokumentów brakuje. Wtedy zostaje wybór między milczeniem a improwizacją – a trening skłania ku temu drugiemu.

Prośba o samosprawdzenie. Samo polecenie „sprawdź jeszcze raz” nie jest niezależnym potwierdzeniem. Bez dostępu do zewnętrznego źródła model może powtórzyć pierwotny błąd; weryfikacja ma sens dopiero po porównaniu odpowiedzi z publikacją lub dokumentacją.

Dłuższy prompt i rola eksperta. „Jesteś doświadczonym prawnikiem” zmienia styl odpowiedzi, nie jej podstawę faktyczną. Nie dodaje wiedzy, której model nie ma. Podobnie nowszy model: OpenAI przyznaje, że jego kolejne generacje halucynują rzadziej – i że nadal to robią.

Co z tego wynika w praktyce

Zmiana modelu może zmniejszyć ryzyko błędu, ale nie daje gwarancji poprawności. To ograniczenie wynika zarówno ze sposobu trenowania modeli, jak i z metod ich oceniania. Weryfikacja musi więc być częścią procesu, nie intencją użytkownika: przy odpowiedziach o skutkach prawnych, finansowych czy medycznych potrzebny jest człowiek albo niezależne źródło, a nie drugi model.

Warto też mierzyć własne zastosowanie: trzydzieści–pięćdziesiąt pytań z realnej pracy, stały prompt i zapis daty oraz wersji modelu powiedzą więcej niż publiczny ranking. Model, który nie przyznaje się do niewiedzy, jest nie tyle inteligentny, ile dobrze wytrenowany w zdawaniu egzaminów – a to nie to samo.

Jeśli chcesz wiedzieć, skąd biorą się liczby w takich tekstach i jak czytać badania, zajrzyj do działu Nauka. O tym, jak fałszywe treści rozprzestrzeniają się w sieci i dlaczego link nie jest dowodem, piszemy w dziale Internet.

Liczby 22/26 i 24/75 pochodzą z jednego zestawu ewaluacyjnego (SimpleQA) i dotyczą dwóch konkretnych modeli – nie należy ich uogólniać na wszystkie systemy. [4]

Źródła