Poradnik
Dlaczego AI zmyśla numery artykułów i jak temu zapobiec
Asystenci AI cytują artykuły, których nie ma, albo przypisują im to, czego nie mówią. Skąd to się bierze, trzy prawdziwe przykłady i jak pomaga oficjalny tekst.
Inne języki:EnglishDeutschEspañolFrançais
Asystenci AI zmyślają numery artykułów, bo odpowiadają na pytania o prawo z pamięci: model przechowuje wzorce, a nie oficjalny tekst, więc tworzy podstawę prawną, która wygląda dobrze, zamiast takiej, którą przeczytał. Rozwiązanie: asystent sprawdza przepis w oficjalnym źródle, zanim odpowie, i cytuje tylko to, co dostał. Wtedy każdy numer artykułu został znaleziony, zacytowany i podlinkowany, a nie wygenerowany.
Dlaczego model myli podstawy prawne?
Z trzech powodów, i żaden nie znika przy większym modelu:
- Pamięć to nie tekst. Model uczył się prawa z tego, co było w sieci w czasie treningu: komentarzy, wpisów na forach, starych wersji. Odtwarza najbardziej prawdopodobne zdanie i najbardziej prawdopodobny numer artykułu, a nie ten obowiązujący.
- Prawo ma daty. Przepis się zmienia, a jego stare brzmienie zostaje w danych treningowych. Bez daty model nie odróżni 2025 od 2026.
- Podobne liczby. Ustawy są pełne progów, terminów i stawek, które różnią się jednym słowem. Model je miesza.
Jak to wygląda w praktyce?
Weźmy jedno pytanie: jaki jest limit zwolnienia podmiotowego z VAT w Polsce? Odpowiedź to 240 000 zł, art. 113 ust. 1 ustawy o VAT, od 1 stycznia 2026 r. W testach asystentów opartych na źródłach to jedno pytanie, zadane na wiele sposobów, dało trzy błędne odpowiedzi, każdą dlatego, że wyszukiwanie zwróciło niewłaściwy przepis:
| Błędna odpowiedź | Skąd naprawdę pochodzi |
|---|---|
| 200 000 zł | art. 145l, przepis przejściowy KSeF z własnym progiem 200 000 zł (i limit zwolnienia sprzed 2026 r.) |
| 2 000 000 | art. 2 pkt 25, status „małego podatnika”, liczony w euro, to coś innego |
| 200 000 000 | znowu art. 145l, odczytany tak, jakby określał zwolnienie |
Każda to prawdziwa liczba z właściwej ustawy, przypięta do złego pytania. Wyszukiwanie zwróciło sąsiedni przepis z podobną liczbą, a odpowiedź wiernie go zacytowała. Wniosek: samo źródło nie zatrzyma błędnych cytatów, jeśli zwraca zły przepis, i dlatego czwarta zasada niżej jest tak samo ważna jak pierwsze trzy. Takie cytaty są groźne właśnie dlatego, że nie budzą podejrzeń przy pobieżnej lekturze.
Jak temu zapobiec?
- Najpierw wyszukaj, potem odpowiadaj. Daj asystentowi narzędzie, które przeszukuje oficjalny tekst jednolity, i niech wywołuje je przy każdym pytaniu prawnym. Przez MCP asystent taki jak Claude czy ChatGPT robi to sam, gdy narzędzie jest podłączone (jak).
- Cytuj tylko to, co znaleziono. Każdy numer artykułu w odpowiedzi musi pochodzić ze zwróconego przepisu, z linkiem. Nie ma przepisu, nie ma cytatu.
- Pytaj z datą. „Na dzień 31 grudnia 2025” daje brzmienie obowiązujące wtedy. Źródło, które przechowuje każdą wersję każdego przepisu, odpowie na to poprawnie.
- Testuj na prawdziwych pytaniach. Miej zestaw pytań ze sprawdzonymi odpowiedziami, zadanych językiem potocznym i formalnym, i uruchamiaj go przy każdej zmianie źródła albo promptu. Poprawka, która naprawia jedno sformułowanie, nie może zepsuć innego.
Co robi z tym VeriActa?
Jest zbudowana wokół tych czterech zasad. Każdy wynik cytuje przepis z oficjalnego tekstu jednolitego, z podstawą prawną w krajowym formacie i linkiem do źródła; zwraca brzmienie z dnia, o który pytasz; a każda zmiana w wyszukiwaniu jest najpierw sprawdzana na prawdziwych pytaniach i trafia do użytkowników dopiero wtedy, gdy każda poprawna odpowiedź zostaje poprawna. Przykład rozmowy pokazuje, jak to wygląda w asystencie.
Najczęściej zadawane pytania
Czy lepszy model przestanie zmyślać podstawy prawne?
Będzie zmyślał rzadziej, ale nadal odpowiada z pamięci, bez daty i bez źródła. Dopiero wyszukiwanie daje każdemu cytatowi coś, na co może wskazać.
Czy mogę sprawdzić podstawę prawną, którą podał asystent?
Tak: otwórz oficjalny tekst i przeczytaj artykuł. W asystencie opartym na źródle odpowiedź już go linkuje.
Czy to ważne tylko dla prawników?
Nie. Księgowi, kadrowi i każdy, kto pyta asystenta o próg, stawkę albo termin, trafiają na ten sam problem, a nawet bardziej, bo pytają o liczby.