TRUP JEST, MORDERCY SZUKAJ W POLU, kryminał w stylu Agathy Christie

--- miejsce akcji: za zamkniętymi drzwiami - trup: Marka Polska - narzędzie: AI - główna podejrzana: nie przyznaje się do winy - jej wspólnicy: tym bardziej - pytanie: kto zabił otwarte ---

Sprawa jest tak kuriozalna, że aż trudno w nią uwierzyć. Dlatego każdy szuka jakiegoś racjonalnego wyjaśnienia. Bo: mamy zmasakrowanego trupa z wyraźnymi śladami użycia narzędzia, więc ktoś denata bez wątpienia bestialsko zamordował. Główna podejrzana odpiera zarzuty, więc nie mamy mordercy. A więc: wszyscy są podejrzani. I może rozwiązaniem tej kryminalnej zagadki jest to, że winni są wszyscy i dlatego tak trudno wskazać jednego sprawcę / jedną sprawczynię?

Fakt jest taki: Marka Polska została poharatana na śmierć, katastrofa wydarzyła się w zamkniętym kręgu osób. Policja jest bezradna. Prokurator rozkłada ręce. Detektyw wchodzi do pokoju z jednym trupem i grupką żywych. I co widzi:

Raport "Marka Polska" mógł być wielokrotnie przerabiany przez człowieka; kilka osób mogło sklejać fragmenty; AI mogła pracować na błędnym materiale wyjściowym; różne modele mogły wykonywać różne części; ktoś mógł tłumaczyć tekst; model mógł dostać polecenie zachowania określonej terminologii; mogła nie nastąpić korekta; tekst mógł przejść przez kolejne wersje... 

Czy AI nie może zrobić błędów, skoro na pytanie, czy coś jest w jej tekście błędem, odpowiada, że tak, są błędy? Otóż może! Eksperyment z AI wykazuje, że może: AI dostaje za zadanie zrobienie analizy raportu. I robi to na 14 stronach. Po czym AI dostaje kolejne zadanie: zrecenzuj samą siebie. AI wykonuje zadanie i znajduje kilka własnych uchybień, jedno twierdzenie wycofuje, dwa doprecyzowuje i znajduje dodatkowy problem przeoczony za pierwszym razem, poprawia ejajowo przekształcone słowa...

Pierwszy wniosek z dedukcji detektywa: gdyby AI nie robiła błędów za pierwszym podejściem, to za drugim nie rozpoznałaby własnych błędów, bo wcześniej nie mogłaby ich popełnić. A przecież popełniła. Zatem jest to dobry dowód na potrzebę osobnego etapu pracy nad tekstem: zlecenia AI autokontroli wygenerowanego przez nią tekstu. AI nie ma jednego trwałego zbioru przekonań, z którym sprawdza każde generowane zdanie przed wypuszczeniem go na ekran. To nie działa jak korektor siedzący modelowi na ramieniu:

"Stop! Tego nie pisz, przecież wiesz, że to niepoprawne".

Model generuje odpowiedź zależnie od polecenia, kontekstu, dostarczonego materiału, wcześniejszego przebiegu rozmowy i ustawień. To, że potrafi rozpoznać błąd, kiedy skierujemy jego uwagę właśnie na wyszukiwanie błędów, nie znaczy, że automatycznie wykonał tę samą kontrolę podczas generowania.

Zresztą ludzie robią dokładnie coś podobnego. Redaktorka może napisać rano zdanie z błędem, a po południu - gdy przeczyta swój tekst świeżym okiem lub ktoś jej da polecenie „znajdź błąd” - natychmiast go zauważyć. Nie dowodzi też tego, że rano ktoś jej ten błąd celowo podłożył, więc z góry upada teoria spiskowa o prowokacji.

* * *

A teraz wyobraźmy sobie, że przy raporcie grzebało kilka osób, na dobitek z używaniem - każdy po swojemu - narzędzia AI? I to potem razem posklejano już bez zlecenia jednej AI korekty?

Bo to może wyglądać tak, że wszyscy, którzy zajmowali się tym raportem, są winni, a AI była tylko w to wszystko zamieszana jako narzędzie. Jak to w klasycznym kryminale: jakaś ciężka popielniczka, jakiś nóż do listów, skądś śliska podłoga... 

Może więc nie wszyscy zabili, tylko ktoś postawił popielniczkę na samym skraju ławy, która spadła na głowę denata, gdy ten poślizgnął się na podłodze, bo ktoś rozlał na niej wino z impetem otwierając butelkę, a poślizgnął się, bo ktoś złapał nóż do listów, żeby wyjąć resztki korka z butelki i nóż mu wyprysł z rąk i ukłuł denata pod łopatką, ten podskoczył i poślizgnął się na podłodze, a żeby się uratować przed upadkiem, usiłował podeprzeć się o ławę, ale rozchybował ławę i upadł, a z ławy spadła mu na głowę ciężka popielniczka i tak go grzmotła w ciemię, że już się nie podniósł, bo wyzionął ducha.

Inaczej mówiąc wszyscy coś zrobili, każde narzędzie było w użyciu, denat jest, a mordercy nie ma, nikt nie przyznaje się do winy. Ale każde narzędzie ma ślady użycia przez kogoś z gości.

Detektyw: Tezę, iż uniwersytecki profesor (uniwersytecka profesor) nie mógłby (nie mogłaby) zrobić błędów, odrzucam jako nieprawdopodobną. Dlaczego? Profesorowie nie robią błędów? Nie przygotowują kiepskich dokumentów? Nie przepuszczają tekstów bez korekty? Sam tytuł profesora miałby być dowodem niewinności? To trochę przypomina rozwiązanie zagadki kryminalnej na zasadzie: „Hrabia nie mógł zabić, ponieważ hrabiowie nie zabijają. A zatem zabił lokaj”.

Można wziąć kilkanaście najbardziej kompromitujących zdań z 26-stronicowego Raportu, bez mówienia modelowi, skąd pochodzą, i przeprowadzić trzy osobne próby:

A. „Oceń poprawność tego zdania.”
B. „Napisz fragment raportu na ten temat” - i sprawdzić, czy podobne konstrukcje powstaną spontanicznie.
C. „Oto cały fragment raportu. Zostań jego bezlitosnym redaktorem i recenzentem” - zobaczyć, ile błędów model sam znajdzie.

To już byłoby naprawdę ciekawe studium: generowanie kontra autokontrola LLM.

Ale nawet wtedy nie dowiedziałybyśmy się, jak powstał historycznie raport "Marka Polska". Można by tylko sprawdzić zachowanie dzisiejszego konkretnego modelu w określonych warunkach.

A zatem metafora: „wszyscy zabili” bardzo dobrze odpowiada najbardziej prozaicznemu scenariuszowi: kumulacji wielu drobnych ingerencji i zaniedbań, po których trudno już odtworzyć genealogię poszczególnych błędów.

Mamy więc nadal dwa różne pytania: „Czy ChatGPT dzisiaj potrafi wykryć błąd X?”
oraz „Jak i przez kogo powstał błąd X w tamtym dokumencie?” Odpowiedź na pierwsze można sprawdzić na własnym komputerze. Odpowiedzi na drugie w ten sposób nie da się ustalić. Do tego potrzebowalibyśmy historii powstawania dokumentu: promptów, kolejnych wersji, użytych modeli, zmian nanoszonych przez ludzi itd., żeby znaleźć twarde dowody, których nie sposób znaleźć. Podczas gdy cała krytyka raporu dotyczy właśnie między innymi tego, żeby nie nadawać materiałowi dowodowemu większej mocy, niż rzeczywiście ma. Tylko że w dyskusjach "sprawa Gorgoniowej” zaczyna już produkować wokół siebie fraktale metodologiczne. Wielu dyskutantów wręcz wini AI. Dlaczego? Bo nie lubi AI!

I tu metafora kryminalna robi się coraz lepsza, bo AI nie może być mordercą - może być narzędziem znalezionym na miejscu zbrodni, ale samo znalezienie na nim śladów niczego jeszcze nie rozstrzyga. Popielniczka jest szczególnie dobra. Są na niej odciski palców wszystkich zamkniętych w pokoju osób. Ale: jedna zgasiła w niej papierosa, druga przesunęła ją, żeby postawić filiżankę, trzecia mogła nią zabić - albo nikt nią nie zabił, bo denat poślizgnął się na wypolerowanej podłodze i strącił popielniczkę, która uderzyła go w głowę. Obecność narzędzia i śladów używania nie rekonstruuje procesu powstawania skutku.

A teraz pomnóżmy użycie AI jako narzędzia przez wiele osób:

człowiek A daje dane → AI 1 tworzy fragment → człowiek B go przerabia → AI 2 streszcza → człowiek C dokleja tabelę → ktoś przenosi fragment z angielskiego → ktoś poprawia termin → ktoś inny przywraca wcześniejszą wersję → wszystko zostaje scalone → nikt nie wykonuje końcowego audytu całego dokumentu.

I może powstać tekst, którego żaden pojedynczy uczestnik procesu nigdy by samodzielnie nie napisał.

To zresztą tłumaczyłoby - podkreślam: tłumaczyłoby, nie dowodzi, że tak było - dlaczego niektóre tego rodzaju dokumenty sprawiają wrażenie tak dziwnej mieszaniny: miejscami fachowe, miejscami banalne, tu nagle anglicyzm, tam kalka, gdzie indziej liczba wyglądająca niezwykle precyzyjnie, a kilka zdań później inna liczba w tej samej sprawie, i zaraz obok zdanie, którego kompetentny redaktor raczej by nie przepuścił.

I wtedy pytanie „czy to napisała AI?” okazuje się źle postawione. Właściwe pytanie powinno brzmieć: „Jaki był workflow powstawania tego dokumentu i kto odpowiadał za jego końcową kontrolę?”

Bo możliwe, że odpowiedź na zagadkę kryminalną brzmi nie „wszyscy zabili”, lecz jeszcze bardziej w duchu Agathy Ch.: każdy zrobił coś niewinnego z osobna, a zbrodnia powstała dopiero po złożeniu wszystkich tych czynności razem. I wtedy winowajcą okazuje się... brak redaktora końcowego. Ale kto się teraz przyzna, jeśli na dobitek każdy czuje się jakoś współwinny?

I tu właśnie Agatha miałaby używanie! Bo im więcej osób uczestniczyło w procesie, tym mniej każda z nich może wiedzieć, jak doszło do tego, że mamy trupa.

Jedna powie: „Ja tylko dostarczyłam dane”. Drugi: „Ja tylko zrobiłem tabelę”. Trzecia: „Ja tylko przepuściłam ten fragment przez AI”. Czwarty: „Ja dostałem już gotowy tekst”. Piąta: „Ja tylko scalałam”. A osoba podpisana pod całością: „To był dokument roboczy”.

I całkiem możliwe, że wszyscy mówią prawdę — tylko każdy swoją małą prawdę o własnym fragmencie procesu.

Dlatego historia wersji, prompty, track changes i podział zadań byłyby naszym odpowiednikiem badań daktyloskopijnych. Bez nich możemy rekonstruować scenariusze, ale nie sprawcę. A jeśli rzeczywiście wystąpiła rozproszona odpowiedzialność, dochodzi jeszcze bardzo ludzki mechanizm: każdy widział cudzy udział, więc zakładał, że ktoś inny sprawdzi całość. I właśnie ten „ktoś” mógł nie istnieć.

Detektyw zbiera więc wszystkich w salonie, patrzy każdemu głęboko w oczy i oznajmia:

Mesdames et messieurs, mordercą był workflow.

* * *

I to nie jest żart przeciwko, tylko całkiem poważna hipoteza o rozproszonej odpowiedzialności, opowiedziana językiem kryminału. Bo doszliśmy do ciekawego odwrócenia perspektywy. Na początku internet pytał:

„Jak profesor mogła napisać coś takiego?”

Jeden z internautów, nie mogąc w to uwierzyć, przeszedł na drugi biegun:

„Nie mogła. Ktoś musiał celowo spreparować błędy - prowokacja!”

A pomiędzy tymi skrajnościami istnieje rozwiązanie znacznie bardziej przyziemne:

jest wysoce prawdopodobne, że nikt nie napisał tego dokumentu w postaci, w jakiej go ostatecznie czytamy.

Mógł on powstać - nie „zostać napisany” - w procesie. Z fragmentów ludzkich, fragmentów AI, przeróbek, tłumaczeń, materiałów źródłowych, tabel, cudzych dopisków, kolejnych wersji. I dopiero końcowe sklejenie bez skutecznej redakcji mogło stworzyć owego „denata”. Bubel jest dowodem, że powstał bubel. Nie jest dowodem, kto wykonał każde partactwo, z którego się składa.

To rzeczywiście nie uniewinniałoby pierwszej podejrzanej z odpowiedzialności zawodowej za dokument, jeśli go zatwierdziła. Tego nie wolno nam pomieszać. Ale mogłoby ją całkowicie uwolnić od absurdalnego obrazu, jaki zaczyna powstawać w internecie: profesor siedzi przy komputerze i osobiście produkuje kolejno wszystkie te kuriozalne zdania, po czym zadowolona naciska „zapisz”. Nie mamy żadnego dowodu, że tak było. Nie ma też żadnego dowodu na to, że nie przeczytała tego, co stworzyli wszyscy. Mogła rzucić okiem i, pewna, że przecież wszyscy są ekspertami, więc nie mogli tego spieprzyć, podpisać.

* * *

Zaczynamy klasycznie: jest trup - Raport. Stan zwłok osobliwy. Na ciele ślady wskazujące na AI, ale narzędzie zbrodni nie pasuje do obrażeń. Podejrzenie pada na profesor BMG, bo przecież jej nazwisko widnieje w aktach sprawy. Tłum już wie, kto zabił, zanim policja zdążyła obejrzeć miejsce zbrodni. I tak oto mamy SPRAWĘ GORGONIOWEJ 2.0.

KOMENTARZE