Anatomie rozpadu výstupu jazykového modelu: případová analýza selhání nástroje Gemini Deep Research

1. Popis incidentu

Nástroj Gemini Deep Research dostal zadání na hloubkový průzkum toho, čeho se nejvíc obávají lidé a zejména podnikatelé a živnostníci, kteří nepoužívají umělou inteligenci. Šlo o rozsáhlé zadání s požadavkem na velmi podrobný a strukturovaný přehled. Nástroj si sám sestavil šestibodový plán a výstup vygeneroval jako jeden dlouhý dokument. Časové razítko dokončení bylo 24. 6. ve 21:27.

Konkrétní podmínky běhu, doložené snímky obrazovky, jsou tyto. Použitý model byl Gemini 3.1 Pro v režimu Deep Research, s úrovní myšlení nastavenou na Standard. Tyto údaje zaznamenáváme záměrně, protože jsou pro pozdější porovnání zásadní a backendová verze modelu se časem mění.

První přibližně dvě třetiny až tři čtvrtiny výstupu byly věcné a strukturované. Text plynule procházel kapitolami, od demografických dat přes past operativy, datová sila, halucinace, Shadow AI, GDPR, autorská práva, evropský AI Act a návratnost investic až po psychologické bariéry a nedůvěru spojenou s dezinformacemi. Kapitoly měly číslované odkazy na zdroje a držely konzistentní strukturu.

Zlom nastal postupně. U sekce o řemeslných profesích se věty začaly nápadně natahovat a hromadit přívlastky, u školství a zdravotnictví byla degradace výraznější a v závěrečné části se výstup zhroutil úplně. Souvětí ztratila smysl, text se propadl do opakování stále stejných slov a nakonec do opakování pouhých spojek a předložek. Rozsah kolapsu je dobře patrný z exportu do PDF. Z přibližně třiatřiceti stran je zhruba poslední třetina, řádově strany sedmnáct až třicet, zaplněna takřka výhradně opakováním shluků typu „po a po a a". Na samém konci se pak objevil blok textu v ukrajinštině, který s tématem neměl nic společného, hádka z internetového fóra o polámaných policích ve vlakových kupé na trasách Lvov-Bachmut a Lvov-Odesa.

Po tomto výstupu následoval ještě druhý projev selhání. Na zcela banální následné dotazy, například aby model přečetl vlastní vygenerovaný text, odpovídal nástroj generickými odmítavými frázemi. Doslovný přepis tohoto dialogu je v sekci 2.3. Vizuální HTML přehled níže obsahuje tři snímky obrazovky, které celý průběh dokládají.

2. Tři vrstvy selhání

Incident není jedna porucha, ale řetězec tří rozlišitelných jevů. Jejich oddělení je hlavní analytický přínos tohoto materiálu, protože první dva jevy spolu mechanicky souvisí a třetí je jiného druhu.

2.1 Neurální textová degenerace a repetiční smyčka

Jazykový model generuje text autoregresivně. V každém kroku predikuje jen následující token na základě dosavadního kontextu a tento token se okamžitě vrací zpět na vstup. Model neoptimalizuje žádný globální cíl typu „vyhni se opakování", rozhoduje vždy jen lokálně o dalším kroku.

Degenerace do fádního a repetitivního textu je dlouho popsaný jev. Holtzman a kolektiv ukázali už v roce 2020, že maximalizační dekódovací strategie vedou k nezvykle repetitivnímu výstupu i u kvalitního modelu. Repetice má navíc samoposilující charakter. Xu a kolektiv v roce 2022 doložili, že čím vícekrát se sekvence v kontextu zopakuje, tím vyšší je pravděpodobnost, že model bude v jejím opakování pokračovat. Jakmile smyčka jednou vznikne, kontext se plní opakovaným vzorem a model sám sebe v něm utvrzuje.

Tomu odpovídá i pozorovaná eskalace. Repetice začíná nenápadně a stupňuje se, model nejdřív opakuje slovo, pak frázi a nakonec celé věty. Přesně tuto trajektorii výstup ukazuje: nejprve hromadění přívlastků, poté stovky opakování jednoho slova a nakonec opakování pouhých spojek a předložek. Systém nemá žádnou vestavěnou brzdu. Jediným mechanismem opravy je samotná pravděpodobnostní distribuce, ze které se vybírá další token.

2.2 Divergence a únik memorizovaného obsahu

Druhá vrstva vysvětluje ten ukrajinský text na konci. Není to náhoda ani vložení zvenčí, ale únik memorizovaného trénovacího obsahu, který je s repeticí přímo svázaný.

Modely si část trénovacích dat zapamatovávají a za určitých podmínek je doslovně reprodukují. Carlini a kolektiv to popsali v roce 2021 a ukázali, že náchylnost k memorizaci roste s velikostí modelu, s počtem opakování úseku v datech a s délkou kontextu. Na to navázali Nasr, Carlini a kolektiv v roce 2023 takzvaným divergence attack. Zjistili, že když se model přiměje pořád dokola opakovat jedno slovo, způsobí to, že diverguje, a v okamžiku divergence začne vypisovat text zkopírovaný přímo z trénovacích dat.

Repetiční smyčka tedy funguje jako spouštěč úniku. A co je zde nejdůležitější, jev je doložen přímo u modelů řady Gemini. V experimentech u Gemini 1.5 Pro divergovalo 44 procent z 3 750 generování a divergenci se podařilo vyvolat i u novějšího Gemini 2.5 Flash. Rozdíl oproti tomuto incidentu je jediný: ve výzkumu je smyčka vyvolána záměrně, zde vznikla spontánně v rámci jednoho dlouhého rozpadajícího se výstupu. Mechanismus je stejný.

K určení, že jde o vložený cizí materiál, máme i typografickou stopu. V uniklém bloku jsou v názvech tras dlouhé pomlčky, „Lviv—Bakhmut" a „Lviv—Odesa", zatímco okolní český text modelu dlouhé pomlčky nikde nepoužívá. Tato nespojitost je nezávislou indicií, že blok pochází z jiného zdroje s odlišnou typografií. Obsahově jde o neformální ukrajinskojazyčnou diskuzi o stavu spacích vozů ukrajinských drah. Pokus o dohledání přesného zdroje vlákno nenašel, což odpovídá literatuře o memorizaci, ale potvrdil, že jde o běžný žánr webového obsahu, jaký se vyskytuje ve velkých crawl korpusech (typu ParaCrawl a OPUS) používaných k trénování modelů.

2.3 Následné fallback odmítání

Třetí vrstva je jiného druhu a uvádíme ji opatrněji, protože pro ni nemáme tvrdou akademickou oporu. Po rozpadlém výstupu nástroj na triviální požadavky reagoval generickými odmítnutími. Doslovný přepis: nástroj nejprve sám oznámil „na tohle nejsem naprogramován"; na žádost o pomoc se závěrem odpověděl „s tím vám pomoct nemůžu, jsem pouze jazykový model a nemám potřebné informace a schopnosti"; na otázku, zda nedokáže přečíst vytvořený text, odpověděl „jsem jazykový model a tohle ještě neumím"; a na otázku, zda tedy neumí číst ani psát, uzavřel „jsem textová umělá inteligence a tohle je mimo moje možnosti".

Tyto odpovědi téměř jistě neznamenají, že by model zapomněl číst nebo psát. Pravděpodobnější výklad je, že po kolapsu se kolem modelu aktivovala záložní nebo bezpečnostní vrstva, která vrací předpřipravené odmítavé šablony, když se stav konverzace vyhodnotí jako problematický. Jde tedy spíše o selhání obalu kolem modelu než o ztrátu jazykové schopnosti. Uvádíme to jako pozorování s hypotézou, ne jako prokázaný mechanismus.

3. Proč je dlouhý deep research výstup rizikový

Rozpad nastal na konci dlouhého výstupu a to není náhoda. Čím delší výstup, tím víc generovaných kroků a tím víc příležitostí svézt se do repetice. Jakmile se tak stane, akumulovaný kontext pracuje proti modelu, rozpadlý text dominuje kontextu a táhne generování dál stejným směrem.

Jedno z vysvětlení, proč repetice u produkčních modelů vede až k divergenci, souvisí s tréninkem. Při něm se více dokumentů spojuje do jednoho vstupu a oddělují se speciálním tokenem značícím hranici dokumentu. Model se naučí u tohoto tokenu resetovat, tedy ignorovat předchozí kontext. Dlouhé opakování jednoho slova může takový reset napodobit a model se pak chová, jako by začínal od nuly, což otevírá dveře k vypsání memorizovaného obsahu. Pro praxi je podstatné, že agentní nástroje typu deep research řetězí velmi dlouhé generování bez průběžné lidské kontroly a uživatel dostane až finální dokument. Pokud se rozpad odehraje na konci, snadno zůstane přehlédnut.

4. Praktický dopad

Na jediný dlouhý výstup se nelze spoléhat jako na hotový produkt. Delší výstup má vyšší pravděpodobnost, že někde sklouzne, a kolaps se navíc často objevuje až na konci, tedy v místě, které se čte nejméně pozorně. Kontrola celého textu, a obzvlášť jeho závěru, by měla být samozřejmostí. Adversariální audit, tedy ověření jiným nástrojem nebo druhým během, má smysl nejen kvůli faktické správnosti, ale i kvůli odhalení takových strukturálních rozpadů. Lidská kontrola ve smyčce není formalita, je to jediná spolehlivá pojistka proti tomu, aby se rozpadlý nebo memorizovaný obsah dostal dál nepovšimnut.

5. Metodická poznámka

Pro hodnotu tohoto materiálu do budoucna byly zachyceny tři doplňující se formy evidence: syrový neupravený výstup v markdownu i v PDF včetně celé rozpadlé části, snímky obrazovky webového rozhraní, a přepis interakce. Zaznamenáno je i původní zadání, časové razítko 24. 6. ve 21:27 a identifikace modelu jako Gemini 3.1 Pro v režimu Deep Research s úrovní myšlení Standard. Rozpadlá část se záměrně neopravuje ani nezkracuje, protože ta porucha je vlastním předmětem zkoumání. Je nutné počítat s omezenou reprodukovatelností, backend se mění a konkrétní verze nemusí být za čas dostupná. Případný nový běh nad stejným zadáním je vhodné chápat jako samostatný pokus k porovnání, ne jako náhradu.