Honda: AI agenti nerozumí nepsaným konvencím lidí, ukázala studie na hře Hanabi

Zadáš AI agentovi úkol, výsledek je technicky správný, a přesto to není ono. Zní ti to povědomě? Nová studie výzkumníků z Honda Research Institute možná právě vysvětlila proč: AI agenti sice umí poslouchat doslovné zadání, ale nechápou nepsané konvence, na kterých lidská spolupráce většinou stojí.

Výzkumníci to nezkoumali na chatbotech, ale na kooperativní karetní hře Hanabi, kde hráči vidí karty všech ostatních kromě svých vlastních a musí si napovídat pomocí omezených nápověd. Přesně tenhle typ hry je podle autorů ideální na měření toho, jak moc se hráči, lidští i umělí, spoléhají na to, co si mezi sebou „domyslí“, aniž by to bylo explicitně řečeno.

Proč by tě to mělo zajímat, i když Hanabi nehraješ? Protože stejný mechanismus platí, když denně zadáváš úkoly AI nástrojům na psaní textů, zákaznický servis nebo sociální sítě. A studie na to má docela nepříjemně přesná čísla.

Co se vlastně stalo

10. září 2026 zveřejnili Makoto Fukushima z Honda Research Institute Japan a Hua-Dong Xiong s Ehsanem Moradi Parim z Honda Research Institute USA na arXiv studii nazvanou „The Convention Gap: Towards Measuring Implicit Communication in Cooperative AI Evaluation“. Fukushimova afiliace k japonské pobočce Hondy je ověřitelná i na profilové stránce institutu. Práce zatím prošla jen zveřejněním jako preprint verze v1, recenzovaná ani citovaná zatím nebyla.

Autoři zavedli metriku „convention gap“: rozdíl mezi tím, kolik komunikačních selhání by se dalo čekat z doslovného obsahu zprávy, a tím, kolik selhání skutečně nastalo. Podle plného textu studie analyzovali 100 956 herních akcí ze tří datasetů. Z hanab.live to bylo 9 017 akcí z 425 lidských her. Dataset HOAD, tedy hry dvojic AI-AI, přidal 62 890 akcí ze 4 900 her. A dataset HanabiData, dvojice člověk-AI, dalších 29 049 akcí z 2 040 her.

Výsledek je poměrně jasný. U lidských dvojic naměřili convention gap +26,2 procentního bodu (s 95% intervalem spolehlivosti 25,5 až 26,8), zatímco u dvojic AI-AI byl gap jen −0,7 procentního bodu. Jinými slovy: lidé se při spolupráci masivně opírají o nepsané konvence, testovaní AI agenti prakticky vůbec.

Když si hraje člověk s AI, gap se liší podle konkrétního AI partnera: od +6,2 procentního bodu u agenta jménem „Outer“ až po +24,1 procentního bodu u agenta „Full“. Agent, který lépe odhaduje lidský záměr, dosáhl vyšší shody s lidskými konvencemi, ne nutně vyššího herního skóre.

Aby autoři ověřili, že metrika vůbec něco měří, otestovali ji na hierarchii algoritmu Off-Belief Learning (OBL1 až OBL5): gap tu rostl od +1,57 procentního bodu u OBL1 po +21,68 procentního bodu u OBL5, úměrně s tím, jak dobře agent modeluje „teorii mysli“ ostatních hráčů.

Samotný algoritmus OBL pochází z práce týmu Facebook AI Research a University of Oxford (Hu, Lerer, Cui, Wu, Pineda, Brown, Foerster), zveřejněné na arXiv 6. března 2021 a publikované na konferenci ICML 2021.

A samotnou hru Hanabi jako testovací doménu pro kooperativní AI formalizoval o sedm let dřív tým kolem Nolana Barda a Jakoba Foerstera, mimo jiné z DeepMind a Google Brain, v práci z 1. února 2019.

Ilustrace vytvořená pomocí AI.

Co to znamená pro tebe

Nejde o hru pro geeky, jde o návod, proč ti AI agenti občas „nerozumí“, i když dostanou naprosto jasné zadání. Hlavní zjištění studie totiž je, že agent, který se snaží odhadnout tvůj skutečný záměr, je lepší parťák než agent optimalizovaný čistě na „výkon“. Vysoké skóre v obecném benchmarku totiž vůbec neříká, jak dobře se s ním domluvíš na tom svém.

Přelož si to do praxe. Když píšeš AI nástroji zadání na příspěvek na sociální sítě, e-mail klientovi nebo popisek produktu, ty selhání většinou nevznikají z chyby v doslovném textu zadání. Vznikají z toho, že AI nezná tvoje nevyřčené konvence: styl značky, dosavadní dohody s klientem, nepsaná pravidla oboru, narážku na to, co jste řešili minulý týden. A čím míň toho řekneš explicitně, tím větší je šance na trapas.

Co s tím udělat dnes

Nespoléhej na to, že AI „domyslí“ kontext ze staršího zadání nebo z toho, co je pro tebe samozřejmé. Při zadávání úkolů AI nástrojům, ať už jde o psaní příspěvků, e-mailů nebo popisků produktů, napiš styl, cílovku, zakázané fráze a předchozí dohody stejně explicitně, jako bys to říkal novému kolegovi, který o tvé firmě neví vůbec nic.

Než nasadíš AI agenta do zákaznické komunikace nebo na sociální sítě, otestuj ho na vlastních hraničních případech s nevyřčeným kontextem, třeba na narážku na dřívější objednávku nebo firemní žargon.

Pokud stavíš nebo prodáváš vlastní AI agenty a GPTs pro klienty, tenhle úhel je hotový argument do nabídky. Neprodávej jen „chytřejší“ model, ale agenta doladěného na konkrétní nevyřčené konvence daného klienta nebo oboru. To je měřitelně odlišující hodnota, ne jen marketingová fráze.

Je to čerstvý akademický preprint bez produktu nebo ceny, takže žádnou aplikaci „hned k použití“ nenabízí. Ale princip za ním je jednoduchý a použitelný už dneska: čím víc nevyřčeného kontextu do AI vložíš explicitně, tím míň překvapení tě čeká.

Pokud chceš jít o krok dál a postavit si vlastního AI agenta na míru, který zvládá i tenhle druh nevyřčených pravidel, mrkni na náš videonávod Vlastní AI asistent. A do zítřka si zkus jen jedno: vezmi poslední zadání, co jsi dal AI nástroji, a dopiš k němu tři věci, které jsi považoval za „samozřejmé“. Uvidíš rozdíl.

Lukáš a Lucka