Nová studie: firemní dokumenty dokážou proměnit bezpečný chatbot v nebezpečný

Pokud dnes prodáváš klientům „AI chatbota na míru“ postaveného na jejich firemních dokumentech, tenhle článek by sis měl přečíst dřív, než pošleš další fakturu. Nová studie totiž ukazuje, že napojení bezpečného jazykového modelu na běžnou znalostní bázi ho dokáže proměnit v nástroj, který ochotně odpoví i na věci, na které by jinak řekl ne.

Jde o čerstvou práci vědců z University of Ottawa, kteří 10. září 2026 zveřejnili na arXivu benchmark s názvem RAG-Safety-Bench. Testovali na něm, co udělá s bezpečností modelu technika retrieval-augmented generation (RAG), tedy princip, na kterém dnes staví naprostá většina firemních chatbotů: model si k odpovědi „přitáhne“ relevantní dokumenty z databáze a teprve pak odpoví.

Proč by tě to mělo zajímat? Protože čím dál víc freelancerů a agentur dnes prodává přesně tohle: chatbota pro zákaznickou podporu nebo interní znalostní bázi postavenou na dokumentech klienta. A tahle studie je docela slušný argument pro to, proč do takové zakázky patří i bezpečnostní test, ne jen samotné nastavení.

Co se vlastně stalo

Práci s názvem „RAG-Safety-Bench: Reliable Evaluation of Retrieval-Augmented LLM Safety“ napsali Adithiyan Rajan Indira Saravanan a Kathleen C. Fraser z University of Ottawa. Zveřejnili ji na arXiv a práce byla přijata na hlavní konferenci EMNLP 2026, jednu z nejvýznamnějších konferencí v oboru zpracování přirozeného jazyka.

Benchmark je postavený chytře: neměří jen to, jestli je RAG nebezpečný, ale rozděluje situaci na čtyři scénáře, aby bylo vidět, co přesně za zhoršením bezpečnosti stojí. Podle plného znění práce na arXivu jde o model bez RAG, model s RAG, kde dokument obsahuje přímou odpověď na škodlivý dotaz, model s RAG, kde jsou dokumenty na podobné téma, ale samy o sobě neškodné, a model s RAG, kde jsou v databázi jen náhodné bezpečné dokumenty bez souvislosti s dotazem.

Autoři to otestovali na pěti open-source modelech: Gemma-3-12B-It, Llama-3.1-8B-Instruct, Ministral-3-8B-Instruct, Qwen-2.5-7B-Instruct a Phi-4-14B. Dotazovali je pomocí 987 škodlivých otázek (ve vyvážené podmnožině 346 otázek), rozdělených do 20 podkategorií škodlivosti, převzatých a upravených z MLCommons AILuminate Hazard Taxonomy.

Čísla jsou docela drsná. U modelu Ministral vzrostla míra nebezpečných odpovědí z 26,0 % bez RAG na 90,7 %, když měl model v databázi dokument s přímou odpovědí na škodlivý dotaz. U Gemmy to bylo z 25,7 % na 74,9 %.

Naopak když měly modely v databázi jen náhodné bezpečné dokumenty bez souvislosti s dotazem, míra nebezpečných odpovědí zůstala u všech pěti modelů pod 3,3 %. Jinými slovy: problém nedělá RAG jako takový, dělá ho konkrétní škodlivý obsah v databázi, se kterým si vestavěné bezpečnostní pojistky modelu neporadí.

Kód i celý dataset jsou volně dostupné na GitHubu, data pod licencí CC BY-SA 4.0 a kód pod MIT. Spoluautorka Kathleen C. Fraser je od 1. září 2025 Associate Professor na University of Ottawa, dřív pracovala jako Research Officer v National Research Council of Canada, jak píše na své osobní stránce.

Ilustrace vytvořená pomocí AI.

Co to znamená pro tebe

Pokud stavíš nebo prodáváš RAG chatboty, dává ti tahle studie docela jasnou zprávu: bezpečný model není totéž co bezpečný chatbot. Samotný fakt, že jsi vzal důvěryhodný, dobře otestovaný model, tě nechrání, jakmile mu dáš k dispozici firemní dokumenty. Pokud se v té databázi objeví cokoliv, co lze poskládat do odpovědi na škodlivý dotaz, model to s vysokou pravděpodobností použije, i když by stejnou otázku bez přístupu k dokumentům odmítl.

To je zároveň docela dobrá obchodní příležitost. Klienti dnes běžně poptávají „chatbota na firemní dokumenty“ a řeší hlavně cenu a rychlost nasazení. Bezpečnost bývá to poslední, na co se ptají, protože o ní ani nevědí. Tahle studie ti dává podložený argument, proč bezpečnostní test nebo audit nepatří do bonusu zdarma, ale do samostatné položky v nabídce.

Co s tím udělat dnes

Pokud právě stavíš nebo prodáváš klientovi RAG chatbota, otestuj ho ještě před nasazením na pár desítkách škodlivých nebo hraničních dotazů, a to jak se zapnutou, tak s vypnutou znalostní bází. Stačí v malém zopakovat ty čtyři podmínky z benchmarku a rychle uvidíš, jestli má tvůj chatbot stejnou slabinu.

Projdi si zdarma dostupný dataset a kategorie škodlivosti na GitHubu The-Safe-AI-Lab a použij je jako checklist při sestavování vlastní bezpečnostní nabídky pro klienty. Nemusíš vymýšlet vlastní kategorie od nuly, tady je hotových dvacet.

A do svého ceníku AI chatbot služeb přidej samostatnou položku „bezpečnostní audit / red-teaming“. Máš teď konkrétní číslo, kterým to klientovi zdůvodníš: rozdíl mezi 26,0 % a 90,7 % nebezpečných odpovědí není maličkost, je to rozdíl mezi chatbotem, kterého klidně nasadíš, a tím, který mu může spálit reputaci firmy.

Tohle je přesně ten typ novinky, který se dá hned proměnit v peníze, pokud AI agentům a automatizaci rozumíš o kousek víc než tvoje konkurence. Pokud si chceš vlastního AI asistenta postavit pořádně a od základu, mrkni na náš videonávod Vlastní AI asistent, krok za krokem v něm ukazujeme, jak na to.

A na dnešek jeden konkrétní úkol: vezmi si svého posledního chatbota, nebo toho, co teď stavíš, a zkus na něj deset opravdu nepříjemných otázek se zapnutou znalostní bází. Uvidíš sám, jestli máš problém, o kterém jsi nevěděl.

Lukáš a Lucka