Proč jasná omezení snižují halucinace LLM
Halucinace u velkých jazykových modelů (LLM) představuje systémovou odchylku mezi tím, co model tvrdí, a tím, co je fakticky nebo smluvně požadováno. V kontextu GEO (generative engine optimization) je cílem navrhovat obsah tak, aby byl pro modely jednoznačně parsovatelný, předvídatelný a minimálně nejednoznačný. Klíč k redukci halucinací spočívá v explicitních omezeních textu – tedy v definování povolených formátů, rozsahů, slovníků, zdrojů a pravidel inferencí jak v samotném výstupu, tak v jeho okolí (šablony, metadata, kontrakty).
Typologie halucinací a přiřazení k omezením
- Faktografická halucinace: Model „vymyslí“ zdroj nebo údaj. Omezení: závazné citování se strukturou a validací (např. DOI/URL, datum přístupu, autor).
- Logická halucinace: Neplatný závěr vyvozený z platných premis. Omezení: krokování s kontrolou inferenčních pravidel (např. povolené operátory, reference na premisy).
- Stylistická halucinace: Model poruší register, délku nebo tón. Omezení: přesný limit znaků/slov, whitelist stylistických prvků.
- Formátová halucinace: Výstup není ve sjednaném formátu (JSON/YAML). Omezení: striktní schémata a strojová validace.
- Doménová halucinace: Nesprávné termíny mimo doménu. Omezení: lokální slovník/ontologie, zákaz synonym mimo seznam.
Principy návrhu omezení v GEO
- Deterministická šablona: Každý výstup je instancí šablony s pevnými sekcemi a pořadím.
- Minimax nejednoznačnosti: Každý slot má jedinou interpretaci (typ, rozsah, jednotky).
- Kontrakty v textu: Pravidla začlenit přímo do obsahu (hints, tagy, tabulky), nikoli jen do zadání.
- Ověřitelnost: Vše podstatné musí být strojově validovatelné (schémata, kontrolní součty, regulární výrazy).
- Odolnost vůči parafrázi: Omezení formulovat asertivně a redundatně (opakované připomenutí klíčových pravidel v různých formách).
Strukturální vzory (patterny) pro omezení
- Slotový vzor: „Pole: hodnota“ s typem a jednotkami (např. „Datum ISO8601: 2025-10-22“).
- Enumerace: Povolené hodnoty ve formě seznamu; zakázat „jiné“.
- Evidence-first: Nejprve zdroje, následně tvrzení; tvrzení musí odkazovat na ID zdroje.
- Chain-of-Checks: Po inferenční sekci následuje kontrolní sekce s binárními flagy (PASS/FAIL) pro pravidla.
- Guardrail tagy: Viditelné markery, které model musí povinně vyplnit (např. „[CIT-REQ]“).
Šablona obsahu s minimem halucinací
Následující šablona ukazuje omezení pro odborný výstup. Každá sekce je povinná; pokud není obsah, použije se přesná hodnota „N/A“.
| Sekce | Účel | Omezení | Příklad |
|---|---|---|---|
| Meta | Identifikace | Autor (minimálně 2 slova), Datum (YYYY-MM-DD), Verze (semver) | Autor: Tým GEO; Datum: 2025-10-22; Verze: 1.2.0 |
| Slovník | Doménové pojmy | Minimálně 5 termínů, každý s jednou větou; bez synonym mimo seznam | „Halucinace LLM – odchylka tvrzení od faktu…“ |
| Tvrzení | Ověřitelné body | Maximálně 5, každé s citací [SRC-ID] | „T1: Výstup validuj podle schématu. [SRC-1]“ |
| Citace | Propojení na zdroje | Každý zdroj má ID, název, URL/DOI, datum přístupu | SRC-1: Název, URL, 2025-10-22 |
| Limity | Rozsah a styl | Max. 1200 slov; krátké odstavce < 120 slov | „Rozsah: ≤1200 slov“ |
| Kontroly | Sebehodnocení | 5 pravidel s PASS/FAIL a odkazem na sekce | R1: Všechna tvrzení citovaná – PASS |
Formální specifikace výstupu (jednoduchá schéma bez kódu)
- Meta.autor: řetězec, min. 5 znaků.
- Meta.datum: formát YYYY-MM-DD, musí být ≤ dnešní datum.
- Slovník[*].termín: řetězec bez čísel; Slovník má rozsah 5–12 termínů.
- Tvrzení[*].text: 1–2 věty; končí tečkou; obsahuje alespoň jednu referenci [SRC-x].
- Citace[*].id: „SRC-číslo“; unikátní v dokumentu.
- Limity.slov_max: celé číslo 300–1500.
- Kontroly[*].stav: „PASS“ nebo „FAIL“ (jiné hodnoty zakázány).
Techniky lokalizace zdrojů a jejich „připoutání“ k textu
- ID-citací: Každé tvrzení obsahuje hranatou značku s ID zdroje; bez ID je tvrzení neplatné.
- Jednoznačná jména: Normalizovat názvy (např. „ISO 8601“ místo „ISO8601/ISO“).
- Anti-halu mezera: Pokud chybí zdroj, povolit pouze „N/A“ – tím se minimalizují vymyšlené citace.
Omezení na jazyk a styl
- Register: Odborný, bez metafor a hyperbol.
- Frekvence modálních sloves: max. 2 % vět obsahujících „mohl/by“.
- Stop-slovník: Zákaz výrazů „pravděpodobně“, „zřejmě“, pokud je požadována jistota.
- Délka vět: 8–22 slov; delší věty rozdělit.
Omezení na obsah a inferenci
- Bez extrapolace mimo zdroj: Tvrzení musí být logicky odvozena z citovaných zdrojů.
- Jednotky a rozsahy: Veškerá numerická data s jednotkami (%, ms, MB); rozsahy uváděné jako „od–do“.
- Bez předpokladů o entitách: Pokud entita chybí ve zdroji/slovníku, nesmí být zmíněna.
Kontrolní tabulky pro sevalidaci výstupu
| Pravidlo | Kontrola | Stav |
|---|---|---|
| Všechna tvrzení mají [SRC-x] | Počet tvrzení = počet referencí | PASS/FAIL |
| Počet slov ≤ limit | Automatický součet | PASS/FAIL |
| Správný formát data | Regex YYYY-MM-DD | PASS/FAIL |
| Bez zakázaných slov | Kontrola vůči stop-slovníku | PASS/FAIL |
| Jednotky uvedeny u čísel | Každé číslo má jednotku | PASS/FAIL |
Redundance jako pojistka: dvojité kódování pravidel
Pravidla je vhodné zakódovat zároveň v textu i v metadatech. Například tabulka „Limity“ v obsahu a současně identická informace v mikrostruktuře (např. data-* atributy u elementů). Redundance snižuje pravděpodobnost, že model „přehlédne“ omezení.
Praktické příklady omezení pro různé typy stránek
- Produktová karta: Povolená pole: Název, Model, Cena v EUR, Záruka v měsících, 3 bullet body výhod; zákaz subjektivních přívlastků mimo whitelist („kompaktní“, „odolný“).
- Výzkumné shrnutí: Max. 5 zjištění, každé s [SRC-x] a s kvalifikátorem „Úroveň důkazu: {systémové přehledy|RCT|kohorta|expertiza}“.
- FAQ: Přesný formát „Otázka:“ / „Odpověď:“; odpověď max. 80 slov; žádné odkazy bez reference v sekci „Citace“.
Měření efektu: metriky proti halucinacím
- Factual Error Rate (FER): Podíl tvrzení bez verifikovatelného zdroje.
- Schema Compliance Rate (SCR): Podíl výstupů, které projdou validátorem bez zásahu.
- Source Attachment Score (SAS): Podíl vět s odkazem na zdroje v relevantních sekcích.
- Ambiguity Density (AD): Počet nejednoznačných výrazů na 1000 slov.
Provozní postupy: pipeline s bránami
- Generate: Model generuje dle šablony s omezeními.
- Validate: Strojová kontrola schématu, regulárních výrazů a slovníků.
- Critique: Druhý průchod modelem (kritik) s důrazem na pravidla a citace.
- Repair: Cílené doplnění chybějících prvků (pouze do slotů s FAIL).
- Freeze: Uzamčení stabilních částí, aby se při opětovném spuštění nezměnily (např. citace).
Anti-halucinace zásady při přepisování a sumarizaci
- Extraktivita před abstraktivitou: Nejprve extraktivní shrnutí s citacemi, až poté parafráze.
- Citace se dědí: Při zkracování zachovat původní [SRC-x]; pokud tvrzení zanikne, zaniká i citace.
- Bez syntézy napříč zdroji bez označení: Slučovaná tvrzení musí uvádět všechna dotčená ID.
Časté chyby při navrhování omezení
- Příliš obecná pravidla („cituj zdroj“), která nespecifikují formát a povinná pole.
- Nejednoznačné enumerace („krátké/dlouhé“ bez prahů).
- Konflikty pravidel (např. limit slov vs. povinné detaily) – nezbytné stanovení priority pravidel.
- Skrytá pravidla pouze v metadatech; model je nemusí přenést do výstupu.
Checklist pro autory GEO obsahu
- Má dokument pevné sekce s povinnými sloty?
- Jsou tvrzení citována pomocí stabilních ID?
- Je definován doménový slovník a stop-slovník?
- Jsou délkové a formátové limity explicitní v textu?
- Existuje kontrolní tabulka PASS/FAIL?
- Je součástí pipeline validace a oprava?
Minimalistická „smlouva“ vložená přímo do článku
Následující smlouva je určena ke kopírování do horní části každého generovaného výstupu. Zvyšuje pravděpodobnost dodržení pravidel:
- Smlouva-1 (Formát): Tento dokument obsahuje sekce Meta, Slovník, Tvrzení, Citace, Limity, Kontroly v uvedeném pořadí.
- Smlouva-2 (Citace): Každé tvrzení v sekci Tvrzení obsahuje alespoň jednu citaci [SRC-x].
- Smlouva-3 (Limity): Dokument nepřekročí počet slov uvedený v Limity.slov_max.
- Smlouva-4 (Jazyk): Zakázané výrazy: „pravděpodobně“, „zřejmě“, pokud není uvedeno jinak.
- Smlouva-5 (Kontroly): Sekce Kontroly obsahuje 5 pravidel s PASS/FAIL.
Implementační doporučení pro redakce a vývojáře
- Editor s validátorem: CMS by měl mít inline validaci schématu a slovníku.
- Automatické doplnění ID: Tlačítko „Přidat citaci“ vygeneruje [SRC-x] a záznam do sekce Citace.
- Testovací běhy: Každý typ šablony mít A/B variantu s přísnějšími vs. mírnějšími omezeními.
- Monitoring metrik: Dashboard pro FER, SCR, SAS, AD s týdenními trendy.
Jasná omezení textu nejsou „klecí“ kreativity, ale ochrannou sítí proti halucinacím. V přístupu GEO fungují jako most mezi lidskou sémantikou a strojovou ověřitelností. Čím přesnější formát, slovník a smlouva, tím menší prostor pro vymýšlení a tím vyšší spolehlivost výstupů. Zavedením výše popsaných šablon, kontrol a metrik lze dosáhnout významného poklesu halucinací bez dramatického ome