Dokáže AI urobiť právnu analýzu? Najväčší problém nie sú halucinácie

Každý právnik to už pravdepodobne skúsil. Zadáte jazykovému modelu skutkové okolnosti sporu, pridáte relevantný kontext a napíšete: „Urob právnu analýzu."

O chvíľu dostanete hotový text. Je gramaticky bezchybný, znie právnicky, má prehľadnú štruktúru a cituje paragrafy. Je tu však jeden skrytý problém. Pri takomto výstupe neviete odpovedať na jedinú otázku, na ktorej skutočne záleží:

Prešiel model všetky podstatné aspekty prípadu tak, ako by ich prešiel právnik pri poctivej analýze?

Alebo iba presvedčivo rozvinul prvú právnu kvalifikáciu, ktorá sa ponúkala? A čo ak rozhodujúcu námietku, výnimku alebo procesnú prekážku vôbec nezvažoval?

Právna analýza nie je text. Je to postup.

Najprv identifikujete možný nárok a jeho právny základ. Potom skúmate, či vôbec vznikol, teda či sú splnené všetky zákonné predpoklady. Zároveň zisťujete, kto nesie dôkazné bremeno ku každému z týchto predpokladov a či sa pri niektorom z nich neuplatňuje osobitné pravidlo.

Napríklad pri všeobecnej zodpovednosti za škodu podľa § 420 Občianskeho zákonníka poškodený preukazuje porušenie právnej povinnosti, vznik škody a príčinnú súvislosť. Zavinenie sa však predpokladá a škodca sa môže zodpovednosti zbaviť, ak preukáže, že škodu nezavinil.

Nasleduje otázka, či už vzniknutý nárok nezanikol alebo sa nezmenil, napríklad splnením, započítaním, dohodou, odstúpením, nováciou alebo preklúziou. Napokon treba preskúmať, či je nárok vymáhateľný: či je splatný, či nie je premlčaný a či proti nemu nestojí námietka nesplnenia zmluvy, zádržné právo alebo iná obrana druhej strany.

Popritom treba preveriť aj otázky, ktoré človeku nemusia napadnúť ako prvé: dobré mravy, neplatnosť právneho úkonu, obchádzanie zákona, odporovateľnosť, procesné prekážky, koncentráciu konania či dôkaznú situáciu.

Hodnota právnika pri právnej analýze preto nespočíva iba v originalite, ale aj v disciplinovanej úplnosti. Dobrý právnik nie je len ten, komu napadne geniálny argument. Je ním aj ten, kto nezabudne na premlčanie.

Čo o postupe modelu skutočne vieme?

Zadajme tú istú úlohu jazykovému modelu. Vieme, či posúdil premlčanie? Či zvážil absolútnu neplatnosť zmluvy? Či si všimol, že dôkazné bremeno pri jednom zo znakov leží na druhej strane?

Vieme to iba vtedy, ak sa o tom vo výslednom texte výslovne zmienil. Zo samotného výstupu však nemožno spoľahlivo zistiť, ktoré otázky model systematicky preveril, ktoré iba okrajovo zvažoval a ktoré mu do analýzy vôbec nevstúpili.

A tu sa nachádza problém, ktorý sa v debatách o halucináciách často stráca. Model nemusí zlyhať iba tým, že napíše nepravdu. Môže napísať množstvo správnych vecí a pritom potichu vynechať otázku, ktorá je pre výsledok sporu rozhodujúca.

Vymyslené súdne rozhodnutie možno odhaliť. Stačí si ho vyhľadať. To, čo vo výstupe chýba, sa však odhaľuje oveľa ťažšie. Aby ste opomenutie identifikovali, musíte vedieť, že danú otázku bolo potrebné položiť. Inými slovami, musíte si paralelne vytvoriť vlastnú kontrolnú mapu právnej analýzy.

Najhoršie je, že text, v ktorom chýba úvaha o preklúzii, môže vyzerať rovnako ako text, v ktorom nechýba: rovnako sebaisto, rovnako plynulo, rovnako komplexne a presvedčivo.

Lepšie vyhľadávanie tento problém nevyrieši

Veľká časť dnešných právnych AI riešení sa sústreďuje na prístup modelu k zákonom, judikatúre a interným dokumentom. Často sa používa RAG — retrieval-augmented generation. Systém vyhľadá relevantné zdroje a poskytne ich modelu ako kontext na vytvorenie odpovede.

To je dôležité. Kvalitné a aktuálne zdroje sú nevyhnutnou podmienkou spoľahlivého právneho výstupu. Samy osebe však nezaručujú úplnosť právneho postupu.

Model môže mať dokonalý prístup k Zbierke zákonov aj k judikatúre a napriek tomu nemusí systematicky prejsť všetky predpoklady nároku na náhradu škody. Dostupnosť správnych prameňov ešte nezaručuje, že model položí všetky správne otázky.

Zadanie „urob právnu analýzu" totiž neurčuje postup. Určuje iba požadovaný typ výsledného textu.

Modelu chýbajú mantinely

Čo teda chýba? Nie nevyhnutne väčší model. Chýba kontrolný rámec.

Nemyslím tým iba všeobecnú radu „napíšte lepší prompt". Ide o niečo konkrétnejšie:

Najprv definujte priestor, v ktorom sa má analýza pohybovať, a až potom doň model pustite.

Dobrá správa je, že tento priestor netreba vymýšľať od začiatku. Právo si podobné štruktúry vytvorilo samo. Nemecká a rakúska civilistická tradícia napríklad pracuje s takzvanou nárokovou metódou — Anspruchsmethode. Každý potenciálny nárok sa skúma podľa svojho právneho základu a v typickom poradí:

Vznikol nárok? Nezanikol? Je vymáhateľný?

Ku každej fáze patrí určitý okruh otázok, námietok a prekážok. Pred meritórnym posúdením môžu stáť procesné podmienky. Naprieč celou analýzou sa uplatňuje dôkazná rovina a všeobecné právne korektívy.

Keď túto štruktúru raz podrobne rozpíšete, otázky, ktoré by vám inak „nemuseli napadnúť", začnú zo systému vypadávať samy. Námietka nesplnenia zmluvy, odporovateľnosť, neplatnosť právneho úkonu, zádržné právo či koncentrácia konania už nie sú náhodné nápady. Sú to položky v kontrolnej mape — a ich preverenie možno od modelu výslovne vyžadovať.

Čo sa stane, keď modelu zadáte postup?

Rozdiel medzi nasledujúcimi dvoma zadaniami je väčší, než by sa mohlo zdať.

Zadanie A

„Posúď, či má klient nárok na náhradu škody."

Zadanie B

„Preskúmaj nárok krok za krokom. Pri každom jeho predpoklade uveď:

• čo ho v predložených podkladoch preukazuje,
• kto k nemu nesie dôkazné bremeno,
• či je splnený, nesplnený alebo neznámy.

Stav označ ako neznámy vždy, keď podklady neumožňujú urobiť spoľahlivý záver.

Následne osobitne preskúmaj, či nárok nezanikol a či je vymáhateľný. Žiadnu kontrolnú otázku nevynechaj iba preto, že sa ti javí ako nepodstatná. Namiesto vynechania stručne vysvetli, prečo sa v danom prípade neuplatní.

Záver formuluj až po prejdení celej štruktúry."

Pri zadaní A model spravidla vytvorí esej. Pri zadaní B musí vyplniť vopred určenú analytickú štruktúru. A práve vtedy sa môže objaviť veta, ktorú model bez výslovnej požiadavky používa len zriedka:

„Príčinná súvislosť: neznáma. Predložené podklady neobsahujú informácie potrebné na jej posúdenie."

To je použiteľný výstup. Právnikovi totiž nehovorí iba to, k akému záveru model dospel. Ukazuje mu aj to, čo ešte musí zistiť, preukázať alebo doplniť. Neistota prestáva byť skrytou chybou systému a stáva sa viditeľným výsledkom analýzy.

A všimnite si, čo bolo potrebné na dosiahnutie podstatnej časti tohto rozdielu: žiadna vektorová databáza, žiadny vlastný model, žiadny fine-tuning. Významnú časť efektu možno dosiahnuť už tým, že namiesto požadovaného textu zadáte modelu požadovaný postup.

To neznamená, že technologická infraštruktúra nie je dôležitá. Znamená to, že prvý problém je právnický a až potom technický. Model môže vykonať štruktúru. Právnik ju však musí najprv poznať, pomenovať a určiť jej hranice.

Kde je hranica poctivosti?

Limit tejto cesty treba pomenovať otvorene. Inak sa z nej rýchlo stane ďalší marketingový sľub.

Kontrolný rámec, ktorý dokážeme vopred opísať, je vždy konečný. Množina otázok, na ktoré sme pri jeho tvorbe nepomysleli, je v princípe neobmedzená. Poctivé tvrdenie preto nemôže znieť: „Systém posúdil všetko."

Môže znieť iba takto:

„Systém prešiel presne určený súbor kontrol a pri každej uviedol výsledok."

Všetko, čo presahuje tento rámec, je doplňujúci návrh, nie overený záver. A musí byť tak aj označené.

Z toho vyplýva rozdelenie zodpovednosti, ktoré môže v právnej praxi obstáť:

AI navrhuje. Právnik overuje. Autoritatívne je iba to, čo právnik potvrdil.

Nie je to prejav prehnanej opatrnosti. Právna analýza je odborný výkon, za ktorý niekto nesie zodpovednosť. A tú nemožno delegovať na štatistický model.

Tri veci, ktoré môžete urobiť už zajtra

1. Nezadávajte iba záver. Zadávajte postup. Namiesto „posúď nárok" určte, ktoré kroky má model vykonať, v akom poradí a aký výsledok má pri každom z nich uviesť. Práve podobu kontrolného rámca môžete pri práci s AI ovplyvniť najviac.
2. Výslovne vyžiadajte neistotu. Model musí mať dovolené — a prikázané — povedať, že na otázku nemá odpoveď, ak podklady nestačia. Ak mu túto možnosť nedáte, chýbajúce miesto môže zaplniť pravdepodobne znejúcim textom.
3. Pýtajte sa aj na to, čo vylúčil. Nestačí vedieť, ku ktorým otázkam model dospel ako k relevantným. Pri každej položke kontrolného rámca od neho žiadajte, aby uviedol, či sa uplatní, neuplatní alebo ju pre nedostatok podkladov nemožno posúdiť. Ak ju vylúči, musí svoje rozhodnutie stručne odôvodniť. Takýto výstup umožňuje právnikovi kontrolovať nielen záver analýzy, ale aj spôsob, akým model vymedzil jej rozsah.

Takže: dokáže AI urobiť právnu analýzu?

Ak sa pýtate, či ju urobí sama od seba na základe jednej všeobecnej vety, odpoveď je nie. Vytvorí text, ktorý sa právnej analýze podobá.

A práve táto podobnosť môže byť nebezpečnejšia než zjavná chyba. Nesprávne citovaný paragraf možno overiť. Oveľa ťažšie sa zisťuje, že model určitú právnu otázku vôbec neidentifikoval, a preto sa ňou ani nezaoberal.

Ak však právnu analýzu rozložíte na jednotlivé kroky, určíte modelu hranice, prikážete mu priznať nedostatok podkladov a dovolíte mu formulovať záver až po prejdení celej štruktúry, dokáže vykonať jej významnú časť. Výsledok môže byť prekvapivo kvalitný.

Nie preto, že by model zrazu začal rozumieť právu tak ako právnik, ale preto, že ste mu výrazne obmedzili priestor preskočiť otázku, doplniť chýbajúci skutok alebo nahradiť analýzu presvedčivo znejúcim textom.

Právna AI preto nie je iba problémom vyhľadávania informácií. Je aj problémom formalizácie právneho postupu: ako identifikovať relevantné otázky, v akom poradí ich skúmať, čo pri nich overovať a kedy odmietnuť urobiť záver.

A prvá vrstva takéhoto systému sa nepíše v kóde. Píše sa v práve.