Lecție gratuită · De ce inventează și cum îl legi de realitate
RAG: memoria pe care o poți schimba
Din cursul RAG: dă-i AI-ului datele tale, 20 lecții. O poți citi întreagă, fără cont.
RAG vine de la retrieval-augmented generation — generare sprijinită pe căutare. Ideea, în două propoziții: înainte ca modelul să scrie un cuvânt, un sistem caută în documentele tale pasajele care au legătură cu întrebarea și i le pune în față. Modelul răspunde având materialul deschis lângă el.
Metoda a fost propusă de Meta în 2020 și a devenit între timp modul obișnuit în care o firmă își leagă AI-ul de propriile date.
Două memorii, una pe care o poți edita
Un model are ce se numește memorie parametrică: tot ce a rămas în el din antrenament. E imensă, e generală și e înghețată. Nu poți scoate din ea o informație greșită și nu poți băga în ea prețul tău de ieri.
RAG adaugă o memorie externă: documentele tale, ținute separat, căutate la fiecare întrebare. Diferența practică e uriașă. Adaugi un document azi și sistemul îl folosește imediat. Ștergi unul greșit și dispare din răspunsuri. Nu reantrenezi nimic.
Exemplu
O firmă de contabilitate primește săptămânal aceleași treizeci de întrebări despre plafoane, termene și documente necesare. Cu RAG, asistentul răspunde din procedurile lor interne, nu din ce a citit modelul pe internet acum doi ani. Când se schimbă un plafon, se schimbă documentul și gata — nimeni nu atinge modelul.
Ce câștigi de fapt: nu exactitatea, ci verificabilitatea
Cei mai mulți cred că avantajul principal e răspunsul corect. E important, dar nu e cel mai valoros.
Cel mai valoros e că poți arăta de unde vine răspunsul. Sistemul știe ce pasaje a folosit, deci poate cita documentul și paragraful. Asta transformă un asistent dintr-o curiozitate într-un instrument pe care îl poți pune în fața unui client, a unui auditor sau a unui om din echipă care trebuie să decidă.
Un răspuns fără sursă nu poate fi verificat, deci nu poate fi folosit în ceva ce contează. Un răspuns cu sursă poate fi verificat în zece secunde.
Ce NU face RAG
Aici se pierd cele mai multe proiecte, fiindcă lumea cumpără așteptări greșite.
- Nu schimbă comportamentul modelului. Stilul, tonul, felul în care formulează rămân ale modelului. RAG îi dă informație, nu personalitate și nu deprinderi noi.
- Nu garantează răspunsul corect. Dacă a căutat prost și i-a adus pasaje irelevante, modelul răspunde prost.
- Nu înțelege afacerea ta. Nu știe că procedura din 2023 a fost înlocuită, dacă amândouă stau în arhivă.
- Nu repară documente prost scrise. Dacă procedura ta e ambiguă, răspunsul va fi ambiguu, doar mai bine formulat.
Atenție
Cel mai contraintuitiv lucru din lecția asta: un sistem de căutare slab e mai rău decât niciun RAG. Când sistemul aduce pasaje care par relevante și nu sunt, modelul le ia de bune și construiește pe ele. Un context irelevant, dar cu aer de autoritate, crește riscul de invenție față de situația în care modelul n-ar fi primit nimic. De asta modulul 2 și modulul 3 sunt despre căutare, nu despre model.
Cum arată, din afară
Utilizatorul pune o întrebare în limbaj obișnuit. Primește un răspuns în limbaj obișnuit, plus, ideal, lista documentelor folosite. Între cele două se întâmplă cinci pași, pe care îi desfacem în lecția următoare.
Reține
Reține împărțirea, fiindcă e busola întregului curs: modelul răspunde, căutarea decide dacă are din ce. Aproape toate problemele pe care le vei întâlni sunt probleme de căutare deghizate în probleme de model.
Exercițiu
Ia cele cinci întrebări frecvente pe care le-ai notat în lecția anterioară. Pentru fiecare, scrie în ce document se află răspunsul și dacă răspunsul e într-un singur pasaj sau împrăștiat în mai multe. Marchează cu o steluță întrebările la care nici tu nu ești sigur unde e răspunsul — alea îți vor arăta, mai târziu, limitele sistemului.
Ți-a plăcut lecția?
Restul cursului merge la fel: lecții scrise, pas cu pas.