Lecție gratuită · De ce cad agenții
Modelul nu ascultă: greu de dirijat, scump de rulat
Din cursul Agenți în producție, 20 lecții. O poți citi întreagă, fără cont.
Al doilea strat de probleme nu ține de proiectare, ci de materialul din care e făcut agentul. Un model de limbaj nu execută instrucțiuni, ci le interpretează. Diferența pare filozofică până când o vezi pe factură.
Greu de dirijat
Un model e antrenat pe o cantitate uriașă de text, iar comportamentul lui e o medie a acelui text, nu o consecință a instrucțiunii tale. Când îi ceri ceva ce se abate de la ce a văzut cel mai des, instrucțiunea ta concurează cu obișnuința lui — și nu câștigă mereu.
În practică asta arată așa: agentul respectă regula în nouăzeci de cazuri și o încalcă în zece, fără un tipar evident. Nu s-a stricat. Nu s-a „supărat”. Pur și simplu în cele zece cazuri contextul a împins mai tare decât instrucțiunea.
Trei pârghii, în ordinea raportului dintre efect și efort:
| Pârghie | Ce faci | Când ajută | Cost |
|---|---|---|---|
| Prompt specializat | Instrucțiuni scurte, pentru o singură sarcină, cu exemple de rezultat corect | Aproape întotdeauna, primul lucru de încercat | Ore |
| Design ierarhic | Spargi agentul mare în agenți mici, coordonați de unul singur | Când un singur agent are prea multe decizii de luat | Zile |
| Ajustare fină a modelului | Antrenezi modelul pe datele tale | Când primele două s-au epuizat și ai date suficiente | Săptămâni, plus expertiză |
Ordinea contează. Ajustarea fină e răspunsul pe care îl aud cei mai mulți antreprenori întâi și e aproape mereu ultimul de încercat.
Reține
Designul ierarhic e cea mai subestimată pârghie. Un agent care are de ales între patru unelte și trei ramuri de decizie greșește mult mai rar decât unul care are de ales între douăzeci de unelte și cincisprezece ramuri. Nu pentru că e mai deștept, ci pentru că are mai puține feluri de a greși.
Comportament imprevizibil, la propriu
Același text de intrare, același agent, două rulări la câteva minute distanță: două rezultate diferite. Nu e o defecțiune, e felul în care funcționează modelele.
Consecința operațională e serioasă. Nu poți reproduce un incident cerând sistemului să repete. Dacă un client îți spune „agentul mi-a zis ieri altceva”, nu ai cum să verifici rulând din nou. Poți verifica numai dacă ai înregistrat ce s-a întâmplat atunci. Modulul 4 e despre exact asta.
Atenție
Există un buton care reduce variația — parametrul care controlează cât de „creativ” răspunde modelul, dus la zero. Reduce, nu elimină. Un furnizor care îți promite rezultate identice de fiecare dată fie nu înțelege ce vinde, fie speră că tu nu înțelegi.
Costul de rulare, cel care surprinde
Costul de construcție e vizibil și se negociază. Costul de rulare curge lunar și crește singur.
Un agent care are o buclă de gândire consumă la fiecare pas tot contextul acumulat până atunci. Zece pași nu costă de zece ori cât unul — costă mai mult, fiindcă la fiecare pas cărăm din nou tot ce s-a spus înainte. Un agent care rulează de o mie de ori pe zi și face în medie cu trei pași mai mult decât ar trebui e o factură care crește fără ca nimeni să fi schimbat nimic.
Exemplu
O agenție care procesa cereri de ofertă a pornit un agent la un cost estimat de câțiva bani pe cerere. După două luni, factura era de cinci ori mai mare. Cauza nu era volumul, ci faptul că agentul recitea documentul complet la fiecare întrebare nouă despre același document, în loc să reia ce înțelesese deja.
Pârghiile de cost le desfacem în lecția 4.3. Aici e suficient să reții că ele există și că se activează după lansare, nu înainte.
Exercițiu
Pentru sarcina ta, estimează în scris trei cifre: de câte ori pe lună rulează agentul, cât ai fi dispus să plătești pe o rulare și cât ar trebui să coste ca să nu mai aibă sens. A treia cifră e pragul tău de oprire. Notează-l — îl vei folosi în modulul 3.
Ți-a plăcut lecția?
Restul cursului merge la fel: lecții scrise, pas cu pas.