RAG nije pretraga: uvod za operatere.

Prvi put kada povežete vektorsku bazu sa jezičkim modelom i vidite kako odgovara na pitanje tekstom iz vaših dokumenata, događa se nešto što izgleda kao magija. Drugi put, odgovor je suptilno pogrešan. Treći put, ne možete da prosudite da li je tačan ili ne — a ni model ne može.

Ovo je deo retrieval-augmented generation o kojem vam niko ne govori unapred. Nije pametniji pretraživač. To je sistem koji daje samouverene tvrdnje na osnovu onoga što ste slučajno preuzeli — uključujući i kad je preuzeto bilo izvan teme.

01. Pretraga vraća linkove. Preuzimanje vraća odgovore.

Web pretraživač rangira dokumente i ostavlja vama da odlučite koji ćete čitati. Dvosmislenost ostaje na vama, čoveku. Skrolujete, prelistavate, vraćate se, probate drugi upit.

Sistem za preuzimanje vuče fiksan broj delova iz vašeg korpusa i predaje ih modelu kao da su istina. Model onda piše tečnu rečenicu kao da je to jedini postojeći materijal. Nema skrolovanja, prelistavanja, dugmeta nazad. Ono što ste preuzeli — to je svet.

Ovo je tihi način otkazivanja. Ako preuzimanje vrati pogrešna četiri pasusa, model napiše samouveren, citatima potkrepljen odgovor koji je pogrešan na način koji se čita potpuno isto kao i tačan odgovor.

U pretrazi, dvosmislenost je podeljena između vas i indeksa. U preuzimanju, model je rešava za vas — tiho i samouvereno.

02. Tri mesta gde sve utihne

Kada operateri puštaju prvog agenta, iste tri greške se ponavljaju:

• Korpus je kontradiktoran. Dve politike, obe važeće, obe preuzete, obe tretirane kao istina. Model nađe sredinu. Niko ne primeti.
• Delovi su premali. Klauzula koja je zavisila od rečenice iznad nje preuzeta je sama. Odgovor je tehnički potkrepljen — i suštinski pogrešan.
• Upit je pogrešnog oblika. Korisnik pita „kako rešavamo ovo?", a dokument indeksiran pod tom frazom opisuje kako se nekad rešavalo, ne kako se sada rešava.

Nijedan od ovih problema nije problem modela. Nijedan se ne rešava boljim embeddingom. To su problemi sadržaja, prerušeni u probleme mašinskog učenja.

03. Šta raditi umesto „prebaciti se na bolji model"

Kada RAG sistem razočara, instinkt operatera je da promeni LLM. Skoro uvek pogrešno. Najkraći put nazad ka funkcionalnom sistemu je, ovim redom:

1. Pogledajte šta je preuzeto, a ne šta je generisano. Uzmite dvadeset stvarnih pitanja, logujte delove, pročitajte ih. Za sat vremena znaćete da li preuzimanje radi.
2. Skratite korpus pre nego što štelujete embeddinge. Povučene politike, radne verzije dokumenata, duplikati duplikata — većina baza znanja ima 30% buke po obimu. Sečenje buke daje bolje rezultate od nadogradnje modela.
3. Prepišite pitanja pre nego što prepišete promptove. Ako korisnici pitaju jedno, a korpus je indeksiran pod drugim, embedding ne može premostiti taj jaz. Rečnik pojmova ili korak prepisivanja upita često uradi više od promene vektorske baze.

Kratak zaključak

RAG nije sinonim za „pametnu pretragu". To je način da stavite model pod odgovornost da sintetizuje sve što mu date. To ga čini moćnim kada je korpus čist i pouzdan — i tiho opasnim kada nije.

Timovi koji izvuku vrednost iz preuzimanja tretiraju ga onako kako dobri urednici tretiraju izvore: skeptično, sa praćenjem traga i sa pretpostavkom da je citat važniji od proze oko njega.