Postoji pitanje koje, pouzdanije od bilo kog drugog signala, odlučuje da li će projekat biti isporučen: ako se sutra ujutro odgovor modela promeni, kako ćete saznati?
Ako je odgovor „osetićemo to" — projekat je u nevolji. Ako je odgovor „evaluacija će pasti i Slack će nam reći" — projekat je na putu. Skoro sve ostalo u AI angažmanu nizvodno je od ovoga.
01. Evaluacija je ugovor
Većina timova tretira evaluacioni harness kao test infrastrukturu — nešto što će postaviti kasnije, kad model proradi. Ovo je tačno obrnuto. Evaluacija je ugovor između vas i modela: pisana, izvodljiva specifikacija šta se računa kao uspeh.
Bez nje, nemate projekat — imate utisak o tome da li model radi. Utisci se pomeraju. Modeli se menjaju. Šest nedelja kasnije, niko neće moći samouvereno da kaže da li je sistem bolji ili gori nego ranije, jer niko nije zapisao šta je značilo „bolji".
Evaluacija je najmanji mogući artefakt koji može da se ne složi sa vama. To je njen posao. — radni princip
02. Kako izgleda minimalna evaluacija
Ne zalažemo se za razrađenu ML infrastrukturu. Prva evaluacija u većini projekata je tabela:
- Kolona za ulaz — stvarno pitanje, stvarni dokument, stvarni tiket.
- Kolona za očekivani izlaz — odgovor koji bi dao senior član tima.
- Kolona za stvarni izlaz — šta je model proizveo.
- Kolona za prošlo/palo — i jednolinijska beleška kad padne.
Dvadeset redova. Četrdeset ako možete. Junior inženjer može da to poveže u noćni job za jedno popodne. Trošak je mali. Zaštita je ogromna.
Timovi koji to rade prestaju da imaju razgovore „čini se da je model gori ove nedelje". Imaju razgovore „red dvanaest je regresirao; evo razlike". Razlika je razlika između inženjeringa i praznoverja.
03. Neglamurozni deo
Pravljenje evaluacionog skupa primorava razgovor koji skoro svi žele da izbegnu: šta zapravo znači dobro ovde? Ovo je teže nego što zvuči, jer ljudi koji mogu da odgovore — senior član tima koji obavlja taj posao danas — nikad nisu morali da to zapišu.
Planirajte za ovaj razgovor. Dodelite osobu, dodelite nedelju, prihvatite da će razgovor izneti neslaganja koja su tiho koštala posao godinama. Evaluacija je isporuka; neslaganja koja izrone tokom izgradnje verovatno su vredniji izlaz.
04. Dva načina otkazivanja koje evaluacija sprečava
Dve specifične vrste otkazivanja javljaju se u projektima koji se puštaju bez evaluacije, a skoro nikada u projektima koji se puštaju sa njom:
- Tiha regresija pri nadogradnji modela. Nadogradnja frontijer modela stigne. Niko ništa ne menja. Sistem postane gori na kategoriji ulaza koju niko ne proverava. Tri nedelje kasnije, klijent se žali. Evaluacija bi to označila preko noći.
- Samouverena halucinacija na rubnim slučajevima. Sistem odgovori na pitanje koje je trebalo da odbije. Odgovor zvuči tačno. Niko ne primeti jer sistem „radi". Evaluacija bi, da je pokrivala rubni slučaj, glasno pala.
Oba ova problema neispravljiva su u retrospektivi. Rutina su u projektima sa evaluacijom.
Kratko zatvaranje
Svaka druga funkcionalnost u AI puštanju — model, prompt, preuzimanje, UI — nizvodno je od evaluacije. Evaluacija je ono što vam kaže da li su vaši ostali izbori bili tačni. Napravite je prvo. Napravite je malu. Pokrenite je na svakoj promeni. Pokažite je CFO-u. Timovi koji to rade puštaju drugi pilot. Timovi koji ne, ne.
