AI piloti skoro nikada ne izgledaju u trećem mesecu kao što su izgledali u trećoj nedelji. Demo je lakši deo.
Evo nečega što vam niko ne kaže o AI pilotima: ne padaju onako kako očekujete. Ne ruše se zato što je model pogrešan, prompt loš ili vektorska baza spora. Padaju jer u trećem mesecu šampiona povuku na drugi požar, podaci na kojima je agent obučen se pomere, a osoba koja bi uhvatila regresiju više ne gleda.
Ovo je tekst o četiri navike koje odvajaju pilote koji preživljavaju treći mesec od onih koji ne preživljavaju.
01. Preuzmi evaluaciju pre nego što preuzmeš model
Ako ne možete u jednom pasusu opisati kako izgleda „dobro" za vašeg agenta, nemate projekat. Imate utisak. Prva isporuka koju svaki angažman treba da proizvede je harness za evaluaciju — skup pravih pitanja, pravih odgovora i automatski način provere agenta.
Pravljenje ovoga nije seksi. Ali je ono što vam dozvoljava da spavate noću. Kada se model nadogradi sledećeg meseca — a hoće — vaša evaluacija je jedini signal koji vam kaže da li ste bolji, gori ili isti. Bez nje radite na veri.
Evaluacija nije čekboks. To je jedina funkcionalnost koja je važna u prvih trideset dana. — postmortem
Firme koje padaju u trećem mesecu skoro uvek su pravile evaluaciju u dva i po. Tada su već krpile, ne merile.
02. Izaberi klin, ne transformaciju
Najveća usluga koju možete učiniti budućem sebi je da izaberete tok rada koji možete opisati na papiriću. Ne „želimo AI u operacijama". Ne „inteligentna automatizacija kroz back-office". Klin izgleda ovako:
- Vreme izrade ponude za dolazne RFQ.
- Prvi nacrti odgovora na tikete u jednoj kategoriji.
- Usaglašavanje stavki između dva sistema koji bi trebalo da se slažu, ali se ne slažu.
Klinovi su veličine jedne timske iritacije. Koštaju manje od kvartalne plate seniora. Isporučuju se za nedelje, ne kvartale. I — kritično — kada rade, finansiraju sledeći klin bez memoa o transformaciji.
03. Prvo poveži jezero, pa onda agenta
Ovo je navika koja razdvaja angažmane koji se akumuliraju od onih koji ostaju jednokratni. Većina timova prvo posegne za agentom jer je agent vidljivi deo. Jezero — dosadna, deduplicirana, šemirana hrpa pravih podataka vaše firme — je deo koji određuje da li je drugi pilot jeftin ili skup.
Povežite ga jednom. Reflektujte svaki sistem od koga vaša firma stvarno zavisi u mesto koje kontrolišete. Postgres, S3, Iceberg, šta god vaš tim ume da održava. Ne kuvajte okean — počnite sa sistemima koji su potrebni vašem klinu — ali pišite konektore kao da će vam trebati još deset.
Treći pilot će platiti prvo jezero. Peti pilot je besplatan.
04. Ostanite dosadni namerno
Najbolje AI implementacije izgledaju skoro identično dobrim softverskim implementacijama od pre deset godina. Code review. CI. Staging. Feature flagovi. Pravo on-call dežurstvo kada agent radi pravi posao. Model je egzotičan. Način na koji isporučujete model ne bi trebalo da bude.
Ovo je teže nego što zvuči, jer struka nagrađuje novost u razgovoru, a kažnjava je u produkciji. Svakog kvartala je novi frejmvork, novi obrazac, novi način orkestracije tool calls. Većina je u redu. Skoro nijedan nije vredan migracije.
Lista četiri navike, jednostavno
- Prvo evaluacija. Zapišite kako izgleda dobro, kao testovi, pre nego što napišete promptove.
- Klin, ne vizija. Jedan tok, jedan tim, jedan kvartal.
- Jezero pre agenta. Dosadna infrastruktura određuje cenu drugog pilota.
- Dosadna isporuka. Tretirajte AI implementaciju kao produkcioni softver kakav i jeste.
Radna teorija
Ako iz ovog teksta ponesete jednu stvar, neka bude ova: način na koji AI piloti padaju nije tehnički. Organizacioni je. Tim koji isporučuje drugi pilot izgradio je navike koje tim koji ne isporučuje nije. Te navike nisu pomodne. Ali su jedine koje preživljavaju kontakt sa trećim mesecom.
Ako želite pomoć u gradnji tih navika, rado ćemo porazgovarati. Ako više volite sami, ova četiri su mesto za početak.
