,

Mans AI palīgs kļūdījās. Ko es no tā iemācījos

·

Zīmuļa gals ar rozā dzēšgumiju un metāla uzmavu tuvplānā

Par AI palīgiem parasti stāsta, cik daudz tie paveic. Vai esi pamanījis, cik reti kāds stāsta, kā tie kļūdās? Šoreiz par otru pusi.

Savus projektus veidoju kopā ar AI palīgu: tas lasa kodu, veic izmaiņas un palaiž pārbaudes, bet es uzdodu uzdevumu un apstiprinu to, kas nonāk dzīvē. Kad kaut kas noiet greizi, tas tiek pierakstīts piezīmju failā, lai nākamreiz nebūtu tāpat. Izvilku no turienes trīs ierakstus. Vārdus un nosaukumus atstāju ārpusē, jo svarīga ir mācība, nevis vieta.

Pārbaudes bija zaļas, bet īstā datubāze nepiekrita

Pirms izmaiņas nonāk dzīvajā lapā, tās iziet cauri automātiskām pārbaudēm. Toreiz visas bija zaļas. Izmaiņas aizgāja dzīvē, un viena mana paša projekta lapa pārstāja atvērties.

Iemesls izrādījās gandrīz smieklīgs. Vienā datubāzes laukā pēc noklusējuma bija paredzēts ierakstīt vārdu, kas ir garāks, nekā šis lauks atļauj. Pārbaudes darbojās vienkāršotā vidē ar piedodošāku datubāzi, kas tādiem sīkumiem nepievērš uzmanību. Īstā datubāze izmaiņu atteicās pieņemt, un lapa nepacēlās, līdz kļūda bija izlabota.

Starp citu, neviens šajā stāstā nemeloja. Pārbaudes tiešām bija zaļas. Tikai tās atbildēja uz jautājumu «vai strādā izmēģinājuma vidē?», bet man vajadzēja zināt, vai strādās īstajā.

Mācība: zaļa pārbaude pasaka tikai to, ka viss strādā tur, kur pārbaudīji. Tagad izmaiņas, kas skar datubāzi, pirms publicēšanas tiek izmēģinātas uz tāda paša veida datubāzes, kāda ir dzīvajā lapā.

Serveris teica «labi», apmeklētājs redzēja «neizdevās»

Otrs stāsts ir par saziņas formu mājaslapā. Pārbaude bija vienkārša: nosūtām datus serverim, un serveris atbild, ka viss saņemts un saglabāts. Tātad forma strādā?

Nē. Cilvēks, kurš formu aizpildīja un nospieda pogu, redzēja uzrakstu «Neizdevās nosūtīt». Viņa ziņa tikmēr bija veiksmīgi saglabāta. Kļūda slēpās mazā koda gabaliņā, kam pēc nosūtīšanas bija jāparāda pateicības lodziņš. Tas salūza, un programma šo sīko kļūmi nosauca par nosūtīšanas neveiksmi.

Iedomājies to no apmeklētāja puses: viņš uzraksta, saņem atteikumu, mēģina vēlreiz vai vienkārši aiziet. Tikmēr visās pārbaudēs viss ir kārtībā.

Mācība: ja cilvēkam redzamais rezultāts parādās pēc servera atbildes, tad servera atbilde vēl nav pierādījums. Formu pārbauda, aizpildot to un nospiežot pogu, tāpat kā to darītu apmeklētājs. Un vēl viena lieta – rotājuma kļūme nekad nedrīkst pārvērst izdevušos darbību par paziņojumu «neizdevās».

«Uz mums tas neattiecas» – pateikts par ātru

Trešais ieraksts ir par drošības brīdinājumu. Tie izskatās apmēram tā: kādā plaši lietotā programmā atrasta vāja vieta, pārbaudiet, vai tā skar jūsu lapas.

Pirmais skaidrojums bija, ka brīdinājums uz mums neattiecas, jo attiecīgā iespēja mūsu uzturētajās lapās nav ieslēgta. Tas izklausījās loģiski un jau bija pierakstīts kā izlemts. Pārbaudot vēlreiz, atklājās, ka skaidrojums ir par vienu soli par platu: ir gadījums, kurā tā pati vājā vieta rodas pa citu ceļu, arī bez šīs iespējas.

Šeit kļūdas cena abās pusēs nav vienāda. Ja brīdinājums paliek, lai gan nevajadzēja, tas maksā nedaudz uzmanības. Ja brīdinājums pazūd, lai gan vajadzēja, to neviens nepamana, līdz ir par vēlu.

Mācība: «uz mums tas neattiecas» ir pieņēmums, nevis secinājums. Pirms saki «droši», pārbaudi un parādi skaitli, ne tikai pamatojumu. Tad pamēģini pats apgāzt savu skaidrojumu – kurā gadījumā tas nebūtu patiess? Un atceries, ka «nezinām» nav tas pats, kas «droši».

Kas visām trim ir kopīgs

Visos trijos gadījumos «izskatās labi» tika noturēts par «ir labi». Zaļa pārbaude, pieklājīga servera atbilde, loģisks skaidrojums – tas viss ir soli tuvāk patiesībai, bet vēl nav tas, ko redz dzīvs cilvēks pie ekrāna.

Vēl viena lieta, ko pamanīju: neviena no šīm kļūdām nebija paviršība. Katrā gadījumā pārbaude tika veikta, tikai tā apstājās vienu soli par agru. Tāpēc vispārīgs noteikums «pārbaudi!» nepalīdz. Palīdz noteikums, kas pasaka, ko tieši un kur pārbaudīt.

Negribu to visu uzvelt AI. Gala vārds ir mans, tātad arī kļūdas ir manas. Palīgs, kurš kļūdās, mani nebiedē. Vairāk biedētu palīgs, kura kļūdas neviens nepieraksta. Tāpēc tagad darbu par gatavu saucam tikai tad, kad tas ir pārbaudīts tur, kur to lietos cilvēki.

Savulaik rakstīju, ka svarīgākais jautājums ir – ko Tu šodien esi iemācījies? Tas der gan cilvēkam, gan mākslīgajam intelektam. Kur Tu pieraksti savas mācības?

Vāka foto: Liji Jinaraj from San Francisco, USA, apgriezts · CC BY-SA 2.0 · Wikimedia Commons

Mārtiņš Doniņš

Mārtiņš Doniņš

Veidoju un uzturu mājaslapas, būvēju CoreDigify, MaKoRo.lv un DigifyScope. Šeit rakstu par to, ko pats daru un pārbaudu. Par mani →

Atbildēt