Sprendimas „amžinoms“ egzaminų problemoms spręsti: leisk robotui laikyti jį už tave

O ką, jei studentai baigiamųjų egzaminų dieną galėtų ramiai miegoti, leisdami kompiuterinei programai laikyti testą už juos? Įsivaizduokime hipotetinę adaptyvią programinę įrangą – pavadinkime ją „NeverTest“ – galinčią išlaikyti egzaminą pagal studento gebėjimus. Jei tokia sistema būtų įgyvendinta, dėstytojai galėtų vertinti programos atliktus testus, neversdami susinervinusių studentų sėdėti ir drebėti.

Taip, tai tėra mintinis eksperimentas – bet patikėkite manimi. Studentas visą semestrą atliktų užduotis su „NeverTest“, o atėjus laikui įvertinti jo žinias, egzaminą laikytų ne jis, o programa – darydama klaidas, kurias pagal algoritmo prognozę darytų studentas.

Visas reikalingas tikslumas – ir jokio nerimo.

Kažin, ar tai ką nors papiktintų. Vis daugiau duomenų rodo, kad mokymosi analizė semestro metu gali tiksliai prognozuoti galutinius pažymius. Žinoma, liepti programinei įrangai laikyti egzaminą ir daryti numatytas klaidas – nieko ypatingai gudraus. Viskas, ko reikia – tai pakankamai didelis duomenų rinkinys; kuo daugiau užduočių, tuo tikslesnės prognozės.

Ar šis pasiūlymas jums visgi atrodo abejotinas? Į galvą ateina dvi galimos priežastys: pirma, studentai gali sukčiauti atlikdami užduotis, kurias algoritmas naudotų egzaminų klaidoms prognozuoti; ir antra, programinė įranga gali pateikti klaidingas prognozes.

Nagi, aptarkime šias abejones.

Deja, studentai iš tiesų sukčiauja. Ir dažnai. Visame pasaulyje populiarėja tai, kas vadinama „sukčiavimu pagal susitarimą“ – kai studento darbą už jį atlieka trečioji šalis. Kai kuriuose tyrimuose daugiau nei 15 proc. studentų prisipažįsta bent kartą sukčiavę. Gerokas sukčiautojų skaičius tikriausiai sukčiauja ir apklausose apie sukčiavimą, todėl tikėtina, kad ši proporcija netgi dar didesnė.

Elitiniai universitetai yra tokie pat pažeidžiami, kaip ir bet kuri kita mokymo įstaiga. 2015 m. Stanfordo rektorius paskelbė atvirą laišką apie „neįprastai didelį nerimą keliančių pranešimų apie akademinį nesąžiningumą skaičių“, įskaitant vieną sukčiavimo atvejį, „prie kurio galėjo prisidėti net 20 proc. vieno didelio įvadinio kurso studentų“. 2012 m. Harvardas nagrinėjo kaltinimus, esą 125 vieno dalyko studentai – pusė viso kurso – atlikdami užduotis sukčiavo.

Taigi galima įsivaizduoti, kad naudodami mano hipotetinę „NeverTest“ programinę įrangą, didelė dalis studentų pažeidinėtų taisykles. Jei adaptyviosios programinės įrangos tikslas – semestro metu rengiantis baigiamiesiems egzaminams įvertinti studento stipriąsias ir silpnąsias puses, studentas gali paprasčiausiai pasamdyti kažką protingesnį, darbštesnį ar mažiau nerimaujantį už save, o tada leisti „NeverTest“ įvertinti pasamdyto asmens stiprybes ir silpnybes.

Tačiau ši problema būtų aktuali tik tuo atveju, jei su „NeverTest“ padidėtų sukčiavimo proporcija. O aš sakyčiau, kad sukčiavimo galėtų netgi sumažėti. Vienas dalykas – mokėti savo pavaduotojui, kad jis už tave atsėdėtų baigiamąjį egzaminą, vieną konkretų įvykį; kas kita, jei tektų mokėti pavaduotojui už tai, kad šis visą semestrą atliktų už tave visas užduotis.

Be to, egzistuoja daugybė būdų užtikrinti, kad priešais kompiuterį sėdi tas, kas ir turi sėdėti, įskaitant kelis būdus, kurie studentams gali nepatikti. To galima būtų išvengti, jei „NeverTest“ būtų neprivaloma. Semestro metu adaptyvią programinę įrangą galėtų naudoti tik tie, kas nenori sėdėti baigiamajame egzamine. Bet net jeigu aktyviausi įrangos naudotojai būtų studentai su neįprastai aukštu nerimo lygiu, lengva įsivaizduoti, kad programinė įranga ilgainiui taptų neatsiejama mokymosi proceso dalimi.

Be abejo, didesnį susirūpinimą kelia tai, kad „NeverTest“ algoritmas galėtų būti klaidingas. Galbūt jis netiksliai numatytų, kokias klaidas studentai būtų padarę, jei būtų laikę egzaminą patys. Kiekvienam dėstytojui yra tekę sutikti studentų, kurie visą semestrą vargsta, o per egzaminą netikėtai pražysta. „NeverTest“ neužfiksuotų sunkaus darbo ir ryžto, kuris tokiems studentams padeda sėkmingai įveikti sunkumus.

Ką gi.

Kažin, ar studentų, kurie per egzaminus pasirodo netikėtai gerai, patirtą žalą atlygintų žala, kurios išvengtų per egzaminus netikėtai blogai pasirodantys studentai. Noras apdovanoti studentus, kurie pražysta pavėluotai, paaukojant tuos, kurie pražysta anksti, gali būti paprasčiausias šališkumas.

Bet kuriuo atveju, abiejų klaidų tipų paplitimas galėtų būti sumažintas, jei mano hipotetinei programinei įrangai būtų leidžiama geriau įvertinti studentų gebėjimus. Informatikos studijose sėkmingas pirmųjų užduočių atlikimas gali reikšmingai prognozuoti galutinį pažymį. Manyčiau, kad šį rezultatą lengva atkartoti kitose panašiose studijų programose (matematikos, technologijų, inžinerijos ir pan.), galbūt dar ekonomikoje ar užsienio kalbose – visose srityse, kuriose nuolatiniai namų darbai teikia nuolatinį grįžtamąjį ryšį.

Įtariu, kad dažniausiai studentai pranoksta pirminius lūkesčius tradicinėse „paskaitos-egzaminai“ studijose – humanitarinių ir socialinių mokslų (bei, žinoma, teisės). Tokiu atveju vėlai pražystantis studentas gali tapti nepakankamos duomenų bazės – arba netinkamo duomenų fiksavimo – auka. Tarkim, rezultatai atliekant užduotis klasėje gali būti nesusiję su išmatuojamais gebėjimais. (2018 m. atliktas medicinos studentų tyrimas nerado koreliacijos tarp paskaitų lankomumo ir egzamino balo.) Be to, kaip mums visiems žinoma, studentų vertinimas pagal atsakymus į klausimus neišvengia rasinių ir lyties nuostatų.

Tam, kad programinė įranga „NeverTest“ surinktų pakankamai duomenų, reikės pakankamai daug užduočių – ir klausimai turėtų būti kiek įmanoma objektyvesni. Galbūt tai pernelyg sudėtinga tais atvejais, kai mokoma „ne iš vadovėlio“. Tačiau nerimo įtaką egzaminų rezultatams socialiniai mokslai nustatė jau seniai.

Visa tai, kaip minėjau, tėra mintinis eksperimentas. Tačiau nenustebčiau, jei tokia būtų mūsų ateitis. Taigi savo draugams Silicio slėnyje sakau: budėsiu prie telefono.