„Amazon“ naują dirbtinio intelekto sistemą nusprendė išbandyti Škotijoje. Iš tiesų ji turėjo veikti gana paprastai. Algoritmas turėjo mokytis iš anksčiau priimtų ir atmestų kandidatų duomenų ir interpretuoti, kurie žmonės geriausiai tinka konkrečiam darbui. Paprastai tariant, DI turėjo paimti 100 CV ir iš jų atrinkti 5 geriausius kandidatus, kuriuos „Amazon“ ir įdarbintų.
Sistema buvo beveik tobula. Ji nebuvo per daug laisva – gana griežtai žiūrėjo į kandidatų asmenines savybes, patirtį ir išsilavinimą. Tačiau jau po metų šios programos teko atsisakyti – dirbtinis intelektas nemėgo moterų. Žinoma, algoritmas dėl to nekaltas – tiesiog „Amazon“ dirba daugiau vyrų nei moterų.
Sistema išnarstė buvusių kandidatų duomenis ir nustatė, kad dauguma jų yra vyrai. Dirbtinis intelektas šį faktą interpretavo, kaip kompanijos teikiamą pirmenybę vyrams, todėl automatiškai atmetė moterų kandidatūras. Iš karto buvo atmetami tie gyvenimo aprašymai, kuriuose buvo matomas išsilavinimas vien moterų universitetuose, žodžiai „mama“, „moteris“ ir panašiai. „Amazon“, žinoma, nenori pagarsėti kaip diskriminuojanti kompanija, todėl DI buvo išjungtas.
Tai nėra pirmas toks keisto DI elgesio atvejis. DI yra objektyvus ir naudoja tuos duomenis, kuriuos gauna. Šios sistemos nežino mūsų socialinių normų, vadovų nuomonės, įstatymų. Pavyzdžiui, anksčiau DI sistema buvo pasitelkta socialinių rizikų vertinimui ir ji juodaodžius vertino, kaip labiau linkusius nusikalsti, nes taip interpretavo turimus statistinius duomenis. Rasistiškas tendencijas demonstravo ir socialiniuose tinkluose paleisti DI algoritmai.
„Amazon“ bandė pataisyti savo algoritmą, tačiau jis užsispyrusiai nenorėjo atrinkti moterų. Kita problema buvo tai, kad kartais algoritmas siūlė įdarbinti netinkančius kandidatus. Taip nutiko todėl, kad vienas savybes DI algoritmas vertino, kaip svarbesnes nei kitas. Taigi, vieną svarbią gerąją savybę turintis kandidatas lenkė tuos, kurie turėjo kelias mažiau svarbias.
„Amazon“ atsisakė DI algoritmų įdarbinimo procese. Dabar šie darbai vykdomi daugmaž tradiciniu būdu. „Amazon“ tvirtina, kad įvairovė darbo vietoje kompanijai yra labai svarbi.