Sustave koji se koriste za zapošljavanje, upravljanje radnim učinkom i donošenje odluka koje utječu na zaposlenike Uredba (EU) 2024/1689 Europskog parlamenta i Vijeća od 13. lipnja 2024. o utvrđivanju usklađenih pravila o umjetnoj inteligenciji (dalje: Akt o UI-ju)1 svrstava u visokorizičnu kategoriju i za njih propisuje obvezu ljudskog nadzora koji mora biti sadržajan, a ne samo formalan. Naime, ako fizička osoba kojoj je povjeren nadzor nad sustavom nije u mogućnosti donijeti odluku drukčiju od one koju joj sustav predlaže, nadzor je samo forma jer odluku je de facto donio algoritam, a čovjek ju je samo potvrdio. Upravo tu nastaje temeljni regulatorni problem. S raširenom primjenom sustava umjetne inteligencije u upravljanju zaposlenicima raste i sklonost automatskom prihvaćanju njihovih izlaznih rezultata, pri čemu formalni nadzor ostaje bez sadržaja.
Poslodavci koji već danas primjenjuju takve sustave, a takvi sustavi prisutni su i u hrvatskoj poslovnoj praksi, suočeni su s činjenicom da Opća uredba o zaštiti podataka i Zakon o radu ("Narodne novine", br. 93/14., 127/17., 98/19., 151/22., 64/23.; dalje u tekstu: ZOR) već sada postavljaju zahtjeve pred poslodavce čija primjena, u ovom kontekstu, nije sustavno razrađena ni u inspekcijskoj ni u sudskoj praksi, dok Akt o UI-ju za subjekte koji uvode visokorizične UI sustave postupno uvodi dodatne organizacijske obveze i obveze dokumentiranja. Članak analizira što od poslodavca zahtijeva postojeći zakonski okvir u primjeni umjetne inteligencije u radnim odnosima i nudi smjernice za praktičnu primjenu.
1. Uvod
Akt o UI-ju stupio je na snagu u kolovozu 2024., a obveze za dobavljače i subjekte koji uvode visokorizične UI sustave primjenjuju se od 2. kolovoza 2026., odnosno 2. kolovoza 2027.2 Akt o UI-ju u Prilogu III., točki 4. sustave koji se koriste za zapošljavanje, selekciju, napredovanje, prestanak radnog odnosa, dodjelu zadataka, praćenje i ocjenjivanje radnog učinka svrstava u visokorizičnu kategoriju. Za takve sustave članak 14. Akta o UI-ju propisuje dobavljaču obvezu da sustav projektira i razvije na način koji fizičkim osobama, kojima je povjeren nadzor, omogućuje djelotvoran nadzor tijekom primjene. Obvezu provedbe tog nadzora u fazi primjene sustava članak 26. stavak 2. Akta o UI-ju nameće subjektu koji uvodi sustav, u radnopravnom kontekstu, poslodavcu.
Svrha obveze ljudskog nadzora je, sukladno članku 14. stavku 2., spriječiti ili što više smanjiti rizike za zdravlje, sigurnost ili temeljna prava koji se mogu pojaviti tijekom upotrebe sustava. Konkretno, fizička osoba kojoj je povjeren nadzor mora biti u mogućnosti razumjeti sposobnosti i ograničenja sustava, ispravno tumačiti njegove izlazne rezultate te, prema potrebi, intervenirati ili prekinuti rad sustava.
Sa širenjem primjene sustava umjetne inteligencije (dalje: UI sustavi) u poslovnom okruženju poslodavci sve češće odluke o ocjenjivanju, razvrstavanju ili odabiru zaposlenika povjeravaju automatiziranim sustavima. S tim delegiranjem raste i sklonost nekritičkom prihvaćanju izlaznih rezultata tih sustava (tzv. automatska pristranost), pri čemu nadzorne osobe u pravilu slijede preporuku sustava bez da raspolažu informacijama dovoljnim za sadržajnu provjeru.3 Uloga čovjeka u takvom postupku svodi se na provođenje formalnog nadzora, odnosno na praćenje rada sustava bez stvarnog uvida u kriterije po kojima sustav donosi zaključke i bez mogućnosti smislene provjere ispravnosti tih zaključaka. Članak 14. Akta o UI-ju taj problem adresira propisivanjem obveze sadržajnog ljudskog nadzora. Stoga je razumijevanje što ta obveza u praksi znači ključno za sve poslodavce koji već danas uvode ili planiraju uvesti UI alate u upravljanje zaposlenicima, jer Zakon o radu i Uredba (EU) 2016/679 Europskog parlamenta i Vijeća od 27. travnja 2016. o zaštiti pojedinaca u vezi s obradom osobnih podataka i o slobodnom kretanju takvih podataka te o stavljanju izvan snage Direktive 95/46/EZ (Opća uredba o zaštiti podataka) (dalje: GDPR)4 postavljaju zahtjeve koji vrijede već sada, neovisno o rokovima primjene Akta o UI-ju.
1.1. Što je ljudski nadzor i u kojim fazama se provodi
GDPR i Akt o UI-ju ljudski nadzor uređuju na različite načine, u različitim fazama i prema različitim adresatima, no oba zakonska akta zahtijevaju da intervencija čovjeka, odnosno ljudski nadzor bude sadržajan, a ne simboličan.5
Članak 22. GDPR-a ispitaniku (zaposleniku) daje pravo da o njemu ne odlučuje isključivo automatiziran sustav, ako ta odluka ima pravni ili bitno sličan učinak. Čovjek mora biti uključen u proces odlučivanja prije nego što odluka proizvede pravni učinak ili naknadno preispitati tu odluku na zahtjev ispitanika. GDPR tu obvezu postavlja u fazi primjene sustava i ne uređuje tu obavezu u fazu njegova razvoja.
Akt o UI-ju obveze o ljudskom nadzoru uvodi već u fazi razvoja sustava. Sukladno članku 9., dobavljač visokorizičnog UI sustava dužan je uspostaviti sustav upravljanja rizicima koji obuhvaća cijeli životni ciklus sustava, od razvoja do stavljanja na tržište. Članak 13. dobavljaču nalaže osigurati dostatnu transparentnost i tehničku dokumentaciju kako bi subjekt koji uvodi sustav mogao razumjeti i pravilno koristiti izlazne rezultate, a članak 14. uređuje zahtjeve za ljudski nadzor u fazi primjene tijekom koje nadzorna osoba mora biti u mogućnosti razumjeti sposobnosti i ograničenja sustava, ispravno tumačiti njegove izlazne rezultate te intervenirati ili prekinuti rad sustava. Sukladno članku 26. stavku 5. Akta o UI-ju, subjekt koji uvodi sustav, u radnopravnom kontekstu to je poslodavac, dužan je pratiti funkcioniranje sustava i odmah obavijestiti dobavljača ako utvrdi ozbiljan incident.6
Zajedničko GDPR-u i Aktu o UI-ju je da oba akta propisuju zahtjev da čovjek koji formalno nadzire automatizirani sustav to mora i stvarno moći činiti te mora imati pristup važnim informacijama i diskrecijsku ovlast donijeti odluku drugačiju od one koju sustav predlaže. Međutim, razlika u uređenju instituta ljudskog nadzora između ova dva zakonska akta je u tome što GDPR tu obvezu nameće subjektu koji uvodi sustav (poslodavcu), dok Akt o UI-ju polazišnu odgovornost za tehničku izvedivost nadzora primarno smješta na dobavljača sustava.
2. Automatska pristranost: kada formalni nadzor postaje potvrda algoritamske odluke
Temeljni problem koji Akt o UI i GDPR nastoje riješiti je da čovjek u postupku odlučivanja može biti stvarno prisutan, a ipak nije u mogućnosti donijeti odluku drukčiju od one koju mu sustav predlaže. Do takvog ishoda dolazi jer sustav nadzornoj osobi isporučuje izlazni rezultat, ali bez dovoljno informacija o kriterijima i podatcima koji su do tog rezultata doveli, pa nadzorna osoba taj rezultat prihvaća kao osnovu za donošenje odluke. Ta pojava, u stručnoj literaturi opisana kao automatska pristranost (engl. automation bias), posebno dolazi do izražaja u situacijama u kojima sustav uz izlazni rezultat pruža i obrazloženje, a to obrazloženje povećava povjerenje u zaključak, čak i kada je taj zaključak netočan, a nadzorna osoba pritom nema informacije kojima bi ga mogla provjeriti.7
Primjerice, voditelj tima tjedno prima automatski generiran izvještaj o radnom učinku zaposlenika u kojemu su zaposlenici razvrstani prema izlaznim rezultatima sustava. Na temelju tog razvrstavanja voditelj pokreće postupak koji može završiti otkazom ugovora o radu. Pri tome voditelju nisu poznati kriteriji po kojima je sustav zaposlenike razvrstao, nema mogućnosti provjeriti jesu li podaci na kojima se razvrstavanje temelji ažurni i točni, niti može od sustava zatražiti obrazloženje. Odluku je formalno donio voditelj, no njezina osnova je izlazni rezultat sustava koji voditelj nije imao mogućnosti provjeriti.
Sukladno članku 14. stavku 4. točki (b) Akta o UI-ju, kod korištenja visokorizičnog UI sustava nadzorna osoba mora biti svjesna mogućnosti prekomjernog oslanjanja na izlazne rezultate koje je sustav stvorio. No biti svjestan da takva pristranost postoji u načelu nije isto što i biti u mogućnosti prepoznati je u konkretnom slučaju, pri ocjeni točno određenog zaposlenika na temelju točno određenih podataka. Da bi nadzorna osoba to mogla, mora znati na temelju kojih kriterija sustav vrednuje zaposlenika i koje podatke pri tome koristi, a te informacije dobavljač nije u cijelosti dužan otkriti.
Primjena UI sustava u upravljanju zaposlenicima ne nalaže prestanak korištenja tih sustava, no zahtijeva uspostavu organizacijskih uvjeta koji nadzornoj osobi omogućuju sadržajnu provjeru izlaznih rezultata. Polazište je ugovor s dobavljačem kojim od dobavljača treba pribaviti dostatne informacije o algoritmičkim kriterijima i ograničenjima sustava, jer bez toga nadzorna osoba nema osnove za provjeru. Uz to, interni postupak provjere mora biti ustrojen tako da ne bude istovjetan pukom preuzimanju izlaznih rezultata sustava, a svaka provedena provjera treba biti dokumentirana, uključujući informacije na temelju kojih je nadzorna osoba donijela odluku. Ovdje valja zamijetiti kako ni Akt o UI-ju, ni GDPR, ni ZOR ne propisuju na koji način te uvjete konkretno uspostaviti, što znači kako poslodavci koji uvode UI sustave u upravljanje zaposlenicima to moraju razraditi bez regulatorne podloge koja bi im u tome pomogla.
3. GDPR: sadržajni nadzor i presuda u predmetu C-634/21 (SCHUFA Holding)
GDPR u članku 22. propisuje opću zabranu odluka temeljenih isključivo na automatiziranoj obradi koje imaju pravni ili bitno sličan učinak na ispitanika. Zabranu je moguće izbjeći na dva načina: uključivanjem čovjeka u postupak odlučivanja prije nego što odluka proizvede pravni učinak, ili osiguravanjem prava ispitanika da naknadno zatraži intervenciju čovjeka. U oba slučaja, prema Smjernicama radne skupine za zaštitu podataka iz članka 29. iz 2017.8 ta intervencija mora biti smislena. Smislenom se smatra intervencija osobe koja ima ovlast i kompetenciju izmijeniti odluku te koja razmatra sve važne informacije, a ne tek provjerava tehničku ispravnost rada sustava.
Dugo je prevladavalo tumačenje prema kojemu je za ispunjenje uvjeta iz članka 22. GDPR-a bilo dovoljno da je čovjek tehnički mogao intervenirati u automatizirani proces odlučivanja, neovisno o tome je li ta intervencija bila sadržajna. No Sud Europske unije u predmetu C-634/21 (SCHUFA Holding AG i dr. / Datenschutzbeauftragter des Landes Hessen, 2023.)9 to tumačenje odbacuje. Sud je, naime, zauzeo stajalište kako sama tehnička mogućnost ljudske intervencije nije dovoljna, već je odlučujuće je li čovjek koji je formalno sudjelovao u postupku odlučivanja bio u mogućnosti donijeti odluku neovisno o izlaznom rezultatu automatiziranog sustava.
Predmet se tiče agencije SCHUFA Holding AG, koja je na temelju automatiziranog bodovnog sustava (Basisscore) samostalno i bez sudjelovanja čovjeka izračunavala kreditne profile fizičkih osoba i isporučivala ih bankama. Banke su taj profil koristile kao osnovu za odluke o odobrenju kredita. Sporno pitanje nije bilo donosi li algoritam odluku o kreditu, jer je odluku formalno donosio zaposlenik banke, već može li automatizirana izrada profila koja prethodi toj odluci i faktički je određuje sama po sebi ući u doseg zabrane iz članka 22. GDPR-a, iako je SCHUFA samo isporučila profil, a odluku je donijela banka. Sud Europske unije odgovorio je da može i da takva praksa ulazi u doseg te zabrane neovisno o tome što je formalna odluka donesena u banci. Sud je, naime, zauzeo stav kako automatizirana izrada profila koja u odlučujućoj mjeri predodređuje daljnju odluku druge pravne osobe (u ovom slučaju banke) sama po sebi ulazi u doseg zabrane iz članka 22. stavka 1. GDPR-a. Naime, ako je profil koji je algoritam autonomno izračunao faktički presudan za to hoće li kredit biti odobren ili odbijen, tada zaposlenik banke koji taj profil prihvaća ne donosi neovisnu odluku, već samo potvrđuje zaključak kojeg je donio algoritam. Formalna podjela uloga između SCHUFA-e i banke ne mijenja tu ocjenu.10
Stajalište Suda iz predmeta C-634/21 izravno se odražava na radnopravne odnose u Republici Hrvatskoj. Kada poslodavac donosi odluke o otkazu, nenapredovanju, raspoređivanju na druge poslove ili izmjeni uvjeta rada oslanjajući se na ocjenu ili razvrstavanje zaposlenika koje je izradio UI sustav, u tom slučaju mjerodavno pitanje nije je li voditelj tima formalno potpisao odluku, već je li voditelj bio u mogućnosti donijeti drukčiju odluku od one koju mu je sustav predložio i je li pritom raspolagao informacijama potrebnima za samostalnu procjenu. Ako to nije slučaj, takva odluka ulazi u doseg zabrane automatiziranog odlučivanja iz članka 22. GDPR-a, neovisno o tome što je čovjek bio formalno prisutan u postupku donošenja odluke.
Ovdje valja zamijetiti da se UI sustavi za praćenje i ocjenjivanje radnog učinka već primjenjuju u Republici Hrvatskoj i to ne samo u poduzećima koja su dio međunarodnih korporativnih struktura, već i u domaćim tvrtkama koje uvode digitalne alate u upravljanje zaposlenicima, pa poslodavci koji koriste visokorizične sustave moraju voditi računa o presudi C-634/21 koja je mjerodavna za konkretne kadrovske odluke koje se svakodnevno donose u tim tvrtkama.
4. Zakon o radu: obveza informiranja i načelo savjesnosti i poštenja
ZOR sukladno članku 29. obvezuje poslodavca da osobne podatke radnika prikuplja, obrađuje i koristi samo u mjeri u kojoj je to potrebno radi ostvarivanja prava i obveza iz radnog odnosa. Primjena UI sustava koji automatski vrednuje ili razvrstava zaposlenike podrazumijeva obradu njihovih osobnih podataka, pa radnik, kao ispitanik u smislu GDPR-a, mora znati da takva obrada postoji i na temelju kojih kriterija se provodi.
Sukladno načelu savjesnosti i poštenja, koje u radnim odnosima supsidijarno izvire iz članka 4. Zakona o obveznim odnosima ("Narodne novine", br. 35/05., 41/08., 125/11., 78/15., 29/18., 126/21, 114/22, 156/22 i 155/23, dalje: ZOO), poslodavac u svojstvu voditelja obrade mora zaposleniku kao ispitaniku osigurati razumijevanje osnove na kojoj se donose odluke koje se na njega odnose. Ako zaposlenik ne zna da se njegovo vrednovanje provodi automatiziranim sustavom i ne može saznati po kojim se kriterijima taj sustav ravna, zaposlenik u praksi ne može ostvariti pravo na pobijanje automatiziranih odluka iz članka 22. GDPR-a.
ZOR dosad nije primjenjivan u kontekstu UI sustava, a inspekcija rada još nije razvila metodologiju za provjeru obveza informiranja kada poslodavac kao subjekt koji uvodi sustav koristi automatizirana rješenja u upravljanju zaposlenicima. U slučaju spora, teret dokazivanja pada na poslodavca koji nije dokumentirao što je fizička osoba kojoj je povjeren nadzor nad sustavom provjeravala, na temelju kojih informacija i u kojim trenutcima, jer ta dokumentacija određuje je li nadzor bio sadržajan u smislu obveza iz Akta o UI-ju i čl. 5. st. 2. GDPR-a.
5. Praktične smjernice za poslodavce
Poslodavci koji već danas koriste ili planiraju uvesti UI sustave za vrednovanje, razvrstavanje ili praćenje zaposlenika suočeni su s tim da ZOR i GDPR postavljaju obveze već sada, dok Akt o UI-ju za subjekte koji uvode visokorizične UI sustave postupno uvodi dodatne zahtjeve. U slučaju radnopravnog spora, teret dokazivanja pada na poslodavca u svojstvu subjekta koji uvodi sustav i voditelja obrade koji nije mogao dokazati da je nadzor bio sadržajan.
Iz analize triju regulatornih okvira proizlaze i mjere koje poslodavac treba poduzeti, kako bi osigurao zakonito postupanje u korištenju algoritamskog upravljanja.
Sukladno članku 29. ZOR-a, osobni podaci radnika smiju se prikupljati i koristiti samo u mjeri u kojoj je to potrebno radi ostvarivanja prava i obveza iz radnog odnosa. Primjena UI sustava koji automatski vrednuje ili razvrstava zaposlenike podrazumijeva obradu osobnih podataka radnika, pa poslodavac kao voditelj obrade mora zaposleniku, sukladno člancima 13. i 14. GDPR-a, pružiti informacije o tome da takva obrada postoji, po kojim se kriterijima provodi i koji se izlazni rezultati pri tome stvaraju.
Uz to, poslodavac mora osigurati da nadzorna osoba raspolaže informacijama potrebnima za sadržajnu provjeru izlaznih rezultata UI sustava. Sukladno stajalištu Suda iz predmeta C-634/21, kadrovska odluka temeljena na izlaznim rezultatima sustava koje nadzorna osoba nije bila u mogućnosti provjeriti može ući u doseg zabrane automatizirane obrade iz članka 22. GDPR-a. Dostatne informacije o kriterijima algoritma i ograničenjima sustava poslodavac osigurava ugovorom s dobavljačem sukladno članku 26. Akta o UI-ju, a interni postupak provjere mora biti ustrojen tako da nadzorna osoba donosi odluku na temelju vlastite procjene, a ne pukim prihvaćanjem izlaznog rezultata sustava.11
Za UI sustave koji sustavno obrađuju osobne podatke zaposlenika radi vrednovanja ili razvrstavanja i na temelju toga stvaraju izlazne rezultate koji utječu na njihova prava, sukladno članku 35. stavku 3. točki (a) GDPR-a obvezna je provedba procjene učinka na zaštitu podataka (DPIA). Ta procjena mora odražavati stvarni model nadzora koji je uspostavljen, opisati na koji način nadzorna osoba provjerava izlazne rezultate sustava i što u tu provjeru ulazi te dokumentirati mjere kojima se smanjuje rizik od automatske pristranosti.12
Uz sve to, svaka kadrovska odluka donesena uz oslonac na UI sustav treba biti popraćena dokumentacijom koja nije poistovjećena s izlaznim rezultatom sustava. Dokumentacija treba pokazati što je nadzorna osoba provjerila, koje je informacije pritom imala na raspolaganju i zbog čega je odlučeno onako kako je odlučeno neovisno o tome što je sustav predložio. Jedino takva dokumentacija u slučaju spora može dokazati da je nadzor bio sadržajan u smislu članka 5. stavka 2. GDPR-a, članka 14. Akta o UI-ju i načela savjesnosti i poštenja iz članka 4. ZOO-a.
6. Zaključak
Akt o UI-ju, GDPR i ZOR postavljaju obvezu sadržajnog ljudskog nadzora nad UI sustavima koji se koriste u upravljanju zaposlenicima. Svaki od ta tri okvira tu obvezu uređuje na drukčiji način i s različitim pravnim posljedicama, no zajednička im je osnova da prisutnost čovjeka u postupku odlučivanja nije dovoljna ako taj čovjek nije u mogućnosti donijeti odluku neovisno o izlaznom rezultatu sustava.
Sud Europske unije to je načelo primijenio u predmetu C-634/21 (SCHUFA Holding) u kojem je zaključio da ako izlazni rezultat automatiziranog sustava u odlučujućoj mjeri predodređuje daljnju odluku, tada osoba koja tu odluku formalno donosi ne vrši nadzor nad sustavom, već ta osoba samo potvrđuje ono što je sustav već zaključio. To stajalište mjerodavno je i za kadrovske odluke koje se u Republici Hrvatskoj donose uz oslonac na UI sustave.
Akt o UI-ju na tim mjestima ne uvodi drukčiji standard od onoga koji GDPR i ZOR već postavljaju. Uvodi, međutim, dodatne dokumentacijske i organizacijske obveze za subjekte koji uvode visokorizične UI sustave i u slučaju spora formalna prisutnost nadzorne osobe u postupku ljudskog nadzora neće biti dostatna ako poslodavac ne može dokazati da je ta prisutnost bila sadržajna.
Marina Kasunić Peris, univ. spec. eu. studija
Voditeljica Službe za promicanje socijalnog dijaloga, Ured za socijalno partnerstvo Vlade RH
Bilješke
^ 1Uredba (EU) 2024/1689 Europskog parlamenta i Vijeća od 13. lipnja 2024. o utvrđivanju usklađenih pravila o umjetnoj inteligenciji i izmjeni određenih akata Unije, SL EU L 2024/1689, 12. srpnja 2024. (Akt o UI). Uredba je objavljena u Službenom listu Europske unije u srpnju 2024. te je stupila na snagu 1. kolovoza 2024.
^ 2 Obveze za visokorizične AI sustave primjenjuju se od 2. kolovoza 2026. (za sustave koji su dodaci usklađenim proizvodima) i 2. kolovoza 2027. (za ostale visokorizične sustave iz Priloga III.). Napomena: Europska komisija u sklopu tzv. Omnibus paketa predložila je odgodu primjene nekih obveza za primjenitelje visokorizičnih AI sustava, uključujući moguću odgodu nekih zahtjeva iz Poglavlja III. Akta o UI. U trenutku pisanja ovog članka prijedlog je u zakonodavnoj proceduri i konačan datum primjene podliježe promjeni.
^ 3 Lazcoz, G. i de Hert, P., "Humans in the GDPR and AIA Governance of Automated and Algorithmic Systems. Essential Pre-Requisites Against Abdicating Responsibilities", Brussels Privacy Hub Working Paper, Vol. 8, No. 32 (2022.), str. 3. Autori navode da je proliferacija AI tehnologija potaknula rastuće pouzdanje u delegiranje zadataka automatiziranim sustavima, pri čemu je uloga čovjeka svedena na ex ante programiranje i ex post promatranje rezultata. Dostupno na: https://brusselsprivacyhub.eu/publications/BPH-Working-Paper-VOL8-N32.pdf (pristupljeno: travanj 2025.)
^ 4 Uredba (EU) 2016/679 Europskog parlamenta i Vijeća od 27. travnja 2016. o zaštiti pojedinaca u vezi s obradom osobnih podataka i o slobodnom kretanju takvih podataka te o stavljanju izvan snage Direktive 95/46/EZ (Opća uredba o zaštiti podataka), SL L 119, 4. 5. 2016.
^ 5 Lazcoz i de Hert, op. cit. (bilj. 3), str. 4: "Human intervention will not work without human governance." Autori razlikuju mehanizme u kojima čovjek sudjeluje u odlučivanju prije nego što odluka proizvede pravni učinak i mehanizme u kojima čovjek intervenira naknadno na zahtjev ispitanika te zaključuju da oba mehanizma zahtijevaju sadržajnu, a ne simboličnu intervenciju.
^ 6 Sukladno članku 13. Akta o UI, dobavljači su dužni osigurati da visokorizični UI sustavi budu dostatno transparentni kako bi subjekti koji uvode sustav mogli razumjeti i pravilno koristiti izlazne rezultate sustava. Sukladno članku 26. stavku 6. Akta o UI-ju, subjekti koji uvode sustav, a koji su ujedno poslodavci, dužni su o primjeni UI sustava savjetovati se s predstavnicima zaposlenika u skladu s primjenjivim pravom EU-a i prava država članica.
^ 7 Lazcoz i de Hert, op. cit. (bilj. 3), str. 3. Autori se pozivaju na istraživanja koja pokazuju da osobe koje formalno nadziru algoritamski generirane preporuke u pravilu slijede preporuku sustava kada ne raspolažu informacijama dovoljnim za sadržajnu provjeru i to ponekad upravo zato što obrazloženje koje sustav pruža povećava povjerenje u rezultat, čak i kada je taj rezultat netočan.
^ 8 Radna skupina za zaštitu podataka iz članka 29. (WP29), Smjernice o automatiziranom individualnom odlučivanju i profiliranju u svrhu Uredbe 2016/679, WP 251 rev.01, usvojene 3. listopada 2017., revidirane i usvojene 6. veljače 2018. i potvrđene od strane Europskog odbora za zaštitu podataka (EDPB). Smjernice su dostupne na mrežnim stranicama EDPB-a.
^ 9 Presuda Suda Europske unije (Velikog vijeća) od 7. prosinca 2023., SCHUFA Holding AG i dr. / Datenschutzbeauftragter des Landes Hessen, C-634/21, ECLI:EU:C:2023:957.
^ 10 U predmetu C-634/21 Sud je zaključio (t. 55–65 presude) da se izradom profila pouzdanosti kao samostalne usluge agencije za kreditni rejting postiže učinak koji je faktički presudan za odluke trećih subjekata, te da takva praksa ulazi u doseg zabrane iz članka 22. stavka 1. GDPR-a čak i kada su te treće strane (banke) formalne nositeljice odluke. Nije dostatno da je čovjek bio tehnički u poziciji intervenirati.
^ 11 Sukladno članku 26. stavku 5. Akta o UI-ju, subjekt koji uvodi sustav dužan je obavijestiti dobavljača ako sumnja da sustav ne funkcionira u skladu s namjenom ili ako utvrdi ozbiljan incident. Ugovorom s dobavljačem subjekt koji uvodi sustav treba osigurati pristup tehničkoj dokumentaciji i informacijama o kriterijima algoritma koji su nužni za sadržajan nadzor.
^ 12 Obveza provedbe procjene učinka na zaštitu podataka propisana je člankom 35. stavkom 3. točkom (a) GDPR-a za sustave koji sustavno ocjenjuju osobne aspekte fizičkih osoba automatiziranom obradom, uključujući profiliranje, i na temelju toga donose odluke s pravnim učinkom. Prema smjernicama WP29 o DPIA-i (WP 248, 2017.), ta obveza postoji neovisno o tome uključuje li sustav sadržajnu intervenciju čovjeka ili ne.