Организација која користи аутоматизовани систем је одговорна за дискриминаторне резултате које производи, без обзира на то да ли је сама направила модел и да ли је неко намеравао такав резултат. У Холандији та одговорност почива на закону о деликтима (члан 6:162 холандског грађанског законика, BW), законима о једнаком третману и GDPR-у; правила о високом ризику из Закона ЕУ о вештачкој интелигенцији за системе регрутовања, кредитирања и осигурања примењују се тек од 2. децембра 2027. године.
У холандском закону о дискриминацији, важан је ефекат одлуке, а не мотив. Филтер за регрутовање, кредитни модел или оцена преваре који стављају заштићену групу у неповољан положај стога могу довести до грађанске тужбе, жалбе Холандском институту за људска права и истраге холандског органа за заштиту података, све на основу истих чињеница.
Преглед садржаја
Шта је алгоритамска пристрасност и одакле долази?
Алгоритамска пристрасност настаје када систем различито третира упоредиве људе на заштићеном основу или на основу критеријума који делује као замена за такав. Пошто модел примењује исти образац на сваку датотеку, пристрасан модел функционише као политика, а не као инцидент.
- Подаци за обуку: модел обучен на прошлим одлукама репродукује обрасце у њима.
- Променљиве: неутрална карактеристика попут поштанског броја може заменити етничку припадност и изазвати индиректну дискриминацију.
- Употреба резултата: оцена која је прихватљива као савет може бити незаконита као једини основ за одбијање пријаве.
- Недостатак праћења: модел који је био уравнотежен при лансирању мења се како се подаци мењају.
Директна дискриминација отворено користи заштићени основ. Индиректна дискриминација, где неутрални критеријум ставља заштићену групу у неповољан положај, може се оправдати само ако је циљ легитиман, а средства одговарајућа и неопходна, а организација мора бити у стању да то докаже.
Када је организација одговорна према холандском закону?
Два тела холандског права обављају највећи део посла. Деликтно право пита да ли је организација деловала непажљиво и проузроковала губитак; право једнаког третмана пита да ли је исход био забрањено разликовање.
Деликт: немарно распоређивање
Према члану 6:162 BW, страна је одговорна за незаконито дело (onrechtmatige daad) које јој се може приписати, а које проузрокује штету. Коришћење система који није тестиран, валидиран или праћен може само по себи бити немарно понашање. Подносилац захтева мора доказати незаконито дело, приписивање, штету и узрочну везу.
Куповина система од добављача не ослобађа организацију која га распоређује ове дужности. Она може имати посебан захтев против добављача због неизвршења обавеза (члан 6:74 BW), али то не утиче на захтев одбијеног подносиоца захтева.
Закон о једнаком третману и терет доказивања
Општи закон о једнаком третману (Algemene wet gelijke behandeling, AWGB), Закон о дискриминацији по основу старости (WGBL) и Закон о инвалидитету и хроничним болестима (WGBH/CZ) забрањују директно и индиректно разликовање на заштићеним основама; у области запошљавања, члан 7:646 BW додаје правила о полу. Када подносилац захтева изнесе чињенице које указују на дискриминацију, организација мора доказати да није дискриминисала.
Организација која не може да покаже шта је њен модел проценио, на којим подацима и са којим тестирањем, не може да испуни тај терет. Жалба се такође може упутити Холандском институту за људска права (College voor de Rechten van de Mens), чија мишљења нису обавезујућа, али се често користе као доказ у каснијим судским поступцима.
Шта GDPR захтева од аутоматизованих одлука?
Члан 22. Опште уредбе о заштити података даје особи право да не буде предмет одлуке засноване искључиво на аутоматизованој обради која има правне или слично значајне последице. Одлуке о запошљавању, кредитирању и бенефицијама обично испуњавају услове.
Људско учешће доноси одлуку ван члана 22 само ако је смислена: особа са овлашћењем и информацијама да одлучи другачије, а не неко ко потврђује оно што екран приказује. Принцип правичности у члану 5(1)(а) примењује се у сваком случају, а члан 35 захтева процену утицаја на заштиту података пре обраде високог ризика као што је систематско профилисање. Према члану 83(5) Опште уредбе о заштити података (GDPR), казне могу достићи 20 милиона евра или 4% годишњег промета широм света, шта год је веће. Погледајте наш преглед приватности података, GDPR-а, вештачке интелигенције и великих података.
Шта Закон о вештачкој интелигенцији захтева сада, а шта почиње касније?
Закон о вештачкој интелигенцији, Уредба (ЕУ) 2024/1689, ступио је на снагу 1. августа 2024. године и примењује се у фазама. Забрањене праксе из члана 5 примењују се од 2. фебруара 2025. године; обавезе високог ризика за системе регрутације, кредитирања и осигурања примењују се од 2. децембра 2027. године.
Обавезе за моделе вештачке интелигенције опште намене и казнене одредбе примењују се од 2. августа 2025. године. Дигитални омнибус о вештачкој интелигенцији, Уредба (ЕУ) 2026/1744, која је на снази од 27. јула 2026. године, одложио је режим високог ризика: системи наведени у Прилогу III, као што су они који се користе за запошљавање, унапређење и престанак радног односа, процену кредитне способности и ризика осигурања, следе 2. децембра 2027. године, а системи високог ризика у регулисаним производима (Прилог I) 2. августа 2028. године. Омнибус је такође ублажио обавезу писмености у области вештачке интелигенције у члану 4 у обавезу подржавања писмености у области вештачке интелигенције међу запосленима.
Када се примени режим високог ризика, он захтева репрезентативне и проверене податке о обуци, техничку документацију, евидентирање, транспарентност, људски надзор и процену усаглашености. Имплементатори имају своје дужности, као што су вођење евиденције и додељивање надзора компетентном особљу. Казне достижу 35 милиона евра или 7% светског промета за забрањене праксе и 15 милиона евра или 3% за кршење обавеза високог ризика. Предложена Директива о одговорности за вештачку интелигенцију је повучена, тако да захтев за накнаду штете у Холандији остаје захтев према холандском закону. Више о овоме у нашем водичу о правној страни вештачке интелигенције и Закону ЕУ о вештачкој интелигенцији.
Шта су одлучили холандски судови и регулатори?
Окружни суд у Хагу је 5. фебруара 2020. године пресудио да закон који стоји иза SyRI-ја, владиног система за контролу ризика од превара, крши члан 8 Европске конвенције о људским правима јер није био довољно транспарентан и проверљив (ECLI:NL:RBDHA:2020:865). Ни модел ризика ни индикатори нису откривени, тако да нико није могао да провери дискриминаторне ефекте.
У скандалу са накнадама за бригу о деци (toeslagenaffaire), пореска управа је користила селекцију ризика у којој се двојно држављанство рачунало као индикатор преваре. Холандска агенција за заштиту података утврдила је да је ова обрада незаконита и дискриминаторна и новчано је казнила пореску управу. Поука за приватне организације: систем који нико не може да објасни не може се бранити, а избор да се он води је чин који се осуђује.
Ко је одговоран: добављач или корисник?
Оштећена особа је поднела тужбе против организације која је донела одлуку, што је скоро увек имплементатор. Према Закону о вештачкој интелигенцији, добављач и имплементатор имају своје обавезе.
Уговор са добављачем може да расподели финансијске последице и обезбеди информације које су вам потребне за одбрану од тужбе, али не може да уклони регулаторну казну или законску обавезу. Наш чланак о томе ко је одговоран за грешке које направи вештачка интелигенција разматра ту расподелу.
Шта треба да проверите као организација која користи вештачку интелигенцију?
- Да ли сте тестирали стопе исхода међу заштићеним групама пре распоређивања и проверили варијабле за замену?
- Да ли настављате са тестирањем након пуштања система у рад и да ли имате именовану особу која има овлашћење да обустави рад система?
- Да ли је људски преглед смислен када се примењује Члан 22 Опште уредбе о заштити података и да ли је процена утицаја урађена пре објављивања?
- Да ли раднички савет има право сагласности према члану 27 Закона о радничким саветима (WOR), на пример за системе који прате запослене?
- Да ли вам уговор са добављачем даје приступ документацији, резултатима испитивања и евиденцијама, као и право на ревизију?
- Можете ли објаснити сваку одлуку погођеној особи једноставним језиком?
Шта треба да проверите као подносилац захтева или запослени на кога се односи одлука?
- Да ли је одлука донета без значајног људског учешћа? Тада можете да се позовете на Члан 22 GDPR-а.
- Да ли сте тражили приступ вашим подацима и објашњење логике која је укључена (члан 15 GDPR-а)?
- Да ли постоје чињенице које указују на то да је заштићени основ или посредник играо улогу? Терет доказивања се тада помера.
- Да ли је довољно мишљење (oordeel) Холандског института за људска права или је потребан захтев за одштету на суду?
Шта можемо да урадимо за вас у вези са одговорношћу за алгоритамску пристрасност?
Наши ИТ адвокати саветују компаније о правној страни аутоматизованог доношења одлука.
- Процењујемо вашу изложеност према холандском закону о деликтној одговорности, закону о једнаком третману и GDPR-у за одређени систем.
- Прегледамо вашу процену утицаја и процес људског надзора у складу са Чланом 22 Опште уредбе о заштити података (GDPR).
- Припремамо вашу усклађеност са Законом о вештачкој интелигенцији (AI Act) за системе регрутације, кредитирања и осигурања високог ризика.
- Преговарамо са добављачима о уговорима о документацији, правима ревизије и одговорности.
- Бавимо се жалбама, процедурама Института, захтевима и регулаторним истрагама.
резиме
- Организација која распоређује особље је одговорна за дискриминаторне исходе, чак и у случају система који је прихватио све присталице.
- Када чињенице указују на дискриминацију, организација мора доказати да није дискриминисала.
- Члан 22 GDPR-а ограничава искључиво аутоматизоване одлуке; људски преглед мора бити стваран.
- Закон о вештачкој интелигенцији са високим ризиком за регрутовање, кредитирање и осигурање важи од 2. децембра 2027. године.
- Документација тестирања и праћења је срж сваке одбране.
Često postavljana pitanja
Ако је наша вештачка интелигенција треће стране пристрасна, ко је одговоран: продавац или ми?
Према погођеној особи, обично вама као имплементатору. Можете имати уговорни захтев према добављачу (члан 6:74 BW), али вас то не штити од грађанске тужбе или регулаторне казне.
Како доказујемо да наш алгоритам није дискриминаторан?
Са евиденцијама направљеним пре и током употребе: извори података, тестови валидације у свим групама, редовне ревизије, корективни кораци и објашњење логике доношења одлука. За системе високог ризика према Закону о вештачкој интелигенцији, таква документација постаје обавезна од 2. децембра 2027. године.
Да ли објашњива вештачка интелигенција уклања нашу одговорност?
Не. Објашњивост помаже у испуњавању обавеза транспарентности према Општој уредби о заштити података (GDPR), али ако објашњење показује да је заштићени основ или посредник одредио исход, одлука је и даље дискриминаторна.
Да ли се ова правила примењују на мала и средња предузећа?
Да. Закон о деликтној одговорности, закон о једнаком третману и Општа уредба о заштити података (GDPR) примењују се без обзира на величину. Закон о вештачкој интелигенцији ублажава нека оптерећења за мала и средња предузећа, али се и даље примењују обавезе високог ризика за системе запошљавања или кредитирања.