Evropská komise dne 21. 4. 2021 představila návrh nového nařízení pro regulaci systémů využívajících umělou inteligenci (AI) v rámci zemí Evropské unie. Z hlediska působnosti návrh nařízení směřuje na poskytovatele a další subjekty uvádějící AI systémy na trh v EU bez ohledu na to, zda jsou usazeni v EU, a na uživatele AI systémů v EU. Cílem je, aby pravidla nařízení dopadala na subjekty a AI systémy v EU i mimo ni, pokud se systémy nějak dotýkají občanů EU.
AI systém návrh nařízení definuje jako software vyvinutý způsoby a s přístupy jako strojové učení (machine learning), induktivní logické programování, statistické přístupy či Bayesiánský odhad, který je schopný generovat výstupy, jako je obsah, předpovědi, doporučení nebo rozhodnutí ovlivňující prostředí, s nimiž systém interaguje.
AI systémy návrh nařízení rozděluje do čtyř kategorií rizik: systémy s nepřijatelným, vysokým, omezeným a minimálním rizikem.
AI systémy s nepřijatelným rizikem
AI systémy vyhodnocené jako systémy představující nepřijatelné riziko návrh nařízení zakazuje. Zákaz dopadá například na AI systémů využívajících podprahové manipulativní techniky, systémy pro sociální skóring ze strany státní správy či pro biometrickou identifikaci osob na dálku na veřejně přístupných místech za účelem vymáhání práva (s výjimkami, jako např. pátrání po pohřešovaných dětech).
AI systémy s vysokým rizikem
Jádrem návrhu nařízení je regulace vysoce rizikových AI systémů. Mezi ně mají patřit AI systémy používané v:
- kritické infrastruktuře (např. v dopravě), které by mohly ohrozit život a zdraví občanů,
- vzdělávání nebo odborné přípravě, které mohou určovat přístup občanů ke vzdělávání a jejich profesní směřování (např. hodnocení zkoušek),
- bezpečnostních součástech výrobků (např. aplikace AI v robotické chirurgii),
- zaměstnávání, řízení pracovníků a přístupu k samostatně výdělečné činnosti (např. software pro třídění životopisů v přijímacích řízeních),
- základních soukromých a veřejných službách (např. v úvěrovém hodnocení, které občanům znemožní získat půjčku),
- prosazování práva, které může zasahovat do základních lidských práv (např. ověřování spolehlivosti důkazů),
- řízení migrace, azylu a ochrany hranic (např. ověřování pravosti cestovních dokladů),
- výkonu spravedlnosti a demokratických procesech (např. uplatňování práva v konkrétních případech).
Návrh nařízení ukládá povinnosti poskytovateli, dovozci, distributorovi i uživateli AI systému. Poskytovatelem AI systému má být ten, kdo vyvinul AI systém za účelem jeho uvedení na trh nebo do provozu pod svým vlastním jménem nebo ochrannou známkou. Mezi jeho povinnosti má patřit zejména zajištění:
- souladu AI systému s nařízením v oblastech, jako jsou data používaná k učení AI systému či lidský dohled nad fungováním AI systému;
- systému řízení kvality;
- technické dokumentace AI systému;
- uchování logů generovaných AI systémem;
- procesu posuzování shody AI systému před jeho uvedením na trh nebo do provozu;
- registrace AI systému v evropské databázi pro samostatné vysoce rizikové AI systémy.
Dovozcem má být osoba usazená v EU, která uvádí na trh nebo do provozu AI systém, který ponese jméno nebo ochrannou známku osoby usazené mimo EU. Dovozce se bude muset především ujistit, že poskytovatel AI systému provedl posouzení shody systému s nařízením, vypracoval technickou dokumentaci nebo že systém nese požadované označení shody a je doprovázen požadovanou dokumentací a návodem k použití.
Distributorem má být jakákoli osoba v dodavatelském řetězci jiná než poskytovatel nebo dovozce, která bude zpřístupňovat AI systém na trhu EU. Jeho povinnosti mají být podobné jako u dovozce.
Uživatelem má být osoba či např. orgán veřejné moci využívající AI systém s výjimkou případů, kdy je systém používán v rámci osobní neprofesionální činnosti. Povinností uživatelů má být především používat AI systém v souladu s jeho návodem k použití, provádění opatření v oblasti lidského dohledu nad systémem, zajištění relevance vstupních dat či monitorování provozu systému a uchování jeho logů.
AI Systémy s omezeným rizikem
AI Systémy pro interakci s fyzickými osobami, i pokud se neřadí mezi vysoce rizikové systémy, mají podle návrhu nařízení podléhat povinnosti transparentnosti. Dotčené osoby tak budou muset být informovány, že interagují s AI systémem. To se týká také např. tzv. deep fakes, tedy falešných obrázků či hlavně videí vytvořených s pomocí strojového učení a AI, kde je např. nahrazena podoba jedné osoby jinou osobou, nebo osoba říká věci, které nikdy neřekla. Splnění informační povinnosti má za cíl umožnit jasné rozlišení mezi skutečným obsahem a deep fakes.
AI Systémy s minimálním rizikem
Návrh nařízení stanoví, že všechny ostatní systémy umělé inteligence bude možné vyvíjet a používat v souladu se stávajícími právními předpisy bez dalších zákonných povinností.
Dohled a sankce
Dohled nad dodržováním nařízení návrh svěřuje úřadům v jednotlivých členských státech. Jejich zástupci budou tvořit nově zřízenou Evropskou radu pro umělou inteligenci, která by měla dohlížet na jednotnou aplikaci nařízení v členských státech EU.
Uložené sankce mohou být až do výše:
- 30 milionů eur nebo 6 % z celkového celosvětového ročního obratu porušující společnosti za předchozí finanční rok v případě porušení povinností souvisejících se zakázanými AI systémy nebo daty a jejich správou;
- 20 milionů eur nebo 4 % z celkového ročního obratu porušující společnosti za nesoulad AI systému s ostatními požadavky nebo povinnostmi podle nařízení;
- 10 milionů eur nebo 2 % z celkového ročního obratu porušující společnosti za poskytnutí nesprávných, neúplných nebo zavádějících informací subjektu posuzování shody a příslušným vnitrostátním orgánům v reakci na jejich žádost.
