AIのリスクベース規則、高リスクのAIとは？計画中の規則では、人工知能の利用を予定する事業体が、特定のユースケースが「高リスク」かどうかを見極め、それゆえ市場展開前に義務付けられているコンプライアンス評価を実施すべきかを判断しなければならないとされている。草案の備考によると「AIシステムのリスク分類は、その利用目的にもとづいて決定される。該当のAIシステムの利用目的を具体的な状況や利用条件を含めて検討し、その利用が何らかの危険を及ぼすかどうか、またその場合、潜在的な危険の重大度と発生可能性がどのくらいか、この2つを考慮することで決定される」。草案は「本規則に従って高リスクと分類されたAIシステムは、必ずしも各分野の法律において『高リスク』とされるシステムまたは商品とは限らない」とも言及している。高リスクのAIシステムに関連する「危険」の例を草案のリストから挙げると「人の負傷または死、所有物への損害、社会への大規模な悪影響、重要な経済的および社会的活動の通常運用に不可欠なサービスを大きく混乱すること、経済、教育、または就業の機会への悪影響、公共サービスおよび何らかの公的支援の利用に対する悪影響、（欧州市民の）基本的権利への悪影響」などが含まれている。高リスクの利用についても、いくつかの例が取り上げられている。例えば人材採用システム、教育機関または職業訓練機関へのアクセスを提供するシステム、緊急のサービス派遣システム、信用度評価、税金で賄われる社会福祉の配分決定に関係するシステム、犯罪の防止・発見・起訴に関連して適用される意思決定システム、そして裁判官のサポート目的で使用される意思決定システムなどだ。その他の要件はセキュリティ分野の他、AIのパフォーマンスの一貫性確保に関するものだ。「重大なインシデントや、義務違反を含むAIシステムの誤作動」については、どのようなものであれ発覚後15日以内に監督機関に報告することが規定されている。草案によると「高リスクのAIシステムも、必須条件への準拠を条件として連合市場に出す、あるいは運用することができる」。「連合市場に出されている、あるいは運用されている高リスクのAIシステムを必須条件に準拠させる際は、AIシステムの利用目的を考慮し、提供元が定めるリスク管理システムに従って行うべきである」。「これらに加え、提供元が定めるリスク制御管理策は、すべての必須条件を適用した場合の効果および起こり得る相互作用を鑑み、また関連する整合規格や共通仕様書など一般的に認められている最高の技術水準を考慮して定めるべきである」
