Prüfung von KI-Systemen nach IDW PS 861 – Das müssen Anwender wissen

Im März 2023 wurde der Prüfungsstandard IDW PS 861 veröffentlicht, der die Prüfung von KI-Systemen außerhalb der Jahresabschlussprüfung im Fokus hat. Mit Hilfe dieses Standards kann beurteilt werden, ob das KI-System die dem Prüfungsstandard zugrundeliegenden Anforderungen erfüllt, und ob entsprechende Maßnahmen zur Erfüllung dieser Anforderungen implementiert sind. Die zu prüfenden Mindestanforderungen sind neben ethischen und rechtlichen Anforderungen für KI, auch die Nachvollziehbarkeit, IT-Sicherheit und Leistungsfähigkeit.

 

Die Wahrung ethischer und regulatorischer Grundsätze erfordert es, das KI-System und die Daten so auszugestalten und zu verwenden, dass diese sowohl mit den unternehmensindividuellen als auch allgemein anerkannten Werten und rechtlichen Rahmenbedingungen im Einklang stehen. Neben der Einhaltung menschlicher Autonomie, Fairness und Nichtdiskriminierung fällt hierunter auch die Gewährleistung der Ordnungsmäßigkeit und Sicherheit des KI-Systems.

 

Nachvollziehbarkeit definiert die Verpflichtung an das Unternehmen, die hervorgebrachten Ergebnisse und Entscheidungen des KI-Systems sowie die dazugehörigen Prozessschritte, die zu diesem Output geführt haben, transparent und erklärbar darzulegen, sodass diese von einer unabhängigen sachkundigen Person verstanden werden können. Dazu gehört auch alle vorgenommenen Änderungen und korrigierenden Eingriffe an allen im KI-System verwendeten Algorithmen, Daten und KI-Modellen nachvollziehbar und strukturiert zu dokumentieren.

 

Weiterhin gilt es nach dem Prüfungsstandard die IT-Sicherheitsziele zu gewährleisten. Neben den allgemeinen Schutzzielen wie der Vertraulichkeit, Integrität und Verfügbarkeit sind auch erweiterte Schutzziele wie die Authentizität, Autorisierung und Verbindlichkeit sowie im Krankenhausumfeld die Patientensicherheit und Behandlungseffektivität zu erfüllen. Danach muss das KI-System vor unbemerkten Manipulationen oder ungewollten und fehlerhaften Veränderungen geschützt, Systemausfälle vermieden und Sicherungsverfahren hiervor eingerichtet werden. Weiterhin sind klare Berechtigungen auszugestalten, sodass auf das KI-System nur ausgewählte Personen Zugriffe erhalten und enthaltene Daten nur von autorisierten Anwendern gelesen und modifiziert werden können. Zudem sind Maßnahmen zu ergreifen, um die ausgeführten Transaktionen des KI-Systems identifizierbar, überprüfbar und vertrauenswürdig zu machen und so eine Nichtabstreitbarkeit von Rechtsfolgen zu gewährleisten.

 

Zuletzt wird an ein KI-System die Anforderung gestellt leistungsfähig zu sein und den zugrunde gelegten Ansprüchen des Unternehmens zu genügen. Bspw. müssen die Ergebnisse des KI-Systems ein bestimmtes Qualitätsniveau aufweisen oder diese in einer bestimmten Antwort- und Bearbeitungszeit störungsfrei an den Anwender ausgegeben werden.

 

Neben den bereits genannten Mindestanforderungen aus dem IDW PS 861 können darüber hinaus weitere Anforderungen des EU Artificial Intelligence Acts (AI-Acts) mit in die Prüfung inkludiert werden. Unter anderem sind hierin Anforderungen an die Dokumentation und Aufbewahrung von Daten sowie das Risikomanagement definiert. Die explizite Wahl der Anforderungen bzw. deren Ausgestaltung kann abhängig vom verwendeten KI-System unterschiedlich sein und muss durch die gesetzlichen Vertreter des jeweiligen Unternehmens erfolgen.

 

Um die vorgenannten Mindestanforderungen aus dem Prüfungsstandard IDW PS 861 erfüllen zu können, sind unternehmensseitig folgende Maßnahmen zu ergreifen: