Software als Medizinprodukt: Bias bei Künstliche Intelligenz (KI)-basierter Software berücksichtigen

Bei medizinischer Software, die auf Künstlicher Intelligenz (KI) basiert, können verschiedene Verzerrungen, oder auch “Bias”, auftreten. Bias muss in der technischen Dokumentation berücksichtigt werden. In unserer Beratungspraxis stellen wir häufig fest, dass Herstellern von Medizinprodukten die praktische Umsetzung häufig schwer fällt. Dieser Beitrag verrät die richtige Herangehensweise.

Anforderungen an medizinische KI-Software

Enthält eine Medizinprodukte-Software eine Komponente basierend auf Künstlicher Intelligenz (KI)/Machine Learning (ML)-Technologie gelten zunächst dieselben Anforderungen wie für „konventionelle“ Software. Das beinhaltet die Anwendung der Software-Lebenszyklus-Prozesse gemäß der Norm EN 62304 und die Erstellung der entsprechenden technischen Dokumentation (TD), z. B. mit dem Software-Entwicklungsplan. Handelt es sich um eine eigenständige Software, die ohne spezifische Hardware in Verkehr gebracht wird, kommt außerdem die Norm EN 82304-1 zur Anwendung. Im Zusammenhang mit KI/ML wollen Deutsche Benannte Stellen zusätzlich weitere Anforderungen erfüllt sehen, die in einem Fragenkatalog der Interessen-Gruppe der Deutschen Benannten Stellen (IG-NB) kürzlich veröffentlicht wurden. Zwar ist dieser Fragenkatalog rechtlich nicht verpflichtend, aber der TÜV Süd unterstreicht die Bedeutung im Rahmen der CE-Zertifizierung in einem aktuellen Whitepaper. Da uns immer wieder Fragen dazu erreichen, möchten wir heute auf das Thema Bias als einen von zahlreichen Aspekten im Fragenkatalog eingehen.

Verschiedene Bias-Arten gehen auf drei Hauptursachen zurück
"The FDA has recognized challenges due to bias in ML and released an Action Plan in January 2021, highlighting the importance of identifiying and mitigating bias in ML-based systems for medicine"
Mängel im Systemdesign
kognitive Voreingenommenheit der Beteiligten
Unausgewogenheit der Trainingsdatensätze 
-> Hersteller müssen alle Bias-Arten identifizieren, bewerten und mitigieren

Was bedeutet Bias in Bezug auf KI-basierte Produkte?

Der allgemeine Begriff Bias wird im Zusammenhang mit KI/ML im Technical Report ISO/IEC TR 29119-11:2020 als „Measure of the distance between the predicted value provided by the ML model and a desired fair prediction“ definiert. Es gibt jedoch zahlreiche unterschiedliche Bias-Arten, die teilweise auch spezifisch für die jeweils eingesetzte KI-Technologie sind (vgl. Entwurf BS 34971IAAMI CR 34971 Guidance on the Application of ISO 14971 to Artificial Intelligence and Machine Learning). Deshalb betrachten wir an dieser Stelle beispielhaft die Definitionen der folgenden Bias-Arten:

  • Automation Bias: When a human decision maker favors recommendations made by an automated decision-making system over information made without automation, even when the automated decision-making system makes errors (Quelle: Google Machine Learning Glossary).
  • Prediction Bias: A value indicating how far apart the average of predictions is from the average of labels in the dataset. Not to be confused with the bias term in machine learning models or with bias in ethics and fairness (Quelle: Google Machine Learning Glossary).
  • Selection Bias: Errors in conclusions drawn from sampled data due to a selection process that generates systematic differences between samples observed in the data and those not observed (Quelle: Google Machine Learning Glossary).
  • Sampling Bias: Form of selection bias. Data is not collected randomly from the target group (Quelle: Google Machine Learning Glossary).
  • Coverage Bias: Form of selection bias. The population represented in the dataset does not match the population that the machine learning model is making predictions about (Quelle: Google Machine Learning Glossary).

Bias im Fragenkatalog

Im Fragenkatalog findet sich hingegen lediglich eine Anforderung, welche Bias explizit nennt:

  • Hat der Hersteller Faktoren gelistet und diskutiert, die einen “Bias” der Validierungs- und Testdaten verursachen könnten? (Nr. 7 im Abschnitt „3. Datenmanagement a) Sammlung der Trainings-, Validierungs- und Testdatensätze)

Diese Anforderung ist also sehr allgemein und differenziert auch nicht zwischen verschiedenen Bias-Arten! In unserer Beratungs-Praxis werden wir deshalb häufig gefragt, an welchen Stellen der TD und im Rahmen welcher Prozesse Bias adressiert werden soll. Darauf gehen wir im folgenden Abschnitt anhand der o. g. Beispiele ein.

Bias in der technischen Dokumentation

Automation Bias bezieht sich auf den Gebrauch des Produktes durch den Anwender und sollte deshalb im Prozess zur Gebrauchstauglichkeit basierend auf der Norm EN 62366-1 behandelt werden. Konkret wird das Vorhandensein von Automation Bias während der summativen Evaluation in Hinsicht auf die Akzeptanz von Systemoutputs untersucht und im Validierungsbericht dokumentiert. Wir arbeiten hierzu mit unserer Checkliste zur Gebrauchstauglichkeit von KI-basierter Medizinprodukte-Software, die diesen und weitere Aspekte berücksichtigt.

Automation, Prediction, Sampling und Coverage Bias hingegen werden detailliert im Risikomanagement bzw. dem Produkt-Entwicklungsprozess betrachtet.

Der assoziierte Schaden ist dabei abhängig vom jeweiligen Produkt und seiner Zweckbestimmung. Beides gilt auch für weitere möglicherweise in Betracht kommende Bias-Arten.

Die Untersuchung von einem möglicherweise vorhandenen Prediction Bias und die Beschreibung der Maßnahmen zur Verhinderung desselben erfolgt bei uns im Rahmen der Prozesse zur KI-Modell-Entwicklung und zur Überwachung nach dem Inverkehrbringen.

Sampling und Coverage Bias als Formen des Selection Bias werden beim Datenmanagement im Rahmen des Prozesses zur KI-Modell-Entwicklung untersucht und ggf. mitigiert.

Zusammenfassung

Bislang gibt es weder eine harmonisierte europäische Norm noch eine MDCG-Guideline, welche die technischen Aspekte von KI-basierter medizinischer Software behandelt.

Mittlerweile sind aber verschiedene internationale Technical Reports wie die ISO/IEC TR 29119-11:2020 erschienen oder in der Entstehung. Darin finden sich viele nützliche Hinweise, wie mit Bias und anderen Herausforderungen umgegangen werden soll.

Darüber hinaus veröffentlichten wichtige Marktteilnehmer wie Google Berichte über den Umgang mit Bias & Co., die wertvolle und wichtige Quellen sind.

Wichtig ist, dass Sie sich mit dem Thema Bias so früh nur irgend möglich beschäftigen: angefangen von der Entwicklung über das Risikomanagement bis hin zur Überwachung nach dem Inverkehrbringen!

Schreiben Sie einen Kommentar!

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.