CAS Safe and Secure AI – Standards, Methods and Best Practices

Dieses CAS bietet eine fundierte Weiterbildung zur sicheren Anwendung und Implementierung KI-basierter Systeme. Durch die einzigartige Verbindung regulatorischer, methodischer und technischer Inhalte bereitet es gezielt auf aktuelle Herausforderungen der Künstlichen Intelligenz (KI) vor und vermittelt essenzielles Wissen zu Themen wie dem EU AI Act, internationalen Normen sowie Risiko- und Qualitätsmanagement. Zudem werden ethische und gesellschaftliche Aspekte wie Fairness, Datenschutz, Bias, Human Oversight, Transparenz und Robustheit umfassend behandelt. Die daraus resultierenden technischen Anforderungen und praxisnahen Methoden helfen, KI-Systeme sicher, zuverlässig und vertrauenswürdig zu gestalten. Zielpublikum:

Das «CAS Safe and Secure AI – Standards, Methods and Best Practices» richtet sich an Fachleute aus den Bereichen Sicherheitsmanagement, Projektmanagement, IT-Management, Data Science, Softwareentwicklung, Qualitätssicherung und Compliance. Es vermittelt sowohl fundierte theoretische Kenntnisse als auch praxisorientierte Fähigkeiten, um den steigenden Anforderungen an die Entwicklung, Implementierung und den Betrieb sicherer und vertrauenswürdiger KI-Systeme gerecht zu werden.

Ziele:

Die Teilnehmenden erwerben fundierte theoretische Kenntnisse sowie praxisorientierte Fähigkeiten für den sicheren Einsatz von Künstlicher Intelligenz. Der Kompetenzaufbau fokussiert sich dabei auf die folgenden zentralen Ziele:

• Vermittlung von Kenntnissen zu Regulationen und Standards für KI-Systeme, einschliesslich der Schweizer Gesetzgebung, des EU AI Act mit seinen Hauptdimensionen sowie relevanter IEEE- und ISO/IEC-Normen. 

• Erlernen von Management- und Lebenszyklusprozessen für KI-Systeme, einschliesslich Managementsystemen (ISO/IEC 42001), Lifecycle-Management (ISO/IEC 5338), Risikomanagement (ISO/IEC 23894) und Qualitätsmanagement (ISO/IEC 25058 und 25059).

• Vermittlung von Kenntnissen über Ethik, Fairness und Bias in KI-Modellen (ISO/IEC 24027 und ISO/IEC 12791).

• Verständnis des gesamten Datenlebenszyklus im Bereich Machine Learning, einschliesslich Datensammlung, -vorbereitung, -speicherung, Training, Testing, Validierung und Distribution (ISO/IEC 8183 und ISO/IEC 5259), sowie der Erstellung und Nutzung synthetischer Daten (ISO/IEC 42103) und der Einhaltung von Datenschutzbestimmungen gemäss der europäischen Datenschutz-Grundverordnung (GDPR).

• Förderung von Human Oversight und Transparenz in KI-Systemen, einschliesslich der Definition von Betriebsbedingungen (ConOps), Einbindung verschiedener Interessengruppen, Kontrollierbarkeit (ISO/IEC 8200), Erklärbarkeit (ISO/IEC 6254) und Methoden zur Umsetzung von Transparenz und XAI unter Berücksichtigung relevanter Standards.

• Vermittlung von Kenntnissen zur Sicherstellung der Accuracy, Robustheit und Cybersicherheit von KI-Modellen, einschliesslich der notwendigen Metriken (ISO/IEC 4213), Methoden zur Erhöhung der Robustheit (ISO/IEC TR 24029-1 & 2) und grundlegenden Aspekten der Cybersicherheit.

• Verständnis der funktionalen Sicherheit von KI-Systemen, einschliesslich des Safe AI-Development Lifecycle, Systemdesign, Anforderungsmanagement, Training, Verifikation und Validierung (ISO/IEC 29119, 17847) sowie Zertifizierung (ISO/IEC 42006) von KI-Systemen.

Inhalt:

Modul 1: Regulations, Standards and Management

Regulierungen und Standards

• Schweizer Gesetzgebung
• EU AI Act (Grundlagen und Dimensionen)
• IEEE, ISO/IEC
• Weitere Organisationen (OECD, EASA, TÜV Austria etc.)
• Zertifizierte KI des Fraunhofer Institut IAIS (KI-Prüfkatalog)

Überblick über KI-Konzepte

• Anwendungsbereiche
• Modelle und Architekturen

Risk Assessment

• Risk Assessment
• Requirements for high risk and limited risk systems EU AI Act

Management und Lifecycle

• Management Systems (ISO/IEC 42001)
• Lifecycle (ISO/IEC 5338)
• Quality Management (ISO/IEC 25058)
• Quality Models (ISO/IEC 25059)
• Risk Management (ISO/IEC 23894)

Fairness und Bias

• Fairness und Bias (ISO/IEC 24027 und 12791)

Modul 2: Data Quality, Human Oversight and Transparency

Data and Data Governance

• Operational Design Domain
• Kompletter Daten Lifecycle (ISO/IEC 8183)
• (ISO/IEC 5259 ff.),
• Synthetische Daten (ISO/IEC 42103)
• Data Privacy (EU General Data Protection Regulation)

Human Oversight

• ConOps
• Stakeholders
• Human Oversight, Controllability (ISO/IEC 8200)

Transparency

• Explainability (ISO/IEC 6254)
• Transparency Methoden und Explainable AI im Vergleich

Modul 3: Accuracy, Robustness and Cyber Security

Accuracy, Robustness

• Accuracy und Metriken (ISO/IEC 4213)
• Robustness (ISO/IEC TR 24029-1 und 24029-2)
• Perturbations
• Formale Verifikation

Cyber Security

• Cyber Security und KI
• Adversarial Attacks
• Attacks on data, model, input and output

Modul 4: Verification, Validation, Safety and Certification

Verifikation und Validierung

• Verifikation auf Ebene Modell, Embedded Model und Gesamtsystem
• Validierung der gesamten Anwendung (ISO/IEC 29119, 17847)

KI und funktionale Sicherheit

• KI und sicherheitsrelevante Anwendungen ISO/IEC 5469, ISO 21448 (SOTIF) und EN IEC 61508
• Safe AI Development Lifecycle
• System Design
• Requirements
• Training
• Verification & Validation

Zertifizierung von KI

• Anforderungen aus Sicht der KI-Zertifizierung (ISO/IEC 42006)
• Methoden und Vorgehensweise der Zertifizierung

Präsentation Projekte

• Präsentation der praxisorientierten Projekte