// 01 · Antwortblock
KI-Cockpit in zwei Sätzen.
KI-Cockpit ist ein vom Bundesministerium für Arbeit und Soziales (BMAS) mit rund 3,5 Millionen Euro gefördertes Forschungsprojekt, das untersucht, wie der Human-in-Command-Ansatz aus Artikel 14 der EU-KI-Verordnung in der betrieblichen Praxis konkret umgesetzt werden kann, über drei Fieldlabs in den Anwendungsfeldern Personalauswahl, Verkehrsleitplanung in Kommunen und Pflegekoordination.
Awesome Technologies hat in diesem Projekt die technische Umsetzung des Pflege-Fieldlabs verantwortet, Sprachassistent, Funktionen und digitales Dashboard für den Pflegealltag im Caritas-Altenzentrum St. Antonius in Dortmund.
Fördergeber
BMAS · Denkfabrik Digitale Arbeitsgesellschaft
Fördersumme
rund 3,5 Mio. Euro
Unsere Rolle
Unterstützungspartner, technische Umsetzung Pflege-Fieldlab
Projekt
kicockpit.eu
// 02 · Forschungsfrage & Förderkontext
Was bedeutet „menschliche Aufsicht" in der betrieblichen Praxis?
Die EU-KI-Verordnung schreibt für Hochrisiko-KI in Artikel 14 menschliche Aufsicht vor. Was das konkret bedeutet, welche Informationen Beschäftigte in welcher Form brauchen, um eine KI-Entscheidung verstehen, überwachen und gegebenenfalls überstimmen zu können, war zu Projektbeginn 2023 weitgehend ungeklärt.
Das KI-Cockpit-Projekt hat genau diese Lücke adressiert. Die Forschungsfrage: Wie sieht eine Bedienoberfläche aus, die menschliche Aufsicht über KI-Systeme in unterschiedlichen Anwendungsfeldern praktisch ermöglicht, und wie lässt sich daraus ein generisches Vorgehensmodell für die AI-Act-konforme Einführung von KI-Systemen ableiten?
Methodisch greifen drei Stränge ineinander: Grundlagenforschung (Laborstudien und partizipative Forschung zu Transparenz und menschlicher Kontrolle), drei Feldstudien in unterschiedlichen Anwendungsfeldern und Software-Entwicklung mit Open-Source-Release der Mensch-Maschine-Schnittstelle und einer Maschine-Maschine-API.
Vier-Rollen-Modell der menschlichen Aufsicht
KIC-Operator:in
Nutzer:in in Fachaufsichts-Rolle, die das KI-Cockpit bedient.
Endnutzer:in
Anwender:in der KI-basierten Software ohne direkten Zugriff auf das Cockpit.
Betroffene
Person, die nicht direkt mit dem KI-System interagiert, aber von KI-Entscheidungen betroffen ist.
Deployer
Organisation oder Person, die entscheidet, ein KI-System einzusetzen (Art. 3 Abs. 4 AI Act).
Förderkontext: BMAS, Abteilung „Denkfabrik Digitale Arbeitsgesellschaft", im Rahmen des KI-Observatoriums.
// 03 · Die Rolle von Awesome Technologies
Unterstützungspartner für die technische Umsetzung des Pflege-Fieldlabs.
Awesome Technologies ist nicht Mitglied des Projektträgerkonsortiums, sondern Unterstützungspartner für die technische Umsetzung des Pflege-Fieldlabs. Diese Rolle ist in der offiziellen Außenkommunikation explizit dokumentiert: Das GitHub-Repository beschreibt das Projekt als ausgeführt „with the support of Awesome Technologies Innovationslabor". Die Caritas-Projektseite formuliert es inhaltlich: „Die technische Umsetzung übernimmt das Würzburger Digitalunternehmen, das den Sprachassistenten, die Funktionen und das Dashboard entwickelt."
Konkret: Wir haben im Pflege-Fieldlab die KI-Anwendung gebaut, die das KI-Cockpit dann beaufsichtigt, Sprachassistent für Pflegealltag-Notizen, Verarbeitungs-Funktionen sowie das Dashboard für die Schicht-Übergabe. Wir sind damit auf der Anwendungs-Seite der Architektur: Wir haben das KI-System gebaut, das durch das KI-Cockpit aufsichtsfähig wird, nicht das Cockpit selbst.
Diese Unterscheidung ist substantiell: Wir kennen die Anforderungen an Hochrisiko-KI nach Artikel 14 AI Act aus der Praxis dessen, was tatsächlich aufsichtsfähig gemacht werden muss, und nicht nur als regulatorisches Konzept aus zweiter Hand.
// 04 · Was im Pflege-Fieldlab gebaut wurde
Drei Komponenten gegen die Mikro-Informationen, die im Schichtbetrieb verloren gehen.
Das Pflege-Fieldlab adressiert einen konkreten Schmerzpunkt: die vielen kleinteiligen Informationen, die im Schichtbetrieb verloren gehen, Termine, Nüchtern-Hinweise vor Untersuchungen, Wünsche der Bewohner:innen, Anrufe von Angehörigen, fehlende Pflegematerialien. Wie die Caritas es formuliert: „Notizen und Gemerktes können verschwinden."
// Komponente 01
Sprachassistent
Die Pflegekraft spricht ins Tablet, „Um drei Uhr hat Frau Meyer einen Termin beim Neurologen", und der gesprochene Text wird in strukturierte Schrift umgewandelt.
// Komponente 02
Verarbeitung und Weiterleitung
Die Essensbestellung geht direkt aus dem System an die Küche. Schicht-Übergaben werden aus den eingesprochenen Notizen automatisch strukturiert.
// Komponente 03
Digitales Dashboard
Tagesaktuelle Aufgaben, Termine und besondere Vorkommnisse pro Bewohner:in, zentral auf einem Bildschirm in der Pflegestation, nicht mehr auf Zetteln.
Methodisch entstand das Konzept aus dem direkten Co-Design zwischen Forscherinnen der Hochschule Aalen und den Pfleger:innen des Altenzentrums St. Antonius, erst verstehen, was der Pflegealltag braucht, dann eine KI bauen, die das adressiert, dann das KI-Cockpit konfigurieren, das diese KI beaufsichtigt.
Caritas Dortmund als Anwendungs-Anker: Der Caritasverband für die Stadt Dortmund betreibt sieben Sozialstationen, sieben Altenzentren, ein Hospiz und weitere Einrichtungen, fast 60 Einrichtungen mit über 2.400 Mitarbeiter:innen, seit 2023 Teil des Projekts.
// 05 · Was das KI-Cockpit selbst tut
Eine generische Aufsichts-Software, anschließbar an verschiedene KI-Systeme.
Während wir die KI-Anwendung gebaut haben, entwickelt das Projektträgerkonsortium das KI-Cockpit als generische Aufsichts-Software, die an verschiedene KI-Systeme angeschlossen werden kann, nicht nur an die Pflege-KI in Dortmund.
Das KI-Cockpit bereitet KI-Entscheidungen so auf, kontextualisiert und visualisiert sie, dass die zuständige Person die KI verstehen, überwachen und überstimmen kann. Im Pflegekontext: Was hat die Spracherkennung verstanden? Wie sicher ist sie? Welche Mikro-Notizen wurden in welche Schicht-Übergabe-Sektion eingeordnet? Wo besteht Eingriffsbedarf?
Dabei unterscheidet das KI-Cockpit verschiedene Stufen menschlicher Kontrolle. Beim Human in the Loop ist der Mensch Teil jeder einzelnen Entscheidung: Die KI schlägt vor, eine Person prüft und gibt frei, bevor etwas wirksam wird. Beim Human on the Loop arbeitet die KI eigenständig, während die zuständige Person den Betrieb überwacht und jederzeit eingreifen oder widersprechen kann. Beide Stufen ordnen sich dem übergeordneten Prinzip Human in Command aus Artikel 14 unter, bei dem der Mensch die grundsätzliche Verfügungsgewalt über den Einsatz des Systems behält. Welche Stufe angemessen ist, richtet sich nach dem Risiko der jeweiligen Entscheidung. Das KI-Cockpit macht diese Stufe für die aufsichtführende Person sichtbar und konfigurierbar.
Das Vorgehensmodell und die Open-Source-Komponenten wurden im Whitepaper „Ein KI-Cockpit für Beschäftigte" (iit, 21.11.2024) sowie auf kicockpit.eu öffentlich dokumentiert. Damit steht das Vorgehen jeder Organisation offen, die Hochrisiko-KI AI-Act-konform einsetzen will.
// 06 · Erkenntnis-Transfer in die AMP Solution Suite
Drei Erkenntnisse strukturieren heute den AMP-KI-Architektur-Ansatz.
Was wir aus dem KI-Cockpit-Projekt mitgenommen haben, fließt direkt in die strategische Hauptpositionierung von AMP KI ein: Hochrisiko-tauglich von Anfang an.
Aufsichts-Layer ist Architektur-Bestandteil, nicht Compliance-Add-on
Eine Aufsichts-Schicht, die nachträglich aufgesetzt wird, taugt nicht. Aufsichtsfähigkeit muss in der KI-Architektur von Beginn an mitgedacht werden, welche Zwischenstände abgreifbar sind, welche Konfidenz-Werte sinnvoll sind, welche Eingriffspunkte der Mensch-in-Command braucht.
Vier Aufsichts-Funktionen als Pflicht-Layer
In jeder Hochrisiko-KI-Anwendung der AMP Solution Suite mitgeführt: (1) Performance- und Fairness-KPIs mit Alarmierung bei Drift, (2) automatisierte Testfälle für diskriminierungsrelevante Merkmale, (3) Einzelfallanalyse über Explainable AI auf Bedarf, (4) konfigurierbare Autonomiestufen zwischen Human in the Loop („Mensch entscheidet, KI schlägt vor") und Human on the Loop („KI entscheidet, Mensch kann widersprechen").
Co-Design statt Spec-Engineering
Hochrisiko-KI kann nicht aus regulatorischen Specs gebaut werden. Sie muss mit den Menschen entwickelt werden, die sie später benutzen oder überstimmen sollen. Diese Disziplin haben wir in unseren KI-Lifecycle-Prozess übernommen.
Die Pflege-KI im Caritas-Altenzentrum St. Antonius ist für uns mehr als ein Forschungs-Beleg, sie ist die methodische Grundlage, auf der wir die Hochrisiko-KI-Substanz für die AMP Solution Suite aufbauen.
Substanz zur AMP-KI auf der Lösungs-Seite// 07 · Stand und Veröffentlichungen
Hauptförderphase abgeschlossen, Substanz öffentlich.
Stand (25.05.2026): Die Hauptförderphase ist abgeschlossen. Whitepaper und Open-Source-Software wurden 2024 veröffentlicht und stehen als wiederverwendbare Substanz zur Verfügung. Die Caritas Dortmund führt die Pflege-Implementierung in ihre Linien-Praxis über.
- 2024iit-Whitepaper „Ein KI-Cockpit für Beschäftigte", herausgegeben vom Institut für Innovation und Technik (iit) bei VDI/VDE Innovation + Technik, 21.11.2024.
- 2024„Research Interpretation of Article 14 of the EU AI Act: Human in Command", Aschenbrenner et al., Springer Nature Switzerland, 18.07.2024.
- 2024„KI Cockpit, Menschliche Letztentscheidung nach EU AI Act implementiert", in: Knappertsbusch/Gondlach (Hrsg.) „Arbeitswelt und KI 2030", Springer.
- DokuÖffentliches Vorgehensmodell mit Mensch-Maschine-Schnittstelle und Maschine-Maschine-API, dokumentiert auf kicockpit.eu und interaktiv unter ki-cockpit-1.gitbook.io.
- 2025Fraunhofer-IAO-Pressemitteilung 10.11.2025: übergreifende Auswertung der drei Fieldlabs mit Hinweis auf den methodischen Transfer.
// 08 · Was das Projekt für uns bedeutet
Drei Substanz-Hebel aus unserer Mitwirkung.
Hochrisiko-KI-Erfahrung in der Versorgungspraxis, nicht in der Theorie
Wer über AI Act Artikel 14 spricht, ohne selbst eine Hochrisiko-KI in einer realen Versorgungssituation gebaut zu haben, kennt das Thema aus der Spezifikation. Wir kennen es aus der Realität, und dadurch genau die Stellen, an denen Mensch-in-Command nicht eine elegante Forderung, sondern ein konkret zu bauender Workflow ist.
Co-Innovation mit Caritas Dortmund als Vertrauens-Anker
Die Caritas Dortmund ist ein über 2.400 Mitarbeiter starker Träger im katholischen Wohlfahrtssektor. Die mehrjährige Co-Design-Phase ist eine andere Art Vertrauensaufbau als ein Pilot-Vertrag mit definierter Laufzeit, sie hat uns eine substantielle Pflege-Verankerung im Caritas-Trägerverband eingebracht.
Anschlussfähigkeit an die ISO-42001-Zielnorm
Die KI-Cockpit-Erfahrung, Vier-Rollen-Modell, Vier-Aufsichts-Funktionen, partizipatives Vorgehen, deckt direkt die ISO-42001-Anforderungen an menschliche Aufsicht ab und gibt uns einen Substanz-Vorsprung gegenüber Wettbewerbern, die ISO 42001 erst aus der Norm-Vorlage lesen müssen.
Hochrisiko-KI als Innovations-Schwerpunkt// 09 · Methodisches Muster
Welcher Use-Case ist das?
KI-Cockpit (mit dem Pflege-Fieldlab) instanziiert das Use-Case-Muster „Hochrisiko-KI mit integriertem Aufsichts-Layer im sozialen Sektor", strukturell anwendbar auf andere Pflege-Kontexte (ambulante Pflege, Hospiz, Behindertenhilfe), auf andere KI-Anwendungen im Krankenhaus (klinische Entscheidungs-Assistenz, Triage-Unterstützung) und auf andere Anwendungen im sozialen Sektor (Beratungs-KI, Sozialberatung mit Dokumentations-Assistenz).