Transparenz und Kontrolle beim Einsatz algorithmischer Systeme

Stellungnahme der Verwaltung
öffentlich
260983-01 ST
Der OberbürgermeisterDokumentenklasse B (nur für den Dienstgebrauch)
Federführung:
10 Personal- und Organisationsamt
Dezernat:
Dez. OB
Transparenz und Kontrolle beim Einsatz
algorithmischer Systeme
Beratungsfolge
Ausschuss für Digitalisierung, Dienstleistung
und Verwaltungsmodernisierung
07.07.2026 Kenntnisnahme
Inhalt der Stellungnahme:
Die Verwaltung nimmt zu den Fragen wie folgt Stellung:
Frage 1: Einsatzbereiche
Die Stadtverwaltung Bonn hält im Rahmen der Umsetzung des EU AI Act und
der DSGVO (insbesondere Art. 22) laufend eine Übersicht aller KI-Systeme vor.
Aktuell werden keine Systeme eingesetzt, die abschließende autonome
Entscheidungen treffen. Alle genannten Systeme unterstützen stattdessen die
Arbeit von Mitarbeitenden und erfüllen daher die Vorgaben des Art. 22
DSGVO. Auch für zukünftige Systeme behält die Stadtverwaltung den
Grundsatz bei, abschließende Entscheidungen und den Einsatz von KI immer
mit einer menschlichen Komponente zu verbinden, sodass die Einhaltung aller
rechtlichen und ethischen Voraussetzungen besser gewährleistet werden kann.
Im KI-Transparenzregister der Stadtverwaltung Bonn sind folgende
Systeme mit KI-Komponentenerfasst:Seite 1 von 3
Seite 2Dokumentenklasse B (nur für den Dienstgebrauch)
Prozessautomatisierung erfolgt derzeit insbesondere im Rahmen der
Einführung der Technologie “Robotic Process Automation” (RPA).Es werden
zwei Anbieter erprobt. Der Starteiner Pilotierung mit dem Anbieter Ui Path
steht derzeit in der Wohngeldstellekurz bevor. Der Anbieter wianco (Tool:
EMMA) wurde durch das Kassen- und Steueramt pilotiert und wird inzwischen
auch für erste produktive Prozesse genutzt.
Darüber hinaus werden derzeit Gespräche mit weiteren Bereichen der
Verwaltung geführt, um zusätzliche Einsatzmöglichkeiten für RPA zu
identifizieren.
Nach aktuellem Stand handelt es sich bei Robotic Process Automation um
klassische, regelbasierte Prozessautomatisierungen und nicht um lernende KI-
Systeme im Sinne des EU-AI Act. Die eingesetzten Systeme treffen keine
autonomen Verwaltungsentscheidungen und führen keine statistischen
Bewertungen oder Profilbildungen durch. Entscheidungen mit fachlicher oder
rechtlicher Relevanz verbleiben weiterhin bei den zuständigen Mitarbeitenden.
Frage 2: Kontrolle und Diskriminierungsschutz
Aktuell gibt es keine vollständig automatisierten kritischen Entscheidungs-
Prozesse, siehe die Beantwortung zu RPA unter Frage 1. Für bestehende und
anstehende (unkritische) Automatisierungen sind bzw. sollen die
Mitarbeitenden für den Umgang entsprechend sensibilisiert(werden). So soll
bspw. bei einer automatisierten E-Mail-Zuordnung, durch die
Mitarbeitenden eine kurze Überprüfung auf Richtigkeit durchgeführt werden,
bevor eine Akte bearbeitet wird. Eine automatisierte Entscheidung
über z.B. Leistungsansprüche findet nicht statt.
Für sich entwickelnde Anwendungsfälle im Bereich KI besteht der
Grundsatz, dass bei allen KI-Systemen eine wirksame menschliche
Überprüfung stattfinden soll.Seite 2 von 3
Seite 3Dokumentenklasse B (nur für den Dienstgebrauch)
Auf gesamtstädtischer Ebene erhalten alle Mitarbeiten den zu dem eine
allgemeine KI-Kompetenzschulung, die folgende Kernthemen behandelt:
- Was kann KI leisten und wo liegen ihre Grenzen
- Welche Risiken beinhaltet der Umgang mit KI
- In welchen Situationen muss der Mensch Kontrolle über KI-Systeme behalten
- Wie kann ein verantwortungsvoller und ethischer Umgang mit KI gestaltet
werden
- Nutzungsverbot freizugänglicher KI-Systeme wie ChatGPT etc.
Grundsätzlich ist vorgesehen, dass jedes KI-System bzw. jede KI-
Komponente im Vorfeld durch verwaltungsinterne Gremien(z.B. Board Digitale
Transformation, Lenkungsausschuss Digitale Transformation und/oder den IT-
internen „Software-Approval-Prozess“) und Testphasen geprüft wird. Erst nach
erfolgreicher Abnahme, bei der unter anderem die rechtlichen
Rahmenbedingungen von DSGVO, KI-Verordnung und weiteren beachtet
werden, erfolgt ein Rollout. Für neue KI-Systeme ist im Weiteren eine
anschließende softwarespezifische
Schulung der betroffenen Mitarbeitenden beabsichtigt.
Frage 3: Re-Evaluation / Modellüberprüfung
Die Qualität eingesetzter Systeme wird durch folgende Maßnahmen unterstützt:
- Verantwortung der Nutzenden: Jede Person, die ein System nutzt,
ist angehalten, die Ergebnisse auf Plausibilität und Richtigkeit zu prüfen. Sollten
Auffälligkeiten zu Tage treten, können diese an Amt 10 zentral kommuniziert
werden.
- Reaktive Prüfung: Bei auftretenden Auffälligkeiten steht Amt 10 für
anlassbezogene Analysen zur Verfügung und stellt bei Bedarf Kontakt zu
jeweiligen Dienstleistern her.
- Systemanbieter-Prüfung: Bei Neueinführung von KI-Systemen sind Qualität
und die Rahmenbedingungen der Lernfähigkeit des jeweiligen
Systems relevante Auswahl-Kriterien.
- RPA-Prozesse: Diese sollen bei Änderungen an Fachverfahren, Oberflächen
oder Prozessen regelmäßig überprüft und angepasst werden. Vor produktivem
Einsatz sind fachliche Tests und Abnahmen in enger Abstimmung mit den
betroffenen Bereichen beabsichtigt.
Anlage/n
KeineSeite 3 von 3