Wo Autonomie an Grenzen stößt

In den bisherigen Beiträgen dieser Serie ging es darum, was der selbstfahrende Staat automatisieren kann: Anträge, Nachweise, Register, ganze Lebenslagen. Dieser Beitrag dreht die Frage um. Er beschreibt drei Grenzen, an denen Autonomie in der Verwaltung bewusst anhält: Ermessen, richterliche Entscheidung und Eingriffe in Grundrechte. Wer diese Grenzen präzise zieht, bekommt nicht weniger Automatisierung, sondern mehr Vertrauen in die Fälle, die automatisiert werden dürfen.

Drei Grenzen, die kein Reifegrad verschiebt

Die Evolutionsstufen aus unserem Buch „Der selbstfahrende Staat“ (Springer Gabler 2024) beschreiben, wie viel eine Verwaltung automatisiert: analog, digital, automatisiert, selbstfahrend. Im automatisierten Staat werden 80 Prozent der Entscheidungen nach festgelegten Algorithmen getroffen, die restlichen 20 Prozent sind Sonderfälle, die Menschen bearbeiten. Der selbstfahrende Staat verschiebt dieses Verhältnis weiter, weil intelligente Software auch viele Sonderfälle aufbereiten kann. Was die Stufen nicht beantworten, ist die Frage, welche Entscheidungen grundsätzlich bei Menschen bleiben, egal wie reif die Technik ist.

Unsere Antwort im Buch ist eindeutig: Menschen in Politik, Gesetzgebung und Rechtsprechung behalten die zentrale Rolle bei Entscheidungen, die erhebliche Auswirkungen auf das Leben Einzelner oder auf die Gesellschaft haben. Aus diesem Grundsatz folgen drei konkrete Grenzen, die ich in diesem Beitrag einzeln durchgehe. Sie sind keine technischen Beschränkungen, die morgen fallen, sondern Entwurfsentscheidungen, die ein Rechtsstaat trifft, bevor er Software entscheiden lässt.

Dabei wird die Letztverantwortung auch weiterhin in menschlicher Hand bleiben.

So steht es im Kapitel zur DNA des selbstfahrenden Staates, und daran hat sich durch keine Modellgeneration etwas geändert. Damit Menschen diese Verantwortung tatsächlich wahrnehmen können, brauchen sie allerdings Werkzeuge, die vollständige, verständlich aufbereitete und bis zum Ursprung nachprüfbare Daten liefern, statt Aktenberge und Rückrufe.

Grenze eins: Ermessen ist keine Rechenaufgabe

Das Verwaltungsrecht hat die erste Grenze gezogen, bevor es KI-Systeme in der Fläche gab. In Deutschland erlaubt § 35a Verwaltungsverfahrensgesetz den vollständig automatisierten Erlass eines Verwaltungsakts nur, wenn eine Rechtsvorschrift das zulässt und weder ein Ermessen noch ein Beurteilungsspielraum besteht. Jörn von Lucke zieht in seinem Gastbeitrag zum Buch mit Blick auf die Gesetzgebung dieselbe Trennlinie aus technischer Sicht: Rechtlich eher unbedenklich sind Entscheidungen ohne Ermessens- und Entscheidungsspielraum, denn diese lassen sich bereits heute automatisieren; alles andere nicht ohne Weiteres.

Was heißt das in der Praxis? Ein Gesetz besteht selten nur aus Ermessen oder nur aus Rechenregeln. Die Frage, ob eine Förderung zusteht, enthält Schwellenwerte, Fristen und Berechnungen, die sich eindeutig prüfen lassen, und daneben unbestimmte Rechtsbegriffe wie „besondere Härte“ oder „Unzumutbarkeit“, die eine Abwägung verlangen. Der selbstfahrende Staat automatisiert den eindeutigen Teil vollständig und übergibt den abwägenden Teil an eine Sachbearbeiterin oder einen Sachbearbeiter. Entscheidend ist, dass diese Übergabe nicht dem Zufall überlassen bleibt: Wo das Gesetz keinen ausführbaren Regelanteil hergibt, darf die Software keine Regel erfinden. Sie muss den Fall erkennbar als nicht automatisierbar markieren und weiterreichen, mit allen bereits geprüften Fakten.

Software ist in Ermessensfällen trotzdem nicht nutzlos, im Gegenteil. Von Lucke beschreibt in seinem Gastbeitrag, worauf es ankommt: Je besser KI-Systeme Ermessens- und Entscheidungsspielräume erkennen, vermessen, unter Berücksichtigung der Folgen verstehen und Optionen transparent aufzeigen, desto stärker wird man ihnen vertrauen. Der Mensch entscheidet dann auf einer vollständigen, nachvollziehbaren Grundlage. Ich ziehe daraus einen weiteren Schluss: Mit wachsendem Vertrauen wird der Gesetzgeber einzelne Spielräume bewusst enger fassen, damit sie automatisierbar werden. Das ist der richtige Weg: Der Gesetzgeber verschiebt die Grenze, nicht die Software.

Grenze zwei: Die Justiz prüft die Systeme und behält das Urteil

Die zweite Grenze betrifft die Rechtsprechung. Im Buch schlagen wir ein Modell vor, das in den ersten Review-Runden von renommierten Juristinnen und Juristen als nicht umsetzbar abgetan wurde und das wir dennoch für das einzig konsequente halten: Die Legislative definiert den digitalen Gesetzeszwilling, die Judikative prüft und zertifiziert ihn samt Datenstrukturen, bevor er eine einzige Entscheidung trifft, und die Exekutive betreibt die Software. Softwareentscheidungen sind im Vorhinein festlegbar, also können sie auch im Vorhinein validiert werden. Diese Prüfung nennen wir die „Instanz Null“.

Die Konsequenz ist präzise abgegrenzt. Bei jedem Einspruch wird unterschieden, ob er das Ergebnis der Software-Entscheidung betrifft oder den Prozess und die Daten dahinter. Im ersten Fall wird anlassbezogen geprüft, ob Algorithmus, Software und Gesetzesregeln von der Judikative auditiert und freigegeben wurden, vergleichbar mit einem geeichten Radargerät, dessen Messung nicht neu verhandelt wird. Im zweiten Fall validiert die Justiz Vorgehensweise, Umsetzung und Dateneinsatz, und bei Unstimmigkeiten geht der Fall in ein klassisches Einspruchsverfahren an die nächste Instanz. Der Instanzenzug bleibt vollständig erhalten; die obersten Gerichte haben Vollzugriff auf alle Softwarelösungen, Algorithmen und Datenbestände, um Fehlentscheidungen aufzudecken. Wer fürchtet, Software entziehe sich der Justiz, sollte das Gegenteil sehen: Sie wird prüfbarer als jede Amtspraxis auf Papier.

Das Urteil selbst bleibt menschlich. Im Buch beschreiben wir das am Beispiel eines Insolvenzverfahrens: Auf der höchsten Stufe analysiert Software den Antrag vollständig, zieht historische Unternehmensdaten, Gläubigerdaten und Marktdaten heran und spricht Empfehlungen für Gericht und Insolvenzverwaltung aus. Die endgültige Entscheidung trifft eine Richterin oder ein Richter nach Bewertung der vorgeschlagenen Maßnahmen. Dasselbe gilt für Verfahren von Amts wegen: Verfahrensschritte laufen automatisiert, die Urteilssprüche erfolgen weiterhin durch Richterinnen und Richter, Plädoyers werden weiterhin persönlich gehalten.

Was sich für die Justiz ändert, sind die Werkzeuge. Eine Richterin oder ein Richter kann den zertifizierten Gesetzeszwilling laden, den Sachverhalt eingeben und das erwartete Ergebnis samt Herleitung mit dem angefochtenen Bescheid vergleichen. Weichen beide voneinander ab, war entweder die Umsetzung fehlerhaft oder die Eingabe, und beides ist in Minuten sichtbar. Dafür müssen die Werkzeuge so einfach sein wie eine Wetter-App: Von Höchstrichterinnen und Höchstrichtern, Staatsanwältinnen und Staatsanwälten lässt sich keine Informatikausbildung erwarten, und es wäre ein Rückschritt, wenn die Justiz für jede Prüfung IT-Sachverständige beiziehen müsste. Menschliche Urteile fließen in die Verbesserung der Regeln zurück, aber über Gesetzgebung und Zertifizierung, nicht als stilles Nachlernen der Software.

Grenze drei: Grundrechtseingriffe brauchen eine Freigabe, keinen Automatismus

Die dritte Grenze ist die schärfste. Der selbstfahrende Staat ist ein „gläserner Staat“: Jede Handlung der Verwaltung ist dokumentiert und nachvollziehbar. Genau das schützt vor dem Überwachungsstaat, aber nur, wenn die Verknüpfung von Daten über Menschen an dieselben Hürden gebunden ist wie ein Eingriff in die physische Welt. Im Buch ziehen wir diese Linie ausdrücklich: Das Einsehen der Daten eines Mobilfunkgeräts oder aller verknüpften Daten eines digitalen Personenzwillings steht auf einer Stufe mit einer Hausdurchsuchung. Es braucht eine richterliche Freigabe, die das System technisch erzwingt, nicht nur organisatorisch vorsieht. Daten dürfen ausschließlich für festgelegte Zwecke verwendet werden, und eine unabhängige Stelle überwacht die Einhaltung.

Der europäische Rechtsrahmen bestätigt diese Grenze. Die KI-Verordnung (EU) 2024/1689, seit 1. August 2024 in Kraft, untersagt bestimmte Praktiken wie das Social Scoring durch Behörden und stuft in Anhang III unter anderem den Zugang zu öffentlichen Leistungen, die Strafverfolgung, Migration und die Rechtspflege als Hochrisikobereiche ein, mit Pflichten zu Protokollierung, Dokumentation und menschlicher Aufsicht. Artikel 22 der Datenschutz-Grundverordnung gibt Betroffenen seit 2018 das Recht, keiner ausschließlich automatisierten Entscheidung mit rechtlicher Wirkung unterworfen zu werden, sofern nicht eine der Ausnahmen greift, etwa ein Gesetz mit angemessenen Schutzvorkehrungen, das dies ausdrücklich zulässt. Jörn von Lucke weist im Geleitwort zum Buch zu Recht darauf hin, dass die KI-Verordnung als Treiber, Regler und Korrektor wirken wird und einige der im Buch bewusst weit gedachten Ideen in Europa nicht umgesetzt werden dürften. Ich halte das für die richtige Arbeitsteilung: Denkmodelle dürfen weiter reichen als das, was ein Rechtsstaat zulässt, damit die Gesellschaft die Grenze bewusst zieht statt zufällig.

Ein Sonderfall der dritten Grenze ist die Diskriminierung durch Daten. Ein lernendes System, das auf historischen Kontrolldaten aufbaut, übernimmt die Vorurteile, die diese Daten geprägt haben. Im Buch verwenden wir das Beispiel des bunten VW Bulli, der im Straßenverkehr erheblich häufiger angehalten wurde als der graue Škoda: Die Software würde das Risiko der Bulli-Fahrerinnen und -Fahrer überbewerten, weil die Menschen es getan haben. Deshalb dürfen sicherheitsrelevante Entscheidungen nicht ungeprüft auf Erfahrungsdaten beruhen. Wir schlagen ein interdisziplinäres Gremium aus IT, Recht, Ethik und Sozialem vor, dessen Mitglieder ähnlich unabhängig berufen werden wie Richterinnen und Richter. Zur dritten Grenze gehört schließlich der analoge Zugang: Für Menschen, die technisch oder kognitiv keinen Zugang zu digitalen Services haben, müssen analoge Alternativen bereitgestellt werden oder erhalten bleiben, damit sie die Leistungen des Staates trotzdem in Anspruch nehmen können.

Die drei Grenzen im Überblick

Was das für Verwaltungen heißt, die jetzt starten

Grenzen zu benennen ist leicht; sie in Systemen zu verankern ist Arbeit. Aus unseren Projekten im öffentlichen Sektor ergeben sich fünf Regeln, die sich unabhängig von der Reifestufe umsetzen lassen:

1. Die Automationsgrenze je Prozess ausformulieren. Für jede Leistung steht schriftlich fest, wann automatisch entschieden und wann eskaliert wird, zum Beispiel: automatisch, wenn alle gesetzlichen Bedingungen erfüllt und alle erforderlichen Daten vorhanden sind; sonst an einen Menschen. Diese Regel ist Teil der Spezifikation, nicht der Implementierung.
2. Ermessensfälle gestalten statt verhindern. Der Fall kommt vollständig aufbereitet beim Menschen an, mit geprüften Fakten, Optionen und Folgen. Die menschliche Entscheidung wird samt Begründung dokumentiert, damit sie prüfbar bleibt und der Gesetzgeber erkennen kann, wo Spielräume systematisch gleich ausgeübt werden.
3. Die Justiz vor dem Go-live einbinden. Ein Regelwerk, das Bescheide erzeugt, wird vor dem Einsatz geprüft und freigegeben, nicht erst im Beschwerdeverfahren. Die Prüfwerkzeuge müssen ohne Informatikkenntnisse bedienbar sein.
4. Eingriffe auf Freigaben verdrahten. Jede Verknüpfung personenbezogener Daten über den Zweck des Verfahrens hinaus setzt eine protokollierte richterliche Freigabe voraus, die das System technisch prüft, bevor es Daten herausgibt.
5. Lernende Anteile absichern. Wo Software aus Daten lernt, prüft ein unabhängig besetztes Gremium die Datenbasis auf Verzerrungen, und Entscheidungen mit Grundrechtsbezug bleiben deterministisch nachvollziehbar.

Diese Regeln sind kein Bremsklotz. Sie sind die Voraussetzung dafür, dass Bürgerinnen und Bürger die vielen automatisierten Entscheidungen akzeptieren, die ihnen Zeit, Wege und Nachweise ersparen. Wie Erklärbarkeit dabei zum Prinzip wird, haben wir im Beitrag Erklärbarkeit als Rechtsstaatsprinzip beschrieben; welche Register den eindeutigen Regelanteil überhaupt erst entscheidbar machen, im Beitrag Register statt Nachweise.

Der nächste Schritt

Die drei Grenzen sind im Buch „Der selbstfahrende Staat“ (Springer Gabler 2024) in den Abschnitten zu den Prämissen und zur gewaltentrennenden Perspektive ausführlich hergeleitet: Zum Buch. Wie wir Verwaltungen dabei unterstützen, Automationsgrenzen in Spezifikationen zu verankern und Fachverfahren daran auszurichten, beschreibt unsere Seite Öffentliche Verwaltung. In einem Expertengespräch gehen wir gerne mit Ihnen einen konkreten Prozess durch und ziehen die Grenze gemeinsam.