Erklärbarkeit als Rechtsstaatsprinzip

Seit dem 1. August 2024 ist die KI-Verordnung der Europäischen Union in Kraft. Sie verpflichtet Behörden, die Hochrisiko-KI einsetzen, zu Protokollierung, menschlicher Aufsicht und zur Erläuterung von Einzelentscheidungen. Neu ist daran weniger, als es scheint: Die Pflicht, Entscheidungen zu begründen, gehört seit jeher zum Rechtsstaat. Dieser sechste Beitrag unserer Serie zum selbstfahrenden Staat zeigt, warum Erklärbarkeit dort kein technisches Extra ist, sondern die Bedingung, unter der ein Staat überhaupt automatisiert entscheiden darf, und wie sie sich von Anfang an einbauen lässt.

Die Begründungspflicht ist älter als jede künstliche Intelligenz

Wer in Österreich einen Bescheid erhält, der dem eigenen Antrag nicht vollinhaltlich entspricht, hat Anspruch auf eine Begründung. § 58 des Allgemeinen Verwaltungsverfahrensgesetzes ordnet sie an, § 60 bestimmt ihren Inhalt: die Ergebnisse des Ermittlungsverfahrens, die maßgebenden Erwägungen der Beweiswürdigung und die darauf gestützte rechtliche Beurteilung, klar und übersichtlich zusammengefasst. In Deutschland verlangt § 39 des Verwaltungsverfahrensgesetzes dasselbe grundsätzlich für jeden schriftlichen oder elektronischen Verwaltungsakt. Auf europäischer Ebene zählt Artikel 41 der Grundrechtecharta die Verpflichtung der Verwaltung, ihre Entscheidungen zu begründen, ausdrücklich zum Recht auf eine gute Verwaltung.

Der Zweck dieser Regeln ist kein Formalismus. Nur wer die Gründe einer Entscheidung kennt, kann beurteilen, ob sie richtig ist, und nur dann lässt sich ein Rechtsmittel sinnvoll ergreifen. Die Begründung macht die Entscheidung für Gerichte überprüfbar, sie zwingt die Behörde zur Selbstkontrolle, und sie dokumentiert, dass gleiche Fälle gleich behandelt wurden. Erklärbarkeit ist damit die Voraussetzung für Rechtsschutz, Gewaltenteilung und Gleichbehandlung zugleich.

Auch für automatisierte Entscheidungen ist das nicht neu. Die Datenschutz-Grundverordnung räumt Betroffenen seit 2018 in Artikel 22 das Recht ein, nicht einer ausschließlich automatisierten Entscheidung mit rechtlicher Wirkung unterworfen zu werden, sofern nicht etwa ein Gesetz sie mit geeigneten Garantien zulässt, und sie verlangt in den Artikeln 13 bis 15 aussagekräftige Informationen über die involvierte Logik. Die Frage lautet also nicht, ob eine Software ihre Entscheidungen begründen muss. Sie lautet, wie sie das tut.

Was die KI-Verordnung seit dem 1. August verlangt

Die Verordnung (EU) 2024/1689, allgemein AI Act genannt, wurde am 12. Juli 2024 im Amtsblatt veröffentlicht und ist am 1. August 2024 in Kraft getreten. Ihre Pflichten gelten gestaffelt: Die Verbote bestimmter Praktiken greifen nach sechs Monaten, die Anforderungen an Hochrisiko-Systeme nach Anhang III nach 24 Monaten. Für die Verwaltung ist dieser Anhang entscheidend. Er stuft unter anderem Systeme als hochriskant ein, die Behörden einsetzen, um den Anspruch natürlicher Personen auf wesentliche öffentliche Leistungen zu beurteilen, zu gewähren, zu kürzen oder zurückzufordern, ebenso Systeme in der Strafverfolgung, im Migrationswesen und in der Rechtspflege.

Für solche Systeme verlangt die Verordnung genau das, was der Rechtsstaat ohnehin voraussetzt, nur präziser:

• Protokollierung (Artikel 12). Hochrisiko-Systeme müssen Ereignisse über ihre gesamte Lebensdauer automatisch aufzeichnen, damit sich Entscheidungen nachträglich rekonstruieren lassen.
• Transparenz gegenüber dem Betreiber (Artikel 13). Die Funktionsweise muss so dokumentiert sein, dass die einsetzende Behörde die Ergebnisse interpretieren und angemessen verwenden kann.
• Menschliche Aufsicht (Artikel 14). Menschen müssen das System verstehen, seine Ausgaben richtig deuten und im Einzelfall eingreifen oder das Ergebnis verwerfen können.
• Grundrechte-Folgenabschätzung (Artikel 27). Öffentliche Stellen müssen vor dem Einsatz bewerten, welche Auswirkungen das System auf die Grundrechte der Betroffenen hat.
• Recht auf Erläuterung (Artikel 86). Wer von einer Entscheidung betroffen ist, die auf der Ausgabe eines Hochrisiko-Systems beruht, kann vom Betreiber eine klare und aussagekräftige Erläuterung der Rolle des Systems und der wichtigsten Elemente der Entscheidung verlangen.

Ein Detail verdient Beachtung: Die Verordnung zielt auf KI-Systeme im Sinne ihrer Definition, also auf Systeme, die mit einem gewissen Grad an Autonomie aus Eingaben ableiten, wie sie Ausgaben erzeugen. Erwägungsgrund 12 nimmt Software aus, die ausschließlich auf von Menschen festgelegten Regeln beruht und diese automatisch ausführt. Ein deterministischer Regelvollzug, wie ihn ein digitaler Gesetzeszwilling darstellt, fällt daher in vielen Fällen gar nicht unter die Hochrisiko-Pflichten. Für den Rechtsstaat ändert das nichts: Die Begründungspflicht des Verwaltungsverfahrens gilt für jeden Bescheid, gleich, ob ihn eine Sachbearbeiterin oder ein Sachbearbeiter, ein Regelwerk oder ein lernendes Modell vorbereitet hat. Ich halte es deshalb für klug, Erklärbarkeit nicht als Compliance-Anforderung an einzelne Systeme zu behandeln, sondern als Architekturprinzip für die gesamte Verwaltungsautomatisierung.

Warum der selbstfahrende Staat ohne Erklärbarkeit nicht denkbar ist

In unserem Buch „Der selbstfahrende Staat“ (Springer Gabler 2024) stellen wir den Prämissen für den selbstfahrenden Staat vier ethische Grundfragen voran, an denen sich jede weitgehend automatisierte Verwaltung messen lassen muss: Transparenz, Gerechtigkeit, Privatsphäre und Autonomie. Transparenz steht an erster Stelle. Algorithmen, die im öffentlichen Sektor eingesetzt werden, dürfen nicht als Black Box agieren; Betroffene müssen die Grundlagen einer durch Software getroffenen Entscheidung verstehen können, insbesondere wenn sie direkt in ihr Leben eingreift.

Erklärbarkeit ist keine Eigenschaft, die man einem System nachträglich hinzufügt. Sie ist die Bedingung, unter der ein Staat überhaupt automatisiert entscheiden darf.

Was passiert, wenn diese Bedingung fehlt, hat das Bezirksgericht Den Haag am 5. Februar 2020 gezeigt. Es erklärte die gesetzliche Grundlage des niederländischen Risikoindikationssystems SyRI, mit dem Sozialleistungsbetrug aufgespürt werden sollte, für unvereinbar mit Artikel 8 der Europäischen Menschenrechtskonvention. Ein zentrales Argument: Weder das Risikomodell noch die verwendeten Indikatoren waren offengelegt, sodass Betroffene nicht nachvollziehen konnten, warum sie als Risiko galten. Ein System, das seine Gründe nicht nennen kann, verliert nicht nur das Vertrauen der Menschen, sondern auch seine Zulässigkeit.

Die gute Nachricht ist, dass der selbstfahrende Staat in diesem Punkt nicht weniger, sondern mehr leisten kann als die analoge Verwaltung. Menschliche Entscheidungen hinterlassen vergleichsweise wenig Spuren; welche Überlegung eine Sachbearbeiterin oder ein Sachbearbeiter tatsächlich angestellt hat, lässt sich nachträglich kaum rekonstruieren. Eine Software-Entscheidung kann dagegen lückenlos protokolliert und historisiert werden: welche Daten aus welchem Register eingeflossen sind, welche Regel angewendet wurde, welches Ergebnis daraus folgte. Das Buch beschreibt diese Nachvollziehbarkeit als Grundlage dafür, Diskriminierung und Systemmissbrauch überhaupt erst systematisch erkennen zu können.

Drei Ebenen, auf denen ein Staat erklären muss

Erklärbarkeit ist kein einzelnes Merkmal, sondern eine Antwort auf drei verschiedene Fragen. Der selbstfahrende Staat beantwortet sie auf drei Ebenen.

Die Regelebene. Ein digitaler Gesetzeszwilling ist die formale, maschinenlesbare Fassung eines Gesetzes, die neben dem Prosatext veröffentlicht wird. Sie ist für alle einsehbar und prüfbar. Im Buch haben wir das am österreichischen IT-Kollektivvertrag 2023 durchgespielt. Die Regeln sind damit nicht im proprietären Code eines Herstellers verborgen, sondern Teil der Rechtsordnung selbst.

Die Fallebene. Wird ein Bescheid aus dem Gesetzeszwilling erzeugt, entsteht die Begründung nicht nachträglich, sondern als Nebenprodukt des Vollzugs. Sie nennt die Datenbasis, etwa den Wert aus dem Melde- oder Unternehmensregister, die angewendete Bestimmung und den Rechenweg: Abgabe gleich Satz nach Paragraph drei mal gemeldeter Bemessungsgrundlage. Das ist genau der Inhalt, den § 60 AVG von einer Begründung verlangt, nur vollständig, konsistent und in verständlicher Sprache. Das Buch beschreibt entsprechend, dass die Benachrichtigung über eine automatisierte Entscheidung nicht nur das Ergebnis enthält, sondern eine transparente Darstellung der Gründe auf Basis der Daten und der gesetzlichen Grundlagen.

Die Systemebene. Ob ein System korrekt arbeitet, lässt sich nur prüfen, wenn jede Aktion protokolliert und jede Entscheidung historisiert ist. Logging und Historisierung sichern sich gegenseitig ab: Eine Manipulation des einen wird durch das andere sichtbar. Entscheidend ist, dass Kontrollorgane aus Legislative, Exekutive und Judikative Werkzeuge erhalten, die auch wenig IT-affine Juristinnen und Juristen bedienen können. Eine Richterin oder ein Richter muss einen Fall durch den zertifizierten Zwilling laufen lassen und das Ergebnis mit dem angefochtenen Bescheid vergleichen können, ohne zuvor IT-Expertinnen und IT-Experten heranziehen zu müssen.

Der Rechtsweg im selbstfahrenden Staat

Erklärbarkeit verändert auch, wie Rechtsmittel funktionieren. Im Buch unterscheiden wir, ob ein Einspruch das Ergebnis einer Software-Entscheidung betrifft oder den Prozess und die Daten, aus denen sie hervorgegangen ist. Richtet er sich gegen das Ergebnis, wird anlassbezogen geprüft, ob der Algorithmus samt Gesetzesregeln von der Judikative auditiert und freigegeben wurde und der Betrieb ordnungsgemäß lief. Das entspricht einer Verwaltungsstrafe nach einer Radarmessung: Die Radaranlage ist auditiert, die gemessene Geschwindigkeit als solche wird nicht mehr angefochten. Richtet sich der Einspruch dagegen gegen die Daten oder das Verfahren, prüft die Judikative, ob Vorgehensweise, Umsetzung und Datenverwendung korrekt waren; bei Unstimmigkeiten geht der Fall in ein klassisches Einspruchsverfahren.

Daraus ergibt sich, was wir im Buch als rechtsprechende Instanz „Null“ bezeichnen: Die Legislative definiert den Gesetzeszwilling, die Judikative prüft und zertifiziert ihn, die Exekutive setzt ihn um und betreibt die Systeme. Entscheidungen zertifizierter Systeme werden nicht einzeln beeinsprucht, wohl aber die Gesetzgebung, das Regelwerk oder das Softwaresystem als Ganzes. Der Instanzenzug bleibt vollständig erhalten, und mit ihm das natürliche Korrektiv der Gewaltenteilung. Ein Sonderfall ist im Buch ausdrücklich vorgesehen: Entscheidet der Algorithmus zwar regelkonform, verfehlt aber den Grundgedanken des Gesetzes, wird die Legislative mit der Prüfung des Gesetzes und der Überarbeitung der Softwarelösung betraut.

Menschliche Entscheidungen verschwinden dabei nicht. Für die Körperschaftsteuer schätzen wir im Buch, dass im Jahr 2035 über 95 Prozent der Fälle vollautomatisiert berechnet werden können; die übrigen fünf Prozent bleiben menschliche Entscheidungen mit klassischem Rechtsweg, und wer sich selbst zu diesen Ausnahmefällen zählt, kann jederzeit Einspruch erheben. Richterinnen und Richter der weiteren Instanzen arbeiten dann mit einer vollständigen, transparenten Datenbasis, in der Entscheidung, Gesetzeszwilling und Prosatext miteinander verknüpft sind und die Urteilsbegründung tragen.

Was Verwaltung und Projekte jetzt daraus machen sollten

Aus dem Zusammenspiel von Verwaltungsverfahrensrecht, Datenschutz-Grundverordnung und KI-Verordnung ergibt sich für laufende und geplante Vorhaben ein klares Programm:

1. Bestand erheben. Welche Verfahren stützen sich heute auf automatisierte Bewertungen, und welche davon fallen unter Anhang III? Die Übergangsfristen sind kein Grund zu warten, sondern die Zeit, die für den Umbau zur Verfügung steht.
2. Regeln vor Modelle. Gebundene Entscheidungen gehören in deterministische, veröffentlichte Regelwerke. Lernende Verfahren eignen sich für Priorisierung, Plausibilisierung und Vorbereitung, nicht für die Entscheidung selbst, solange ihre Ausgaben nicht auf Rechtsnormen zurückführbar sind.
3. Begründung als Pflichtausgabe spezifizieren. Jede automatisierte Entscheidung liefert Rechtsgrundlage, Datenquelle und Rechenweg in verständlicher Sprache mit. Wir behandeln diese Begründung in unseren Spezifikationen als funktionale Anforderung mit Abnahmekriterium, nicht als Dokumentationsthema.
4. Protokollierung und Historisierung von Anfang an. Nachträglich eingebautes Logging ist lückenhaft. Die Fähigkeit, jeden Fall zu einem späteren Zeitpunkt mit dem damals gültigen Regelstand nachzurechnen, muss Teil der Architektur sein.
5. Kontrollwerkzeuge mitplanen. Gerichte, Rechnungshöfe und Datenschutzbehörden brauchen Zugänge, mit denen sie Entscheidungen ohne IT-Sachverständige prüfen können. Auch deren Beschaffung muss transparent erfolgen.

Der Weg dorthin ist derselbe, den wir in den vorangegangenen Beiträgen beschrieben haben: Register statt Nachweise schafft die verlässliche Datenbasis, die antragslose Verwaltung setzt darauf auf. Erklärbarkeit ist die Bedingung, die beides rechtsstaatlich trägt.

Der nächste Schritt

Wie die ethischen Grundfragen, die Prämissen, der digitale Gesetzeszwilling und die gewaltenteilende Perspektive zusammenwirken, beschreibt unser Buch „Der selbstfahrende Staat“ (Springer Gabler 2024): Zum Buch. Wie wir Behörden bei der Spezifikation erklärbarer Verfahren begleiten, lesen Sie auf der Seite Öffentliche Verwaltung.