Solutionistisches Bevölkerungsmanagement – Programmatische Ungleichbehandlung durch BigData und Künstliche Intelligenz

Von Guido Arnold

Die Corona-Pandemie entfesselt derzeit verhaltensökonomische Ansätze der sogenannten Solutionist*innen (technologie-fixierte Problemlöser*innen). Die offensichtlichsten Ausprägungen der Kontaktreduktion in Hochinzidenzperioden sind der Boom an zoom-Sitzungen (virtuelle Zusammenkünfte per Videotelefonie) nicht nur im Arbeitskontext, sowie der steile Aufstieg von Lebensmittel-Lieferdiensten im urbanen Raum. Deren prominentester Vertreter in Deutschland Gorillas wurde in der Pandemie (August 2020) gegründet. Beides sind sogenannte digitale Plattformen, die den pandemischen Impuls nutzen, unser soziales Leben weit über die Pandemie hinaus umzustrukturieren.

Die Solutionistin* löst zu ihrer eigenen Legitimation als ›Problemlöser*in‹ in der Regel technologisch fassbare, leichter zu lösende Ersatzprobleme, die sich der Technokrat gerne zunutze macht.

Beispiel 1: Warum sollte eine Großstadt in den teuren Ausbau nicht mehr ausreichender öffentlicher Verkehrssysteme investieren, wenn sie reichhaltige Fahrgastdaten zur Verfügung hat, um personalisierte Anreize für Fahrgäste zu schaffen, die diese von Fahrten zu Spitzenzeiten abhalten? Lösungen des eigentlichen Problems auf der Angebotsseite, wie der Bau weiterer U-Bahnlinien, sind deutlich teurer als eine (künstlich intelligente) Flexibilisierung des Fahrpreises. Diese regelt auf der Nachfrageseite dynamisch zu hohe Fahrgastzahlen in Spitzenzeiten herunter und schafft Anreize zu Zeiten von Fahrgastflauten.

Beispiel 2: Die Corona-Warn-App steht ebenfalls für eine technologie-affine Problem-Nicht-Lösung. Für die Ermittlung des Infektionsrisikos werden Dauer und Nähe eines Kontakts zwischen zwei Personen (deren Smartphones) in Bluetooth-Reichweite erfasst. Da Smartphones keine Entfernungen messen können, versuchen die App-Programmierer*innen aus der gemessenen Signalstärke der empfangenen Bluetooth-Funksignale die Distanz zwischen den beiden beteiligten Smartphones abzuschätzen. Das ist in geschlossenen Räumen (insbesondere in Bussen und Bahnen) nachweislich derart ungenau¹, dass die Kontaktnachverfolgung per Tracing-App für Gesundheitsämter schlicht unbrauchbar ist². Die Bluetooth-Technologie ist für die Abstandsmessung weder gedacht noch geeignet³. Dennoch war die Corona-Warn-App 2020 das von der Bundesregierung propagierte Herzstück der Krisenbewältigungsstrategie (bis zum Zeitpunkt der Verfügbarkeit von Vakzinen). Sie sollte neben den altbackenen Instrumenten wie Masken, Abstandsregeln und Lockdown innovative Handlungsfähigkeit und Kontrolle suggerieren.

Solutionismus bietet Lösungen für gesellschaftliche Probleme über neue Technologien, die oftmals an den Problemen vorbeigehen. Das eigentliche Problem wird zum Teil nicht einmal ansatzweise gelöst, vielmehr vertauscht der Solutionismus (bewusst) Problem und Lösung: Statt ein konkretes Problem mit einer spezifischen technischen Erfindung zu lösen, preist die Solutionist*in technische Erfindungen als Lösung für Probleme an, von denen sie nicht weiß, nicht wissen will oder sogar verschleiern will, welcher Art und Komplexität sie sind.

Die aktuelle Corona-Krise wird zum Anlass genommen, um die Durchsetzung disruptiver Technologien zu beschleunigen – oftmals zugunsten paternalistischer Verhaltenslenkungsmuster, die schon vor 50 Jahren nicht fortschrittlich waren. Wer immer noch George Orwells »1984« als Blaupause für den neuen Typ des Überwachungskapitalismus bemüht, unterschätzt sowohl die Technokratie als auch ihren vermeintlich neutralen Steigbügel, den Solutionismus. Letzterer gibt vor, mit seinen ›pragmatischen‹ Problemlösungsstrategien ›post-ideologsch‹ zu sein. Tatsächlich ist die Radikalität, mit der Technokrat*innen den Solutionismus zum einzig denkbaren Ansatz für komplexe gesellschaftliche Probleme erheben, alles andere als unideologisch. Man muss die konsequente Art, lediglich digitale Pflaster auf die eklatantesten Wunden des krisenhaften Kapitalismus zu kleben, sehr wohl als Ideologie – nämlich als Ideologie der Politik-Vermeidung – begreifen. Mit der disruptiven Neusetzung gesellschaftlicher Strukturen macht er seinerseits (eine andere) machtvolle Politik: Technokrat*in und Solutionistin* versuchen alles, außer den Markt, zu zerstören und zu revolutionieren. Die resultierenden digitalen Plattformen sind (Un-)Orte der Isolation und Individualisierung, nicht der Kollektivität und Solidarität.

Die Coronakrise scheint noch viel mehr als die Klimakrise dazu geeignet zu sein, das technokratische Instrumentarium als Standardoption für die ›Lösung‹ existenzieller Probleme festzuschreiben. Darüber schrumpft (selbstverstärkend) die Vorstellungskraft, eine Welt jenseits der Technokratie auch nur zu erdenken.

Insbesondere in Situationen existenzieller Angst verfangen abstrakte Versprechen politischer Emanzipation weit weniger als das reduktionistische ›Versprechen‹ z.B. einer App, die Leuten sagt, ob sie sich sicher fühlen dürfen und wie sie ihren Alltag noch sicherer machen können. Eine post-solutionistische Krisenpolitik ist mit der voraussichtlichen Permanentisierung eines war-on-virus aktuell nicht in Sicht. Vielmehr machen unterschiedlich subtile Formen des Techno-Autoritarismus das Rennen.

Dieser Beitrag soll zeigen, dass insbesondere die auf künstlicher Intelligenz und BigData basierenden Ansätze des Solutionismus auf diskriminierende Ungleichbehandlung setzen. Eine gesellschaftliche Entsolidarisierung ist dabei nicht nur ein Nebeneffekt, sondern Programm.

Algorithmen

Klassischer Algorithmus

Den klassischen Algorithmus können wir vereinfacht als Abfolge von Wenn-Dann-Beziehungen verstehen. Schon in dieser mathematisch formalisierten Beschreibung ist kein Platz mehr für Ambivalenz, übergeordnete Kontextabhängigkeit oder Skeptizismus – ganz unabhängig von der Übersetzung des Algorithmus in ein ausführbares Computerprogramm.

Ein Beispiel: Ein Krankenpfleger berichtet, wie sich sein Arbeitsalltag durch die Einführung einer digitalen Zeiterfassung verändert hat. Per App auf seinem Dienst-Tablet werden nun seine Ankunfts- und Abfahrtszeit bei jeder Patient*in erfasst – einfach durch Anklicken auf deren Namen im Tages-Dienstplan. Daraus wird die Pünktlichkeit, seine Arbeitsleistung im statistischen Vergleich mit anderen Kolleg*innen vermessen und das für bestimmte Pflegetätigkeiten zugestandene, mittlere Zeitkontingent neu definiert. Ein banales Programm, ganz ohne künstliche Intelligenz. Die Auswirkungen gegenüber der alten, analogen Zeiterfassung sind jedoch gravierend. Ein nachträgliches Ausgleichen unterschiedlich zeitaufwändiger Patient*innen auf dem Zettel ist nicht mehr möglich. Wenn das Waschen und Anziehen von Patient*in A schneller ging als vorgesehen, kann dieser Zeitgewinn nicht mehr für ein aufbauendes Gespräch mit der darauf folgenden Patient*in B genutzt werden. »Schieben« geht nicht mehr – Die App zwingt die Pflegekraft, den Auftrag für Patientin A vor Abreise in Richtung Patientin B (inklusive Zeitstempel) abzuschließen.

Allein die Feinvermessung der Arbeitsabläufe mündet so in eine Enteignung der Arbeitstätigkeit zugunsten einer Effizienzsteigerung – nichts Neues, sondern lediglich die digitalisierte Version der Fließbandidee. Amazon treibt das Monitoring und den Echtzeit-Performance-Vergleich seiner Mitarbeiter*innen in einem nicht-einsehbaren Ranking besonders weit. Die Intransparenz der Rangliste führt dazu, dass die Mitarbeiter*innen ihre ›Selbst-Optimierung‹ bereits verinnerlicht haben, aus Angst, unter dem (ihren Arbeitsplatz gefährdenden) Leistungsdurchschnitt zu liegen.⁴

Statistik auf großen Datenmengen

Unter bestimmten Bedingungen lässt sich die Wenn-Dann-Beziehung des klassischen Algorithmus umkehren: Dies ermöglicht im Weiteren die Berechnung der zu einer erwünschten Dann-Folge notwendigen Wenn-Basis. Bei komplexeren Problemen (z.B. menschlichen Verhaltens) reißt dieser Umkehrfaden jedoch schnell ab – zu viele mögliche Parameter machen die Dann-Wenn-Umkehrung (für den Einzelfall) uneindeutig.

Sammelt man hingegen sehr viele Verhaltensdaten und lassen sich mehrere unterschiedliche Datenbanken verknüpfen, werden unerwünschte Dann-Folgen mit hoher Genauigkeit vorhersehbar und ermöglichen ein lenkendes Eingreifen in die Wenn-Basis. So lässt sich zumindest im statistischen Mittel ein bestimmtes Verhalten unterdrücken und anderes fördern.

Künstliche Intelligenz (KI)

Eine derzeit für das Lösen von Optimierungsaufgaben besonders vielversprechende Klasse künstlich intelligenter Algorithmen sind sogenannte ›selbst-lernende neuronale Netze‹. Diese Algorithmen »lernen« auf der Basis von Trainingsdaten und passen ›selbständig‹ ihre Muster (die Lösungsstrategie) dem zu lösenden Problem an. Mit jedem neuen Datensatz, auf den das zugehörige Programm angewendet wird, verändert es sich. Auch hier ein Beispiel: Amazons selbstlernende Rekrutierungssoftware versuchte auf Basis von 5.000 bereits bewerteten Bewerbungsmappen zu ›lernen‹, welche Muster in den Bewerber*innendaten zu einer positiven Beurteilung geführt haben können. Die Gewichtung z.B. der Abschlussnoten im Vergleich zur bereits gemachten Arbeitserfahrung und anderer Parameter für das Endergebnis der Bewertung verändert sich mit jeder weiteren Anwendung des Programms auf neue Bewerbungsunterlagen.

Die Veränderung des ›selbst-lernenden‹ Programms hat den schwerwiegenden Effekt, dass das Bewertungsergebnis des Programms in Anwendung auf eine einzelne Bewerbungsmappe nicht mehr vorhersagbar ist. Die (veränderliche) Gewichtungen der Bewertungskriterien sind für die Betrachter*in intransparent – sie sind sogar für die Programmierer*in nicht mehr nachvollziehbar und damit auch nicht korrigierbar! Wir werden auf die Nichtnachvollziehbarkeit dieser Wenn-Dann-Beziehung als kritische Eigenschaft zurückkommen.

Im konkreten Fall von Amazons Rekrutierungssoftware stellte sich heraus, dass das Programm nach der Trainingsphase das Muster männlich für besonders erfolgversprechend hielt und fortan weibliche Bewerberinnen im Bewerbungsprozess ausnahmslos benachteiligte. Amazon musste die Software ausmustern. Ein nachträgliches Justieren der Programmparameter war nicht möglich.

Korrelation versus Kausalität

Chris Anderson (ehemaliger Chefredakteur des Technologie-Magazins Wired) läutete bereits 2013 in einem Essay »Das Ende der Theorie« ein. Er schrieb, man brauche keine semantische oder kausale Analyse mehr – eine statistische reiche völlig aus:

»Wir leben in einer Welt, in der riesige Mengen von Daten und angewandte Mathematik alle anderen Werkzeuge ersetzen, die man sonst noch so anwenden könnte. Ob in der Linguistik oder in der Soziologie: Raus mit all den Theorien des menschlichen Verhaltens! Vergessen sie Taxonomien, die Ontologie und die Psychologie! Wer weiß schon, warum Menschen sich so verhalten, wie sie sich gerade verhalten? Der springende Punkt ist, dass sie sich so verhalten und dass wir ihr Verhalten mit einer nie gekannten Genauigkeit nachverfolgen und messen können. Hat man erst einmal genug Daten, sprechen die Zahlen für sich selbst.«⁵

Mehr noch: Anderson diskreditierte darin Nicht-BigData-Ansätze wie etwa die klassische Theoriebildung in der Physik als »Schöne Geschichten-Phase einer Disziplin, die an Datenhunger litt«⁶. Beinahe könnte der Eindruck entstehen, Anderson habe recht: Die erfolgreichste Variante künstlich-intelligenter Sprachübersetzungs-Software von Google verzichtet fast vollständig auf grammatikalische Vorgaben der beteiligten Sprachen. Die Übersetzung basiert ausschließlich auf ausreichend vielen Textdaten, die in einen selbst-lernenden Algorithmus zur Sprachmustererkennung eingespeist werden. Google versucht also gar nicht erst, eine Sprache ›zu verstehen‹ – das heißt, per Abstraktion Sprachregeln abzuleiten und sich somit eine Theorie der Sprache zu erarbeiten. Stattdessen wird die Wahrscheinlichkeit einer treffenden Übersetzung ganzer Wortgruppen durch zwei Dinge erhöht: die stetige Erweiterung der Vergleichsdatenbanken bereits getätigter Übersetzungen und eine darauf basierende, sich automatisch anpassende Neugewichtung ›erkannter‹ Übersetzungsmuster. Nach Milliarden dementsprechend „übersetzter“ Texte könnten KI-Enthusiast*innen behaupten, diese erlernten Gewichte (Korrelationen) gäben eine Art ›Grammatik‹ der Sprachübersetzung wieder.

Der entscheidende Punkt ist: Diese ›Grammatik‹ ist nicht extrahierbar – die Allgemeinheit profitiert nicht in einer von der künstlich-intelligenten Maschinerie abstrahierbaren Form von diesem Übersetzungswissen. Das Wissen ist nicht von der immer größer werdenden Sprachmusterdatenbank abzutrennen: Wir lernen nichts über das Wesen der beteiligten Sprachen. Googles Übersetzungsassistent ist eine ›Black Box‹. Google häuft Herrschaftswissen an und behauptet, einen Beitrag zur allgemeinen Verständigung und zur Wissensvermehrung zu liefern – für alle frei zugänglich.

Joseph Weizenbaum, selbst KI-Pionier in den 1960er Jahren und später einer ihrer prominentesten Kritiker, warf den KI-Technokrat*innen die bewusste Verschleierung des Unterschieds zwischen (phänomenologischer) Beschreibung und einer Theorie, die semantische bzw. kausale Zusammenhänge aufzeigt, vor. Besonders fatal werde dies bei der Modellierung des Menschen mit seinen Persönlichkeitseigenschaften. Hier geben KI-Enthusiast*innen das Datenabbild eines Menschen für den Menschen selbst aus. Das meint, die Beschränkungen einer modellhaften Beschreibung nicht nur zu vergessen, sondern bewusst zu vertuschen. Weizenbaum prognostizierte fatale Folgen bis hin zum Verlust der Eigenständigkeit in einer von Künstlicher Intelligenz fremdbestimmten Welt digitaler Dienste.

Die Kausalität ist, anders als die Korrelation, ihrem Wesen nach überprüf-, hinterfrag- und angreifbar. Sie ist nicht proprietär und eignet sich daher weniger zum Aufbau von Machtgefälle.

Diskriminierende Algorithmen

KI-basierte Analyse-Software wird mittlerweile standardmäßig zur Verhaltenserfassung und -lenkung eingesetzt. In vielen Lebensprozessen begegnen wir mehr oder weniger aufwändig programmierten, künstlich intelligenten Assistenten – in jeder Spracherkennungssoftware beispielsweise oder bei der individuellen Profilerstellung durch Datensammeldienste wie Google, facebook, Palantir oder Amplitude. Wer erhält welche individuellen Bonusmöglichkeiten beim (Online-)Einkauf, bei der Kranken- oder Kfz-Versicherung?

Doch dabei bleibt es nicht. Zunehmend regelt die algorithmische Verhaltensanalyse auch die Beziehung des Einzelnen zum Staat – zu Bildungs- und Gesundheitseinrichtungen, zum Sicherheitsapparat und zur Politik⁷. Auf Grundlage von prognostizierten Verhaltensweisen, Risiken oder Effizienzpotenzialen wird Bevölkerung automatisiert ungleich behandelt.

Die künstlich intelligente Vorhersage der interessierenden (sensiblen) Verhaltensdaten erfordert dazu eine möglichst detaillierte Erfassung und anschließende Bewertung von sogenannten Hilfsdaten.

So werden etwa aus den Hilfsdaten eines individuellen Browserverlaufs die sensiblen Verhaltensdaten zur sexuellen Orientierung einer Person mit hoher Trefferquote vorhergesagt. Genau wie bei Amazons künstlich intelligenter Analyse von Bewerbungsmappen benötigt die selbstlernende KI Trainingsdaten – also Personen, die sowohl ihre Browserverläufe, als auch Angeben zu ihrer sexuellen Orientierung offenlegen. Anhand dieser Trainingsdaten lassen sich Muster erkennen – also statistische Häufigkeiten (Korrelationen), die angeben, wie oft welche Eigenheiten des Browserverlaufs mit welchen sexuellen Vorlieben verknüpft sind.

Diese Korrelationen geben jedoch nur Auskunft über die statistische Gruppe dieser Trainingspersonen. Eine induktive Verallgemeinerung über die Trainingsdaten hinaus ist die (unzulässige) Grundlage der prädiktiven Verhaltensanalyse: Die ermittelten Korrelationen werden genutzt um aus beliebigen (anderen) Browserverläufen die sexuelle Vorlieben der zugehörigen Internetnutzer*innen vorherzusagen.

Es ist klar, dass 1.) diese Ähnlichkeitsgruppierungen nach dem people-like-you Prinzip keine kausalen Verknüpfungen zwischen Browserverlauf und sexueller Orientierung zulassen. Neben der 2.) unzulässigen Verallgemeinerung dieser statistischen Gruppeneigenschaft über die Gruppe der Trainingspersonen hinaus findet mit der nun abgeleiteten Verhaltensvorhersage jedoch auch eine 3.) unzulässige Vereindeutigung auf eine Einzelperson statt. Ohne jede Unschärfe ordnet die prädiktive Analyse einer Einzelperson exakt eine Schublade der sexuellen Orientierung zu. Letzteres wird bei der Kritik an der prädiktiven Verhaltensanalyse oft vergessen und lediglich der sogenannte Bias der Trainingsdaten (Verzerrung der statistischen Gewichte durch nicht-repräsentative Auswahl von Trainingspersonen) bemängelt.

4.) Das eigenständige Entwickeln von stetig neu ausgerichteten Ähnlichkeitsmustern (durch die selbstlernende KI) bringt es mit sich, dass die Unterscheidung von Personen(-gruppen) dynamisch und nicht statisch erfolgt: Erfassung und Bewertung erfolgen nicht mehr nach fest definierten Kategorien – der Schubladenschrank ist in Ausprägung und Anzahl der ›Schubladen‹ variabel. Eine Schufa, die eine Einstufung der Kreditwürdigkeit mit feststehender Gewichtung einmal benannter Kriterien erlaubt, wäre ein hoffnungslos veraltetes finanzpolitisches Instrument.

Über prädiktive Verhaltensanalyse haben Mediziner*innen der University of Pennsylvania aus Anzahl und Inhalt von Facebook-Beiträgen (den Hilfsdaten) die Neigung zu Depressionen, Psychosen, Diabetis, Bluthochdruck (als sensible Verhaltensdaten) vorhergesagt⁸. Facebook selbst geht in den USA so weit, aus Abweichungen beim individuellen Schreibverhalten eine etwaige Suizidgefahr zu detektieren und in Reaktion darauf nicht nur regionale Hilfsangebote einzublenden, sondern in besonders akuten Fällen auch Sicherheitsbehörden zu kontaktieren, die sich ggfs. Zutritt zur Wohnung der Nutzer*in verschaffen.⁹

Programmatische Ungleichbehandlung

KI-basierte Prognosesysteme stellen ein sozio-technisches Instrument (z.B. für das Bevölkerungsmanagement) dar, da sie zum Einen die Trainingspersonen involvieren und zum Anderen auf der Akzeptanz derer basieren, die zwar glauben, ihre sensiblen Persönlichkeitsdaten gut zu schützen, aber ihre vermeintlich bedeutungslosen Hilfsdaten freizügig im Netz hinterlassen und damit die Datenbasis für die Prognose bieten. In diesem Prozess ist nicht jede*r ihre/seine eigene abgeschlossene Datenbasis und nur für seine eigene Vorhersagbarkeit per KI und die daraus mögliche Verletzung der Privatsphäre verantwortlich. Die Diskriminierung (Unterscheidbarkeit) einzelner ist erst über die kollektive Datensammlung durch viele möglich¹⁰. Damit ist diese Diskriminierung auch kollektiv zu verantworten.

›Normale‹ Nutzer*innen, die ›nichts zu verbergen haben‹ ermöglichen mit ihren Daten prädiktive Algorithmen, die andere Bevölkerungsgruppen als Abweichler*innen markieren.

Prädiktive Analysen stabilisieren die prognostizierte ›Realität‹. Durch ihre Vereindeutigung in der (eigentlich statistisch unscharfen) Vorhersage schreiben sie selbstverstärkend (per Feedback-Schleife) das Vorhergesagte fest. Die durch KI-Verhaltensvorhersage ermöglichte Ungleichbehandlung verschiedener Ähnlichkeitsgruppen zementiert eine Unterteilung in unsichtbare soziale Klassen. Unsichtbar deshalb, da die Unterscheidungskriterien keine demografisch nachvollziehbaren, sondern per KI-Optimierung vollständig intransparent sind.

R. Mühlhoff liefert eine biopolitische Interpretation des damit möglichen algorithmischen Bevölkerungsmanagments: »Jedes Individuum wird individuell erfasst, angesprochen und behandelt, dabei aber doch nicht aus dem Glaskäfig einer virtuellen Vergleichsgruppe entlassen.«¹¹ In der Konsequenz dieser computerisierten Ungleichbehandlung konstatiert er eine Entsolidarisierung hin zu einer Ethik der sozio-ökonomischen Selektion – jede*r wird behandelt, wie sie/er es verdient. Wer ungesünder lebt, zahlt zukünftig mehr für die Krankenversicherung. Die alltägliche Gewöhnung an eine ›passgenaue‹ Ungleichheit etabliert sich schleichend als neues Gerechtigkeitsempfinden. Die Transformation von einer Ungleichbehandlung als Ungerechtigkeit zur neuen Gerechtigkeit vollzieht sich passend zum Solutionismus der angewandten Methode ganz unideologisch.

Wer hat Zugang zu welchem Gebäude oder Stadtteil? Dies generell per KI zu regulieren, erscheint uns heute (noch!) als eine dystopische Übertreibung¹². Die in China umgesetzte Idee einer App-gesteuerten Lockerung des allgemein verfügten Lockdown in der Coronakrise macht jedoch genau das: Die virologische Gefährdung, die von einem Individuum ausgeht, wird anhand von individueller Mobilität, Anzahl an Kontakten (beides quantifizierbar über ein Smartphone-Tracking bzw -Tracing) und digitaler Einstufung des Immunitätsgrades bemessen. Die intransparente Bewertung mündet dann in drei unterschiedliche Bewegungsfreiheitsgrade: (grün=) freier Zugang zum Einkaufszentrum, (gelb=) kein Zugang, (rot=) kein Zugang mit sofortigen Quarantäneauflagen.

Ist es in ordnungspolitischer Denkweise nicht konsequent, den Menschen generell als multidimensionalen Risikofaktor wahrzunehmen und damit die Kategorie des Gefährders entlang unterschiedlicher Risiken weiter zu differenzieren und gemäß ›Gefährdergrad‹ unterschiedliche Einschränkungen zu verordnen? Bei sehr vielen Gefährdungsstufen landen wir beim Scoring. Denn es ist für die relationale Unterscheidung unerheblich, ob mensch hochdifferenzierte Einschränkungen per Malus verhängt oder in der Umkehrung soziale Teilhabechancen per Bonus diversifiziert.

Kategorisierung ohne Kategorien

Das Scoring erlaubt eine KI-basierte Diskriminierung nicht mehr nur entlang vermeintlicher Gruppenmerkmale, sondern bis zur Ebene einzeln unterscheidbarer Individuen. Soziale Scoring-Systeme werden auch außerhalb von China immer populärer. Verschiedene Wohn-, Job-, Kredit- oder Mobilitätsangebote gelten nur für Teilnehmer*innen mit genügend hohem ›Score‹ (= erworbene Punkte durch belohnenswertes Verhalten).

Es entsteht dann kein grobes Schubladensystem einzelner Klassen, sondern eine feinstkörnige Individualisierung. Feinstkörnig in dem Sinn, dass die Differenzierung entlang so vieler Parameter durchgeführt wird, dass sie vollständig ist: Eine weitere Unterscheidung über noch mehr Parameter würde das Schubladensystem nicht weiter verfeinern, sondern es lediglich noch unwahrscheinlicher machen, dass zwei Menschen in derselben ›Kategorie‹ landen, also exakt gleiche Teilhabemöglichkeiten (= gleiche Punktezahl) zugewiesen bekommen.

Der Begriff ›Kategorie‹ ergibt dann keinen Sinn mehr. Auch der Begriff der ›Klasse‹ wird deformiert. Klassenzugehörigkeit lässt sich in einer per Score und Ranking verfassten Gesellschaft nicht mehr sinnvoll durch eine eindimensionale Bewertung von (lohn-abhängiger) Arbeit definieren. Stattdessen führt die Erfassung von zigtausenden Mustern von Verhalten, Kontakten, Einstellungen und Wünschen auch jenseits der Lohnarbeit zu einem niedrigen Score – das ist neue vermeintlich ›klassenlose‹ Deklassierung und in vielen Metropolen Chinas bereits lebensbestimmende Realität.

Die ›Individuierung‹ per Score wird von Solutionist*innen vorangetrieben und findet entlang kapitalistisch motivierter Bewertungskriterien statt. Sie ordnet aber nicht nur den Markt neu, sondern auch die politische Administration. Wir werden daran gewöhnt, dass regelnde Verordnungen nicht mehr für alle gleich sind. Das bisherige Steuersystem z.B. ist so verfasst, dass sich Steuerklassen und der letztendliche Steuerbetrag einer Person über einen simplen klassischen Algorithmus berechnen lassen – also eine einfache Abfolge von statischen Wenn-Dann-Beziehungen. In einer feinkörnigen Scoring-Gesellschaft hingegen gelten für jede*n andere Regeln. Es gibt keine Steuerklassen. Stattdessen erhält jede*r individuelle Verhaltensempfehlungen von einem KI-basierten digitalen Assistenten. Diese Handlungsempfehlungen umzusetzen oder zu ignorieren wird mit Bonus- oder Malus-Punkten belohnt oder sanktioniert. Das ergibt maximale Individuierung in dem Sinne, dass niemandes Situation mit der eines anderen vergleichbar ist. Sogar die jeweiligen Bedingungen, gemäß derer jede*r einzelne Punkte sammelt, sind damit nicht vergleichbar. Das befördert maximale Entsolidarisierung. Ein kollektives Aufbegehren wird erschwert. Gruppen von (vergleichbar) Betroffenen lassen sich nur aufwändig bilden. Wer will Ungleichbehandlung beklagen oder gar skandalisieren, wenn sie offen konstitutiv für das System ist?

Intransparenz als Basis für Selbstoptimierung

Ein weiteres wesentliches Merkmal KI-basierter Systeme zur Verhaltenslenkung ist die Undurchsichtigkeit der Erfassungs- und Bewertungskriterien.

Die Kategorien, gemäß derer Verhalten erfasst werden, sowie ihr Einfluss auf die Gesamtbewertung bleiben bewusst (z.B. Schufa-)Geheimnis. Mehr noch: die Muster, nach denen sich besonders effizient Verhalten unterscheiden lässt, verändern sich im Rahmen einer selbstlernenden KI. Je mehr Daten ins System eingespeist werden, desto ›treffender‹ findet die KI eine Unterscheidung (gemäß ihrer Lernvorgaben) wesentlicher Verhaltensmerkmale. Die zu bewertenden Individuen können diese dynamische Kategorisierung gar nicht kennen. Sie können lediglich erahnen und spielerisch (Gamification) erforschen, welches Verhalten ihre (momentane!) Punktezahl wie stark beeinflusst. Eine optimale Voraussetzung dafür, sich in Unkenntnis der Bewertungsmodalitäten und in der Hoffnung auf einen besseren Score umfassend selbst zu optimieren. Denn das Scoring-System ist über ein (nicht einsehbares) Ranking konkurenzbasiert.

Die Situation ist noch komplexer: Selbst die Informatiker*innen, die das Bewertungsprogramm entwickelt haben, können nur zu Beginn eine Aussage darüber treffen, welches Verhalten zu welchem Score in der KI-Bewertung führt. Nach (selbstlernender) Weiterentwicklung des Programms verändern sich die relevanten Muster und ihre Gewichtung für den Score. Die Informatiker*in kennt dann die ›Gewichte‹ ihrer eigenen Individuierungssoftware nicht mehr. Diese Unkenntnis ist nicht Ausdruck ihrer Unfähigkeit, sondern systemisch bedingt und eher als ein Maß für die Effektivität einer KI-basierten Optimierung ohne starke Vorgaben zu verstehen.

Diese Freiheit der KI ist Vorzug und Makel zugleich. Selbstlernende neuronale Netze arbeiten besonders gut, wenn sie ihre Optimierungsmuster so ›frei‹ wie möglich selbst entwickeln können. Die Details künstlich intelligent getroffener Entscheidungen entziehen sich jedoch einer menschlichen Nachvollziehbarkeit und damit auch ihrer Vermittelbarkeit.

Gesellschaftliche Gerechtigkeitsvorstellungen basieren auf Vergleichbarkeit und suchen Ungleichheiten perspektivisch abzuschaffen. Was bedeutet es für eine Gesellschaft, wenn sie es Technokratie und Solutionismus überlässt, Regeln zu entwerfen, die auf Ungleichbehandlung setzen und weder beständig noch vermittelbar, ja, nicht einmal bekannt sind?

‚Verantwortungsvolle KI‘ – der europäische Weg?

Mit explizitem Distanzierungsbedürfnis wendet sich die EU-Kommission in einer im April 2021 vorgeschlagenen EU-Verordnung¹³ von Chinas Soziale-Punkte-Systemen ab:

„KI-Systeme, die als klare Bedrohung für die Sicherheit, die Lebensgrundlagen und die Rechte der Menschen gelten, werden verboten. Dazu gehören KI-Systeme oder -Anwendungen, die menschliches Verhalten manipulieren, um den freien Willen der Nutzer zu umgehen (z.B. Spielzeug mit Sprachassistent, das Minderjährige zu gefährlichem Verhalten ermuntert), sowie Systeme, die den Behörden eine Bewertung des sozialen Verhaltens (Social Scoring) ermöglichen.“¹⁴

Die EU ist bei der Entwicklung von Anwendungen im Bereich künstlicher Intelligenz im Vergleich zu den USA und China hinsichtlich der Anzahl der Patente und der Summe der getätigten Investitionen weit abgehängt. Es ist denkbar, dass hier aus der Not eine Tugend gemacht wird. Eine Tugend, die sich plakativ von Chinas Ziel einer quasi-totalitären, digitalen Vermessung und Bewertung aller Individuen in Echtzeit abgrenzt, ohne den hoch effektiven Methoden eines KI-basierten Bevölkerungsmangements abzuschwören.

Die europäische Datenschutzgrundvorordnung gilt weltweit als die fortschrittlichste. Ein Aushängeschild, welches jedoch in keiner Weise vor der Privatheitslücke der prädiktiven Verhaltensanalyse¹⁵ schützt: Es bringt nichts, sensible Daten zu schützen, wenn die vermeintlich unsensiblen Daten (als Hilfsdaten) für eine hoch-korrelierte Vorhersage eben jener sensiblen Daten genutzt werden können.

Ohne eine kollektivierte Verantwortung, die eine Sammlung auch eben jener ›unsensiblen‹ Daten wirksam verhindert, lässt das algorithmische Management von Bevölkerungsgruppen statt Einzelindividuen eine ausreichend umfängliche Erfassung und Lenkung eben jener zu. Chinas disziplinatorisches Scoring per Verordnung einzudämmen reicht bei weitem nicht und muss als Datenschutz-Blendwerk verstanden werden.

 

Dieer Artikel wurde zuerst veröffentlicht in der zeitschrift kulturrevolution kRR#81 (November 2021).