MALMOE

Keine neu­trale Tech­no­lo­gie

Algo­rith­men wer­den in der öffent­li­chen Ver­wal­tung ein­ge­setzt, um Ein­spa­run­gen objek­tiv erschei­nen zu las­sen. Dabei ist es kein Zufall, dass ein sol­ches Sys­tem in Öster­reich zuerst an Erwerbs­ar­beits­lo­sen erprobt wird.

Seit mehr als einem Jahr wird in Öster­reich eine Debatte über den AMS-Algo­rith­mus geführt. Viel Kri­tik von Forscher_innen, netz­po­li­ti­schen Aktivist_innen, Erwerbs­ar­beits­lo­sen­in­itia­ti­ven und aus Tei­len des AMS selbst liegt auf dem Tisch – die Ver­ant­wort­li­chen beim Arbeits­markt­ser­vice zei­gen sich von den Vor­tei­len des Sys­tems über­zeugt. Über­ra­schend wird im Sep­tem­ber ange­kün­digt, dass die interne Eva­lu­ie­rung abge­schlos­sen sei. Das Sys­tem sei früh­zei­tig bereit für den Regel­be­trieb. Die Debatte wird auch des­halb so hart­nä­ckig geführt, weil der AMS-Algo­rith­mus eine Art Prä­ze­denz­fall in der öster­rei­chi­schen öffent­li­chen Ver­wal­tung dar­stellt. Ver­gleich­bare Sys­teme gibt es inter­na­tio­nal schon län­ger – dass jedoch aus­ge­rech­net an der schwächs­ten Gruppe gespart wer­den soll, hebt das öster­rei­chi­sche Bei­spiel nega­tiv her­vor.

Auto­ma­ti­sierte Ungleich­heit

In ihrem 2018 erschie­ne­nen Buch Auto­ma­ting Ine­qua­lity legt die Poli­tik­wis­sen­schaft­le­rin Vir­gi­nia Eubanks eine umfas­sende Recher­che dazu vor, wie algo­rith­mi­sche Sys­teme in unter­schied­li­chen Berei­chen des US-ame­ri­ka­ni­schen Sozi­al­sys­tems weit­ge­hend auto­ma­ti­siert ent­schei­den, zum Bei­spiel über den Zugang zu Gesund­heits­ver­sor­gung oder Sozi­al­woh­nun­gen. Anhand meh­re­rer Fall­bei­spiele arbei­tet sie gemein­same Cha­rak­te­ris­tika sol­cher Sys­teme her­aus. Mit dem Begriff „digi­tal poor­house“ schlägt Eubanks dabei eine gedank­li­che Brü­cke zum Armen­haus des 19. Jahr­hun­derts, das die Armen zwar ver­sor­gen, aber auch dis­zi­pli­nie­ren soll. Die Ent­schei­dung zwi­schen „wür­di­gen“ und „unwür­di­gen“ Armen über­nimmt dabei der Com­pu­ter, nach immer wei­ter dif­fe­ren­zier­ten – in Algo­rith­men gegos­sene – Kri­te­rien. Armut, die so gema­nagt wird, wird damit für die breite Bevöl­ke­rung unsicht­bar gemacht und gleich­zei­tig eine emo­tio­nale Distanz geschaf­fen, die ver­schlei­ert, dass unmit­tel­bar über die Lebens­per­spek­ti­ven von Men­schen ent­schie­den wird. Ins­ge­samt wer­den in der Gesell­schaft mar­gi­na­li­sierte Grup­pen, schreibt Eubanks, in höhe­rem Aus­maß über­wacht und über sie wer­den ver­mehrt Daten gesam­melt. So etwa, wenn sie Sozi­al­leis­tun­gen bean­tra­gen, natio­nal­staat­li­che Gren­zen über­que­ren oder weil ihre Wohn­ge­gend stär­ker poli­zei­lich über­wacht wird. Es sei daher kein Zufall, dass algo­rith­mi­sche Ent­schei­dun­gen beson­ders in gesell­schaft­li­chen Berei­chen zum Ein­satz kom­men, die von Machtasym­me­trien und Intrans­pa­renz geprägt sind und in denen es für die Betrof­fe­nen schwie­rig ist, ihre Rechte ein­zu­for­dern. Das bestä­ti­gen auch einige Bei­spiele aus euro­päi­schen Län­dern, wo algo­rith­mi­sche Sys­teme in der Ver­wal­tung von Erwerbs­ar­beits­lo­sen ein­ge­setzt wer­den.

Ver­gleich­bare Sys­teme

Ver­gleich­bare Sys­teme gibt es auch in eini­gen ande­ren Län­dern, in den USA und in Aus­tra­lien zum Bei­spiel schon sehr lange“, sagt Gabriel Grill, Infor­ma­ti­ker und der­zeit PhD Stu­dent an der Uni­ver­sity of Michi­gan, der zur Anwen­dung von Algo­rith­men forscht im Gespräch mit MALMOE. „Wo sol­che Sys­teme in Ein­satz sind, zum Bei­spiel in Schwe­den, wer­den sie meis­tens eher dazu ein­ge­setzt, dass man Leute, die stark benach­tei­ligt sind mehr und frü­her för­dert. Das öster­rei­chi­sche Sys­tem ist da eher eine Aus­nahme.“ Ein sta­tis­ti­sches Pro­filing gibt es in Europa neben Schwe­den zum Bei­spiel in Bel­gien, Däne­mark und den Nie­der­lan­den.

Große Ähn­lich­kei­ten mit dem AMS-Algo­rith­mus weist ein 2014 in Polen ein­ge­führ­tes Sys­tem auf, das 2018 jedoch vom Ver­fas­sungs­ge­richts­hof gekippt wurde und Ende 2019 aus­lau­fen wird. Auch hier wer­den die Job­chan­cen von Arbeits­su­chen­den pro­gnos­ti­ziert, die Betrof­fe­nen danach in drei Kate­go­rien ein­ge­teilt. Das pol­ni­sche Modell ist vor allem wegen der sug­ges­ti­ven Befra­gung umstrit­ten, die eine Grund­lage der Bewer­tung bil­det. Die Ent­schei­dung des Gerichts beruhte auf eher for­ma­len Grün­den, da das Par­la­ment bei der Ent­schei­dung über das Gesetz umgan­gen wor­den war.

Viele Fra­gen offen

Eine Gruppe von fünf Wissenschaftler_innen, Flo­rian Cech (TU Wien), Fabian Fischer (TU Wien), Gabriel Grill (TU Wien, Uni­ver­sity of Michi­gan), Soheil Human (WU Wien, Uni Wien), Paola Lopez (Uni Wien), Ben Wag­ner (WU Wien), die seit eini­ger Zeit zum AMS-Algo­rith­mus for­schen, erneu­ern in einem Anfang Okto­ber auf future­zone ver­öf­fent­lich­ten offe­nen Brief ihre Kri­tik an der Infor­ma­ti­ons­po­li­tik des AMS. Dem Algo­rith­mus fehle der „Bei­pack­zet­tel“ und damit die Grund­lage, ein infor­mierte Dis­kus­sion, wie sie für ein sol­ches Vor­ha­ben der öffent­li­chen Hand not­wen­dig wäre, zu füh­ren. Einer der zen­trals­ten Kri­tik­punkte, dass der Algo­rith­mus bestehende Dis­kri­mi­nie­run­gen zu ver­fes­ti­gen droht, bleibt bestehen. Dass Frauen über­pro­por­tio­nal oft in der Gruppe mit den mitt­le­ren Chan­cen ver­tre­ten sind und in der Gruppe mit den nied­ri­gen Chan­cen unter­re­prä­sen­tiert, ent­kräf­tigt die Vor­würfe nicht. „Solange wir nicht genauer wis­sen, wie Frauen in ver­schie­de­nen Situa­tio­nen auf die Grup­pen ver­teilt wer­den, kön­nen wir nicht davon spre­chen, dass Frauen gene­rell nicht benach­tei­ligt wer­den“, so Gabriel Grill.

Zu erwar­ten ist, dass die nied­rige Bewer­tung beson­ders Geflüch­tete und Migrant_innen nega­tiv betref­fen wird, da diese nicht durch eine beson­dere Ziel­grup­pen­för­de­rung abge­fe­dert wird.

In der Öffent­lich­keit bis­lang noch wenig the­ma­ti­siert sei der Ent­ste­hungs­kon­text, sagt Fabian Fischer, einer der Autor_innen des offe­nen Brie­fes, gegen­über MALMOE. Die Idee, ein sta­tis­ti­sches Pro­filing im AMS ein­zu­set­zen, ent­steht in Zusam­men­hang mit der 2015–2016 stark anstei­gen­den Zahl von Arbeits­su­chen­den. Das AMS suchte nach einer Maß­nahme, mit gleich­blei­ben­den Mit­teln die fast ein­ein­halb­fa­che Zahl von Men­schen zu betreuen. Der Rech­nungs­hof­be­richt von 2017 gibt Auf­schluss über genauere Pläne: Die Idee einer „Kun­den­seg­men­tie­rung“, der Unter­tei­lung von Arbeits­su­chen­den in Grup­pen, gab es zu die­sem Zeit­punkt schon. Es wurde auch fest­ge­hal­ten, dass die Res­sour­cen auf jene Kund_innengruppen mit den größ­ten Inte­gra­ti­ons­chan­cen kon­zen­triert wer­den sol­len. Dar­über hin­aus sei ein auto­ma­ti­sier­tes „Skill­matching“ geplant, das Arbeits­su­chen­den pas­sende Job­an­ge­bote ver­mit­teln soll, künf­tig auch eine Eva­lu­ie­rung von Maß­nah­men auf Basis des Job­chan­cen­mo­dells. Der Kon­text ver­deut­licht, dass der AMS-Algo­rith­mus vor allem dabei hel­fen sollte, Kür­zun­gen zu ratio­na­li­sie­ren, geframed als beson­ders effi­zi­en­ter Ein­satz der Mit­tel.

Unter Spar­druck

Die Sachbearbeiter_innen wer­den durch das neue Sys­tem mehr­fach unter Druck gebracht: zum einen, weil dem AMS damit ein Werk­zeug zur Ver­fü­gung steht, dass den Bera­tungs­auf­wand redu­zie­ren soll und damit poten­ti­ell für Per­so­nal­ein­spa­run­gen genutzt wer­den kann. Zum ande­ren, weil sie als „sozia­les Kor­rek­tiv“ all das in die Bewer­tung ein­brin­gen sol­len, was nicht in Zah­len aus­ge­drückt wer­den kann (z. B. Moti­va­tion, Auf­tre­ten) und recht­fer­ti­gen müs­sen, wenn sie die Ent­schei­dung der Soft­ware ändern wol­len. Im oben erwähn­ten Bei­spiel in Polen zeigte sich, dass die Berater_innen in weni­ger als einem von hun­dert Fäl­len dem errech­ne­ten Ergeb­nis wider­spro­chen haben.

Dar­über, wie nun genau der Algo­rith­mus eva­lu­iert wurde, ist der­zeit wenig bekannt. Infor­ma­tio­nen gibt es vor allem über die Eva­lu­ie­rung der soge­nann­ten Bera­tungs- und Betreu­ungs­ein­rich­tung Neu (BBEN), ein nie­der­schwel­li­ges Ange­bot für jene Gruppe mit den schwächs­ten Job­chan­cen. Neu ist daran vor allem, dass die­ses Ange­bot frei­wil­lig genutzt wer­den kann, was bei den Teilnehmer_innen in den Pilot­pro­jek­ten gut ankommt. Gleich­zei­tig ist dies ein Hin­weis dar­auf, dass „Ange­bote“ des AMS eben nicht immer frei­wil­lig sind.

Dass das AMS den Bera­tungs­auf­wand bei beson­ders „arbeits­markt­fer­nen“ Per­so­nen redu­zie­ren möchte, heißt nicht, dass auf diese kein Druck aus­ge­übt wird. Bei­spiels­weise kön­nen Kür­zun­gen im Bud­get von sozi­al­öko­no­mi­schen Betrie­ben bedeu­ten, dass künf­tig keine voll­wer­ti­gen geför­der­ten Arbeits­plätze zur Ver­fü­gung ste­hen, son­dern Arbeits­su­chen­den statt­des­sen ein „Pro­be­ar­bei­ten“ oder unbe­zahlte Trai­nee­stel­len ange­bo­ten wer­den. Daher müs­sen im Zusam­men­hang mit dem AMS-Algo­rith­mus auch die Bud­get­kür­zun­gen beim AMS stär­ker the­ma­ti­siert wer­den.

Indi­vi­dua­li­sie­rung gesell­schaft­li­cher Pro­bleme

Grund­sätz­lich pro­ble­ma­tisch an die­ser Art des Pro­filings seien, so Fabian Fischer, vor allem drei Punkte: Ers­tens der Fokus auf das Indi­vi­duum, zwei­tens der Ver­such, die Zukunft basie­rend auf his­to­ri­schen Daten vor­her­zu­se­hen, und drit­tens, dass alle diese Dinge auf sta­tis­ti­schen Ver­fah­ren beru­hen. Es geht also immer um eine durch­schnitt­li­che Per­son, die ein gewis­ses Alter hat, ein gewis­ses Geschlecht oder auf irgend­eine Art gesund­heit­lich beein­träch­tigt ist. „Der AMS-Algo­rith­mus ver­spricht etwas, das er nicht tut: Er gibt vor, dass er die Job­chan­cen für ein Indi­vi­duum vor­her­sa­gen kann, tut das aber eigent­lich für eine Gruppe an Per­so­nen“, sagt Fischer. Der gesell­schaft­li­che Kon­text, Ent­wick­lun­gen am Arbeits­markt und die Gründe, warum bestimmte Grup­pen am Arbeits­markt benach­tei­ligt sind, wer­den kaum berück­sich­tigt. So wer­den struk­tu­relle Pro­bleme indi­vi­dua­li­siert. „Das lässt zum Bei­spiel außer Acht, dass die Ein­stel­lungs­po­li­tik von Unter­neh­men der Grund ist, warum Frauen benach­tei­ligt wer­den. In dem man diese Benach­tei­li­gung so in den Algo­rith­mus gießt, ist der Blick wie­der auf das Indi­vi­duum gerich­tet“, so Fischer.

Es ist ein ver­ein­fach­ter Blick auf Arbeits­markt­chan­cen und den Arbeits­markt, der – ganz nach einer neo­li­be­ra­len Welt­sicht — sehr stark indi­vi­dua­li­siert, in einem poli­ti­schen Klima, das sich für bereits benach­tei­ligte Grup­pen wei­ter ver­schärft.

Die Debatte nut­zen

Der Fall des AMS-Algo­rith­mus zeigt, dass öffent­li­che Kri­tik wirkt (so ist zum Bei­spiel nicht mehr von einer auto­ma­ti­sier­ten Ent­schei­dung die Rede) und auch wei­ter­hin not­wen­dig ist. Die Dis­kus­sion führt dazu, dass algo­rith­mi­sche Ent­schei­dun­gen the­ma­ti­siert wer­den, rückt aber auch die Pra­xis des AMS in den Blick und damit einen Bereich, in dem es gesell­schaft­lich oft an Soli­da­ri­tät man­gelt. Algo­rith­mi­sche Sys­teme, die Ent­schei­dun­gen über Men­schen tref­fen, haben weit­rei­chende Aus­wir­kun­gen auf Demo­kra­tien und stel­len ganz fun­da­men­tal die Frage, wie wir als Gesell­schaft mit struk­tu­rell benach­tei­lig­ten Grup­pen umge­hen wol­len. „Es gibt einen Tech­ni­k­opti­mis­mus, der gerade zu immer mehr Digi­ta­li­sie­rung in den ver­schie­dens­ten Berei­chen führt, wäh­rend Risi­ken zu wenig dis­ku­tiert und beach­tet wer­den. Das ist sicher ein gro­ßes Thema über die nächs­ten Jahre. Es wer­den schnell-schnell Vor­her­sage-Sys­teme ein­ge­setzt, um z. B. schein­bar kom­plett objek­tiv im Sozi­al­be­reich zu spa­ren. Man sollte sich da mehr Zeit neh­men und die Pro­zesse demo­kra­ti­scher gestal­ten“, plä­diert Gabriel Grill für mehr gesell­schaft­li­che Teil­habe. Grund­sätz­lich gilt: Wer dar­über Bescheid weiß, dass algo­rith­mi­sche Sys­teme ent­schei­den und wie diese funk­tio­nie­ren, kann sich leich­ter dage­gen zur Wehr set­zen.

Vir­gi­nia Eubanks: Auto­ma­ting Ine­qua­lity: How High-Tech Tools Pro­file, Police, and Punish the Poor. St. Martin‘s Press, 2018.