Broń matematycznej zagłady

Ciekawa historia jest z tą książką. Miałem ją od kilku miesięcy w przechowalni, w jednej z sieciowych księgarń. Byłem jej ciekaw, ale też odkładałem cały czas ze względu na pewną recenzję. Kilka pozytywnych “ciekawe, mimo płycizn” i jedna mieszająca całość z błotem: “stek bzdur”. Za to polecająca z tej dziedziny – czyli algorytmów, uczenia maszynowego i zastosowań w analizie danych – inny tytuł. W rezultacie postanowiłem zaufać anonimowemu recenzentowi i kupiłem podręcznik Inteligentna sieć. Algorytmy przyszłości (Douglas McIlwraith, Haralambos Marmanis, Dmitry Babenko). Faktycznie mamy wprowadzenie do funkcjonowania współczesnego świata, niestety nie jest to książka ogólna dla laika, ale podręcznik zawierający przykłady zastosowań wraz z kodami w Pythonie, więc pomyślałem sobie, że anonimowy recenzent pewnie był „twardym” użytkownikiem, zaś skrytykowana przez niego książka omawiała ogólne problemy związane z wykorzystaniem algorytmów. Może się zirytował na pewne uproszczenia i uogólnienia, które tak częste są w książkach popularnonaukowych, skierowanych nie do specjalistów w danej dziedzinie. I tak wróciłem do książki Broń matematycznej zagłady. Jak algorytmy zwiększają nierówności i zagrażają demokracji Cathy O’Neil.

Autorka jest matematyczką, która przez pewien czas pracowała jako analityk danych w jednym z większych funduszy hedge (D.E.Shaw), później zaś zaangażowała się w ruch Occupy Wall Street. To ciekawe zestawienie, choć nie zaskakujące. Po kryzysie 2007 roku mnóstwo ludzi z sektora finansowego zraziła się do branży, nierzadko rezygnując z pracy.

Otwieram plik z książką i od razu wyskakuje mi dedykacja “wszystkim przegranym”, kilka kliknięć dalej “recenzent prof. Leokadia Oręziak”. Ups! Będzie ciekawe. Profesor Leokadia Oręziak z SGH ma dość wyraziste poglądy na wiele tematów, w tym te dotyczące otwartych funduszy emerytalnych. Staram się nie nastawiać, ale mnie to intryguje.

Zaczynam czytać Przedmowę. Nuży mnie jej felietonistyczny styl ogólników i braku konkretów,  przelatuję szybko przez kolejne anegdotki. Zdarza się, że nie czytuję wstępów i przedmów pisanych przez innych. W tym wypadku wydaje się ona dość długa… 6 procent książki stanowi przedmowa? Na koniec zaskoczenie. Jakoś się nastawiłem, że autorką będzie prof. Oręziak.  Autorem przedmowy jest Kamil Fejfer. Aha! Stąd ten publicystyczny ton i brak konkretów.

No dobra, zacznę lekturę. Kilka pierwszych stron, a ja zaczynam notować, zaznaczać i coraz bardziej unosić brwi ze zdziwienia.

W skrócie – matematyczka (czyli nie laik-humanista) postuluje o bardziej sprawiedliwą i lewicową matematykę, bo ta obecna prowadzi – zgodnie z tytułem – do powiększania nierówności. Im bardziej czytam o kolejnych modelach, algorytmach, zastosowaniu analizy danych (Big Data) i im bardziej autorka oskarża matematykę, tym bardziej nie dowierzam temu co czytam. Tak jakby z jej pola widzenia zniknęli ludzie odpowiedzialni za wdrażanie, stosowanie, monitorowanie i regulowanie. Popełniający błędy, mający własne uprzedzenia. Nie! Ona oskarża algorytmy (beemzety – Broń Matematycznej Zagłady) o niemal całe zło.

Co więcej pisze:

W bmztach matematyka kamufluje wiele toksycznych założeń, które w przeważającej mierze funkcjonują bez weryfikacji i kontroli.

Czyli to nie matematyka cokolwiek kamufluje, tylko wdrażane są wadliwe modele, których się nie weryfikuje i testuje, a później wychodzą “dziwne” wyniki. Witamy w Polsce! Gdzie wiele systemów wdraża się na zasadzie “jakoś to będzie a później poprawimy błędy”. Niestety to nie matematyka jest za to odpowiedzialna.

Dalej zaczyna pisać o niejasnych kryteriach oceniających (np. system ewaluacji nauczycieli w USA) i wyjaśnia, że model zaczął zwracać niepokojące wyniki gdy wielu nauczycieli zaczęło fałszować dane wprowadzane do systemu, żeby lepiej wypadać w rankingu. I znów zaskoczenie. Co ja czytam? System jest źle skonstruowany bo podatny na fałszerstwa, ale to nie fałszerze są za to odpowiedzialni tylko matematyka i algorytmy? Zaczynam czytać resztę z masochistycznym przekonaniem, że to nie ma sensu. Ale zastanawiam się co autorka jeszcze wymyśli.

No i kilka rozdziałów dalej pisze coś, co może mocno niepokoić. Opisuje przypadek chińskich uczniów oszukujących na egzaminach, tak, żeby dobrze na nich wypaść i stwierdza, że oszukiwanie zrównuje ich szansę w tym nierównym konkursie (bezduszne algorytmy oceniające), gdzie liczy się każdy punkt!

Jest dużo o rasizmie i nierównościach, ale w absurdalnie niewiarygodny sposób.

Najgorsze w tym wszystkim, że od czasu do czasu zdarza się autorce zauważyć, że problemem nie jest matematyka, ani algorytmy tylko błędne założenia, brak testów, brak weryfikacji. Jednak zamiast zaangażować się w to, by wyszukiwać ryzyka i ograniczenia modeli, ona walczy o bardziej lewicową matematykę.

O’Neil próbuje operować prostymi przykładami, zrozumiałymi dla każdego czytelnika, ale popada w absurdy. Tak jak wtedy, gdy tłumacząc funkcjonowanie modeli (np. przygotowywanie posiłków przez matkę dla dzieci, co wyszło całkiem zgrabnie) znienacka przechodzi do rasizmu, jako przykładu modelu myślenia osób o takich poglądach, że “wszyscy ludzie należący do danej rasy będą zachowywać się w taki sam sposób”. O ile rozumiem intencje, to wyszło jednak absurdalnie. Bo jednak przekonania, poglądy, nastawienie, doświadczenie CZŁOWIEKA nie są  modelem. Bo zwykle są niespójne, nielogiczne i niekonsekwentne. Ale to uproszczenie potrzebne jest autorce wyłącznie, po to, żeby rasizm zrównać ze złymi algorytmami.

I tak jak rozumiem jej wrażliwość na kwestie rasowe, to miesza ona jabłka z pomarańczami, byle tylko wszystko dopasować do swojej tezy – algorytmy są złe. Nawet wtedy, gdy to ludzie podejmują decyzję o zastosowaniu błędnych, złych, wadliwych kryteriów. Podobne rozumowanie prezentował w Antisocial Media Siva Vaidhyanathan, oskarżając o zło świata Facebook.

O’Neil pisze o modelach stosowane w sądownictwie:

Nowe modele badania recydywy są skomplikowane i matematyczne. Jednak wkomponowano w nie pewien zestaw założeń, z których niektóre bazują na uprzedzeniach.

Wkomponowano? Wzięły się i wkomponowały? Sztuczna inteligencja to zrobiła? Nie! Człowiek. Jakiś człowiek przyjął takie założenia. Powiedzmy, że rasistowskie. Ktoś inny to zaakceptował mimo oficjalnej polityki antyrasistowskiej. Pretensje ślijmy nie do twórców modeli, tylko do tych, którzy chcieli dane założenia uwzględnić.

Matematyczka pisze, że modele są tajne i że, byłoby inaczej, gdyby dane i kryteria były przejrzyste. Tak. Byłoby inaczej. Wówczas mnóstwo osób zadawałoby pytania “a dlaczego takie kryteria, a nie inne”. I każdy by miał swoją subiektywną rację. A na koniec – w konsekwencji jakiegoś konsensu – i tak powstałby “model niesprawiedliwy”, bo niestety niedoskonałość jest cechą modeli. Jak powiedział onkolog Howard Skipper:

Model to kłamstwo, które pozwala ci ujrzeć prawdę.

Jest niewiarygodna, gdy opowiada o bankierze z lat 50., który znał mieszkańców miasteczka i mógł podjąć indywidualną decyzję w sprawie kredytu, zamiast bezdusznych automatów, które gdy zaklasyfikują kogoś jako niewypłacalnego, to właściwie został już “pogrzebany za życia”, bo nie otrzyma pożyczki. To urocze przekonanie, że bankierzy mieli serca ze złota, kilkadziesiąt lat temu, tylko totalnie nieprawdziwe. Polecam choćby Grona gniewu.

Czytam dalej:

Korelacje wyszukiwane przez modele często mają charakter dyskryminacyjny.

Co! Aha – algorytmy wyszukały, że istnieje ryzyko większej przestępczości w dzielnicy X, więc wysłane tam zostało więcej patroli i kontroli. Ponieważ jest ich więcej, to przy rutynowych kontrolach okazało się, że ktoś już miał zatarg z prawem (narkotyki, przekroczenie prędkości). Wniosek autorki – gdybyśmy wysłali do prestiżowych dzielnic i przypadkowo robili kontrole, to też pewnie tacy by się znaleźli. To wnioskowanie jest niewiarygodnie bzdurne.

Zwłaszcza, że O’Neil pisze, że drobne przestępstwa są dobre do pompowania statystyk (wiemy to również w Polsce, choć nie spodziewam się w pracy codziennej komisariatów wyrafinowanych algorytmów do określania gdzie wysłać patrole). Stwierdza więc, że to “jedynie drobne” przestępstwa, a samo podejście jest po prostu nękaniem. Mam lepszy pomysł na nienękanie. Usunąć je z kodeksu. Skoro są drobne. Zamknijmy oczy, jakby ich nie było.

Pomijam już manipulację, bo jak się okazuje z dalszych dywagacji program stosowany przez policję był niezgodny z konstytucją. Koniec i kropka. Ktoś go zaproponował, ktoś inny wdrożył, ktoś nie nadzorował i tyle, a nie to algorytm jest szatanem.

W zasadzie najlepszy z całości jest ostatni rozdział, bo bez tego nadęcia i manipulacji ideologicznej O’Neil pisze wprost o ograniczeniach wynikających ze stosowania algorytmów, czy różnego rodzaju modeli. Na tym powinna się skoncentrować. O wiele lepszą rolę spełniłaby książka, gdyby została napisana pod hasłem “błędy i pułapki we wdrażaniu algorytmów”.

W gruncie rzeczy muszę zgodzić się z autorem anonimowej recenzji – to jest stek bzdur. Intencje były dobre, niektóre kwestie naprawdę są problemem, ale autorka w imię ideologii zgubiła gdzieś rzetelność i zdrowy rozsądek.

[Photo by Markus Spiske on Unsplash]

 

Broń matematycznej zagłady, C. O'Neil

Broń matematycznej zagłady, Cathy O’Neil
Wyd.: PWN, 2017

Tłum.: Marcin Zieliński

 

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *