Internet zlovolných věcí

Představte si svět, kde mají neživé věci vlastní mysl a vědomí a samy konspirují proti svým vlastníkům. Představte si lednici, která vás poslouchá, představte si žárovku, která vás sleduje, představte si kávovar, který se vás aktivně snaží otrávit. Na první pohled takový svět vypadá jako zrádná vize Phillipa K. Dicka. Pravda je však taková, že za jde o budoucnost, které se nejen dočkáme, ale kterou i chceme. Jenom jí neříkáme cyberpunk, ale Internet of Things nebo česky Internet Věcí.

Předzvěstí věcí budoucích se stala nedávná kauza s auty Volkswagenu, která byla naprogramována tak, aby aktivně podváděla v emisních testech. Co odlišuje tento podvod od milionu jiných podvodů starého světa, je aktivní úloha dané věci. Volkswagen vyráběl chytrá auta plná senzorů a procesorů a právě díky této výbavě dokázala rozpoznat, že se nachází v testovacím prostředí a přepnout se do režimu nízkých emisí.

Problém s chytrými věcmi napěchovanými senzory a procesory je ten, že uživatel si nikdy nemůže být zcela jistý, co vlastně jeho věc přesně dělá a jaký má záměr. Pracuje v zájmu svého vlastníka nebo svého výrobce? Pokud víme, co dělá právě teď, můžeme si být jistí, že to bude platit i po automatické softwarové aktualizaci?

V době krátce po vypuknutí emisní kauzy se objevilo několik článků, které vzaly do hledáčku současné trendy a na základě nich namalovaly obraz možné budoucnosti v neveselých barvách. Dva, které mi utkvěly v paměti, jsou: The price of the Internet of Things will be a vague dread of a malicious world a The Internet of Incompatible Things. Pokud se vyplní jejich předpovědi, tak v lepším případě bude hlavním problémem Internetu Věcí jen kompletní proprietární uzamčení, kdy chytrá zařízení fungují jen a pouze s jinými zařízeními stejného výrobce a nový toaster může znamenat výměnu žárovek. V horším případě bude mechanika fyzického světa prodchnutá duchem online prostředí se všemi bezpečnostními hrozbami, viry, malwarem, podvodníky, krádežemi identity a bezmezným pocitem neurčité hrozby. Chytrá zařízení budou obsahují celou plejádu často utajených senzorů, o kterých uživatel neví, že vůbec existují, kterým velí procesorový mozek, ve kterém se děje něco, o čem uživatel nemá nejmenší tušení. Kdo z vás může bezpečně tvrdit, že váš počítač není právě teď nakažený virem? Když je vir úspěšný, uživatel nic nezjistí. Pokud detekujete nákazu ve vašem laptopu, existuje několik způsobů, jak se jí zbavit. Ale co když máte v domě dvě stovky maličkých počítačů, štěbetajících mezi sebou a naslouchajících na otevřené wi-fi síti? Jak si můžete být jisti, že jeden z nich není nakažen virem a nedělá něco s čím nesouhlasíte? Velice těžko. V případech, kde chybí transparentnost, zůstane jen nejasné všudypřítomné podezření.

Is your self-driving car deliberately slowing down to give priority to the higher-priced models? Is your green A/C really less efficient with a thermostat from a different company, or it’s just not trying as hard? And your tv is supposed to only use its camera to follow your gestural commands, but it’s a bit suspicious how it always offers Disney downloads when your children are sitting in front of it.

Situace kolem Internetu Věcí se velice těsně dotýká otázky autonomie. To že outsourcujeme část vlastní soběstačnosti na určitý automatický systém, nepředstavuje samo o sobě problém. Všechno se ale značně zkomplikuje, pokud si nemůžeme být jisti, že kybernetická mysl onoho systému pracuje v našem zájmu nebo v zájmu nějaké třetí strany. Pokud je to tak, neztratili jsme část vlastní soběstačnosti a nestali jsme se méně svobodnými? Nejsme v tom případě o něco více svázaní neviditelným ostnatým drátem?

To, že všechno naše hledání jde přes Google, je (aspoň v otázce autonomie) v pořádku, pokud se nás Google nesnaží podvést nebo zmanipulovat. Když všichni ztratíme schopnost počítat z hlavy, nebude to žádná ztráta pro lidstvo, pokud nám chytrá kalkulačka nebude dávat jiné výsledky, když budeme chtít spočítat, kdo nabízí nějaký produkt levněji. Znalost cizích jazyků není třeba, pokud si můžeme být jistí, že překladový software automaticky a systematicky nezasahuje do smyslu sdělení. Není těžké si například představit, že se Čínská vláda rozhodne, že některé fráze by měly být pozměněny v real-time Skype překladači. Každý samočinný systém, stejně jako chytré věci, je manifestací vůle jeho tvůrců nebo nějaké jiné třetí strany a ne nutně se musí tato vůle shodovat se zájmem koncových uživatelů.

V nedávné době se například zvedla vlna pobouření, když uživatelé Facebooku zjistili, že jejich news feed je filtrovaný a nějaký blíže nespecifikovaný algoritmus rozhoduje, co jim je zobrazeno a co nikoli. Facebook samozřejmě může namítat, že jen optimalizuje uživatelův komfort a skrývá pouze příspěvky, které by ho s největší pravděpodobností nezajímaly. To může být pravda, nicméně pokud tohle Facebook dělá, už u principu nemůže tvrdit, že je pouhý posel (jak o tom psal Evgeny Morozov v To Save Everything Click Here), protože záměrně a z vlastní vůle formuje šíření zpráv (a může se tak podílet na formování filter bubble). Někdo ve Facebooku vědomě udělal toto rozhodnutí a nezáleží jestli ho udělal pro nás nebo za nás. Pobouření způsobil fakt, že ho udělal a tak rozhodl o části uživatelské autonomie a jejich osudu. Lidé předpokládali, že jim je prezentováno všechno a to co skutečně uvidí, je jen dílem náhody. Náhoda má tu vlastnost, že je spravedlivá a není za ní žádná vůle, žádný smysl a žádný záměr.

V případě Facebooku můžeme namítat, že jde o poměrně neškodné rozhodnutí, že jde jen o snahu o zlepšování uživatelského pohodlí a spokojenosti se sociální sítí. Ale jak ukazuje nedávná studie, velice jednoduchou manipulací je možné mechanicky ovlivnit náladu uživatelů v globálním měřítku. Nakolik jsme autonomní v této situaci, kdy i naše nálada je výsledkem manipulací algoritmů strojového učení kdesi v Silicon Valley, a my o tom ani nemáme tušení, se nechci domýšlet.

Evgeny Morozov tohle ukazuje na příkladu hypotetického uživatele, který se rozhoduje, zdali by se neměl stát vegetariánem. Pokud vyhledá nějaké informace o vegetariánství, vyhledávač může poznat jeho záměr a rozjede dražbu pro zadavatele reklamy. Pokud vyhraje masná lobby, můžou ho webem pronásledovat výhodné nabídky na kusy mrtvých krav, pokud vegetariánská ideologie nabídne víc, může se stát pravý opak. Jeho osud je do značné míry daný rozhodnutím nějakého přihazovacího algoritmu a on to nemá šanci zjistit.

V podobném duchu se nese nedávné zjištění, že Twitter zavádí metodu jemné cenzury, kdy Tweety automaticky vyhodnocené jako závadné jsou skryty velké části uživatelů. Lidé se začali (většinou jen sami sebe) ptát, jaká jsou pravidla tohoto stínového blokování a nenašli žádné odpovědi. Je reálná šance, že žádná pravidla neexistují, že je nikdo nikdy nedefinoval, ale jen, že velice mocný algoritmus strojového učení rozpoznal vlastnosti, které s velkou pravděpodobností identifikují závadný tweet, automaticky ho skryjí a nerozlišují zdali jde o bezpředmětné urážky nebo o nepopulární, ale eticky správný názor. Když chcete příklad, myslete na Rosu Parks.

Jestliže se algoritmy učí z našich předchozích chyb, jsou odsouzeni je opakovat. Automaticky. Morozov v To Save Everything Click Here dokonce spekuluje, že ve světě, kde na dodržování zákonů a pravidel automaticky dohlíží algoritmy pomocí často neviditelných manipulací (které označuje jako nudges neboli popostrkování), by byl společenský pokrok jen velmi obtížný. O nespravedlivých zákonech musíme nejdřív vědět, a pak je musíme porušit, než se je pokusíme změnit.

V tom vidím jednu z hrozeb umělé inteligence – ne v tom, že odstraní velké množství manuální a méně kvalifikované práce, ale že půjde o autonomní systém, který nás okrade o naši autonomii a možnost volit si vlastní budoucnost. Tedy – okrade nás o ni ještě víc.

Pozn:

1. V kontextu Internetu věcí, selftrackingu a quantified self vypadá zajímavě projekt Unfit Bits.
2. Aby bylo jasno: Nechci působit jako luddita, který tvrdí, že všechno je špatné, protože je to nové. Jenom chci upozornit, na to, že pokrok nabízí mnoho nových možností manipulace a ovládání a když proti nim nebudeme vznášet námitky a nebudeme je zpochybňovat, budeme s největší pravděpodobností manipulováni. Nejde jen o technologii, ale hlavně o ideologii.