k47.cz  — každý den dokud se vám to nezačne líbit
foto Praha výběr povídky kultura
twitter FB RSS
««« »»»

Internet zlovolných věcí

29. 10. 2015 — k47 (CC by-nc-sa)

Před­stavte si svět, kde mají neživé věci vlastní mysl a vědomí a samy kon­spi­rují proti svým vlast­ní­kům. Před­stavte si led­nici, která vás po­slou­chá, před­stavte si žá­rovku, která vás sle­duje, před­stavte si ká­vo­var, který se vás ak­tivně snaží ot­rá­vit. Na první pohled takový svět vypadá jako zrádná vize Phil­lipa K. Dicka. Pravda je však taková, že za jde o bu­douc­nost, které se nejen do­čkáme, ale kterou i chceme. Jenom jí ne­ří­káme cyber­punk, ale In­ter­net of Things nebo česky In­ter­net Věcí.


Před­zvěstí věcí bu­dou­cích se stala ne­dávná kauza s auty Volkswagenu, která byla na­pro­gra­mo­vána tak, aby ak­tivně pod­vá­děla v emis­ních tes­tech. Co od­li­šuje tento podvod od mi­li­onu jiných pod­vodů starého světa, je ak­tivní úloha dané věci. Volkswagen vy­rá­běl chytrá auta plná sen­zorů a pro­ce­sorů a právě díky této výbavě do­ká­zala roz­po­znat, že se na­chází v tes­to­va­cím pro­středí a pře­pnout se do režimu níz­kých emisí.

Pro­blém s chyt­rými věcmi na­pě­cho­va­nými sen­zory a pro­ce­sory je ten, že uži­va­tel si nikdy nemůže být zcela jistý, co vlastně jeho věc přesně dělá a jaký má záměr. Pra­cuje v zájmu svého vlast­níka nebo svého vý­robce? Pokud víme, co dělá právě teď, můžeme si být jistí, že to bude platit i po au­to­ma­tické soft­wa­rové ak­tu­a­li­zaci?

V době krátce po vy­puk­nutí emisní kauzy se ob­je­vilo ně­ko­lik článků, které vzaly do hle­dáčku sou­časné trendy a na zá­kladě nich na­ma­lo­valy obraz možné bu­douc­nosti v ne­ve­se­lých bar­vách. Dva, které mi utkvěly v paměti, jsou: The price of the In­ter­net of Things will be a vague dread of a ma­li­ci­ous worldThe In­ter­net of In­com­pa­ti­ble Things. Pokud se vyplní jejich před­po­vědi, tak v lepším pří­padě bude hlav­ním pro­blé­mem In­ter­netu Věcí jen kom­pletní pro­pri­e­tární uzamčení, kdy chytrá za­ří­zení fun­gují jen a pouze s jinými za­ří­ze­ními stej­ného vý­robce a nový toas­ter může zna­me­nat výměnu žá­ro­vek. V horším pří­padě bude me­cha­nika fy­zic­kého světa pro­dchnutá duchem online pro­středí se všemi bez­peč­nost­ními hroz­bami, viry, ma­l­warem, pod­vod­níky, krá­de­žemi iden­tity a bez­mez­ným po­ci­tem ne­u­r­čité hrozby. Chytrá za­ří­zení budou ob­sa­hují celou plejádu často uta­je­ných sen­zorů, o kte­rých uži­va­tel neví, že vůbec exis­tují, kterým velí pro­ce­so­rový mozek, ve kterém se děje něco, o čem uži­va­tel nemá nejmenší tušení. Kdo z vás může bez­pečně tvrdit, že váš po­čí­tač není právě teď na­ka­žený virem? Když je vir úspěšný, uži­va­tel nic ne­zjistí. Pokud de­te­ku­jete nákazu ve vašem laptopu, exis­tuje ně­ko­lik způ­sobů, jak se jí zbavit. Ale co když máte v domě dvě stovky ma­lič­kých po­čí­tačů, štěbe­ta­jí­cích mezi sebou a na­slou­cha­jí­cích na ote­vřené wi-fi síti? Jak si můžete být jisti, že jeden z nich není na­ka­žen virem a nedělá něco s čím ne­sou­hla­síte? Velice těžko. V pří­pa­dech, kde chybí transpa­rent­nost, zů­stane jen ne­jasné všu­dypří­tomné po­de­zření.

Is your self-dri­ving car de­li­be­ra­tely slowing down to give pri­o­rity to the higher-priced models? Is your green A/C really less ef­fi­ci­ent with a ther­mostat from a di­f­fe­rent com­pany, or it’s just not trying as hard? And your tv is sup­po­sed to only use its camera to follow your gestu­ral com­mands, but it’s a bit suspi­ci­ous how it always offers Disney down­lo­ads when your chil­dren are sit­ting in front of it.


Si­tu­ace kolem In­ter­netu Věcí se velice těsně dotýká otázky au­to­no­mie. To že out­sour­cu­jeme část vlastní soběstač­nosti na určitý au­to­ma­tický systém, ne­před­sta­vuje samo o sobě pro­blém. Všechno se ale značně zkom­pli­kuje, pokud si ne­mů­žeme být jisti, že ky­ber­ne­tická mysl onoho sys­tému pra­cuje v našem zájmu nebo v zájmu nějaké třetí strany. Pokud je to tak, ne­ztra­tili jsme část vlastní soběstač­nosti a ne­stali jsme se méně svo­bod­nými? Nejsme v tom pří­padě o něco více svá­zaní ne­vi­di­tel­ným ost­na­tým drátem?

To, že všechno naše hle­dání jde přes Google, je (aspoň v otázce au­to­no­mie) v po­řádku, pokud se nás Google ne­snaží pod­vést nebo zma­ni­pu­lo­vat. Když všichni ztra­tíme schop­nost po­čí­tat z hlavy, nebude to žádná ztráta pro lid­stvo, pokud nám chytrá kal­ku­lačka nebude dávat jiné vý­sledky, když budeme chtít spo­čí­tat, kdo nabízí nějaký pro­dukt lev­něji. Zna­lost cizích jazyků není třeba, pokud si můžeme být jistí, že pře­kla­dový soft­ware au­to­ma­ticky a sys­te­ma­ticky ne­za­sa­huje do smyslu sdě­lení. Není těžké si na­pří­klad před­sta­vit, že se Čínská vláda roz­hodne, že ně­které fráze by měly být po­změ­něny v real-time Skype pře­kla­dači. Každý sa­mo­činný systém, stejně jako chytré věci, je ma­ni­festací vůle jeho tvůrců nebo nějaké jiné třetí strany a ne nutně se musí tato vůle sho­do­vat se zájmem kon­co­vých uži­va­telů.

V ne­dávné době se na­pří­klad zvedla vlna po­bou­ření, když uži­va­telé Fa­ce­booku zjis­tili, že jejich news feed je fil­tro­vaný a nějaký blíže ne­spe­ci­fi­ko­vaný al­go­rit­mus roz­ho­duje, co jim je zob­ra­zeno a co nikoli. Fa­ce­book sa­mo­zřejmě může na­mí­tat, že jen op­ti­ma­li­zuje uži­va­te­lův kom­fort a skrývá pouze pří­spěvky, které by ho s nej­větší prav­dě­po­dob­ností ne­za­jí­maly. To může být pravda, nicméně pokud tohle Fa­ce­book dělá, už u prin­cipu nemůže tvrdit, že je pouhý posel (jak o tom psal Evgeny Mo­rozov v To Save Eve­ry­thing Click Here), pro­tože zá­měrně a z vlastní vůle for­muje šíření zpráv (a může se tak po­dí­let na for­mo­vání filter bubble). Někdo ve Fa­ce­booku vědomě udělal toto roz­hod­nutí a ne­zá­leží jestli ho udělal pro nás nebo za nás. Po­bou­ření způ­so­bil fakt, že ho udělal a tak roz­hodl o části uži­va­tel­ské au­to­no­mie a jejich osudu. Lidé před­po­klá­dali, že jim je pre­zen­to­váno všechno a to co sku­tečně uvidí, je jen dílem náhody. Náhoda má tu vlast­nost, že je spra­ved­livá a není za ní žádná vůle, žádný smysl a žádný záměr.

V pří­padě Fa­ce­booku můžeme na­mí­tat, že jde o po­měrně ne­škodné roz­hod­nutí, že jde jen o snahu o zlep­šo­vání uži­va­tel­ského po­hodlí a spo­ko­je­nosti se so­ci­ální sítí. Ale jak uka­zuje ne­dávná studie, velice jed­no­du­chou ma­ni­pu­lací je možné me­cha­nicky ovliv­nit náladu uži­va­telů v glo­bál­ním mě­řítku. Na­ko­lik jsme au­to­nomní v této si­tu­aci, kdy i naše nálada je vý­sled­kem ma­ni­pu­lací al­go­ritmů stro­jo­vého učení kdesi v Si­li­con Valley, a my o tom ani nemáme tušení, se nechci do­mýš­let.

Evgeny Mo­rozov tohle uka­zuje na pří­kladu hy­po­te­tic­kého uži­va­tele, který se roz­ho­duje, zdali by se neměl stát ve­ge­ta­ri­á­nem. Pokud vy­hledá nějaké in­for­mace o ve­ge­ta­ri­án­ství, vy­hle­dá­vač může poznat jeho záměr a roz­jede dražbu pro za­da­va­tele re­klamy. Pokud vy­hraje masná lobby, můžou ho webem pro­ná­sle­do­vat vý­hodné na­bídky na kusy mrtvých krav, pokud ve­ge­ta­ri­án­ská ide­o­lo­gie na­bídne víc, může se stát pravý opak. Jeho osud je do značné míry daný roz­hod­nu­tím ně­ja­kého při­ha­zo­va­cího al­go­ritmu a on to nemá šanci zjis­tit.


V po­dob­ném duchu se nese ne­dávné zjiš­tění, že Twit­ter zavádí metodu jemné cen­zury, kdy Tweety au­to­ma­ticky vy­hod­no­cené jako zá­vadné jsou skryty velké části uži­va­telů. Lidé se začali (vět­ši­nou jen sami sebe) ptát, jaká jsou pra­vi­dla tohoto stí­no­vého blo­ko­vání a ne­na­šli žádné od­po­vědi. Je reálná šance, že žádná pra­vi­dla ne­e­xis­tují, že je nikdo nikdy ne­de­fi­no­val, ale jen, že velice mocný al­go­rit­mus stro­jo­vého učení roz­po­znal vlast­nosti, které s velkou prav­dě­po­dob­ností iden­ti­fi­kují zá­vadný tweet, au­to­ma­ticky ho skryjí a ne­roz­li­šují zdali jde o bez­před­mětné urážky nebo o ne­po­pu­lární, ale eticky správný názor. Když chcete pří­klad, mys­lete na Rosu Parks.

Jestliže se al­go­ritmy učí z našich před­cho­zích chyb, jsou od­sou­zeni je opa­ko­vat. Au­to­ma­ticky. Mo­rozov v To Save Eve­ry­thing Click Here do­konce spe­ku­luje, že ve světě, kde na do­dr­žo­vání zákonů a pra­vi­del au­to­ma­ticky do­hlíží al­go­ritmy pomocí často ne­vi­di­tel­ných ma­ni­pu­lací (které ozna­čuje jako nudges neboli po­po­str­ko­vání), by byl spo­le­čen­ský pokrok jen velmi ob­tížný. O ne­spra­ved­li­vých zá­ko­nech musíme nejdřív vědět, a pak je musíme po­ru­šit, než se je po­ku­síme změnit.

V tom vidím jednu z hrozeb umělé in­te­li­gence – ne v tom, že od­straní velké množ­ství ma­nu­ální a méně kva­li­fi­ko­vané práce, ale že půjde o au­to­nomní systém, který nás okrade o naši au­to­no­mii a mož­nost volit si vlastní bu­douc­nost. Tedy – okrade nás o ni ještě víc.


Pozn:

  1. V kon­textu In­ter­netu věcí, selftrac­kingu a quan­ti­fied self vypadá za­jí­mavě pro­jekt Unfit Bits.
  2. Aby bylo jasno: Nechci pů­so­bit jako lud­dita, který tvrdí, že všechno je špatné, pro­tože je to nové. Jenom chci upo­zor­nit, na to, že pokrok nabízí mnoho nových mož­ností ma­ni­pu­lace a ovlá­dání a když proti nim ne­bu­deme vzná­šet ná­mitky a ne­bu­deme je zpo­chyb­ňo­vat, budeme s nej­větší prav­dě­po­dob­ností ma­ni­pu­lo­váni. Nejde jen o tech­no­lo­gii, ale hlavně o ide­o­lo­gii.
píše k47 & hosté, ascii@k47.cz