AR5: Hodnoty designu: Osvobození zapečené v kódu?

“Black, Muslim, Immigrant, Queer! Everyone is welcome here!” “We’re Queer! We’re Trans! No Walls! No Bans!” “Let’s get free! We’ve all gotta pee!”^[1]

Výkřiky se odráží od betonových zdí brutalistické budovy bostonské radnice. Je neděle 5. února 2017, šestnáct dní poté, co Donald Trump složil přísahu a stal se prezidentem Spojených států amerických. V centru Bostonu se sešel více než tisícihlavý dav složený z queer a trans* lidí, aktivistů za práva imigrantů a našich rodinných příslušníků, přátel a spojenců. Obrovské duhové LGBTQI+ prapory i menší růžovo-modro-bílé trans* vlajky se v mrazivém únorovém vzduchu třepotají vedle černo-červeno-bílých transparentů antifašistického hnutí. Stoupám po schodech se svým djembe. Poprosili mě, abych svým bubnováním doprovodila skandující dav při pochodu na Copley Square. Nejdříve si ale pětice organizátorů protestu, z nichž každý zastupuje jiný průsečík queer, trans* a dalších identit – afroamerické, latinoamerické, asijské, imigrantské, hendikepované pracující třídy – předává mikrofon a čte kolektivní prohlášení o důvodech mobilizace.^[2] […]

Protest za trans* a queer osvobození vyjadřující zároveň solidaritu s imigranty se odehrál v rámci obrovské vlny pouliční mobilizace, která nastala v zimě a na jaře roku 2017 v reakci na Trumpovo zvolení a první kroky jeho vlády. Byl zorganizován za méně než týden díky úsilí #QTPower, ad hoc uskupení aktivistů, právníků, kulturních pracovníků a komunitních organizátorů z Bostonu, jehož jsem byla součástí. Hlavními prostředky takto rychlé organizace byla zejména osobní setkání a konferenční hovory, během nichž jsme plánovali klíčové momenty akce, Google docs, v nichž jsme si načrtli koncepci i jazyk události, požadavky a logistiku, e-maily, telefonáty a chaty, jejichž prostřednictvím jsme shromáždili partnery, a Facebook, kde jsme akci propagovali. Také jsme využili symbolickou sílu obrazů solidarity Micah Bazant, jejichž^[3] vizuální umění v posledních deseti letech hojně kolovalo po sítích sociálních hnutí. […]

Při organizaci #QTPower akcí se nám skvěle osvědčila možnost založit událost na Facebooku – díky tomu jsme mohli rychle oslovit tisíce lidí a hned jsme také viděli, jaký je o akci zájem. Během tohoto období zvýšené mobilizace se počet lidí, kteří na Facebooku klikli na „zúčastním se“, mnohem více blížil reálné účasti než normálně. Zkušenost organizátorů protestů ukázala, že na akci, kde svou účast na Facebooku potvrdily tisíce lidí, pak většinou skutečně tolik lidí přišlo, zatímco jindy je podíl reálných účastníků mnohem nižší.^[4]

Nicméně Facebook obecně, a konkrétně facebookové události, jenom velmi špatně slouží k naplňování nejdůležitějšího úkolu komunitních organizátorů, jímž je posouvat lidi na žebříku angažovanosti o stupeň výš.^[5] Po konci #QTPower akce bylo možné na stránkách události sdílet pár dodatečných informací, fotografie a zpětnou vazbu, ale ani jako organizátoři akce jsme neměli žádnou možnost, jak všem účastníkům sdělit, co chystáme dál. O tom, komu se zobrazí příspěvky do diskuse události, rozhodovaly neprůhledným způsobem facebookové algoritmy, takže je viděli jen někteří. Samozřejmě jsme mohli Facebooku zaplatit a zvýšit tak pravděpodobnost, že se účastníkům o mobilizaci zobrazí v jejich feedu více informací. Design platformy nám ale neumožnil udělat to, o co nám šlo především – tedy kontaktovat všechny účastníky protestu (a ty, kteří projevili o událost zájem) a pozvat je na další shromáždění naplánované o pár týdnů později, kdy Trumpova vláda prohlásila, že ochrany dané oddílem IX zákona o vzdělávání se nevztahují na trans* a genderově nekonformní studenty.^[6]

Tento nesoulad mezi afordancemi Facebooku a základními potřebami aktivistů částečně vysvětluje, proč existuje celý ekosystém specializovaných aktivistických systémů na řízení vztahů s jednotlivci i komunitami (Constituent Relationship Management – CRM), jako jsou například SalsaCommons, NationBuilder a Action Network. Funkce, prvky rozhraní a možnosti těchto platforem navržených podle potřeb komunitních organizátorů a politických aktivistů odpovídají základním požadavkům procesů výstavby kampaně. […]

Tyto platformy však zůstávají vysoce specializovanými službami využívanými relativně malou skupinou profesionálních organizátorů kampaní. […] Většina lidí, včetně aktivistů, organizátorů a účastníků sociálních hnutí, používá pro prosazování svých cílů nejpopulárnější korporátní sociální sítě a hostované služby. Pracujeme s tím, co nám tyto stránky umožní, a s tím, co nám neumožní, si nějak poradíme, a to i když se nástroje těchto platforem pro daný úkol vůbec nehodí a jejich užití vystavuje členy hnutí celé řadě reálných hrozeb.

Proč nejpopulárnější sociální sítě poskytují pro tak důležitou práci, jako je organizování komunit a budování hnutí, tak omezené afordance? Proč se čas, energie a talent tolika designérů, softwarových developerů, produktových manažerů a dalších lidí okolo platforem soustředí místo jiných potenciálních cílů (jako je například maximalizace občanské angažovanosti, rozhodování s ohledem na ekologickou udržitelnost, budování empatie nebo dosažení jakéhokoli jiného z téměř nekonečného množství záslužných cílů) na optimalizaci digitálního světa a zachycení a zpeněžení naší pozornosti? Jinak řečeno, proč nadále navrhujeme technologie, které reprodukují existující systémy nerovnováhy moci, když je tolika lidem naprosto jasné, že tyto systémy musí být nutně odstraněny? Co nás donutí změnit náš přístup k navrhování veškerých typů technologií (sociotechnických systémů), včetně digitálních rozhraní, aplikací, platforem, algoritmů, hardwarů a infrastruktury, tak, aby nám pomohly přiblížit se osvobození?

Design pro každý den… ale pro koho? Distribuce afordancí a ne-afordancí v rámci matice dominance[7]

Začněme u jednoho ze základních konceptů teorie designu: u afordancí. Podle organizace Interaction Design Foundation jsou afordance „vlastnosti předmětu, které dávají najevo, co s tímto předmětem mohou uživatelé dělat, a zároveň tak naznačují, jak s ním mohou interagovat. Tlačítko například může vypadat tak, jako by se mělo otočit nebo zmáčknout“.^[8] Afordance […] se stala významným termínem v mnoha oborech díky hojně citovanému článku profesora designu Williama W. Gavera Technology Affordances (Technologické afordance).^[9] V ještě větší míře začala být používána v rámci interakce člověk–⁠počítač po vydání knihy The Design of Everyday Things (česky vyšlo jako Design pro každý den) kognitivního vědce a designéra Donalda Normana.^[10] Pro Normana afordance^[11] znamená „skutečné i vnímané vlastnosti předmětu, zejména ty fundamentální, jež podmiňují všechny myslitelné způsoby použití daného předmětu“.^[12] Například vlastnosti židle umožňují si sednout, vlastnosti koule na dveřích umožňují s ní otočit, vlastnosti počítačové myši umožňují pohybovat kurzorem po obrazovce a klikat a vlastnosti dotykového displeje umožňují poklepat nebo přejet prstem.

Design pro každý den je všeobecně uznávaný text o designu. […] Přináší přehled předmětů, které se těžko používají a na nichž lze ukázat klíčové principy lepšího designu. Téměř zcela však ignoruje otázky ohledně toho, jak rasa, třída, gender, hendikep a další aspekty matice dominance utváří a omezují přístup k afordancím. Designová spravedlnost^[13] po nás požaduje, abychom tyto otázky nepouštěli ze zřetele a hlavně se v prvé řadě ptali: „Jak matice dominance ovlivňuje vnímatelnost a dostupnost afordancí?“

Vnímatelnost a dostupnost afordance

Nejdřív se můžeme ptát, zda je daná afordance pro všechny lidi rovnoměrně vnímatelná, nebo zda jsou někteří lidé systematicky zvýhodňováni. Gaver si je vědom toho, že pozice uživatele (tedy jeho slovy kultura, zkušenost a vzdělání) ovlivňuje vnímatelnost afordance, i když její roli bagatelizuje. Uznává, že kultura a zkušenost některé afordance pro daného uživatele „zvýrazňují“, ale tvrdí, že toto „není nedílnou součástí“ pojetí afordance.^[14] Nicméně o tom, jak konkrétní pozice utváří vnímatelnost afordance, by se toho dalo říci mnohem více. Gaver například popisuje pečlivě navržená vodítka, která (abstrahovanému, univerzalizovanému) uživateli odhalují afordance rolovací lišty. Ale třeba člověku, který je nevidomý, zrakově hendikepovaný nebo pracuje na počítači poprvé v životě, nenapoví tato vodítka skoro nebo vůbec nic. Stejně tak ikona diskety umístěná vedle možnosti „uložit“ v rozbalovací nabídce nepomůže pochopit nabízenou afordanci někomu, kdo nikdy nepoužil disketu, přinejmenším dokud nezjistí, co symbol znamená. […] Vnímatelnost afordance se také často liší u lidí, kteří jsou barvoslepí, nevidomí nebo mají nějakou zrakovou vadu, nebo u neslyšících a nedoslýchavých. Pozice uživatele tedy určuje, zda je pro něj afordance vůbec vnímatelná, a vnímatelnost afordance je vždy ovlivněna danou pozicí (polohou v rámci matice dominance). Každá afordance je pro některé uživatele vnímatelnější než pro jiné.

Micah Bazant and Audre Lorde, Remember Trans Power, 2014.

Kromě vnímatelnosti nás designová spravedlnost nutí ptát se také na to, zda je daná afordance všem lidem rovnoměrně dostupná. Schody (další Gaverův příklad) třeba většině lidí doma umožňují pohyb mezi dvěma patry, ale upírají tuto afordanci těm, jejichž způsob mobility jim použití schodů ztěžuje nebo znemožňuje. Těmto lidem mohou schody nabízet vnímatelnou, ale nedostupnou afordanci. […] Afordance určitého předmětu nejsou nikdy pro všechny rovnoměrně vnímatelné a rovnoměrně dostupné. Určitá afordance je pro některé lidi prostě vždy vnímatelnější nebo dostupnější nebo obojí. Designová spravedlnost vynáší tento poznatek do popředí a vyzývá designéry, aby neustále věnovali pozornost tomu, jak jsou tyto rozdíly ovlivňovány maticí dominance. […]

Záměr a dopad

Systematické vylučování marginalizovaných skupin lidí není něco, co by většina současných designérů dělala záměrně. Nicméně mocenské nerovnosti projevující se afordancemi a ne-afordancemi sociotechnických systémů mohou být záměrné i nezáměrné a jejich dopady relativně malé i dost výrazné. […] Někteří [designéři] mohou sami sebe považovat za kapitalisty, ale málo z nich by se asi označilo za příslušníky vládnoucí třídy. Mnozí mají pocit, že mezi nimi a kapitalismem vládne napětí, a mnozí se dokonce označují za socialisty. Nicméně u designové spravedlnosti nejde o záměr, ale o proces a výsledky. Designová spravedlnost se ptá, jestli afordance navrženého předmětu nebo systému nepřiměřeně neomezují příležitosti už tak utlačovaných skupin lidí a zároveň nezlepšují životní příležitosti dominantních skupin, nehledě na to, jestli tento výsledek byl záměrem designérů, nebo ne. […]

Diskriminační design

Historička se zaměřením na rasová, genderová a vědecko-technologická studia Ruha Benjamin definuje diskriminační design jako normalizaci rasových hierarchií v základním designu sociotechnických systémů.^[15] Benjamin používá příklad zařízení na měření objemu plic – tzv. spirometru. Pneumonologové kdysi věřili, že „rasa“ ovlivňuje kapacitu plic, a proto byly spirometry vybaveny tlačítkem „rasové korekce“ pro nastavení měření vzhledem k určitému standardu. Když v roce 1999 podalo patnáct tisíc dělníků, kteří byli při práci vystaveni azbestu, hromadnou žalobu na zaměstnavatele, ztížil tento faktor afroamerickým pracovníkům přístup ke kompenzaci, protože „by museli prokázat horší funkčnost plic a vážnější klinické symptomy než bílí pracovníci, a to právě kvůli této funkci spirometru, jehož autor Dr. John Hutchinson byl v polovině 19. století zaměstnáván pojišťovnami, aby jim pomohl minimalizovat částky pojistného plnění.“^[16] Taková reprodukce představ ohledně rasy a rasových rozdílů v hardwaru, softwaru a fungování spirometru je pro Ruhu Benjamin příkladem toho, že věda a technologie jsou hlavními dějišti moderního rasismu jako formy praxe, tzv. racecraft, kdy existence rasy pramení z rasismu (a ne naopak). […]

Diskriminační design se často opírá o standardizaci. Vše od průměrné velikosti a výšky sedadla v autě přes velikost „ergonomických“ důlků pro prsty na nářaďových násadách až po velikost pražců na hmatníku kytary bylo původně vyvinuto na základě statistických norem, které zvýhodňují mužská těla jednotřetinového světa (jednotřetinový svět je výraz feministky Chandry Mohanty – nahrazuje jím zastaralý a hierarchický termín první svět).^[17] Takové diskriminační standardy nejsou výjimkou, naopak jsou základem technologií téměř ve všech oblastech, ať už je to doprava, nebo zdravotnictví, bydlení, oblečení a mnoho dalších.^[18]

A navíc, i když design diskriminující na základě rasy a/nebo genderu je často vnímán jako problematický, kapitalistické sociální normy design systémů, který záměrně reprodukuje diskriminaci na základě třídy, podporují. Například záměrným účelem prediktivního algoritmu používaného při stanovování nároku na hypotéku je umožnit hypotečnímu poradci co nejlépe rozlišit mezi těmi, kteří budou pravděpodobně schopni splácet, a těmi, kteří toho nejspíše schopni nebudou. Takový nástroj z definice podporuje diskriminaci na základě třídy, a když to dělá, je to bráno tak, že odvádí svou práci. Pokud ale diskriminuje na základě jediné charakteristiky (rasy nebo genderu nebo hendikepu), která je výslovně chráněna zákonem, tak je brán jako předpojatý.

Prediktivní algoritmy obecně často podporují a umožňují rasistické rozhodování. Děje se to neustále, i když dnešní vývojáři algoritmů (na rozdíl od autorů tzv. redlining politik, kdy byly v minulosti systematicky odpírány některé služby čtvrtím s vysokým podílem menšin) nepoužívají rasu jako proměnnou pro snížení skóre při stanovování nároku na hypotéku záměrně. Vývojáři algoritmů a banky jako jejich zaměstnavatelé vytvářejí pomocí techniky strojového učení konstrukty rizika, které sice nemají jasně dané reálné proměnné, ale přitom zástupně nahrazují rasu, třídu, gender, hendikep a další osy utlačování. Vymazání historie a neschopnost vzít v potaz intersekcionální^[19] strukturální nerovnost jsou základem předstírané „férovosti“ těchto systémů na podporu rozhodování, které jenom dále reprodukují matici dominance.^[20] […]

Nové nástroje designové spravedlnosti

Paradigmatický posun v designu, kdy už nebude matice dominance neúmyslně posilována, ale aktivně odbourávána, nenastane, dokud se nevybavíme novými nástroji. To znamená, že je třeba vyvinout intersekcionální „user stories“, testovací přístupy, trénovací data, srovnávací kritéria, standardy, schvalovací procesy, metody hodnocení dopadu a mnoho dalších nástrojů. […] Intersekcionální kritika toho, jak současná designová praxe systematicky reprodukuje matici dominance, znamená zavést nejenom různorodější designové týmy, komunitní odpovědnost a řízení […], ale také nové nástroje umožňující přenastavení metod, které v rámci současného univerzalistického paradigmatu formují tolik oblastí designu. Tento posun nicméně nenastane, pokud a dokud nedospěje velké množství designérů (a designových institucí) k přesvědčení, že dosažení spravedlivého designu je natolik důležitým cílem, že si zaslouží změnu nástrojů. Jsem toho názoru, že k tomu dojde pouze skrze organizovanou a systematickou snahu dosáhnout designové spravedlnosti ze strany široké koalice designérů, developerů, organizací sociálního hnutí, politických činitelů a obyčejných lidí. Následující část se věnuje tomu, jak může analýza designové spravedlnosti pomoci změnit koncept konkrétních technik a nástrojů, které designéři používají každý den.

Donuť mě myslet: Diferenciální kognitivní zátěž

Jedním z nejdůležitějších cílů v rámci HCI (human-computer interaction, tedy utváření interakcí mezi člověkem a počítačem) a zvláště v rámci designu uživatelského rozhraní (user interface – UI) je snížit kognitivní zátěž uživatele na minimum. Jednoduše řečeno, používat počítač k tomu, co na něm chceme dělat, by nemělo vyžadovat příliš velké mentální úsilí.^[21] […]

Z pohledu designové spravedlnosti a s ohledem na rozdělení přínosů a zátěží designu se můžeme ptát: Je vždy (nebo vůbec) možné snížit kognitivní zátěž pro všechny uživatele najednou? Možná ne. Místo toho se designéři neustále rozhodují, kteří uživatelé budou zvýhodněni a kteří se budou muset více snažit. Svými rozhodnutími v rámci UI přidělují různým skupinám lidí vyšší nebo nižší kognitivní zátěž. Nejde o to, že by zvýhodňování některých uživatelů bylo špatné, ale o to, že tato rozhodnutí musí být zřetelně vyjádřena. […]

Protesty uskupení #QTPower proti partnerství Boston Pride Parade a soukromých korporací, 2017. Zdroj: https://www.qtliberation.org/tag/qtpower/

Představa, že může být tentýž design „nejlepší“ pro všechny uživatele, je terčem intenzivní kritiky, za níž stojí i empirické studie. Katharina Reinecke a Abraham Berstein například zjistili, že většina uživatelů dává přednost uživatelskému rozhraní přizpůsobenému kulturním rozdílům. Všímají si, že není možné navrhnout jediné rozhraní, které se líbí všem uživatelům. Místo toho se vyjadřují ve prospěch designu „kulturně adaptivních systémů“.^[22] Web designéři skutečně čím dál častěji zmiňují kulturně adaptivní a personalizované systémy a doufají, že budou moci každému uživateli na základě toho, co o něm ví, poskytovat personalizovanou zkušenost. Tento přístup má na jednu stranu skutečně potenciál vyhnout se reprodukci existujících společenských kategorií jako proměnných používaných při utváření zkušenosti. Může narušit existující sociální kategorie a nahradit je skutečně přizpůsobeným UI a personalizovanou uživatelskou zkušeností (user experience – UX) založenou na chování uživatele. Nicméně v praxi tento přístup vede také k reprodukci a reifikaci existujících sociálních kategorií skrze algoritmický dohled, sledování uživatelů napříč stránkami, sběr a prodej jejich dat a rozvoj názorových bublin (uživatelům se zobrazuje pouze takový obsah, který jim podle nás není nepříjemný).

Univerzalizace maže rozdíly a vytváří samoupevňovací spirály vyloučení. Jenže k upevňování dohližitelského kapitalismu až příliš často vedou i personalizované a kulturně adaptivní systémy.^[23] Designová spravedlnost nepřináší „řešení“ tohoto paradoxu. Místo toho nás vybízí, abychom si uvědomili, že neustále vědomě rozhodujeme o tom, kteří uživatelé budou ve středu zájmu, a nutí nás za to nést odpovědnost. […]

A/B testování a denormalizace „univerzálního uživatele“

A/B testování je jedna z nejrozšířenějších rozhodovacích metod designového procesu. V rámci A/B testování je uživatelům při zobrazení dané webové stránky nebo aplikace náhodně přidělena jedna ze dvou (nebo více) verzí stejného rozhraní. Mění se ale jen jeden prvek (například velikost konkrétního tlačítka) a většina ostatních zůstává stejná. Designéři pak pečlivě sledují a měří, jak uživatelé se stránkou interagují, a zaměřují se přitom na klíčové ukazatele, jako například jak dlouho trvá splnění nějakého úkolu. Následně je implementována ta verze rozhraní, která má dle zmíněných klíčových ukazatelů lepší výsledky. Díky tomuto přístupu se UI a UX u běžných webových aplikací výrazně zdokonalily.

A/B testování nicméně téměř vždy probíhá v rámci univerzalistického designového paradigmatu. Například společnosti provozující platformy s miliardami uživatelů, jako je Google nebo Facebook, používají A/B testování úplně na všechno, od barvy prvků rozhraní po zásadní nové funkce, od položek individuálního obsahu po doporučující algoritmy. Na základě výsledků pak odhalují nové změny uživatelům. A/B testování vychází z univerzalizujícího předpokladu, že při jeho provádění na současných uživatelích přinese vždy jasného vítěze, ať už co se týče účinnosti, snížené kognitivní zátěže, nebo spokojenosti uživatele, ale i (a to je nejdůležitější) výnosnosti. Předpokládá se, že výsledky náhodného A/B testování se budou vztahovat na všechny uživatele. Změna bude zavedena a svět bude najednou lepší – anebo se aspoň zvýší firemní obraty. Ale k čemu A/B testování vlastně je? Dle všeobecného přesvědčení nevyhnutelně přináší „lepší UX“ a „lepší UI“. Pak se ale musíme ptát: Lepší pro koho? Bez zodpovězení této otázky reprodukuje A/B testování strukturální nerovnost skrze několik mechanismů.

Zaprvé bychom měli kritické analýze podrobit (narušit, obohatit o queer perspektivu, denormalizovat) předpoklad, že A/B testování vždy směřuje ke zlepšení UX, a to z toho jednoduchého důvodu, že ve skutečnosti směřuje k posílení rozhodovací moci produktového designéra. Cíle produktového designéra jsou často v souladu s cíli mnoha uživatelů, ale nemusí tomu tak být v každém případě. Například majitel produktu, který chce uživatele povzbudit, aby sdíleli více osobních informací, může A/B testovat různé způsoby, jak je k tomu povzbudit (nebo to po nich vyžadovat). To ještě komplikuje fakt, že produktově-designérská rozhodnutí ve středně velkých a velkých firmách nemusí nutně dělat produktový designér. Klíčová rozhodnutí jsou místo toho často přijímána ve vyšších patrech managementu. A proto jsou designéři, kteří by třeba dali přednost rozhodnutí ve prospěch uživatelů, často přehlasováni projektovými nebo výkonnými manažery, jimž jde hlavně o zisk. Ale to není pro účely této debaty důležité.

Zadruhé bychom měli nabourat základní předpoklad, že co je nejlepší pro většinu uživatelů, je nejlepší pro všechny uživatele. Vezměme si jednoduchý příklad: představte si UI pro vytvoření osobního profilu v rámci přijímacího řízení na univerzitu. Designér stránek dostane zadání, aby byla uchazeči pro účely sběru dat ohledně diverzity položena otázka týkající se rasy nebo etnicity. Designér řeší, jak výběr rasy/etnicity provést na co nejméně kliknutí a maximalizovat tak UX. V jedné verzi stránky (nazvěme ji A) je u rasy/etnicity už přednastavena volba „bílá, ne-hispánská“. V druhé verzi stránky (nazvěme ji B) není nic přednastaveno a uživatel si musí svou rasu/etnicitu vybrat ze seznamu. Nezapomeňme, že v kohortě uchazečů o studium na vysoké škole se odráží náš rozvrácený a strukturálně nerovný vzdělávací systém, takže počet bílých uživatelů stránky bude nepoměrně vyšší. V rámci jednoduchého A/B testu by se většině (bílých) uživatelů lépe pracovalo s verzí A, protože vyžaduje méně klikání. Můžeme ale proto konstatovat, že verze A je, co se týče uživatelské zkušenosti, tou „nejlepší“ možností? V tomto případě je to nejlepší pro současné návštěvníky stránky (přednastavená hodnota „bílá“) vlastně nerovnou zkušeností, protože pro lidi jiné barvy pleti je práce se stránkou o něco málo časově náročnější (klikání navíc) a zároveň u toho ještě mohou zažít mikroagresi. I když s naším hypotetickým rozbalovacím seznamem přednastaveným na bílou rasu/etnicitu bychom se setkali jen zřídka, protože společnost je na takovéto přímočaré odkazy na přetrvávající rasovou nerovnost citlivá, vývoj a zlepšování UX, UI a dalších prvků sociotechnických systémů vychází ze stejného principu.

Jak tedy A/B testování přehodnotit prizmatem designové spravedlnosti? V některých případech možná nelze tuto metodu vůbec použít. Ale v jiných bychom mohli třeba porovnávat odpovědi intersekcionálních uživatelských podskupin. Obecně si to lze představit jako testování různých designových možností pro nějakou aplikaci na různých druzích uživatelů – na skupině afroamerických žen, skupině afroamerických mužů, skupině bílých žen a skupině bílých mužů. Pokud designérský tým získá od všech skupin statisticky stejné preference, může z toho vyvodit, že designérské rozhodnutí žádnou skupinu neupřednostňuje. Pokud se ale preference jednotlivých skupin liší, musí to designérský tým řešit a promyslet, co udělá. Jestliže třeba obě ženské skupiny preferují jiný design než obě mužské skupiny, designérský tým se musí rozhodnout, čí preference dostanou přednost. […]

Od algoritmické férovosti k algoritmické spravedlnosti: Barvoslepost, symetrické zacházení, individualizace rovnosti a vymýcení historické diskriminace

Oblastí, která nejvíce volá po zavedení principů designové spravedlnosti, jsou algoritmické systémy na podporu rozhodování. Veřejnost i informatici si stále častěji uvědomují existenci algoritmické předpojatosti. Čím dál tím více novinářů a odborníků přináší důkazy o tom, že algoritmy nechtěně reprodukují rasové a/nebo genderové předsudky (méně pozornosti se zatím soustředilo na spojení algoritmů s ableismem a řešit algoritmickou reprodukci třídní nerovnosti skoro ani není na pořadu dne, protože výpočty finančního rizika jsou natolik normalizované, až jsou hegemonní).^[24] Algoritmy slouží jako nástroje rozhodování osobám na mocenských pozicích v tak rozmanitých oborech, jako je bankovnictví, bydlení, zdravotnictví, vzdělávání, nábor zaměstnanců, půjčky, sociální média, zajišťování bezpečnosti, armáda a další. Designová spravedlnost volá po analýze toho, jak design algoritmů záměrně i nechtěně reprodukuje kapitalismus, nadřazenost bílé rasy, patriarchát, heteronormativitu, ableismus a osídlovací kolonialismus.

Micah Bazant, Stop Killing Black People, 2015. Vytvořeno se svolením baltimorské aktivistky Ebony Evans.

Safiya Noble například ve své práci Algorithms of Oppression (Algoritmy útlaku) soustředí naši pozornost na to, jak vyhledávací algoritmy reprodukují matici dominance zkreslováním marginalizovaných subjektů, zejména šířením hypersexualizovaných zobrazení afroamerických dívek a žen (Patricia Hill Collins to nazývá ovládajícími zobrazeními).^[25] V Automating Inequality (Automatizace nerovnosti) Virginia Eubanks rozebírá fakt, že algoritmické systémy na podporu rozhodování, které trestají chudé, byly zavedeny jako pravicová strategie, jak omezit a zrušit těžce vybojovaný přístup k programům sociální pomoci, jejichž zavedení vybojovala organizovaná hnutí chudých.^[26] Kritické práci se pilně věnuje i Kate Crawford a AI Now Institute na Newyorské univerzitě. Například nás vyzývá, ať se zamyslíme, jak by to vypadalo, kdyby vyhledávací algoritmy fungovaly na základě logiky agonistické demokracie,^[27] a nabádá nás, ať si představíme algoritmy, které by mohly „brát v potaz odlišnosti a nesouhlas místo nikým nezpochybňovaných hodnot a tiše vypočítaného obrazu veřejnosti, u níž se předpokládá souhlas“.^[28] Joy Buolamwini volá ve spolupráci s Algorithmic Justice League po vývoji intersekcionálních trénovacích dat, testů a kritérií pro systémy strojového učení.^[29] […]

Rozrůstá se také komunita informatiků zaměřujících se konkrétně na odbourávání algoritmické předpojatosti. Od začátku roku 2014 se toto úsilí soustředí hlavně kolem komunity FAT*.^[30] Ta se pro informatiky rychle stala zásadním místem, kde se mohou zaměřovat na výzkum algoritmické předpojatosti – co to je, jak ji měřit a omezit. […] Tato práce je samozřejmě důležitá, ale současná norma jednoosých auditů férovosti by měla být nahrazena novou normou intersekcionální analýzy. […] Designová spravedlnost nás také nutí zpochybňovat množinu předpokladů, na nichž je založena „inkluze“, jak v rámci studií technologií a vědy podotýká Os Keyes v jejich výborné kritické analýze reprodukce genderové binarity skrze datové ontologie a algoritmické systémy.^[31] Pod designovou spravedlnost spadá také kritika pojetí „férovosti“, která je v těchto snahách téměř všudypřítomná, jak nám připomíná Anna Lauren Hoffman ve své nejnovější práci o hranicích antidiskriminačního diskurzu.^[32] […]

Představte si například algoritmus přijímacího řízení na univerzitu. Cílem (individualizovaného) férového algoritmického přístupu je zajistit, aby jakékoli dvě osoby se stejným profilem, které se liší třeba jen svým genderem, dostaly stejné vyjádření (přijati / čekací listina / nepřijati). Audit algoritmické férovosti může být u přijímacího algoritmu prováděn pomocí párových testů: použije se skupina spárovaných identických přihlášek, kde se u každého páru změní gender jednoho z uchazečů a následně se sleduje, jestli jim systém vydá stejné doporučení. Pokud algoritmus u jinak identických spárovaných přihlášek doporučí přijmout více mužů než žen (na statisticky významné úrovni), můžeme konstatovat, že je předpojatý vůči ženám. Musí být znovu vytrénován a podroben auditu, zda z něj byla tato předpojatost odstraněna. Tento přístup navrhuje většina výzkumníků a profesionálů, kteří se v současnosti algoritmickou předpojatostí zabývají.^[33]

Přizpůsobit tento přístup tak, aby nebyl jednoosý, ale intersekcionální, může být náročnější, ale nevyžaduje to zásadní změnu. Intersekcionální audit přijímacího algoritmu s použitím párového testu musí být prováděn na mnohem větším množství spárovaných přihlášek. Skupiny pak obsahují téměř identické přihlášky s pozměněnými markery identity z několika os zájmu v rámci matice dominance, jako jsou rasa, třída, gender, identita, sexuální orientace, hendikep a občanství. To umožňuje zanalyzovat, jestli není systém předpojatý třeba vůči hendikepovaným Afroameričanům, queer ženám bez občanství dané země a podobně. […]

Teď si představte, jak by probíhal audit stejného přijímacího algoritmu, ale z hlediska algoritmické spravedlnosti. V tomto přístupu jde nejenom o individualizované symetrické zacházení, ale také o vliv historického a přetrvávajícího utlačování a nespravedlnosti v rámci matice dominance na jednotlivce a skupiny, a zároveň i o to, jak spravedlivěji rozdělit přínosy, příležitosti i negativní dopady napříč všemi skupinami lidí. V našem případě to znamená, že designéři algoritmu musí probrat a rozhodnout, jaké rozdělení výsledků považují za spravedlivé. Mohou například rozhodnout, že při spravedlivém rozdělení rozhodnutí o přijetí by v nastupujícím prvním ročníku byla jednotlivá pohlaví zastoupena stejně jako v celkové populaci (kde je cca 51 % žen). Dále mohou rozhodnout, aby nastupující ročník odrážel složení celkové populace, i co se týče podílu prolínajících se identit založených na rase, třídě, genderu a hendikepu. Nebo se mohou rozhodnout, že jejich cílem je co nejrychleji napravit současnou zkreslenou strukturu populace studentů zapsaných do prvních čtyř ročníků. Pokud by v takovém případě byli v současné populaci studentů v porovnání se složením celkové populace výrazně méně zastoupeni například latinskoameričtí studenti, pak by byl přijímací algoritmus nastaven tak, aby přijal větší podíl latinskoamerických prváků a „vykompenzoval“ tak jejich opomíjení v minulých letech. Když bychom tento myšlenkový experiment dovedli ještě dále, tak by se vývojáři algoritmu mohli třeba rozhodnout, že jejich cílem je napravit předpojatost, která ovlivňuje demografickou skladbu přijatých studentů a studentek od samotného počátku. Algoritmus pak může být nastaven tak, aby přijal celý ročník žen jiné barvy pleti a napravil tak systematické odmítání žen a lidí jiné barvy pleti během prvních sto let existence univerzity. Zde si tedy klademe otázku: „Jak by vypadaly algoritmické kompenzace?“

Micah Bazant, We All Belong Here, 2015.

Mým cílem není tvrdit, že toto je přesně ten výsledek, o který by měly všechny algoritmické rozhodovací systémy usilovat. Jde mi o to, že otázka „Jak vypadá spravedlivý výsledek?“ ani není na pořadu dne. Místo toho řešíme pouze úzké a individualizované pojetí férovosti. Je velmi nepravděpodobné, že by se v prostředí USA prosadil přístup algoritmické spravedlnosti, hlavně proto, že tento přístup by v mnoha případech porušoval existující antidiskriminační zákony. Ale tím, že se o algoritmické předpojatosti hovoří čím dál častěji a že vyvíjíme celou řadu nástrojů, jak ji odhalovat, mírnit a odvracet, musíme také přicházet s alternativními přístupy, nástroji, konfiguracemi a měřeními výsledků, které by s algoritmickou spravedlností byly v souladu. Musíme klást otázky, jako je třeba tato: „Jak podle nás vypadá spravedlivé rozdělení přínosů, a to v jakémkoli rozhodovacím systému?“

Osvobození zapečené v kódu

[…] Do budoucna musí designová spravedlnost napomoci také rozvoji nastupujících sociotechnických systémů, jako je umělá inteligence (artificial intelligence – AI). V rámci AI jde nejenom o inkluzi a férovost, ale také o spravedlnost, autonomii a suverenitu. Jak například AI reprodukuje koloniální ontologii a epistemologii? Jak by vypadalo algoritmické rozhodování, kdyby bylo navrženo tak, aby podporovalo, rozšiřovalo a posilovalo znalosti a/nebo postupy původních obyvatel? […]

Naštěstí teď po celém světě vyrůstají jako houby po dešti výzkumná centra, think-tanky a iniciativy, které se věnují otázkám spravedlnosti, férovosti, předpojatosti, diskriminace, a dokonce i dekolonizaci dat, algoritmických systémů pro podporu rozhodování a výpočetních systémů.^[34] […] Designová spravedlnost designéry nehledě na oblast uplatnění designu výslovně nabádá, aby se řídili hodnotami sociální spravedlnosti, působili proti nerovnému rozdělení přínosů a zátěží designu a pokoušeli se pochopit a potírat nadřazenost bílé rasy, cisheteropatriarchát, kapitalismus, ableismus a osidlovací kolonialismus, neboli to, co afroamerické feministické myšlení označuje za matici dominance. Designová spravedlnost se zajímá o to, jak osvoboditelské hodnoty intersekcionálního feminismu napevno zakódovat do všech úrovní navrhovaných předmětů a systémů včetně rozhraní, databází, algoritmů a sociotechnické praxe „tam venku“. […]

Příloha: Principy designové spravedlnosti^[35]

1. Používáme design k zachování, uzdravení a posílení našich komunit a k osvobození se od vykořisťovatelských a utlačovatelských systémů.
2. Sdružujeme hlasy těch, kterých se výsledky designového procesu přímo dotýkají.
3. Upřednostňujeme vliv designu na komunitu před záměry designéra.
4. Vnímáme změnu jako něco, co vyvěrá ze zodpovědného a přístupného procesu spolupráce, a ne jako bod na konci procesu.^[36]
5. Vnímáme designéra spíše jako facilitátora než odborníka.
6. Věříme, že každý je z hlediska své žité zkušenosti odborníkem a že všichni můžeme do designového procesu přinést něco jedinečného a skvělého.
7. Sdílíme designové znalosti a nástroje s našimi komunitami.
8. Usilujeme o udržitelné výsledky vedené a řízené komunitou.
9. Usilujeme o řešení, která nevykořisťují a propojují nás se zemí a s druhými.
10. Než začneme hledat nová designová řešení, zaměřujeme se na to, co už na komunitní úrovni funguje. Ctíme a povzbuzujeme tradiční, původní a místní znalosti a postupy.

^[1] Poznámka editorky: Následující text je zkrácenou verzí kapitoly z nedávno vydané knihy Sashy Costanzy-Chock Design Justice. Community-Led Practices to Build the Worlds We Need (Designová spravedlnost. Komunitně vedená praxe k vybudování světů, které potřebujeme) vydané MIT Press na začátku roku 2020 (viz https://mitpress.mit.edu/books/design-justice). Vybrané kapitoly z knihy (včetně této) jsou veřejně přístupné v rámci licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Kapitola je ve své původní plné délce dostupná zde: https://design-justice.pubpub.org/pub/3h2zq86d/release/1.

^[2] Viz prohlášení v popisu události na Facebooku. Trans and Queer Liberation + Immigrant Solidarity Protest, Facebook, https://www.facebook.com/events/392408787772958, vyhledáno 11. 6. 2020.

^[3] Poznámka editorky: Micah Bazant upřednostňuje ve vztahu ke své osobě zájmeno „they“, do češtiny proto překládáme jako „oni“, respektive „jejichž“.

^[4] Paolo Gerbaudo, Tweets and the Streets. Social Media and Contemporary Activism, Londýn: Pluto Press, 2012. Ginerva Adamoli, Social Media and Social Movements. A Critical Analysis of Audience’s Use of Facebook to Advocate Food Activism Offline (disertační práce, The Florida State University College of Communication and Information, 2012).

^[5] Více například na Salsa Labs (https://www.salsalabs.com/blog/practical-steps-engage-supporters); Více o konceptu „žebříku participace“ Sherry R. Arnstein zde: Sherry R. Arnstein, A Ladder of Citizen Participation, Journal of the American Institute of Planners XXXV, 1969, č. 4, s. 216–224.

^[6] Ariana De Vogue – Mary Kay Mallonee – Emanuella Grinberg, Trump Administration Withdraws Federal Protections for Transgender Students, CNN, 22. 2. 2017, https://edition.cnn.com/2017/02/22/politics/doj-withdraws-federal-protections-on-transgender-bathrooms-in-schools/index.html.

^[7] Poznámka editorky: „Termín matice dominance vyvinula afroamerická feministická socioložka a bývalá předsedkyně Americké sociologické asociace Patricia Hill Collins. Používá ho, když mluví o rase, třídě a genderu jako o propletených systémech utlačování. Je to konceptuální model, s jehož pomocí se můžeme zamyslet nad systematickou distribucí moci, utlačování, vzdoru, privilegií, postihů, výhod a újem. […] Collins jako historicky nejdůležitější strukturující prvky života většiny afroamerických žen udává tři systémy: rasu, třídu a gender. Dodává, že u jiných lidí se na strukturaci matice dominance podílejí i další systémy utlačování.“ Sasha Costanza-Chock, Introduction: #TravellingWhileTrans, Design Justice, and Escape from the Matrix of Domination, Design Justice, https://design-justice.pubpub.org/pub/ap8rgw5e/release/1, vyhledáno 11. 6. 2020. Viz také Patricia Hill Collins, Black Feminist Thought: Knowledge, Consciousness, and the Politics of Empowerment, New York: Routledge, 2002.

^[8] Heslo Affordances, Interaction Design Foundation, 2019, https://www.interaction-design.org/literature/topics/affordances, vyhledáno 11. 6. 2019.

^[9] William W. Gaver, Technology Affordances, in: Proceedings of the SIGCHI Conference on Human Factors in Comupting Systems, New York: ACM, 1991, s. 79–84.

^[10] Donald A. Norman, The Design of Everyday Things, New York: Basic Books, 2006. Česky vyšlo jako Design pro každý den, Praha: Dokořán, 2010.

^[11] Poznámka překladatelky: V českém vydání knihy je termín překládán jako „účelovost“, viz s. 35.

^[12] Ibidem, s. 9.

^[13] Poznámka editorky: „Designová spravedlnost slouží jako rámec pro analýzu toho, jak jsou přínosy a zátěže designu distribuovány mezi jednotlivými skupinami lidí. Designová spravedlnost se explicitně soustředí na způsob, jakým design reprodukuje a/nebo zpochybňuje matici dominance (nadřazenost bílé rasy, heteropatriarchát, kapitalismus, ableismus, osídlovací kolonialismus a další formy strukturální nerovnosti). Designovou spravedlnost reprezentuje také rostoucí odborná komunita, jejímž cílem je zajistit rovnoměrnější distribuci přínosů a zátěží designu, smysluplnou účast na designových rozhodnutích a uznání komunitních, původních a diasporických designových tradic, znalostí a postupů.“ Costanza-Chock, Introduction (pozn. 7). Viz také principy Design Justice Network níže.

^[14] Viz Gaver (pozn. 9), s. 81.

^[15] Ruha Benjamin, Catching Our Breath. Critical Race STS and the Carceral Imagination, Engaging Science, Technology, and Society II, 2016, s. 145–156. Benjamin také shrnuje koncept antidiskriminačního designu ve skvělé TEDx přednášce.

^[16] Ibidem, s. 147.

^[17] Chandra Talpade Mohanty, Transnational Feminist Crossings. On Neoliberalism and Radical Critique, Signs: Journal of Women in Culture and Society XXXVIII, 2013, č. 4, s. 967–991.

^[18] Pro nejnovější knihu věnovanou diskusi o diskriminačním designu a digitální technologii viz Sara Wachter-Boettcher, Technically Wrong. Sexist Apps, Biased Algorithms, and Other Threats of Toxic Tech, New York: W. W. Norton & Company, 2017.

^[19] Poznámka editorky: „Afroamerické feministické myšlení zásadně mění koncept rasy, třídy a genderu jako propojených systémů – ty se projevují nejenom samostatně, ale často jsou lidmi, kteří se nachází na jejich průsečíku, zažívány najednou. Analytický rámec vystavěný na tomto základním poznatku se nazývá intersekcionalita. […] S termínem intersekcionalita konkrétně poprvé přišla afroamerická feministická právnička Kimberlé Crenshaw […].“ Koncept intersekcionality se staví proti převládající „jednoosové analýze“ v sociálních vědách (a také v designu), která považuje rasu, třídu i gender za nezávislé konstrukty. Costanza-Chock, Introduction (pozn. 7). Viz také Kimberlé Crenshaw, Demarginalizing the Intersection of Race and Sex. A Black Feminist Critique of Antidiscrimination Doctrine, Feminist Theory, and Antiracist Politics, University of Chicago Legal Forum, 1989, č. 1, s. 139–167.

^[20] Poznámka editorky: V původní verzi této kapitoly se autorka dále podrobně zabývá přístupy, které spolu souvisí a z nichž částečně vychází koncept designové spravedlnosti – konkrétně jde o hodnotově citlivý design, univerzální design a inkluzivní design. Viz https://design-justice.pubpub.org/pub/3h2zq86d/release/1.

^[21] Viz Steve Krug, Don’t Make Me Think. A Common Sense Approach To Web Usability, Indianapolis: New Riders Press, 2000.

^[22] Katharina Reinecke – Abraham Bernstein, Improving Performance, Perceived Usability, and Aesthetics with Culturally Adaptive User Interfaces, ACM Transactions on Comupter-Human Interaction (TOCHI) XVIII, 2011, č. 2, článek č. 8.

^[23] Shoshana Zuboff, Big Other. Surveillance Capitalism and the Prospects of an Information Civilization, Journal of Information Technology XXX, 2015, č. 1, s. 75–89.

^[24] Pro krátký přehled viz Robyn Caplan – Joan Donovan – Lauren Hanson – Jenna Matthews, Algorithmic Accountability. A Primer, Data & Society, 18. 4. 2018, https://datasociety.net/wp-content/uploads/2018/04/Data_Society_Algorithmic_Accountability_Primer_FINAL-4.pdf. Viz také https://bigdata.fairness.io.

^[25] Viz Collins (pozn. 7).

^[26] Virginia Eubanks, Automating Inequality. How High-Tech Tools Profile, Police, and Punish the Poor, New York: St. Martin’s Press, 2018.

^[27] Kate Crawford, Can an Algorithm Be Agonistic? Ten Scenes from Life in Calculated Publics, Science, Technology, & Human Values XLI, 2016, č. 1, s. 77–92.

^[28] Ibidem.

^[29] Joy Adowaa Buolamwini, Gender Shades. Intersectional Phenotypic and Demographic Evaluation of Face Datasets and Gender Classifiers (magisterská práce, Massachusetts Institute of Technology, 2017).

^[30] Viz http://www.fatml.org.

^[31] Os Keyes, The Misgendering Machines. Trans/HCI Implications of Automatic Gender Recognition, in: Proceedings of the ACM on Human-Computer Interaction, New York: ACM, 2018, článek 88.

^[32] Anna Lauren Hoffman, Where Fairness Fails. Data, Algorithms, and the Limits of Antidiscrimination Discourse, Information, Communication & Society XXII, 2019, č. 7, s. 900–915.

^[33] Viz například program poslední konference FAT* dostupný na https://fatcon ference.org/2019/program.html, i když zde se do diskuse začíná promítat napětí mezi férovým rozhodováním a dlouhodobými cíli společenské rovnosti, jako třeba v: Hussein Mouzannar – Mesrob I. Ohannessian – Nathan Srebro, From Fair Decision Making to Social Equality, in: Proceedings of the Conference on Fairness, Accountability, and Transparency (FAT* ’19), New York: ACM, 2019, s. 359–368.

^[34] Poznámka editorky: Viz například Data&Society (https://datasociety.net), AI Now Institute (https://ainowinstitute.org), Digital Equity Lab v New Yorku (https://www.newschool.edu/digital-equity-lab), Data Justice Lab v Cardiffu (https://datajusticelab.org), Public Data Lab (https://publicdatalab.org), Coding Rights (https://www.codingrights.org/), Fair Algorithms (https://www.fatml.org), Center for Civic Media na MIT (https://civic.mit.edu), Digital Justice Lab v Torontu (https:// datajusticelab.org), Building Consentful Tech (http://www.communitysolutionsva.org/files/Building_Consentful_Tech_zine.pdf), Our Data Bodies Project (https://www.odbproject.org) nebo FemTechNet network (http://femtechnet.org/about/the-network).

^[35] Poznámka editorky: Design Justice Network Principles, Design Justice, https://designjustice.org/read-the-principles, vyhledáno 11. 6. 2020. Tento text je přístupný v rámci licence CC BY-ND 4.0, https://creativecommons.org/licenses/by-nd/4.0/. Není součástí kapitoly Design Values: Hard-Coding Liberation? v publikaci Design justice.

^[36] Tento princip byl inspirován a vytvořen na základě https://www.alliedmedia.org/about/network-principles.

Překlad z angličtiny: Anna Žilková

Artalk revue: Záměr / editorka: Klára Peloušková, 2020.

PDF ke stažení v české i anglické verzi.