Etikettarkiv: Google

Rasism och sexism i bibliotekens discoverysystem

Matthew Reidsma (2019). Masked by Trust: Bias in Library Discovery. Library Juice Press.

Det är svårt att överskatta betydelsen av sökmotorer för vår webbupplevelse. Vi använder Google för att söka information, hitta till närmaste restaurang och söka efter söta djurbilder. Sökmotorer har samma betydelse för akademin. Forskare och studenter använder Google för att söka efter böcker, hitta artiklar och annat källmaterial. Men som Rasmus Fleischer påpekade redan 2013, så tänker vi sällan på sökmotorns förmedlande roll mellan forskaren och det som forskaren vill undersöka.1

Omslag Masked by Trust bias in library discovery

De senaste åren har forskningsvärldens beroende av sökmotorer fördjupats. Det gäller inte minst efter att de flesta universitetsbibliotek i Sverige har förändrat sina digitala kataloger och köpt in sökmotorer, som på ett enkelt och smidigt vis ger tillgång till bibliotekets alla resurser. Tidigare var man tvungen att söka efter böcker och artiklar i en rad olika databaser, men nu kan man ta del av allt genom sökmotorn. De fyra mest använda sökmotorerna, eller ”discoverysystemen”, som finns tillgängliga på marknaden för universitet och högskolor är Summon, Primo, WorldCat Discovery och EBSCO Discovery Service (EDS).

Om du, likt jag, har använt universitetsbibliotekens söktjänster ett oräkneligt antal gånger utan att fundera särskilt mycket på att det är en inköpt sökmotor du använder, så är det en del av poängen med hur de är utformade. Man känner igen sig. Under det senaste decenniet, skriver Fleischer, har den tomma sökrutan utkristalliserat sig som ett universellt gränssnitt.2 Det är en utveckling som har drivits på av nätgiganten Google. Faktum är att Summon modellerades för att efterlikna och konkurrera med Google. År 2010 sa Jane Burke, dåvarande vicepresident för ProQuest (ett företag som 2015 köpte Ex Libris, som administrerar Summon), att discoverysystemen stod för ”the ’Googlisation’ of the library’s collection”.

Att discoverysystemen använder samma enkla gränssnitt som Google, skänker dem en aura av objektivitet och neutralitet. De senaste åren har Google förvisso skärskådats på ett välbehövligt vis. Det finns få bibliotekarier som inte har hört talas om filterbubblor, sponsrade länkar och algoritmisk bias. Vi som bibliotekarier hänvisar därför gärna våra låntagare till bibliotekens egna söktjänster, som om de till skillnad från Google erbjuder en objektiv och neutral bild.

Men det finns skäl att ifrågasätta den praktiken. Discoverysystemen lider nämligen av många av samma problem som Google. Jag tar en titt på Uppsala universitetsbiblioteks söksystem – som tidigare student vid universitet ligger det nära till hands. Uppsala universitetsbibliotek (UUB) har använt Summon sedan 2013. Jag genomför två sökningar i den digitala katalogen. Jag skriver in ”muslims are” och får genast upp ett förslag för hur söktermen ska slutföras: ”muslims are terrorists”. Sedan skriver jag in ”women are” och bland förslag som ”women are better leaders” och ”women are overworked at home” syns förslag som ”women are emotional” och ”women are persons”. Sökmotorns autosuggest-funktion föreslår alltså att muslimer är terrorister och att kvinnor är känslosamma och ”personer”? Det kan inte bara vara jag som anser att det inte är en sökmotors uppgift att förstärka fördomsfulla bilder av muslimer och kvinnor. Vad är det som pågår här?

Det är ingen tillfällighet att jag valde att söka på ”muslims are” och ”women are” för att se vad autosuggest-funktionen föreslog. Just de här exemplen tar Matthew Reidsma, bibliotekarie vid Grand Valley State University Libraries, upp i sin nyutkomna bok Masked by Trust: Bias in Library Discovery, där han dels visar hur Summon och andra discoverysystem emellanåt ger sexistiska och rasistiska sökresultat, dels försöker förklara varför. Precis som Google använder Summon algoritmer som bestämmer vilka sökresultat som ska visas och i vilken ordning. Exakt hur algoritmerna ser ut är en väl bevarad affärshemlighet, men genom att studera sökresultaten går det att studera hur algoritmerna fungerar. Det är vad Reidsma gör i boken. Han ägnar mest tid åt att granska Summons funktion ”topic explorer”, som vid sidan av sökresultaten erbjuder en faktaruta med information från Wikipedia. Eftersom funktionen väljer ut en enda Wikipedia-artikel är det en utmärkt plats för att hitta dolda fördomar och bias.

Vissa av Reidsmas upptäckter är hårresande. En sökning på ”muslim terrorist in the united states” föreslog Wikipedia-artikeln om ”Islam in the United States”, vilket sammankopplar terrorism med islam. Och en sökning på ”transgender” gav som första sökresultat en artikel från en juridisk tidskrift med likbilder av ett manligt mordoffer klädd som en kvinna. Som om en person som identifierar sig som transgender är en man som klär sig i kvinnliga kläder. Många av Reidsmas upptäckter har i efterhand korrigerats av Ex Libris (men uppenbarligen inte autosuggest-förslagen ovan om muslimska terrorister och känslosamma kvinnor), men det vore, skriver Reidsma, ett misstag att tro att det bara handlar om enskilda fall. Problemet går mycket djupare än så.

Det finns visserligen skillnader mellan kommersiella söktjänster som Google och discoverysystem. Som bekant är Google i grunden ett annonsföretag. All sökhistorik lagras och analyseras för att erbjuda personaliserad reklam och anpassade sökresultat. Ett discoverysystem är däremot inte beroende av reklam utan av intäkter från prenumeranter, ofta stora universitet, som betalar för tjänsten. En sökning på ”bibeln” i UUB:s söksystem ger inte olika resultat för olika användare baserat på deras tidigare sökresultat eller geografiska position. Det spelar ingen roll om jag tidigare har sökt på Helge Fossmo eller befinner mig i Knutby. Jag får upp samma sökresultat som alla andra användare. Däremot finns det i många discoverysystem vissa funktioner för personalisering och dessutom finns det ett stort kommersiellt intresse i all den sökhistorik som utförs av miljontals forskare och studenter, och som i dagsläget sparas i gigantiska och växande databaser.

Här är det läge att understryka att de sexistiska och rasistiska sökresultaten med största sannolikhet inte är avsiktliga. Discoverysystemens syfte är att ge relevanta och precisa sökresultat. Ändå blir det ibland fel. Det är oerhört allvarligt, för som Reidsma skriver har sådana sökresultat faktiska konsekvenser för marginaliserade grupper och människor i samhället.

Så vems är felet? Vem eller vad ska man klandra? Reidsma varnar för att hitta enkla syndabockar. Problemet är inte bara algoritmerna, eller den grupp programmerare som jobbar med koden, eller deras utbildning som ofta saknar etikkurser. Det stora problemet är inte heller affärsmodellen hos stora företag.

Rather, the problems can be found only by examining the embedded, historical context in which business practices, engineering education and the lack of diversity, systematic rasism and sexism embedded in information classification systems, designs based on prejudiced stereotypes, and a culture that glorifies efficiency above all else.

Med andra ord, vi borde inte förvånas över att algoritmer skapade i en kultur där strukturell sexism och rasism fortfarande existerar, också leder till sexistiska och rasistiska sökresultat. Och vi borde inte heller förvånas över att en ingenjörsvärld som endast har en hammare ser alla problem som en spik. 

Vi får vad vi frågar efter. Och därför måste vi fråga efter någonting annat. I bokens sista kapitel skissar Reidsma en väg framåt. Det första vi måste göra är att sluta lita på algoritmer. De är skapade av människor och har aldrig varit och kommer aldrig att vara ”objektiva”. Och vi måste allmänt bli mer skeptiska gentemot söksystem och sökresultat. Det duger inte att måla upp bilden av ett ondskefullt Google i kontrast till det pålitliga biblioteket. 

Vi måste också, enligt Reidsma, sluta betrakta teknologi som ett verktyg. Eller, rättare sagt, sluta betrakta teknologi som enbart ett verktyg. Den här delen av Reidsmas bok är strikt talat inte nödvändig för att hans poäng ska gå fram, men i några tänkvärda passager skriver han att en viss teknologi, oavsett om det gäller en hammare eller en sökmotor, alltid ingår i ett socialt och kulturellt sammanhang. Det är först när vi släpper bilden av teknologi-som-verktyg som vi på riktigt kan förstå hur teknologi både är formad av och formar vår bild av världen. Det är först då vi kan släppa den ingenjörsaktiga bilden av hur algoritmer ska utformas och som bevisligen, om och om igen, leder till så olyckliga resultat. 

Fotnoter

  1. Rasmus Fleischer (2013). Tapirskrift, s. 53
  2. Rasmus Fleischer (2013). Tapirskrift, s. 53

Johannes Soldal

Prenumerera

Få nästa nummer av bis i brevlådan! En prenumeration kostar från 160 kronor för fyra nummer och du kan betala enkelt med swish.

Algoritmer och ansvar

Artificiell intelligens och andra tekniska landvinningar kommer få konsekvenser för bibliotekens arbete i framtiden. Med nya sätt att hämta information kommer nya frågor om representation och ansvarsutkrävande.

IFLA publicerade nyligen en artikel som reflekterade över biblioteken och bibliotekariernas ställning när artificiell intelligens och algoritmer snart kommer att spela allt större roll i arbetslivet.

IFLA menar att artificiell intelligens kommer att förändra de sätt som människor letar efter information, förmodligen med stora konsekvenser för vårt arbete.

Den här utvecklingen har vi redan sett början av. Sökmotorer har redan kommit en lång väg vad gäller att hjälpa användarna att få svar på enkla och mer avancerade frågor. När vi får ännu bättre artificiell intelligens kommer det ytterligare att påverka hur vi tillgodogör oss information. Människor som kanske vänt sig till biblioteket för att få hjälp kommer att ha ännu mindre anledning att göra det.

En stor del av IFLAs artikel handlar just om informationsinhämtning och här skrivs det om något som är väldigt intressant.

A second question concerns information itself. As highlighted in the IFLA FAIFE blog on data ethics, there is uncertainty as to how algorithms and artificial intelligence comes up with its answers. When searching for, or making use of, information, it may not be possible to explain how this happens.

While there never was a perfect search, it was at least possible to analyse the process followed. The risk now is that there is a black box, with little possibility to explain the results.

The one thing we do know is that there is a risk of bias and discrimination. Given that AI feeds on data about the present, it is liable simply to repeat this present into the future. Moreover, commercially-run AI brings with it risks of prioritisation (in the case of search in particular), or of course use of personal data (in general), with all the implications this brings for privacy and Intellectual Freedom.

Artificiell intelligens kommer inte ta ställning till etiska frågor, men däremot förmodligen kommersiella (de är ju oftast skapade av företag som vill tjäna pengar). Artificiell intelligens kommer bära med sig sina skapares världsbild men det kommer inte gå att utkräva ansvar av dem på samma sätt som av en enskild person eller institution.

Någon som har tittat närmare på just dessa frågor är dr. Safiya Umoja Noble som är författare till boken Algorithms of Oppression.

I Algorithms of Oppression skriver Safiya Umoja Noble om hur sökmotorer inte ger objektiva hämtningar opåverkade av människans föreställningar. Utgångspunkten är att sökalgoritmer är inte godartat konstruerade; de är skrivna och modererade av programmerare, människor med egna fördomar och subjektiva världsbilder, som ibland försöker uppmuntra en viss synvinkel, och ibland omedvetet speglar sin egen version av verkligheten i sina skapelser.

Författaren använder sig av exemplet Google för sin undersökning, och Noble visar att företagets sökalgoritmer utgår från den vita manliga blicken. 2009 Googlade Safiya Noble orden ”black girls.” Till hennes förskräckelse hämtade Google mestadels pornografiska resultat. En sökning på “nigger house” visade vita huset (det var vid denna tiden USA hade fått sin första svarta presiden: Barak Obama).De otrevliga resultaten från sökningarna är betydligt mindre framträdande om man göra samma sökning idag men Noble argumenterar för och hittar exempel på att Googles sökalgoritmer fortfarande reproducerar obehagliga föreställningar om ras och kön.

Nobles resonemang om Google och de frågor som uppstår när kommersiellt drivna sökalgoritmer premierar information som man kan ifrågasätta ur etiska synvinklar är mycket intressanta. Inte minst för oss som jobbar med digital delaktighet och information literacy på bibliotek. Och hela samhället måste ta ställning till svåra frågor om ansvar i en framtid där vi låter artificiell intelligens hämta svar på våra frågor.

I’ve been arguing that artificial intelligence, or automated decision-making systems, will become a human rights issue this century. I strongly believe that, because machine-learning algorithms and projects are using data that is already biased, incomplete, flawed, and [we are] teaching machines how to make decisions based on that information. We know [that’s] going to lead to a variety of disparate outcomes. Let me just add that AI will be harder and harder to intervene upon because it will become less clear what data has been used to inform the making of that AI, or the making of those systems. There are many different kinds of data sets, for example, that are not standardized, that are coalescing to make decisions.
(Från intevju med Noble “Bias already exists in search engine results, and it’s only going to get worse” MIT Technology review 2018)

algorithms of opression

I nästa nummer av bis recenserar vi Safiya Umoja Nobles bok Algorithms of Oppression.

Läs mer

Tobias Willstedt

Övervakningskapitalism

biblioteken i klorna på facebook - toppillustration (Balsam Karam)

Nya regleringar gör det svårare för företag som Facebook att använda sina användares personliga data som handelsvara

Kapitalismen är kreativ. På internet övervakas vi av stora företag som Facebook och Google som sedan använder vår personliga data som handelsvara.

Nu verkar det bli svårare att upprätthålla den här affärsmodellen. Nya regleringar och lagar, som exempelvis GDPR, sätter käppar i hjulen för företagens möjligheter att skörda data från oss. Paul Blumenthal beskriver detta bra i omfattande artikeln ”Facebook And Google’s Surveillance Capitalism Model Is In Trouble”:

The GDPR changes that by requiring online companies, in some cases, to get permission from each individual user to collect, share and combine their data for use by advertisers. Companies will not be allowed to ban people from their services who decline to share their data for advertising purposes. There are 508 million EU residents who will soon be able to opt out of helping Facebook and Google make money. If companies do not comply with the new regulations they will face fines totaling 4 percent of their global revenues.

I ett nytt uppmärksammat fall så konstaterade en tysk domstol att Facebooks hantering av vår data är olaglig, inte minst för att användarna inte för tillräckligt med information om, eller riktigt kan ge samtycke till detta.

The Federal Cartel Office, in an interim update on an investigation into Facebook, said in December that it objected to the way the company gains access to third-party data when an account is opened.

This includes tapping information from its own WhatsApp and Instagram products – as well as how it tracks which sites its users access.

One concern highlighted by the consumer rights group was that, in Facebook’s app for smartphones, a service was pre-activated that revealed the user’s location to the person they were chatting to.

Also, in the privacy settings, ticks were already placed in boxes that allowed search engines to link to the user’s timeline, meaning that anyone would be able quickly and easily to find a user’s profile.

(Edzard Busemann, Nadine Schimroszik, ”German Court rules Facebook use of personal data illegal”)

Vad denna utveckling får för konsekvener för jätteföretag som Facebook och Google återstår att se.

Länkar:

Facebook And Google’s Surveillance Capitalism Model Is In Trouble

German court rules Facebook use of personal data illegal

Facebook personal data use and privacy settings ruled illegal by German court

Tobias Willstedt

 

 

 

Bibliotekens arbete i ”the post-truth era”

fakenews

Vår tid är en tid av snabba och lätt manipulerade informationsflöden. Hur kan biblioteken arbeta för att rusta sina användare i en tid av falska nyheter och propaganda?

Den här bloggen har redan skrivit om falska nyheter och dess förmodade betydelse i dagspolitiken. Vissa tycker att det har blivit så svårt för oss att bedöma vad som är på riktigt att vi nu lever i en ”post-truth era”. Intresset för propaganda och nyspråk är så stort att George Orwells dystopiska klassiker 1984 rusar upp för försäljningslistorna igen.

American libraries magazine skriver intressant om falska nyheter och jag tycker det är särskilt spännande att de berättar om studenter som har svårt att skilja mellan reklamannonser och nyhetsrapportering i sina flöden. Med tanke på hur reklam presenteras på webben och sociala medier så är det inte förvånande att folk bli lurade. Möjligheten att presentera information på ett manipulativt sätt har ökat i takt med utvecklingen.

Facebook, den franska tidningen Le Monde, och andra aktörer håller nu på att ta fram olika sätt att visa genom kodning vad som ska betraktas som pålitlig journalistik och vad som inte är det. Att stora aktörer som Facebook agerar grindvakt är dock givetvis riskabelt, säger den som har en maktkritisk blick. Att lita på att andra aktörer ska avgöra vad som är sant eller falskt är kanske inte alltid det bästa – nyligen rapporterades det att den första falska nyhetsgranskaren med högerextremistisk agenda redan har upptäckts (och det var här i Sverige).

Biblioteken spelar en viktig roll i att verka för ”Information literacy” det vill säga hur bibliotekets användare läser och förstår information. Ett framgångsrikt arbete kan öka användarnas egna möjligheter att avgöra vad som är trovärdig information och vad som inte är det. Bibliotekarier på Indiana University East I Richmond har plockat fram en guide för att hjälpa sina användare att lära sig att identifiera falska nyheter. Här i Sverige har statens medieråd arbetat med ett skolmaterial som ska stärka elevers visuella läskunnighet och hjälpa dem att genomskåda propaganda. Sådant material är det bra för bibliotekarier att ha kännedom om, att inspireras av och att använda sig av.

Länkar:

1984 gör succe efter debatt kring ”alternativa fakta”

Fighting Fake News: How libraries can lead the way on media literacy

Falska nyheter är också politik

Le Monde-satsning ska avslöja falska nyhetssajter

In the post-truth era Sweden’s far right fake fact checker was inevitable

Fake News – LibGuides at Indiana University East

Nytt skolmaterial om falska nyheter och propaganda

Tobias Willstedt