Een lijstje zoekresultaten is geen etalage

I wrote a response on recent coverage around the alleged ‘promotion’ of anti-vax books by bol.com, suggesting it is due to “influential, steering, algorithms.” In this piece I state it’s not an issue of algorithms, but of long-tail, obscure, content. My response was published in Het Parool, as an edited letter. Read the original, unedited piece (in Dutch) below.

Een lijstje zoekresultaten is geen etalage

bol.com toont anti-vaccinatie boeken wanneer mensen op “vaccinatie” zoeken in hun webshop. Donderdag omschreef de Volkskrant dat als het “prominent in de etalage zetten” van anti-vaccinatieboeken. Zaterdag schreef het Parool over de “prominente verkoop” ervan. Maar het probleem bij Bol.com is er niet eentje van sturende algoritmische aanbevelingssystemen, maar van aanbod.

Relevantie

Zoekmachines tonen de meest relevante resultaten gegeven een zoekopdracht. Hoe relevanter, hoe hoger de positie in de lijst. Binnen het vakgebied van de zoekmachinetechnologie zijn we er al sinds de jaren ‘90 over uit dat we het niet eens zullen worden over één definitie van relevantie. Het is een breed concept waarbij veel aspecten, zoals als (voor)kennis, interesse, tijd, en context van de zoeker, een rol spelen.

Hoe de zoekmachine van Bol.com precies werkt weet ik niet. Maar het ligt voor de hand, zoals Bol.com stelt, dat de zoekmachine relevantie inschat op basis van een mengeling signalen, waaronder zoek-, klik-, en koopgedrag, en het voorkomen van zoekwoorden in titels of omschrijvingen van producten.

Aanbod, niet algoritme

De vermeende anti-vaccinatie promotie van Bol.com is mijns inziens geen algoritmisch probleem, maar eentje van aanbod: er zijn simpelweg meer anti-vaccinatieboeken dan serieuze wetenschappelijk-verantwoorde boeken over vaccinatie. Een soortgelijke situatie, met een door complot-theoretici gekaapte zoekterm, deed zich voor bij “flat earth” filmpjes op YouTube; mensen die geloven dat de aarde plat is zijn nu eenmaal eerder geneigd filmpjes te maken die dat onderwerp behandelen. Google stak daar overigens een stokje voor.

Een zoekopdracht als “vaccinatie” levert dus voornamelijk anti-vaccinatieboeken op. Dat die hoog in de lijst komen is, gezien de overige resultaten, niet heel verwonderlijk. De top-5 is eenzijdig, omdat het aanbod gering en obscuur is.

Overigens ziet die digitale etalage van Bol.com er een stuk anders uit wanneer je zoekresultaten rangschikt op verschijningsdatum, prijs, of titel; criteria die minder beladen klinken dan relevantie, maar net zo goed een rangschikking van een lijstje boeken opleveren. En daarmee ook een nieuwe ‘top-5.’

Mediawijs

Het standpunt van Bol.com is te naïef en makkelijk: Bol.com zou net als Google en Amazon inderdaad zijn maatschappelijke verantwoordelijkheid moeten nemen door twijfelachtige zoekresultaten met de hand aan te passen of te filteren. En afwegen wat ze wel of niet willen verkopen. Maar de bezoekers van Bol.com mogen ook hun maatschappelijke verantwoordelijkheid nemen door iets meer mediawijs te worden; een lijstje zoekresultaten is geen etalage.

8 thoughts on “Een lijstje zoekresultaten is geen etalage”

  1. Weer een mooie, heldere uiteenzetting, zoals ik het bijna gewend begin te worden. Enige waar ik nog een beetje mee worstel, is de uitspraak ” […] de bezoekers van Bol.com mogen ook hun maatschappelijke verantwoordelijkheid nemen door iets meer mediawijs te worden […].” Ik vraag me af in hoeverre dit een verantwoordelijkheid voor de bezoekers is. In hoeverre kan bol.com, of zelfs de maatschappij, verwachten dat deze bezoekers begrijpen hoe de content die zij op bol.com tot stand gekomen is? In mijn ogen is het de verantwoordelijkheid van de ontwerper van de website om dit zo duidelijk mogelijk te maken en misvattingen van bezoekers zijn volgens mij een teken van slecht ontwerp.

    1. Dank, Mark!

      Je hebt gelijk, zeggen dat het een verantwoordelijkheid is is een beetje flauw, als de bezoekers zich niet bewust zijn van het bestaan van die verantwoordelijkheid. In dit geval was het een beetje vorm over functie; om de verantwoordelijkheid van bezoekers tegenover die van bol.com te kunnen zetten in opeenvolgende zinnen ;-).

      Denk dat het “onze” (de bouwers/onderzoekers) verantwoordelijkheid is om mediawijsheid te promoten, zodat we straks mensen pas echt kunnen beschuldigen van het niet nemen van hen verantwoordelijkheid.

      Het is niet per se de verantwoordelijkheid van bol.com; de mediawijsheid die ik op het oog heb zou niet moeten gaan over hoe bol.com zijn zoekresultaten tot stand brengt, maar over hoe zoekmachines, aanbevelingssystemen, of geautomatiseerde-rangschik-systemen in het algemeen werken, en waarom we dat niet gelijk kunnen stellen aan ‘promotie’ of ‘prominent in etalages zetten.’

      1. Ik ben het met je eens dat het onze verantwoordelijkheid is om mediawijsheid te promoten en doe graag met je mee! Ik vind ook dat de huidige angst voor algoritmes overtrokken is, maar dat betekent niet dat alle scepsis en kritiek onterecht zijn. Dit voorbeeld vind ik zeker wel iets waar wij als ontwerpers bewust van moeten zijn. Het gaat niet alleen om mooie systemen bouwen, maar ook om hoe de output van die systemen ervaren wordt en wat voor invloed dat heeft.

        Ik snap je standpunt nog niet helemaal over of je het als verantwoordelijkheid van het algemene publiek ziet om mediawijsheid te ontwikkelen (aan de ene kant vind je het flauw om het een verantwoordelijkheid te noemen, aan de andere kant wil je wel mensen kunnen beschuldigen van het niet nemen van hun verantwoordelijkheid). Ik vind het te ver gaan om te stellen dat mensen zich bewust moeten worden “over hoe zoekmachines, aanbevelingssystemen, of geautomatiseerde-rangschik-systemen in het algemeen werken”. Al deze systemen zijn technology-push: wij slingeren ze de wereld in en mensen worden er onvrijwillig aan blootgesteld. Om die reden vind ik dat wanneer mensen het verschil niet zien tussen onze systemen en etalages, we niet kunnen claimen dat zij maar moeten leren begrijpen hoe die systemen werken.

        Als onze systemen (niet beperkt tot de algoritmes/voorspelmodellen, maar vooral hoe de output van deze modellen gebruikt wordt) het verschil met de etalages die ze vervangen niet al vanzelf communiceren, dan zijn ze slecht ontworpen. Een ontwerp dat van haar (in dit geval ook nog eens onvrijwillige) gebruikers vereist dat ze zich erin verdiepen, is geen ethisch te verantwoorden ontwerp. En dat is meteen mijn grootste bezwaar aan het veld waar ik in werk. We zijn allemaal druk bezig met voorspelmodellen en systemen bouwen, maar we besteden te weinig aandacht aan hoe die systemen ervaren worden door gebruikers en de gebruikers beïnvloeden.

        1. “Al deze systemen zijn technology-push: wij slingeren ze de wereld in en mensen worden er onvrijwillig aan blootgesteld.” vind ik wat ver gaan, maar ja, duiding en transparantie is van groot belang! Maar ik leg die verantwoordelijkheid liever niet (uitsluitend) bij de bouwers; de wereld om je heen begrijpen is deels je eigen verantwoordelijkheid, duiding geven is deels die van media, deels van de wetenschap, maar ook zeker deels die van de maatschappij as a whole (en het educatie-systeem), e.d.

          Is netjes, en een nice-to-have, als een bouwer uitleg geeft over het gebouwde, maar ik ben liever niet afhankelijk van de uitleg van Facebooks over wat ze bijvoorbeeld met onze data uitspoken (daarvan hebben we er al genoeg gezien). Ik blijf vinden dat mensen zich bewust moeten worden “over hoe zoekmachines, aanbevelingssystemen, of geautomatiseerde-rangschik-systemen in het algemeen werken.”

          Ben het ook met je eens dat het onderzoeken van hoe die systemen ervaren worden door gebruikers en de gebruikers beïnvloeden, van groot belang is! Maar ook daar, het liefst door externe duiding-gevers, niet door de commerciële partijen die wel of niet boekjes van kwakzalvers wil verkopen.

          1. Ik denk dat als commerciële partijen in staat zijn zichzelf te reguleren met behulp van een reclame code commissie, diezelfde partijen in staat zijn zichzelf te reguleren als we een ‘zoekmachine/aanbevelingen code commissie’ in het leven roepen. Dat zou in ieder geval de zorg wegnemen dat bedrijven de zorgplicht die ik ze graag op zou leggen niet of onvolledig nakomen. Het grootste probleem dat ik zie is dat de bedrijven die deze systemen exploiteren het beste hun eigen systemen kunnen uitleggen, beter nog dan onderzoekers als jij en ik. Aan de andere kant kunnen zij misschien niet inschatten hoe de output van hun systemen geïnterepreteerd wordt door bezoekers/klanten. Dus ja, ik denk dat bedrijven de enigen zijn die die verantwoordelijkheid kunnen en moeten nemen, maar dat mensen als jij en ik de spelregels moeten gaan opstellen over wat die verantwoordelijkheid inhoudt.

            En ik denk dat je overschat in hoeverre het algemene publiek zich bewust kan worden van hoe die systemen werken. Je doet daar, als algoritme-ambassadeur, goede pogingen in, maar het zijn gewoon best complexe modellen die we gebruiken, waarvan wij zelf ook nog niet altijd alles begrijpen. Dus alhoewel je vindt dat de gewone burger zich bewust moet worden, vraag ik me af in hoeverre dit een realistische verwwachting is.

          2. Los van al mijn opmerkingen vind ik het wel geruststellend om te zien dat je standpunt genuanceerder is dan “bezoekers van Bol.com mogen ook hun maatschappelijke verantwoordelijkheid nemen door iets meer mediawijs te worden”.

          3. Ik denk niet dat we het eens zullen worden over het verantwoordelijkheidsvraagstuk, en wat betreft bewustwording en het algemene publiek doel ik op iets anders; ik denk dat het irrelevant is hoe de zoekmachine of het aanbevelingsalgoritme van bol.com precies werkt (zelfs voor mij), maar wat de implicaties zijn van zo’n black box: je gooit er een zoekopdracht in en krijgt er een lijstje uit.

            Dat kan (en zou) het algemene publiek (moeten) begrijpen, zoals ook De Volkskrant toont (die noemen dat het gaat over populariteit/koopgedrag). Zulke kennis is voldoende om lijstjes juist (en niet als etalage) te interpreteren! En dat staat los van de precieze technologie.

  2. “Dat kan (en zou) het algemene publiek (moeten) begrijpen, zoals ook De Volkskrant toont (die noemen dat het gaat over populariteit/koopgedrag). Zulke kennis is voldoende om lijstjes juist (en niet als etalage) te interpreteren!” toont niet aan dat het algemene publiek dit kan begrijpen. De mensen die met zoekresultaten in aanraking komen zijn niet niet per se te vergelijken met de mensen die de Volkskrant lezen.

    Ik blijf erbij dat een zoekmachine waarbij geen uitleg gegeven wordt over hoe de zoekresultaten tot stand gekomen zijn, een slecht ontwerp is. Om de analogie naar een ander soort ‘ontwerpen’ te maken: Jij zou er zelf ook geen genoegen mee nemen als een garagehouder je een factuur stuurt die onvoldoende uitlegt hoe het eindbedrag tot stand is gekoment. Laat staan dat wanneer die garagehouder je bij vragen die je hebt, wijst op je maatschappelijke verantwoordelijkheid om te begrijpen hoe facturen tot stand komen.

Leave a Reply