Two papers accepted at JURIX2026

After my joyful experience of attending ICAIL 2026 last summer, I am very happy to have two student-led papers accepted at JURIX 2026! Alyson Ranucci (MSc Computer Science) and Daan Boven (BSc Computer Science) both submitted their theses (grades: 9 and 9) to JURIX 2026, the 39th International Conference on Legal Knowledge and Information Systems, pretty much as-is.

Pre-prints incoming, see small synopses of the papers below.

Towards More Granular Reasoning: Mapping the DSA Transparency Database Taxonomy to Platform Terms and Conditions Using Large Language Models

Alyson Ranucci, Eline Leijten, David Graus

Alyson wrote her thesis on the Digital Services Act’s Transparency database (DSA-TDB); in her work, she compares the taxonomy of Statements-of-Reason VLOPs and VLOSEs can give for content moderation, and compares it to these same platforms’ own Terms & Conditions (using the very excellent Terms and Conditions Database! She finds that the DSA categories fit some types of platforms much better than others, and they overlap, which makes catch-all reporting (the “other” category) a predictable result of the database’s design.

This work is led by Alyson Ranucci and co-authored with Eline Leijten (Amsterdam Law & Technology Institute, VU Amsterdam) and me.

Machina Pauliana: A neuro-symbolic approach to the actio pauliana in Dutch insolvency law

Daan Boven, Gregor Behnke, David Graus

Daan, dual bachelor Law (Leiden University) and Computer Science (UvA) came to me and my colleague Gregor Behnke, with the proposal of automating the “actio pauliana” of Article 42 of the Dutch Bankruptcy Act (Faillissementswet, Fw). The only natural response when a student comes in with such a proposal is what’s that yes, let’s do it! In this very self-driven work, Daan develops a neuro-symbolic model of Article 42 Fw, which consists of a symbolic part developed through pair programming with legal experts, and a neural component that handles open-textured terms through advanced RAG (RAG with pre- and post-retrieval steps).

This work is led by Daan Boven and co-authored with Gregor Behnke and me.

Spotlight Tutorial: From Records to Release: An IR/NLP Tour of the Open Government Disclosure Lifecycle

In addition to co-authoring these two papers, I’ll be giving a spotlight tutorial on the Open Government disclosure lifecycle from an IR and NLP perspective, based on work in preparation with Maik Larooij, Maarten Marx, and Jaap Kamps. Read more details on the tutorial page at opengov.nl.

Leesje: een AI-leesmaatje voor kinderen van 3 tot 7

Na Zwaailicht.nl heb ik een tweede vibecode-project, en ze lijken enorm op elkaar. Allebei zijn ze een combinatie van dingen die ik snap en tof vind. Deze keer zijn dat conversational recommender systems en conversational AI. Oftewel: boeken aanraden door ernaar te vragen, en daarna samen (voor)lezen.

Het idee heb ik al langer. In 2024 maakte ik een pitch deck voor “Leesje, het voorleeslieveheersbeestje”. In 2025 bouwde ik met Manon Sikkes een eerste simpel prototype, nog met zelfgebouwde LangChain-graphs en ingewikkelde multi-agent flows. Nu heb ik het deck, de codebase en een berg losse ideeën aan Claude Code gegeven, met een bescheiden prompt: “maak hier een werkende MVP van.” Na een paar iteraties is er nu Leesje.app.l

Wat is Leesje?

Leesje is een AI-leesmaatje voor kinderen van 3 tot 7. Het is gebaseerd op het leescirkelmodel van Stichting Lezen [1], dat leeshonger wil opwekken. Leesje volgt die cirkel door bestaande technologie slim te combineren.

  1. Eerst kiezen, wat het conversational recommender systems-deel is. Leesje vraagt waar je kind zin in heeft (“iets met een draak!”), vraagt door (“mag het een beetje spannend zijn?”) en raadt een paar boeken aan, met uitleg waarom.
  2. Dan lezen en praten, het LLM-deel. Leesje leest voor of luistert, en stelt op gezette momenten vragen volgens de methode van dialogisch lezen. Dat is een van de best onderzochte en gevalideerde manieren van samen lezen.
  3. Tot slot napraten. “Hoe vond je het?” Dat antwoord maakt het volgende boekadvies beter, en de cirkel is rond.

lees meer op leesje.app/over

Waarom?

De leesvaardigheid daalt. Volgens PISA-2025 leest 39% van de Nederlandse 15-jarigen onder het basisniveau, tegen een derde in 2022. Leesplezier groeit juist met betrokken lezen: zelf kiezen, erover praten, het nog een keer lezen. Verder is recommender systems gewoon tof, en het is bijna Kinderboekenweek.
Er is ook een minder vrolijke reden. Onderzoek van OpenAI laat zien dat 3- tot 7-jarigen ondervertegenwoordigd zijn onder betalende gebruikers. Daarmee loopt deze hele groep alvast met 1-0 achter als ze over een jaar of twaalf tot vijftien de arbeidsmarkt op komen.

Hoe nu verder?

Het einddoel is een Leesje zonder scherm: alleen een stem, terwijl je kind een echt boek vasthoudt. Het scherm is er voorlopig vooral voor ons, de grote mensen.

Wil je meekijken, testen of meedenken? Stuur me een bericht. 🐞

[1] https://www.lezen.nl/publicatie/lezen-doe-je-samen-hoe-kan-leeshonger-gestimuleerd-worden/

Drie keer iBestuur in twee dagen

Ik heb een iBestuur-hattrick! En stond de afgelopen twee dagen drie keer op iBestuur, om uiteenlopende redenen. Voor wie het overzicht kwijt is, een korte rondgang met links naar het origineel.

2 juni: Audio uit raadsvergaderingen levert een schat aan info op (crosspost van Binnenlands Bestuur)
Over hoe we werken met lange, ontoegankelijke audio-opnames van raadsvergaderingen, door ze op te knippen in doorzoekbare ‘nuggets, of de audiotranscripten samen te vatten met LLMs. Wat laten die dan weg? In ieder geval procedurele zaken, maar misschien ook inhoudelijke onderwerpen. Stay tuned!

3 juni: AI en Open Overheid: lessen van de internationale wetenschap
Mijn eigen stuk: een vogelvlucht door het onderzoek dat op 8 juni in Singapore wordt gepresenteerd op onze AI & Open Government workshop. Ik heb hier geprobeerd de ‘praktische inzichten’ op te sommen in gewone mensentaal, voor bestuurders. Die inzichten? Met publiek beschikbare en open-source modellen, slim gecombineerd, kom je al een heel eind met AI inzetten voor de Woo.

3 juni: Vijf jaar later: hoe is het met de Woo?
Het verslag van de vijfde Woo-ontbijtsessie, waar ik aan tafel zat met staatssecretaris Eric van der Burg, Ingeborg Harmsen en Onno Eric Blom. Mijn punt: voor informatiehuishouding bij de overheid kunnen we best wat minder gestructureerd zijn, en meer leunen op bewezen zoektechnologie.

    Nu is het vast een goed moment voor iBestuur en ik om even wat afstand van elkaar te nemen. Allicht tot volgend jaar!

    in iBestuur over WooPush, AI, en overheid

    Ik sta (met mijn hoofd) in iBestuur, met een interview waarin onder meer WooPush aan bod komt, mijn huidige “OpenGov meets RecSys”-project, waarbij we onderzoeken of aanbevelingssystemen kunnen bijdragen aan geïnformeerd burgerschap, door relevante (lokale) overheidsinformatie proactief naar mensen te ‘pushen’, in plaats van te wachten tot ze zelf op zoek gaan. Op dit moment werken een aantal getalenteerde en gedreven studenten aan hun afstudeerscripties over verschillende (randvoorwaardelijke) deeltaken voor WooPush, van het transcriberen en samenvatten van opnames van raadsvergaderingen, het metadateren van raadsstukken, het identificeren van relevante informatie zoals beleidswijzigingen in raadsstukken, tot daadwerkelijke user studies (met echte mensen in de echte wereld!) naar de informatiebehoeften van burgers. Ik zie erg uit naar de resultaten die de komende tijd zullen binnendruppelen, en ben blij met de inzet van Kevin, Kate, Bram, Ian Hutcheson, Raphael, en Noah!

    De “Netflix-knop” uit de titel is een voor de hand liggende, passende metafoor, maar in het stuk nuanceer ik die ook gelijk: Netflix interesseert het vooral of jij een aangeboden film gaat kijken. Bij overheidsinformatie tellen andere zaken mee: is de informatie handelingsgericht? Is het relevant voor de burger op basis van interesses, levensfase, of geografische nabijheid? Is de informatie begrijpelijk? Dat maakt dit vraagstuk complexer dan Netflix, maar ook potentieel impactvoller: het verschil tussen wel of geen insrpaak hebben op een beleidswijziging, is nogal wat anders dan het verschil tussen wel of geen Bridgerton.

    Voor de rest wordt er in dit stuk ook aandacht besteed aan AI-kwesties waar ik me al langer graag over uitspreek, zoals: je kunt beter het idee vergeten dat je volledige (Woo-)processen kunt automatiseren met AI. AI werkt het best wanneer je het klein houdt, richt je dus op kleine, nauwe deeltaken. De imperfecties die bij hedendaagse (generative) AI komen kijken (bias, hallucinaties, willekeur, betrouwbaarheid) moet je daarbij niet zien als bugs die ooit gefixt moeten worden, maar als inherente eigenschappen ervan. Eigenschappen waar je in je ontwerp rekening mee moet houden, en mee bouwt. Als laatste, waar ik al jaren van overtuigd ben: AI is geen black box waar we aan overgeleverd zijn, maar iets dat we zelf kunnen bedenken, ontwerpen, bouwen, beheren, en doorontwikkelen!

    Dank Martijn Bennis voor het gesprek!

    Two papers accepted at AIOG 2026

    Two papers I co-authored have been accepted at the AI & Open Government Workshop (AIOG 2026), co-located with ICAIL 2026 in Singapore on June 8.

    Both come out of student work at the ICAI OpenGov Lab, and tackle different sides of the same broad problem: automating parts of the FOIA process that are currently bottlenecked by manual review.

    Continue reading “Two papers accepted at AIOG 2026”

    Paper accepted at ICAIL 2026: LLMs for Generating Decision Models from Legal Text

    🎉 Full paper accepted at the 21st International Conference on Artificial Intelligence and Law (ICAIL 2026): “From Legal Text to Executable Decision Models: Evaluating Structured Representations for Legal Decision Model Generation”

    **Update 10 Jun 2026: I presented this paper at ICAIL 2026, see my slides here.**

    Get the preprint, here:

    • [PDF] D. Graus, “From legal text to executable decision models: evaluating structured representations for legal decision model generation,” in Proceedings of the international conference on artificial intelligence and law (icail), Singapore, 2026.
      [Bibtex]
      @inproceedings{graus2026legaltext,
      author = {Graus, David},
      title = {From Legal Text to Executable Decision Models: Evaluating Structured Representations for Legal Decision Model Generation},
      booktitle = {Proceedings of the International Conference on Artificial Intelligence and Law (ICAIL)},
      year = {2026},
      month = jun,
      address = {Singapore},
      publisher = {ACM},
      note = {To appear},
      }

    This paper studies LLMs and representation for generating executable decision models from legal text, using the Dutch Environment and Planning Portal (Digitaal Stelsel Omgevingswet (DSO)) as a case study, as it pairs complex hand-crafted decision models with legal articles. There’s 2 main findings!

    1️⃣ We* find that providing input & output specifications (i.e., what variables a citizen must provide, and what the legal outcomes may be) improve LLM performance over raw legal text or text enriched with semantic role labels.

    2️⃣ Interestingly, when evaluating generated models’ structural similarity to ground truth (do the models look similar?), and outcome similarity (do they yield the same legal outcomes?) we find complementarity: generated models can score well on structure while missing legal nuance, or vice versa. 🤏 More interestingly, we find that some models are structurally very dissimilar, and mostly much smaller/simpler, while yielding 100% identical legal outcomes! See attached pic for an example: the generated decision model yields 100% identical outcomes while completely ignoring 2 out of 4 input variables!

    🎁 We release the full dataset of 95 production-grade decision models and their associated legal text, for reproducibility and extension of this work. It really is a pretty cool dataset!

    Stay tuned for the preprint! See you in 🇸🇬 Singapore, where we’ll also host the 1st AI & Open Government (AIOG) Workshop!

    * when I say “we”, I actually mean “I” but it sounds weird — this is a single author paper; but I have to thank Anne Schuth and Damiaan Reijnaers for feedback, help, and inspiration!

    In Quest over “wat AI over je weet”

    Erg leuk om zo in de Quest te staan! Vanuit de vraag “wat weet AI over jou?” kom je (ik?) al gauw uit op allerlei interessante Information Retrieval-vraagstukken die de huidige generatie AI-chatbots met zich meebrengt.

    Zoals (natuurlijk) Retrieval-Augmented Generation (RAG), het verschil tussen parametric en non-parametric memory, de fragiliteit van AI rond de positie van relevante informatie (“Lost In the Middle“-achtige uitdagingen). En hoe leg je al die thema’s uit zonder ook maar een technische term te gebruiken? Nou, zo dus, geloof ik!

    Lees het stuk hier: https://www.quest.nl/tech/technologie/a70392166/wat-weet-chatgpt-over-jou-zo-werkt-ai-met-jouw-gegevens/

    Nieuwe feature op zwaailicht.nu: nieuws!

    Ik haal en koppel automatisch lokaal en online nieuws aan gegroepeerde en samengevatte meldingen op zwaailicht.nu. De bronnen variëren van landelijke titels als AD.nl, NU.nl, RTL Nieuws en NOS, tot lokale titels als Noordhollands Dagblad en de Stentor, en concullega’s als Alarmeringen.nl.

    Nieuwsberichten verschijnen sinds nu op elke pagina waar de pieken beschreven staan, en ook op een verzamelpagina waar ik per nieuwsbericht gekoppelde meldingenpieken toon, inclusief het tijdsverschil tussen nieuwspublicatie en P2000-melding!

    Neem een kijkje op zwaailicht.nu/nieuws!

    Call for Papers: AI & Open Government Workshop at ICAIL 2026

    We’re excited to announce the AI & Open Government Workshop (AIOG), co-located with ICAIL 2026 in Singapore on June 8, 2026. The call for papers is now open!

    Together with Graham McDonald (University of Glasgow) and Jason R. Baron (University of Maryland), I’m co-organizing this workshop to bring together researchers and practitioners working at the intersection of AI and government transparency. As the research we do at the OpenGov Lab sits exactly at this intersection, we felt there was a need for a dedicated venue where these communities can meet: spanning information retrieval, legal AI, NLP, e-discovery, and open government practice.

    Why this workshop?

    Governments worldwide are grappling with the challenge of making public information accessible and transparent at scale. Whether it’s processing freedom of information requests, reviewing documents for sensitive content before publication, or making government archives searchable; AI has a growing role to play. At the same time, this raises important questions about reliability, fairness, and accountability.

    AIOG aims to be a space where we can discuss these challenges across disciplinary boundaries. We’re particularly interested in bringing together people who don’t always meet at the same conferences: IR researchers, legal tech practitioners, government professionals, and transparency advocates.

    Topics of interest

    We welcome submissions on topics including, but not limited to:

    • FOIA and public records automation
    • AI-assisted sensitivity review and redaction
    • Large language models for government applications
    • Information retrieval in government archives
    • Transparency technologies and open government policies
    • Legal and ethical considerations in AI-enabled government transparency

    Submission details

    We accept two types of submissions:

    • Research papers: 3–9 pages (excluding references)
    • Position papers: 2–4 pages (excluding references)

    All submissions should follow the ICAIL 2026 formatting guidelines. Papers may be under review elsewhere, and previously published work is welcome for presentation. Submissions are handled through OpenReview.

    Important dates

    • Submission deadline: April 9, 2026
    • Notification of acceptance: May 1, 2026
    • Camera-ready deadline: May 20, 2026
    • Workshop: June 8, 2026

    Note that our submission deadline falls after ICAIL’s main conference notification date (March 23), so if you have relevant work that didn’t make it into the main conference, we’d love to see it at AIOG.

    Get involved

    For more information, visit aiog.net or submit your work via OpenReview. Feel free to reach out to me at d.p.graus@uva.nl if you have any questions.

    We hope to see you in Singapore! 🇸🇬

    Vibe-code project: Zwaailicht.nl

    De afgelopen weekenden heb ik zitten rommelen aan een hobbyprojectje samen met Claude Code: zwaailicht.nu. Zwaailicht.nu combineert een antenne aan een Raspberry Pi in mijn meterkast met mijn IR en NLP interesse: ik haal realtime P2000-meldingen van hulpdiensten in Nederland uit de lucht, en toon die op een interactieve kaart, gesorteerd op afstand (van je huidige locatie).

    Die (publieke) P2000-berichten zijn nogal cryptisch, vol afkortingen, voertuigcodes, en capcodes, dus bouwde ik er een kleine pipeline bij voor semantische verrijking, geocoding, en burst detection, clustering, en LLM-gebaseerde samenvattingen om clusters losse berichten om te zetten naar iets begrijpelijks. Naast dat clusteren van “pieken” in meldingen sla ik alle verrijkte berichten op, laat je ze filteren (en subfilteren: woningbranden, voertuigen te water, spoorwegongevallen, of gevaarlijk stoffen), heb ik per stad een landingspagina waar ik bijhoud hoeveel en wat voor soort meldingen binnenkomen, en natuurlijk een ranking.

    Vibe-coden met Claude Code is erg indrukwekkend en vermakelijk (je verzint wat, je bouwt wat), maar bovenal is het gewoon leuk om een aantal IR- en NLP-concepten (information extraction, document clustering, text generation) samen te laten komen in iets dat daadwerkelijk ergens draait. En een vraag te bantwoorden waar ik zelf eigenlijk gewoon altijd nieuwsgierig naar ben.

    🚨 zwaailicht gezien? zwaailicht.nu!

    in iBestuur on WooPush

    iBestuur published a small article about the Open Data Conferentie where I gave my keynote on WooPush, see the snippet below:

    De eerste keynote kwam van David Graus (ICAI OpenGov Lab). Hij liet zien dat open data pas echt impact heeft als het aansluit op wat burgers nodig hebben. Niet alleen het publiceren van open data telt, maar vooral dat informatie op een laagdrempelige manier beschikbaar is voor hergebruik.


    Graus schetste het contrast tussen publieke data-infrastructuren en commerciële platforms zoals TikTok of Spotify, die hun gebruikers door en door kennen en actief content aanbevelen. ‘De vraag is niet: hoe maken we meer data openbaar? Maar: hoe zorgen we dat mensen de informatie vinden die voor hen betekenisvol is, zónder dat ze er expliciet om vragen?’


    De uitdaging zit volgens Graus in de datakwaliteit (dus niet: gescande documenten, zwartgelakte pdf’s, ontbrekende metadata, et cetera), toegankelijkheid (denk aan: type documenten, gecombineerde pdf’s of decentrale bronnen) en de vraag: wie wordt er eigenlijk bereikt?


    Die laatste is de grootste uitdaging, volgens Graus. ‘De wetenschappelijke literatuur laat zien: open data empowers the empowered,’ waarschuwt hij. ‘Als we willen dat open data recht doet aan publieke waarden, moeten we meer doen dan alleen publiceren.’

    🔗 and read the full article here: Nieuwe energie op Open Data Conferentie 2026

    WooPush: technology of the attention economy, for informed citizenship

    TikTok knows what you want to see. Why doesn’t the government know what you need to know?

    Yesterday I gave a keynote at the Dutch Ministry of the Interior’s Open Data Conference, where I shared my latest brainchild, working title: WooPush (an obvious combination of my current OpenGov and prior RecSys work).

    The motivation: the Dutch government publishes enormous amounts of open data. In WooGLe alone we now have 8.8 million documents, and counting. That’s great, but we also know this doesn’t reach citizens very well: “open data empowers the empowered“, mostly researchers, journalists, and data diggers know how to work with it.

    The idea behind WooPush is simple: what if we used the technology that Big Tech employs to keep you glued to your screen, notifications, recommendation systems, personalization, to proactively inform citizens about government decisions that affect them? Not to maximize engagement, but to inform and activate people. The technology of the attention economy, for informed citizenship.

    The technology exists, we have the data, and we have the citizens. Now we just need to figure out how to build this responsibly. That’s what I’ll be working on the coming months.

    Slides here: https://www.slideshare.net/slideshow/open-data-conferentie-2026-van-open-data-naar-een-beter-geinformeerde-maatschappij/285465110

    LLMs for Axial Coding ECIR 2026 preprint available

    Social scientists have been manually coding (labeling text segments to capture their essence, and clustering these labels into groups) large textual corpora for decades. Time that could have been spent doing research, annotating fire hydrants for Google Streetview, or spending time with loved ones.

    For this reason and more, in our latest paper we turn to LLMs for automated axial coding of lengthy transcripts (political debates). We extend an ensemble-based open coding pipeline with two axial coding (grouping) strategies: “traditional” clustering with subsequent LLM labeling, and direct LLM-based grouping.

    We find a clear trade-off: traditional clustering methods achieve high coverage and structural separation, and direct LLM grouping produces more concise, interpretable labels that are more similar to human-assign group labels, but with much lower coverage. Traditional clustering ensures broad representation; LLMs supply the interpretive layer that makes categories human-readable.

    Get the preprint here:

    • [PDF] A. Parfenova, D. Graus, and J. Pfeffer, “From quotes to concepts: axial coding of political debates with ensemble lms,” in Advances in information retrieval, Cham, 2026, p. 139–154.
      [Bibtex]
      @inproceedings{parfenova2026quotes,
      author="Parfenova, Angelina and Graus, David and Pfeffer, Juergen",
      editor="Campos, Ricardo and Jatowt, Adam and Lan, Yanyan and Aliannejadi, Mohammad and Bauer, Christine and MacAvaney, Sean and Anand, Avishek and Ren, Zhaochun and Verberne, Suzan and Bai, Nan and Mansoury, Masoud",
      title="From Quotes to Concepts: Axial Coding of Political Debates with Ensemble LMs",
      booktitle="Advances in Information Retrieval",
      year="2026",
      publisher="Springer Nature Switzerland",
      address="Cham",
      pages="139--154",
      isbn="978-3-032-21300-6"
      }

    This was work led by Angelina Parfenova. Our full dataset of 5k Dutch parliamentary debate utterances with LLM-assigned codes and categories are publicly available here: https://github.com/Likich/axial_coding_dataset.

    in NEMO Kennislink on Europe and (the) AI (bubble)

    Wat leuk om in dit stuk van NEMO Kennislink te staan, waarin ik, volledig tegen mijn natuur in, als genuanceerde voice of reason fungeer. Wie had dat gedacht 😅.

    Want: moeten we nu als een malle in AI investeren, om niet de boot te missen? Uh, tja. We raken het scaling plateau, het eerste empirisch onderzoek dat binnendruppelt lijkt de beloofde productiviteitswinsten van AI wat te weerleggen, en het blijft ook wat verdacht dat al die big tech bedrijven iedereen, inclusief hun medewerkers, AI door de strot proberen te duwen. Maar, een AI Factory en betere faciliteiten en aandacht voor AI onderzoek lijkt mij een uitstekend plan (😇). En werken zonder Claude zie ik ook niet meer echt zitten… Afijn, je snapt het.

    Mijn favoriete passage (naast “Graus kijkt vanaf zijn bureaustoel naar buiten“–uit het leven gegrepen):

    “Op de arbeidsmarkt, waar discriminatie structureel voorkomt, kunnen AI-systemen dit probleem versterken, maar ook helpen tegengaan; mits goed ontworpen.”

    Liever doen we AI goed, dan groot en duur!

    Benieuwd naar mijn twijfels, en of ik geloof in AI of in de AI bubbel? Lees: Europa moet eigen positie claimen in de AI-race.

    Dank aan Daan Appels voor het accuraat optekenen van mijn lichte twijfel, nuance, en voorzichtigheid met stellige uitspraken over de toekomst van AI, naast de wat meer optimistische blik van Michiel Bakker!

    Quoted in Trouw article on mitigating harmful content in GenAI (Grok)

    This weekend I was asked a few questions about mitigation of harmful content in AI, in response to the news around Groks use for generating sexualized content: Grok produceert massaal en ongewild seksuele afbeeldingen. Kan dat ook anders? I was quoted:

    In theorie zijn AI-bots als Grok prima te begrenzen, zegt universitair docent David Graus (Universiteit van Amsterdam). Dat begint al bij de ontwikkeling ervan. “Je kunt de bot van tevoren bijsturen en trainen: ‘als ik zo’n vraag stel, wil ik zo’n soort antwoord zien.”En is de bot eenmaal in gebruik, zoals bij Grok? Dan kan een bedrijf achteraf altijd nog filters toevoegen.

    “Bijvoorbeeld een verbod op de woordcombinatie ‘uitkleden’ en ‘deze foto’, om maar iets te noemen.” Dat filteren kun je zelfs ook weer met kunstmatige intelligentie doen, zegt Graus. “Dat werkt over het algemeen vrij goed.”

    What didn’t make the cut due to space constraints, was my full answer, stating three layers of harmful content mitigation:

    1. Data: curate your data to reduce harmful content
    2. Training/fine-tuning: instruct your model to show (un) desired behavior
    3. Output: filtering with heuristics (words) or using LLMs-as-judge to estimate the likelihood the prompt will yield harmful content

    Each of these methods work, have different costs, are likely all applied (to some extent), but neither is an end-all solution.