Vraag- en antwoordsessie AI-pilot

De indeling in categorieën functioneel, niet-functioneel, privé, personeelsvertrouwelijk en partijpolitiek is gebaseerd op de Handreiking 'Welke e-mail kan weg?' en het concept beleidskader e-mailarchivering. Daarnaast is er binnen de pilot inhoudelijke afstemming geweest met het Nationaal Archief om definities en criteria eenduidiger te duiden. De gehanteerde definities en afbakeningen worden opgenomen in het pilotrapport.

De classificatie gebeurt aan de hand van heldere definities en criteria die in de pilot zijn vastgelegd en uitgewerkt in een handleiding met voorbeeldmails per categorie. 

• Functioneel: inhoudelijke afstemming over een project, besluit, actie of afspraak. 
  "Kun jij de planning aanpassen en dit besluit verwerken in het concept?"
• Niet-functioneel: notificaties of logistiek zonder inhoudelijke informatiewaarde.
  "Je wachtwoord verloopt over 5 dagen.” of “Je hebt een taak toegewezen gekregen."
• Privé: persoonlijke zaken zonder relatie met werkuitvoering.
  "Kun je de oppas ruilen van donderdag naar vrijdag?"
• Personeelsvertrouwelijk: HR/individuele personeelszaken of vergelijkbaar vertrouwelijke personele informatie.
  "Bijgevoegd het gespreksverslag van het functioneringsgesprek."
• Partijpolitiek: communicatie die primair partijpolitiek van aard is.
  "Kun je input geven voor de campagneboodschap/partijbijeenkomst?"

Ja. Systeem-notificaties zijn in de pilot meegenomen en vallen onder niet-functioneel, mits de e-mails zelf geen toegevoegde inhoud of data bevatten. Workflowmails die puur notificerend zijn (bijvoorbeeld 'er staat een taak klaar') kunnen daar dus ook onder vallen.

Nee, binnen de huidige pilot worden e-mails nog niet gekoppeld aan werkprocessen of selectielijstcategorieën. Dit kan in het vervolg nog wel gebeuren. Bijvoorbeeld via vervolgonderzoek of een aanvullende pilot.

In de huidige praktijk worden mailboxen (met name bij ministeries) vaak na veiligstellen/afsluiten van accounts in bulk bewaard. De meerwaarde voor compliance zit in de pilot vooral in dataminimalisatie: door te classificeren kan sneller en beter worden bepaald wat niet bewaard hoeft te blijven, in lijn met AVG-principes rond doelbinding en minimale gegevensverwerking. Tegelijkertijd is dit geen volledige dossieroplossing. Volledige compliance vraagt vaak ook om koppeling aan zaak/dossier/proces en uiteindelijk selectielijstlogica.

Binnen de pilot is de kwaliteit geborgd met een combinatie van handmatige labeling, overlap in de data en extra controle bij afwijkingen.

• Er is gewerkt met een handmatig gelabelde referentieset als basis voor training/validatie en kwaliteitschecks.
• In de handmatige classificatie is 10% overlap aangebracht in de datasets: een deel van de e-mails is door meerdere personen geclassificeerd om consistentie te toetsen.
• Wanneer classificaties niet overeenkwamen, zijn deze gevallen door een derde beoordelaar gecontroleerd. Op basis daarvan is een definitieve (‘golden’) classificatie vastgesteld.
• Daarnaast zijn er steekproeven gedaan om de kwaliteit van de uitkomsten te blijven toetsen.

De dataset bevat ongeveer 645.000 e-mails verdeeld over 16 e-mailboxen van oud-bewindspersonen en bestuursraadsleden. Deze mailboxen kunnen afwijken van reguliere mailboxen. Dit is een aandachtspunt bij de interpretatie van de resultaten en generaliseerbaarheid.

Binnen de pilot worden 2 modellen gebruikt om te kunnen vergelijken op uitkomsten én op uitlegbaarheid van de classificatie:

1. Taalmodel: ingezet om e-mails te classificeren op basis van inhoud en context. De handmatig geclassificeerde set is gebruikt als trainings- en validatiemateriaal. Feedback (bijvoorbeeld gecorrigeerde labels) kan worden benut om de classificatie te verbeteren, bijvoorbeeld via hertraining of bijstelling. De specifieke techniek die gebruikt wordt is een Transformer-model, gefinetuned met Parameter Efficient Fine-Tuning (PEFT).
2. Klassiek Machine Learning-model: ingezet om te toetsen wat een meer transparante en deterministische aanpak doet voor de uitlegbaarheid van beslissingen en voor de uitkomsten per categorie. De specifieke technieken die gebruikt worden zijn Multinomial Naive Bayes en Multinomial Logistic Regression.

Door deze 2 aanpakken naast elkaar te gebruiken, kan worden vastgesteld wat het effect is op de kwaliteit en consistentie van de classificatie én op de mate waarin de uitkomst goed te verklaren is.

Binnen Microsoft is classificatie en koppeling aan retentie technisch mogelijk, maar dit vraagt in de praktijk vaak E5-licenties en is niet voor elke organisatie haalbaar. Bovendien is de ambitie om toe te werken naar een oplossing die leveranciersonafhankelijk is, met flexibiliteit in afname (zelf beheren of als dienst).

Vertrouwelijkheidslabels worden binnen overheidsorganisaties vaak ingezet als onderdeel van informatiebeveiliging. Ze helpen om informatie te classificeren en afhankelijk van de inrichting automatisch beveiligingsmaatregelen toe te passen, zoals versleuteling of beperkingen op delen.

Binnen deze pilot zijn die labels (en DLP (data loss prevention)) niet gebruikt; de focus lag op inhoudelijke e-mailclassificatie voor archivering/opschoning. Bij doorontwikkeling kan worden verkend hoe labels en/of DLP zich verhouden tot de gekozen categorieën en welke combinatie het meest helpt voor beleid, toezicht en uitlegbaarheid.

In de pilot is PST gebruikt als export- en bronformaat om e-mails (inclusief metadata en inhoud) op een gestandaardiseerde manier te kunnen verzamelen en verwerken. PST is een veelgebruikt formaat om mailboxen te exporteren, waardoor het praktisch is voor een afgebakende pilot met een vaste dataset.

De oplossing is niet PST-afhankelijk. PST was vooral een manier om de e-mails uit de bronomgeving te halen en de relevante informatie te extraheren. Een vervolgoplossing kan in principe op meerdere bronnen en formaten worden aangesloten, zolang e-mailinhoud en -metadata consistent ontsloten kunnen worden.

Omdat veel organisaties met Exchange (on-premises) of Exchange Online werken, is compatibiliteit daarmee een belangrijk uitgangspunt voor eventuele doorontwikkeling.

Binnen de scope van de pilot is gekozen voor 5 generieke categorieën die in principe organisatie-overstijgend toepasbaar zijn. Bij doorontwikkeling is het wel denkbaar dat er een (aanvullende) oplossing of configuratie per organisatie wordt ontwikkeld, zodat organisatiecontext (processen, terminologie, uitzonderingen) beter kan worden meegenomen.

Dit is ingestoken als een pilot. De huidige techniek is nog niet 'productie-ready'. Een Proof of Concept, met daarin aandacht voor productie-aspecten als beheer, beveiliging, integratie en performance, is een mogelijke vervolgstap. Hierover is overleg met CIO-Rijk.