Pionieren met AI en SE: “Fancy tools brengen ons niet verder, precies snappen waar je mee bezig bent wél”
Wetterskip, FryslanHoe kunnen Systems Engineering (SE) en AI elkaar versterken? Hoe kan AI meerwaarde bieden binnen complexe projecten en wat zijn daarbij de do’s en don’ts? Het zijn enkele van de vragen waar boosters René King en Harry van der Velde zich mee bezig houden voor Wetterskip Fryslân. Het Friese waterschap is bezig SE te implementeren binnen de organisatie en AI kan daarbij een rol spelen. Dat kan echter niet ‘zomaar’: “Het is meer dan ooit nodig om de purpose te begrijpen van wat je doet.”
Dutch Boosting Group is al een aantal jaren actief voor Wetterskip Fryslân. In verschillende rollen hebben onze boosters er opdrachten uitgevoerd: van workshops over SE tot het formuleren van een procesbeschrijving en het opstellen van een roadmap voor de implementatie van SE. De doelstelling daarbij is, om de complexe projecten van het Wetterskip beheersbaar en voorspelbaar te maken. “Het gaat om projecten die veel raakvlakken hebben met andere projecten, en waar bovendien veel stakeholders bij betrokken zijn”, vertelt Harry van der Velde. “Het is dan ook van belang om de projecten goed te kaderen, te definiëren en natuurlijk uit te voeren. SE helpt daarbij. Op dit moment bevinden we ons met het Wetterskip in de SE-implementatiefase. René en ik houden ons bezig met de vraag hoe AI daarbij zou kunnen helpen.”
Dat klinkt interessant. Kun je aangeven waar jullie begonnen zijn?
Harry: “We hebben allereerst bedacht waar we AI voor in wilden zetten. Aangezien we met zo veel stakeholders te maken hebben, is het van groot belang dat we de door de klant aangegeven behoeften systematisch vertalen naar goed gestructureerde, consistente en transparante eisen voor het waterkeringssysteem. Op die manier maak je ze veel beter hanteerbaar. We zetten AI daarom in om te bekijken: hoe goed zijn de eisen die we opgesteld hebben en hoe kunnen we ze beter schrijven? We gebruiken het dus om de kwaliteit van de eisenset te kunnen beoordelen.”
Voor zover ik weet, gebeurt dit nog niet veel in de wereld. Dus ja, we zijn aan het pionieren.
Is dat uniek, om AI in te zetten voor SE? Betekent dit dat jullie aan het pionieren zijn?
Harry: “Voor zover ik weet, gebeurt dit nog niet veel in de wereld. Dus ja, we zijn aan het pionieren. Dat merk je ook aan het proces; we moeten álles zelf uitzoeken. Maar dat maakt het juist ook leuk!” René: “Wat onze aanpak onderscheidend maakt, is dat we AI niet zomaar generiek toepassen; we hebben een methode ontwikkeld die gestructureerde analyse van echte klanteisen combineert met zorgvuldig ontworpen promptingtechnieken, gevalideerd aan de hand van het oordeel van experts. Het meeste wat in dit vakgebied bestaat, bevindt zich nog in de academische sfeer. Wij passen het daadwerkelijk toe in de praktijk, op lopende projecten, en de resultaten overtreffen nu al de verwachtingen."
Hoe doe je dat concreet? Hoe richt je zo'n AI-tool voor SE technisch gezien in?
René: “We hebben een maatwerk-back-end in programmeertaal Python ontwikkeld. Deze verwerkt een set Nederlandstalige engineeringeisen en stuurt deze eisen door een reeks analysefasen, die worden aangedreven door LLM’s (Large Language Models). Het model is gebaseerd op de methodologie van Dutch Boosting Group voor het beoordelen van de kwaliteit van eisen. De belangrijkste uitdaging lag in prompt engineering: het model ertoe brengen om domeinspecifieke technische taal betrouwbaar te interpreteren en consistente, gestructureerde output te produceren die onze experts konden valideren. Het vergde een aanzienlijk aantal iteratierondes, maar we hebben een punt bereikt waarop de analyse van de tool in de meeste gevallen overeenkomt met het oordeel van experts. Dat is voor een eerste-generatie-AI-tool in dit domein een sterk resultaat.”
Wat ís de gewenste output van deze AI-tool?
René: “Om de tool te kalibreren, hebben we een breed scala aan goed geformuleerde eisen uit eerdere projecten geanalyseerd. In essentie hebben we het model dus geleerd hoe ‘goede’ eisen eruitzien, door middel van zorgvuldig gestructureerde voorbeelden en door experts gedefinieerde regels.” Harry: “Zoals René net al aangaf hebben we de goed geformuleerde eisen daarbij eerst zorgvuldig ontleed. Dat was echt essentieel: wat wíllen we zien bij de formulering van een eis? Door de klanteisen eerst zorgvuldig te ontleden werd het een stuk makkelijker om de kwaliteit ervan te beoordelen.” René: “We wilden dat de tool voor elke eis een kwaliteitsscore zou genereren op een schaal van 1 tot 5, beoordeeld aan de hand van criteria zoals meetbaarheid, specificiteit en de vraag of een duidelijke deadline is gedefinieerd. Eigenlijk zijn dat dus de SMART-principes, toegepast op engineeringeisen. Daarnaast wilden we dat de tool herschrijvingen zou voorstellen en verificatie-eisen zou formuleren. Deze laatste functionaliteiten zijn nog aanzienlijk minder ver ontwikkeld dan de SMART-scoring, maar de eerste haalbaarheidsresultaten tonen veel potentieel.”
Welke dilemma’s kwamen jullie daarbij tegen?
René: “Eén van de belangrijkste overwegingen die we hadden, ging over gegevensbeveiliging. Je wil geen data van het Wetterskip op internet hebben. Wat daarbij bijzonder interessant is, is het verkennen van de mogelijkheden van lokaal geïmplementeerde modellen van verschillende ontwikkelaars. We zien dat kleinere open-sourcemodellen verrassend sterke resultaten kunnen leveren wanneer ze worden gecombineerd met goede prompt engineering en door experts gedefinieerde regels. Het landschap ontwikkelt zich snel en elk model heeft zijn eigen sterke punten en afwegingen. Daarom blijven we verschillende aanbieders testen en benchmarken om voor elke taak de best passende oplossing te vinden. Zo blijven we de gegevensbeveiliging verbeteren.”
Het grappige is dat je AI niet alleen kunt inzetten om SE efficiënter toe te passen, maar ook andersom: SE bleek een essentiële basis te zijn voor de ontwikkeling van de AI-tool.”
Wat levert de inzet van AI op binnen het klanteisenproces?
Harry: “Gemiddeld gaat er 30% van de tijd af die we normaal besteden aan het goed formuleren van de eisen.” René: “En dat betekent dat we meer tijd hebben om een goede review te doen van de eisen. We willen dat alles en iedereen doet waar hij goed in is: voor deze AI-tool geldt dat die goed is in het snel beoordelen van een enorme hoeveelheid eisen en het doen van verbetersuggesties. Wij mensen hebben weer andere kwaliteiten, waarvoor we nu meer tijd en ruimte creëren. Dat zou volgens mij áltijd de inzet van AI moeten zijn: het creëren van ruimte voor mensen om te doen waar ze écht goed in zijn.” Harry: “Precies. We verschuiven de tijd die we eerste besteedden aan het genereren van eisen nu naar het reviewen van eisen. We gebruiken tijd dus efficiënter, terwijl de kwaliteit van de eisen consistenter én hoger wordt.”
Wat hebben jullie geleerd van dit project?
René: “Het grappige is dat je AI niet alleen kunt inzetten om SE efficiënter toe te passen, maar ook andersom: SE bleek een essentiële basis te zijn voor de ontwikkeling van de AI-tool. Als je namelijk te snel in de oplossingsmodus wilt duiken zonder eerst goed na te denken over waarom, hoe en wat, dan kom je niet tot een goede tool. En juist dat voorkom je door SE toe te passen. We passen dus SE toe om een goede AI-tool te maken, waarmee je vervolgens weer SE kunt toepassen.” Harry: “Daarnaast hebben we natuurlijk heel veel geleerd over de technieken die we kunnen gebruiken om een dergelijke tool te ontwikkelen. En we hebben ontdekt dat de benadering die we nu hebben gekozen waarschijnlijk toepasbaar is voor alle projecten die wij doen met Dutch Boosting Group. Dat gaf een enorme boost in ons zelfvertrouwen.” René: “AI ís daadwerkelijk geschikt om een beter resultaat vanuit Systems Engineering mogelijk te maken. We gaan nu ook op andere vlakken kijken hoe we AI slim in kunnen zetten. Bijvoorbeeld in andere fases binnen de projecten van onze opdrachtgevers.”
René: “Dit project heeft daarnaast heel duidelijk gemaakt dat het fantastisch is wat techniek allemaal kan, maar dat het meer dan ooit nodig is om de purpose te begrijpen van wat je doet; om de basisprincipes van Systems Engineering te begrijpen. Om goed te begrijpen waar je mee bezig bent en uit te gaan van de juiste grondbeginselen. Om te leren en te experimenteren en te falen en op basis daarvan steeds je technieken aan te scherpen. Alleen fancy tools brengen ons niet verder, precies snappen waar je mee bezig bent wél. Dat gaf ons mooie inzichten, waar we ons zelfs een beetje nederig onder voelden. Erg waardevol.”