Een AI-agent verbeteren is één ding. Aantonen dat een wijziging ook echt werkt, is een tweede. In deze opdracht onderzoek je hoe je interacties van AI-agents kunt analyseren en vertalen naar onderbouwde verbetersuggesties.

Teams zetten AI-agents in voor steeds meer werkzaamheden. Deze agents en hun tools worden regelmatig aangepast om richtlijnen beter na te leven, efficiënter met tokens om te gaan en de kwaliteit van hun output te verbeteren. Door de snelle ontwikkelingen binnen het AI-landschap worden deze wijzigingen frequent doorgevoerd.

Het beoordelen van de effectiviteit van deze aanpassingen gebeurt vaak handmatig en achteraf. Hierdoor kost het veel tijd om verbeterpunten te signaleren en ontbreekt inzicht in welke wijzigingen daadwerkelijk bijdragen aan betere resultaten.

Er is behoefte aan een geautomatiseerde manier om interacties van AI-agents vast te leggen, de kwaliteit van hun functioneren meetbaar te maken en op basis van historische gegevens gerichte verbetersuggesties te genereren. Het is echter nog onbekend hoe deze informatie effectief verzameld, geanalyseerd en vertaald kan worden naar bruikbare verbeteradviezen voor AI-agents.

De opdracht

Onderzoek hoe de kwaliteit van AI-agents en de naleving van afspraken door deze agents meetbaar gemaakt kunnen worden op basis van hun interacties en historisch gebruik.

Ontwerp en realiseer een Proof of Concept waarmee interacties van minimaal twee AI-agents gestructureerd worden vastgelegd. Hierbij kan gebruik worden gemaakt van OpenTelemetry-traces, PostgreSQL of een andere geschikte opslagvorm.

Onderzoek vervolgens hoe deze verzamelde informatie kan worden ingezet om een AI-agent automatisch verbetersuggesties te laten genereren. Deze agent moet aanbevelingen kunnen onderbouwen met meetgegevens en herleidbare bronnen. Denk hierbij aan een periodiek rapport of een automatische pull request waarin concrete verbeteringen voor een bestaande AI-agent worden voorgesteld.

Toon met de Proof of Concept aan in hoeverre deze aanpak bruikbare en aantoonbaar onderbouwde verbetersuggesties oplevert voor het verbeteren voor AI-agents.

Over Info Support

Info Support is specialist in maatwerksoftware, data/AI solutions, beheer en trainingen en actief in de sectoren Finance, Industry, Agriculture, Food & Retail, Mobility & Public en Healthcare. Wij bieden solide en innovatieve oplossingen voor complexe en bedrijfkritische softwarevraagstukken. Onze hoofdkantoren zijn gevestigd in Veenendaal (NL) en Mechelen (BE). Op dit moment zijn er circa 500 medewerkers bij Info Support in dienst.

De werkwijze van Info Support kenmerkt zich door een aantal kernwaarden: soliditeit, integriteit, vakmanschap en passie. Deze kernwaarden zijn verweven in ons werk en de manier waarop we met elkaar omgaan.

Om te zorgen dat alle medewerkers altijd op de hoogte kunnen zijn van de nieuwste ontwikkelingen beschikt Info Support over een inhouse IT Academy waar graag wordt voldaan aan de honger naar meer of andere kennis en vaardigheden.

Om deze opdracht te kunnen doen is B2-taalvaardigheid in het Nederlands vereist.