Steeds meer ontwikkelaars gebruiken Large Language Models (LLM's) tijdens het programmeren. In deze opdracht onderzoek je hoe meerdere lokale open source LLM's objectief met elkaar kunnen worden vergeleken, zodat ontwikkelaars voor elke stageopdracht het meest geschikte model kunnen kiezen.

Ontwikkelaars gebruiken steeds vaker LLM's om code te schrijven, fouten te analyseren of technische vragen te beantwoorden. Vaak gebeurt dit via cloudoplossingen, maar dat is niet altijd wenselijk. Broncode, klantinformatie of interne documentatie mag niet zomaar naar externe diensten gestuurd worden.

Open source LLM’s die lokaal draaien, bieden hiervoor een alternatief. Toch is het moeilijk om te bepalen welk model het beste resultaat geeft voor een specifieke opdracht. Elk model heeft andere sterktes, bijvoorbeeld op het gebied van codegeneratie, uitleg of redeneervermogen.

Er is daarom behoefte aan een lokaal systeem dat één opdracht aan meerdere open source LLM’s kan voorleggen, de antwoorden vergelijkt en het beste resultaat helpt kiezen.

De opdracht

Onderzoek hoe een lokaal systeem ontwikkelaars kan ondersteunen bij het vergelijken van meerdere open source LLM-agents. Bouw een Proof of Concept waarin een ontwikkelaar één opdracht invoert, waarna het systeem deze opdracht lokaal doorstuurt naar verschillende modellen.

Vergelijk de antwoorden op criteria zoals correctheid, volledigheid, snelheid, uitlegbaarheid en bruikbaarheid. Onderzoek ook de beperkingen van lokale modellen, zoals hardwarevereisten, responstijd en modelgrootte.

Het resultaat is een werkende Proof of Concept met een onderbouwde vergelijking van meerdere open source LLM’s.

Over Info Support

Info Support is specialist in maatwerksoftware, data/AI solutions, beheer en trainingen en actief in de sectoren Finance, Industry, Agriculture, Food & Retail, Mobility & Public en Healthcare. Wij bieden solide en innovatieve oplossingen voor complexe en bedrijfkritische softwarevraagstukken. Onze hoofdkantoren zijn gevestigd in Mechelen (BE) en Veenendaal (NL). Op dit moment zijn er circa 500 medewerkers bij Info Support in dienst.

De werkwijze van Info Support kenmerkt zich door een aantal kernwaarden: soliditeit, integriteit, vakmanschap en passie. Deze kernwaarden zijn verweven in ons werk en de manier waarop we met elkaar omgaan.

Om te zorgen dat alle medewerkers altijd op de hoogte kunnen zijn van de nieuwste ontwikkelingen beschikt Info Support over een inhouse IT Academy waar graag wordt voldaan aan de honger naar meer of andere kennis en vaardigheden.

Om deze opdracht te kunnen doen is B2-taalvaardigheid in het Nederlands vereist.