OMgenie LLama 4 Scout (Groq)

LLama via Groq als Ai-model

Niet te verwarren met Grok met een “k”. Groq met een “q” gebruikt speciale hardware en software om opensource modellen (zoals hier LLama 4 Scout) snel te laten reageren.

Hoe werkt het?

De Chatbot gebruikt een prompt-template om een gesprek te voeren. In deze prompt-template bevindt zich de inhoudelijke informatie die nodig is om de vraag te beantwoorden. Dit noemen we de context. In deze prompt-template bevinden zich ook de instructies voor een Ai-model die beschrijven hoe het model de vragen van de gebruiker moet beantwoorden.

Kennisbank

OMgenie is een chatbot die zijn informatie (context) haalt uit een speciaal daarvoor gecreëerde kennisbank. Deze kennisbank bevat een aantal onderdelen:

• Voor elk onderwerp waarbij magnesiumsupplementen een rol kunnen spelen, is er een document waarin de rol die magnesium daarbij speelt wordt beschreven. Bijvoorbeeld een document over zwangerschap, slaapproblemen, spierherstel, etc.

• Een document met daarin routines voor magnesiumgebruik voor verschillende doelgroepen op basis van geslacht, activiteit en leeftijd.

Al deze informatie is opgedeeld in logische fragmenten van tussen de 100 en 200 woorden.

Fragmenten ophalen

Zodra er een vraag wordt gesteld aan de chatbot wordt er uit de kennisbank een aantal (bijvoorbeeld 10) fragmenten opgehaald die het meest relevant zijn voor het beantwoorden van de gestelde vraag. Voor het zoeken van de juiste fragmenten wordt de RAG techniek toegepast. Lees hier meer over deze techniek.

De gevonden fragmenten vormen de context die de Chatbot mag gebruiken bij het beantwoorden van de vragen.

Instructies

Naast de context bevat de prompt-template ook een aantal instructies voor het Ai-model over hoe het model het antwoord moet genereren. Denk aan instructies met betrekking tot de persoonlijkheid die de Chatbot moet aannemen, het taalgebruik, de opbouw van het gesprek, etc.