In de deze aflevering van de greatminds podcast gaat Hildo van Es, IT-architect en medeoprichter van greatminds, in gesprek met Robin Smits van Lumi ML Consulting. Ze ontrafelen de geheimen van pre-training bij LLM’s (Large Language Models). Ook hebben ze het erover waarom deze cruciale stap onmisbaar is voor de vooruitgang van kunstmatige intelligentie. Robin vertelt hoe pre-training werkt en legt uit waarom het zo’n belangrijke rol speelt in het totale AI-proces.
🔑 Belangrijkste inzichten:
- Zonder pre-training kan een model niets: dit is de ruggengraat van elk AI-systeem.
- De kwaliteit van je dataset bepaalt de waarde van je model — niet alleen de omvang.
- Pre-training is kostbaar, maar de strategische keuzes in dit stadium maken het verschil.
Pre-training: de bouwsteen van slimme en schaalbare AI
Hildo en Robin bespreken hoe je pre-trainingmodellen voorbereidt door ze bloot te stellen aan enorme hoeveelheden data. Van tekst en afbeeldingen tot audio, elk stukje data draagt bij aan de kennisbasis van het model. Robin legt uit hoe frameworks zoals Hugging Face transformer library worden gebruikt en waarom kwalitatieve data zo essentieel is. Ook de technische kant van de zaak komt aan bod. Want welke hardware is nodig? Wat zijn de uitdagingen bij pre-training? En hoe zorgen bedrijven ervoor dat hun modellen betrouwbaar en accuraat blijven?
In het laatste deel van de podcast bespreken Hildo en Robin de toekomst van AI en de trends in pre-training. Ze gaan in op de opkomst van multimodale en meertalige modellen. Maar ook op hoe continuous pre-training bedrijven kan helpen om hun AI-modellen up-to-date te houden met de nieuwste informatie. Of je nu een professional bent in de IT-sector of gewoon geïnteresseerd in de nieuwste ontwikkelingen in AI, deze aflevering geeft je weer een schat aan kennis en inzichten.
📱 Connect met onze gast en host:
⏱ Tijdstempels:
00:00 – Introductie Hildo en Robin
01:15 – Wat is pre-training en waarom is het zo belangrijk?
04:14 – Verschil met RAG, promptengineering en fine-tuning
08:05 – Hoe werkt pre-training in de praktijk?
09:57 – Soorten data: tekst, code, multimodaal
16:03 – Vereisten aan hardware: tienduizenden GPU’s
19:00 – Small Language Models en edge deployment
21:18 – Evaluatie: hoe weet je of pre-training goed gelukt is?
22:05 – Risico’s van slechte datasets en verkeerde kennis
23:37 – Continuous pre-training en het risico van vergeten
25:09 – Trends: model collapse, multilingual & multimodal AI
28:09 – Kosten, energieverbruik en kerncentrales
29:17 – Continuous pre-training in het SDLC-proces
34:00 – Afsluiting
🔗 Achtergrondinformatie:
- Hugging Face Transformers
- Meta LLaMA-modellen
- Microsoft Phi-2 & Phi-3 modellen
- Model registries (Hugging Face, Azure ML, MLflow)
