Apps & Gidsen

Nieuw in Qwen 3

De wereldwijde AI-race gaat steeds sneller. Onderzoeksinstellingen, privébedrijven en zelfs hele naties strijden nu om het leiderschap op het gebied van AI. In grote lijnen kan deze race in verschillende fasen worden verdeeld. In de eerste fase werd smalle AI gecreëerd. Bestaande neurale netwerkmodellen zoals GPT, MidJourney en AlphaFold laten zien dat deze fase met succes is bereikt.

De volgende stap is de evolutie van AI naar AGI (Artificial General Intelligence). AGI moet menselijke intelligentie evenaren in het oplossen van een breed scala aan taken, van het schrijven van verhalen en het uitvoeren van wetenschappelijke berekeningen tot het begrijpen van sociale situaties en zelfstandig leren. Op het moment van schrijven is dit niveau nog niet bereikt.

Het ultieme stadium in de ontwikkeling van AI wordt ASI (Artificial Super Intelligence) genoemd. Het zou de menselijke vermogens op alle gebieden ver overtreffen. Dit zou het mogelijk maken om technologieën te ontwikkelen die we ons nu nog niet eens kunnen voorstellen en om wereldwijde systemen te beheren met een precisie die de menselijke vermogens te boven gaat. Dit zou echter pas werkelijkheid kunnen worden na tientallen jaren (of zelfs eeuwen) van voortdurende vooruitgang.

Daarom richten de meeste deelnemers aan de AI-race zich op het bereiken van AGI terwijl ze er controle over houden. De ontwikkeling van AGI is nauw verbonden met een groot aantal complexe technische, ethische en juridische uitdagingen. Toch wegen de potentiële beloningen ruimschoots op tegen de kosten en daarom investeren bedrijven als Alibaba Group zwaar in dit gebied.

De release van Qwen 3 markeert een belangrijke mijlpaal, niet alleen voor de neurale netwerken van één bedrijf, maar ook op het wereldtoneel. Vergeleken met zijn voorganger introduceert het model een aantal belangrijke innovaties.

Kenmerken

Qwen 2.5 was voorgetraind op een dataset van 18B tokens, terwijl het nieuwe model die hoeveelheid heeft verdubbeld tot 36B tokens. De grootste dataset heeft de nauwkeurigheid van het basismodel aanzienlijk verbeterd. Interessant is dat het systeem niet alleen is getraind op openbare internetgegevens die zijn verzameld door middel van parsing, maar ook op PDF-documenten. Deze zijn doorgaans goed gestructureerd en bevatten veel kennis, waardoor het model nauwkeurigere antwoorden kan geven en complexe formuleringen beter begrijpt.

Een van de meest veelbelovende richtingen in de ontwikkeling van AI is het bouwen van modellen die kunnen redeneren en die de taakcontext kunnen uitbreiden door middel van een iteratief proces. Aan de ene kant maakt dit uitgebreidere probleemoplossing mogelijk, maar aan de andere kant heeft redeneren de neiging om het proces aanzienlijk te vertragen. Daarom hebben de ontwikkelaars van Qwen 3 twee operationele modi geïntroduceerd:

Thinking mode. Het model bouwt stap voor stap context op voordat het een definitief antwoord geeft. Dit maakt het mogelijk om complexe problemen aan te pakken die diepgaand begrip vereisen.
Non-thinking mode. Het model reageert vrijwel direct, maar kan meer oppervlakkige antwoorden geven zonder diepgaande analyse.

Deze handmatige controle over het gedrag van het model verbetert de gebruikerservaring bij het uitvoeren van veel routinetaken. Het verminderen van het gebruik van de denkmodus verlaagt ook de GPU-belasting aanzienlijk, waardoor meer tokens verwerkt kunnen worden binnen hetzelfde tijdsbestek.

Naast deze binaire keuze is er ook een soft-switching mechanisme. Met dit hybride gedrag kan het model zich aanpassen aan de context met behulp van interne wegingsmechanismen. Als het model een taak moeilijk vindt, zal het automatisch redeneren of zelfs zelfverificatie activeren. Het kan ook reageren op aanwijzingen van de gebruiker zoals "Laten we stap voor stap denken".

Een andere belangrijke verbetering is de uitgebreide meertalige ondersteuning. Waar Qwen 2.5 slechts 29 talen ondersteunde, kan versie 3 nu tekst in 119 talen en dialecten begrijpen en genereren. Dit heeft het volgen van instructies en contextueel begrip sterk verbeterd. Hierdoor kan Qwen 3 nu effectief gebruikt worden in niet-Engelse omgevingen.

Daarnaast is Qwen 3 nu aanzienlijk beter geïntegreerd met MCP servers, waardoor het model tools heeft om dieper in te gaan op het oplossen van problemen en het uitvoeren van acties. Het kan nu communiceren met externe bronnen en complexe processen direct beheren.

Model training

Pre-training

Zo'n grote sprong voorwaarts zou niet mogelijk zijn geweest zonder een meerfasig trainingssysteem. In eerste instantie werd het model voorgetraind op 30B tokens met een contextlengte van 4K, zodat het algemene kennis en basale taalvaardigheden kon opdoen.

Dit werd gevolgd door een verfijningsfase met meer wetenschappelijke en goed gestructureerde gegevens. Tijdens deze fase kreeg het model ook de vaardigheid om effectief toepassingen te schrijven in meerdere programmeertalen.

Tot slot werd het getraind op een dataset van hoge kwaliteit met uitgebreide context. Het resultaat is dat Qwen 3 nu een effectieve contextlengte van 128K tokens ondersteunt, wat neerkomt op ongeveer 350 pagina's getypte tekst, afhankelijk van de taal. Cyrillische talen hebben bijvoorbeeld vaak kortere tokens vanwege de morfologie en het gebruik van voor- en achtervoegsels, etc.

Pijplijn voor redeneren

Het bouwen van redeneerbare modellen is een fascinerend maar arbeidsintensief proces dat verschillende bestaande technieken combineert die gericht zijn op het simuleren van menselijk denken. Gebaseerd op publiek beschikbare informatie, kunnen we aannemen dat de redeneertraining van Qwen 3 uit vier hoofdfasen bestond:

Cold start for long chains of thought. Het model trainen om problemen op te splitsen in meerdere stappen zonder voorafgaande aanpassing. Hierdoor leert het iteratief denken en ontwikkelt het een basislaag van redeneervaardigheden.
Reinforcement learning based on reasoning. In dit stadium hangen beloningen niet alleen af van het uiteindelijke antwoord, maar ook van hoe goed het model logische, interpreteerbare en gestructureerde redeneerketens opbouwt. De afwezigheid van fouten en hallucinaties wordt ook geëvalueerd.
Merging reasoning modes. Mensen vertrouwen typisch op twee denkstijlen: snel (intuïtief) en langzaam (analytisch). Afhankelijk van het type taak moet het neurale model leren om tussen deze stijlen te schakelen en ze te integreren. Dit wordt meestal gedaan met behulp van voorbeelden die beide stijlen combineren of door middel van speciale tokens die aangeven welke stijl moet worden toegepast.
General reinforcement learning. Deze laatste fase lijkt op een zandbakomgeving waarin het model leert om te gaan met hulpmiddelen, taken uit te voeren die uit meerdere stappen bestaan en adaptief gedrag te ontwikkelen. Hier wordt het ook afgestemd op de voorkeuren van de gebruiker.

Conclusie

Qwen 3 is een belangrijke mijlpaal voor Alibaba Group. De kwaliteit van de training en de methodologie maken het een serieuze concurrent voor gevestigde spelers als OpenAI en Anthropic. De verbeteringen ten opzichte van de vorige versie zijn substantieel.

Een bijkomend voordeel is het open-source karakter, waarbij de codebase openbaar beschikbaar is op GitHub onder de Apache 2.0 licentie.

Verdere ontwikkeling van de Qwen modelfamilie zal helpen om de positie in de wereldwijde AI-arena te versterken en de kloof met closed-source commerciële modellen te verkleinen. En alle huidige prestaties zijn, op de een of andere manier, stappen in de richting van de vooruitgang van de mensheid in het bouwen van AGI.

Zie ook:

Gepubliceerd: 14.07.2025