Nieuwe DSpark-draftmodel versnelt vision-language modellen

Vandaag is een experimenteel DSpark-draftmodel voor het vision-language model LFM2.5-VL-3B uitgebracht. Dit model introduceert een speculatieve decodering die een kleine toename in geheugengebruik met zich meebrengt, maar tegelijkertijd de snelheid aanzienlijk verhoogt zonder de outputkwaliteit aan te tasten.

Het vision drafter maakt gebruik van dezelfde architectuur als de tekst LFM2.5-DSpark drafters. Het model vangt de verborgen toestanden van de doelmodel op een vaste set van lagen en gebruikt deze om een blok van k kandidaat-token te genereren. Zowel afbeeldingspatches als teksttokens worden geprojecteerd in een gedeelde representatie, waardoor de drafter op identieke verborgen toestandsvectoren kan werken, ongeacht de invoermodus.

De DSpark-draftmodellen zijn getraind met een mix van vision-language SFT-gegevens, waarbij de focus ligt op de verwachte workloads. Het resultaat is een model met ongeveer 280 miljoen parameters, dat de parameter telling van het gedeployde model met slechts 8,9% verhoogt. Bij de inferentie is een blokgrootte van 8 of 9 aanbevolen, afhankelijk van de hardware.

De prestaties zijn indrukwekkend: op een M5 Max zijn de decoderingstijden 2,30x tot 3,13x sneller, terwijl de end-to-end latentie met 1,56x tot 2,62x verbetert. Op een H100 GPU zijn de snelheidsverbeteringen nog groter, met decodering tot 20,4x sneller.

Voor organisaties die AI-modellen implementeren, biedt deze ontwikkeling mogelijkheden om de efficiëntie van vision-language toepassingen te verbeteren. De verbeterde snelheid van decodering kan de reactietijden van AI-systemen verkorten, wat cruciaal is voor toepassingen zoals beeldherkenning en interactieve conversaties.

De DSpark-draftmodellen zijn beschikbaar op Hugging Face in Safetensors en GGUF-formaten, met directe ondersteuning voor llama.cpp, MLX-VLM en SGLang. Dit maakt het voor ontwikkelaars eenvoudiger om deze modellen lokaal en versnelde VLM-inferentie te verkennen.