DeepSeek R1 Distill Qwen 32B je destilovaný velký jazykový model založený na Qwen 2.5 32B, využívající výstupy z DeepSeek R1. Překonává o1-mini od OpenAI v různých benchmarkách a dosahuje nových nejlepších výsledků pro husté modely.
Další výsledky benchmarků zahrnují:
- AIME 2024 pass@1: 72.6
- MATH-500 pass@1: 94.3
- CodeForces Rating: 1691
Model využívá doladění z výstupů DeepSeek R1, což umožňuje konkurenceschopný výkon srovnatelný s většími špičkovými modely.
Unikátní charakteristiky
Tento model využívá techniku destilace znalostí z většího modelu DeepSeek R1 do architektury Qwen 2.5 32B, čímž dosahuje schopností uvažování (chain-of-thought) srovnatelných s mnohem většími modely při zachování efektivity dense modelu. Je specificky optimalizován pro řešení komplexních matematických a programovacích úloh.
Silné stránky
Matematické uvažování
Dosahuje skóre 94.3 na MATH-500 a 72.6 na AIME 2024, což překonává i specializované modely jako o1-mini v dané kategorii.
Poměr cena/výkon
S cenou $0.29 za 1M tokenů nabízí úroveň inteligence, která byla dříve dostupná pouze u modelů s cenou nad $5-10/1M.
Programování
CodeForces rating 1691 naznačuje silnou schopnost řešit algoritmické problémy, nikoliv jen generovat boilerplate kód.
Slabé stránky
Kontextové okno
Kapacita 32,768 tokenů je na poměry konce roku 2025 podprůměrná a omezuje použití pro analýzu rozsáhlých dokumentů.
Multimodalita
Model je čistě textový (text-to-text), chybí schopnost zpracovávat obrázky nebo audio, což konkurence v této třídě často nabízí.