Microsoft donosi destilirane DeepSeek R1 modele za Windows 11 Copilot+ računala

Microsoft je najavio da će uskoro donijeti NPU-optimizirane verzije AI modela DeepSeek-R1 na Copilot+ računala, prvo na ona sa Snapdragon X procesorima, a zatim na ona s Intel Lunar Lake i AMD Ryzen AI 9 procesorima. Prvo izdanje bit će model DeepSeek-R1-Distill-Qwen-1.5B, dostupan putem Microsoft AI Toolkita za developere. Kasnije će stići i verzije od 7B i 14B parametara.

Windows 11 Copilot+ računala imaju najmanje 256 GB prostora za pohranu, 16 GB RAM-a i NPU sposoban za isporuku najmanje 40 TOPS snage. To znači da neka starija računala s NPU-om neće moći lokalno pokretati ove modele.

U Microsoftu ističu kako se radilo na tome da se R1 modeli mogu lokalno pokretati na NPU baziranom hardveru.

"Prvo, koristimo dizajn kliznog prozora koji omogućuje izuzetno brzo vrijeme do prvog tokena i podršku za dugački kontekst, unatoč nedostatku dinamičke podrške za tenzore u hardverskom sloju. Drugo, primjenjujemo 4-bitnu QuaRot kvantizacijsku shemu kako bismo u potpunosti iskoristili obradu s niskom preciznošću", naglasili su.

Navodi se i da će model 1.5B Distilled R1 uskoro biti dostupan i da će mu se moći pristupiti putem AI Toolkit ekstenzije u VS Code-u. Developeri će moći koristiti Playground za eksperimentiranje s DeepSeek R1 modelom lokalno na kompatibilnim Copilot+ PC-jevima. Osim podrške za lokalno pokretanje DeepSeek R1, Microsoft ove AI modele također čini dostupnima u oblaku putem Azure AI Foundry.

Kao dio Azure AI Foundryja, DeepSeek R1 je dostupan na pouzdanoj, skalabilnoj i poslovno spremnoj platformi, omogućujući tvrtkama jednostavnu integraciju napredne umjetne inteligencije uz poštivanje SLA ugovora, sigurnosnih zahtjeva i načela odgovorne AI – sve uz Microsoftovu pouzdanost i inovaciju.

Microsoft se brzo prilagodio kako bi podržao DeepSeek R1, čak i dok američke tehnološke tvrtke paničare zbog njegova postojanja. OpenAI sada tvrdi da je DeepSeek ukrao vlasnički kod kako bi razvio svoj AI model, čiji je razvoj koštao manje od deset milijuna dolara. To je u oštrom kontrastu s AI modelima koje razvijaju američke tvrtke, a čiji su troškovi razvoja dosad dosegnuli milijarde dolara.