in

DeepSeek, Pesaing ChatGPT dari Microsoft, Kini Tersedia untuk Windows

Jakarta, Kompasiana – Microsoft baru-baru ini membuat gebrakan dengan menambahkan DeepSeek R1 ke Azure AI Foundry, memungkinkan pengembang untuk menguji dan membangun aplikasi dan layanan berbasis cloud menggunakan model kecerdasan buatan (AI) tersebut. Kini, Microsoft kembali membawa DeepSeek ke perangkat Windows, khususnya pada PC Copilot+.

DeepSeek, yang merupakan pesaing ChatGPT, akan hadir dalam versi yang disederhanakan untuk perangkat dengan chip Snapdragon X, Intel Core Ultra 200V, dan AMD Ryzen AI 9. Model pertama yang tersedia adalah DeepSeek-R1-Distill-Qwen-1.5B dengan 1,5 miliar parameter, sementara model yang lebih besar dengan 7 miliar dan 14 miliar parameter akan segera menyusul.

Microsoft telah mengoptimalkan model DeepSeek ini untuk berjalan pada perangkat dengan unit pemrosesan saraf (NPU). Operasi yang membutuhkan banyak akses memori akan dijalankan pada CPU, sedangkan operasi intensif komputasi seperti blok transformator akan dijalankan pada NPU.

Dengan optimalisasi ini, Microsoft mengklaim telah mencapai waktu cepat untuk token pertama (130 md) dan laju keluaran 16 token per detik untuk prompt pendek (di bawah 64 token). Perlu dicatat bahwa "token" mirip dengan vokal, namun biasanya terdiri dari lebih dari satu karakter.

Meskipun Microsoft merupakan pendukung kuat OpenAI, pengembang ChatGPT dan GPT-40, perusahaan raksasa ini tampaknya tidak bermain favorit. Azure Playground milik Microsoft juga memiliki model GPT (OpenAI), Llama (Meta), Mistral (sebuah perusahaan AI), dan kini DeepSeek.

Bagi pengguna yang lebih menyukai AI lokal, Microsoft menyediakan AI Toolkit untuk VS Code. Dari sana, pengguna dapat mengunduh model DeepSeek secara lokal.

"Distilasi model", atau "distilasi pengetahuan", adalah proses mengambil model AI besar (DeepSeek R1 penuh memiliki 671 miliar parameter) dan mentransfer sebanyak mungkin pengetahuannya ke model yang lebih kecil (misalnya, 1,5 miliar parameter). Proses ini tidak sempurna dan model yang disuling memiliki kemampuan yang lebih rendah daripada model penuh, namun ukurannya yang lebih kecil memungkinkannya untuk berjalan langsung pada perangkat konsumen.

What do you think?

Written by Hamzah Arfan

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *

GIPHY App Key not set. Please check settings

65525

Penawar TikTok dari Konsorsium Investor AS Capai Rp 288 Triliun

Terobosan Konektivitas: Panggilan Video dari Satelit Menggunakan Ponsel 4G/5G Biasa