Sistem kecerdasan buatan yang canggih seperti Openai’s Chatgpt, Google Gemini dan Claude Anthropic telah menangkap imajinasi publik dengan memproduksi teks yang lancar dalam berbagai bahasa sebagai tanggapan terhadap petunjuk pengguna. Perusahaan -perusahaan itu juga telah menjadi berita utama dengan jumlah besar yang telah mereka investasikan untuk membangun model yang lebih kuat.
Startup AI dari Cina, Deepseek, telah mengganggu harapan tentang berapa banyak uang yang dibutuhkan untuk membangun AIS terbaru dan terhebat. Dalam prosesnya, mereka telah meragukan miliaran dolar investasi oleh para pemain AI besar.
Saya mempelajari pembelajaran mesin. Debut Deepseek yang mengganggu datang bukan pada terobosan teknologi yang menakjubkan tetapi untuk praktik yang dihormati waktu: menemukan efisiensi. Dalam bidang yang mengkonsumsi sumber daya komputasi yang luas, yang terbukti signifikan.
Dimana biayanya
Mengembangkan sistem AI yang kuat seperti itu dimulai dengan membangun model bahasa besar. Model bahasa besar memprediksi kata berikutnya yang diberikan kata -kata sebelumnya. Misalnya, jika awal kalimat adalah “teori relativitas ditemukan oleh Albert,” model bahasa besar mungkin memprediksi bahwa kata berikutnya adalah “Einstein.” Model bahasa besar dilatih untuk menjadi pandai dalam prediksi tersebut dalam proses yang disebut pretraining.
Pretraining membutuhkan banyak data dan daya komputasi. Perusahaan mengumpulkan data dengan merangkak buku dan pemindaian buku. Komputasi biasanya ditenagai oleh unit pemrosesan grafis, atau GPU.
Mengapa Grafik? Ternyata baik grafik komputer dan jaringan saraf buatan yang mendasari model bahasa besar bergantung pada bidang matematika yang sama yang dikenal sebagai aljabar linier. Model bahasa besar secara internal menyimpan ratusan miliar angka yang disebut parameter atau bobot. Bobot inilah yang dimodifikasi selama pretraining.
Namun, pretraining tidak cukup untuk menghasilkan produk konsumen seperti chatgpt. Model bahasa besar pretrained biasanya tidak pandai mengikuti instruksi manusia. Mungkin juga tidak selaras dengan preferensi manusia. Misalnya, ini mungkin menghasilkan bahasa berbahaya atau kasar, yang keduanya hadir dalam teks di web.
Model pra-terlatih, oleh karena itu, biasanya melalui tahap pelatihan tambahan. Salah satu tahap tersebut adalah penyetelan instruksi di mana model ditampilkan contoh instruksi manusia dan respons yang diharapkan.
Setelah penyetelan instruksi muncul tahap yang disebut pembelajaran penguatan dari umpan balik manusia. Pada tahap ini, annotator manusia ditunjukkan beberapa respons model bahasa besar terhadap prompt yang sama. Annotator kemudian diminta untuk menunjukkan respons mana yang mereka sukai.
Sangat mudah untuk melihat bagaimana biaya bertambah saat membangun model AI: mempekerjakan bakat AI berkualitas tinggi, membangun pusat data dengan ribuan GPU, mengumpulkan data untuk pretraining, dan menjalankan pretraining pada GPU. Selain itu, ada biaya yang terlibat dalam pengumpulan dan perhitungan data dalam pembelajaran penyetelan instruksi dan penguatan dari tahap umpan balik manusia.
Semua termasuk, biaya untuk membangun model AI mutakhir dapat melonjak hingga US $ 100 juta. Pelatihan GPU adalah komponen signifikan dari total biaya.
Pengeluaran tidak berhenti saat model siap. Ketika model digunakan dan merespons petunjuk pengguna, ia menggunakan lebih banyak perhitungan yang dikenal sebagai waktu tes atau komputasi waktu inferensi.
Komputasi waktu tes juga membutuhkan GPU. Pada bulan Desember 2024, Openai mengumumkan fenomena baru yang mereka lihat dengan model terbaru O1 mereka: ketika komputasi waktu tes meningkat, model menjadi lebih baik dalam tugas -tugas penalaran logis seperti Olimpiade Matematika dan masalah pengkodean kompetitif.
Melangsingkan konsumsi sumber daya
Dengan demikian tampaknya jalan untuk membangun model AI terbaik di dunia adalah berinvestasi dalam lebih banyak perhitungan selama pelatihan dan inferensi. Tapi kemudian Deepseek memasuki keributan dan melawan tren ini.
Model V-Series mereka, yang berpuncak pada model V3, menggunakan serangkaian optimasi untuk membuat pelatihan model AI mutakhir secara signifikan lebih ekonomis. Laporan teknis mereka menyatakan bahwa mereka membutuhkan waktu kurang dari $ 6 juta dolar untuk melatih V3.
Mereka mengakui bahwa biaya ini tidak termasuk biaya untuk mempekerjakan tim, melakukan penelitian, mencoba berbagai ide dan pengumpulan data. Tetapi $ 6 juta masih merupakan angka kecil yang mengesankan untuk melatih model yang dikembangkan oleh model AI terkemuka dengan biaya yang jauh lebih tinggi.
Pengurangan biaya bukan karena peluru ajaib tunggal. Itu adalah kombinasi dari banyak pilihan rekayasa pintar termasuk menggunakan bit yang lebih sedikit untuk mewakili bobot model, inovasi dalam arsitektur jaringan saraf, dan mengurangi overhead komunikasi karena data dilewatkan di antara GPU.
Sangat menarik untuk dicatat bahwa karena pembatasan ekspor AS di China, tim Deepseek tidak memiliki akses ke GPU berkinerja tinggi seperti NVIDIA H100. Sebaliknya mereka menggunakan NVIDIA H800 GPU, yang dirancang NVIDIA untuk menjadi kinerja yang lebih rendah sehingga mereka mematuhi pembatasan ekspor AS. Bekerja dengan keterbatasan ini tampaknya telah melepaskan lebih banyak kecerdikan dari tim Deepseek.
Deepseek juga berinovasi untuk membuat inferensi lebih murah, mengurangi biaya menjalankan model. Selain itu, mereka merilis model yang disebut R1 yang sebanding dengan model O1 Openai pada tugas penalaran.
Mengatur ulang ekspektasi
Mereka merilis semua bobot model untuk V3 dan R1 di depan umum. Siapa pun dapat mengunduh dan lebih meningkatkan atau menyesuaikan model mereka. Selain itu, Deepseek merilis model mereka di bawah lisensi MIT permisif, yang memungkinkan orang lain untuk menggunakan model untuk tujuan pribadi, akademik atau komersial dengan batasan minimal.
Deepseek secara fundamental mengubah lanskap model AI besar. Model bobot terbuka yang dilatih secara ekonomis sekarang setara dengan model yang lebih mahal dan tertutup yang memerlukan paket berlangganan berbayar.
Komunitas riset dan pasar saham akan membutuhkan waktu untuk menyesuaikan diri dengan kenyataan baru ini.
Ambuj Tewari adalah Profesor Statistik, Universitas Michigan
Artikel ini diterbitkan ulang dari percakapan di bawah lisensi Creative Commons. Baca artikel asli.
ADVERTISEMENT:
Hello, sobat pengemar slots pernahkah mendengar istilah “slot gaco”? jika belum, siap-siap jatuh hati sama konsep ini. raja slot adalah mesin slot yang selalu kasih kemenangan. Yup, slot-slot ini bisa dibilang adalah jagoannya buat bawa pulang hasil. but, cemana sih
tekniknya jumpain raja lot yang benar? Santuy Bro, kita bahas tenang aja di sini
Gaming terpopuler waktu ini satu-satunya di Indonesia hanya di pasti menyediakan return on Investment terbaik
Daftar dengan di :
Informasi mengenai KING SLOT, Segera Daftar Bersama king selot terbaik dan terpercaya no satu di Indonesia. Boleh mendaftar melalui sini king slot serta memberikan hasil kembali yang paling tinggi saat sekarang ini hanyalah KING SLOT atau Raja slot paling gacor, gilak dan gaco saat sekarang di Indonesia melalui program return tinggi di kingselot serta pg king slot
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
situs slot terbaru
situs slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
slot terbaru
slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
matahari88slot permainan paling top dan garansi imbal balik hasil besar bersama matahari88slot.com
mama88 permainan paling top dan garansi imbal balik hasil besar bersama mama88.asia
loker88 permainan paling top dan garansi imbal balik hasil besar bersama loker88.biz
line88 permainan paling top dan garansi imbal balik hasil besar bersama line88.social
lelang88 permainan paling top dan garansi imbal balik hasil besar bersama lelang88.asia
legend88 permainan paling top dan garansi imbal balik hasil besar bersama legend88.org
laundry 88 permainan paling top dan garansi imbal balik hasil besar bersama laundry88.org
laundry 88 permainan paling top dan garansi imbal balik hasil besar bersama laundry88.net
kota88 permainan paling top dan garansi imbal balik hasil besar bersama kota88.asia
kawat88 permainan paling top dan garansi imbal balik hasil besar bersama kawat88.net
kakaotalk permainan paling top dan garansi imbal balik hasil besar bersama kakaotalk.pro
kaca88 permainan paling top dan garansi imbal balik hasil besar bersama kaca88.asia
jualbeli88 permainan paling top dan garansi imbal balik hasil besar bersama jualbeli88.com
indonesiafc88 permainan paling top dan garansi imbal balik hasil besar bersama indonesiafc88.com
indofood88 permainan paling top dan garansi imbal balik hasil besar bersama indofood88.com
guru88 permainan paling top dan garansi imbal balik hasil besar bersama guru88.asia
grabpay88 permainan paling top dan garansi imbal balik hasil besar bersama grabpay88.org
grab88 permainan paling top dan garansi imbal balik hasil besar bersama grab88.info
gopay88 permainan paling top dan garansi imbal balik hasil besar bersama gopay88.info
gold88 permainan paling top dan garansi imbal balik hasil besar bersama gold88.asia
gofood88 permainan paling top dan garansi imbal balik hasil besar bersama gofood88.com
gelas88 permainan paling top dan garansi imbal balik hasil besar bersama gelas88.info
eth88 permainan paling top dan garansi imbal balik hasil besar bersama eth88.org
emas88 permainan paling top dan garansi imbal balik hasil besar bersama emas88.biz
blockchain88 permainan paling top dan garansi imbal balik hasil besar bersama blockchain88.net
baik888 permainan paling top dan garansi imbal balik hasil besar bersama baik888.net
bagus888 permainan paling top dan garansi imbal balik hasil besar bersama bagus888.info
anorganik88 permainan paling top dan garansi imbal balik hasil besar bersama anorganik88.com
panen96 permainan paling top dan garansi imbal balik hasil besar bersama panen96.net
panen96 permainan paling top dan garansi imbal balik hasil besar bersama panen69.info
panen96 permainan paling top dan garansi imbal balik hasil besar bersama panen69.asia
selot permainan paling top dan garansi imbal balik hasil besar bersama selot.info
selot permainan paling top dan garansi imbal balik hasil besar bersama selot.asia
samsung88 permainan paling top dan garansi imbal balik hasil besar bersama samsung88.asia
raksasa88 permainan paling top dan garansi imbal balik hasil besar bersama raksasa88.info
iphone88 permainan paling top dan garansi imbal balik hasil besar bersama iphone88.asia
gm88 permainan paling top dan garansi imbal balik hasil besar bersama gm88.news
selot permainan paling top dan garansi imbal balik hasil besar bersama selot.biz
topdewa88 permainan paling top dan garansi imbal balik hasil besar bersama topdewa88.com
ebook88 permainan paling top dan garansi imbal balik hasil besar bersama ebook88.org
ebook88 permainan paling top dan garansi imbal balik hasil besar bersama ebook88.net
sensor88 permainan paling top dan garansi imbal balik hasil besar bersama sensor88.asia
mpo2288 permainan paling top dan garansi imbal balik hasil besar bersama mpo2288.net
lembaga88 permainan paling top dan garansi imbal balik hasil besar bersama lembaga88.net
inti88 permainan paling top dan garansi imbal balik hasil besar bersama inti88.biz
dokumen88 permainan paling top dan garansi imbal balik hasil besar bersama dokumen88.com
baik88 permainan paling top dan garansi imbal balik hasil besar bersama baik88.asia
bagus888 permainan paling top dan garansi imbal balik hasil besar bersama bagus888.asia
tiktok888 permainan paling top dan garansi imbal balik hasil besar bersama tiktok888.info
registrasi88 permainan paling top dan garansi imbal balik hasil besar bersama registrasi88.net
registrasi88 permainan paling top dan garansi imbal balik hasil besar bersama registrasi88.com
pstmi88 permainan paling top dan garansi imbal balik hasil besar bersama pstmi88.com
lionsclubs88 permainan paling top dan garansi imbal balik hasil besar bersama lionsclubs88.com
kompas88 permainan paling top dan garansi imbal balik hasil besar bersama kompas88.asia
jeruk333 permainan paling top dan garansi imbal balik hasil besar bersama jeruk333.com
james88 permainan paling top dan garansi imbal balik hasil besar bersama james88.net
fb888 permainan paling top dan garansi imbal balik hasil besar bersama fb888.site
detik888 permainan paling top dan garansi imbal balik hasil besar bersama detik888.asia
david88 permainan paling top dan garansi imbal balik hasil besar bersama david88.net
danautoba88 permainan paling top dan garansi imbal balik hasil besar bersama danautoba88.com
tebar88 permainan paling top dan garansi imbal balik hasil besar bersama tebar88.asia
slotbom777 permainan paling top dan garansi imbal balik hasil besar bersama slotbom777.asia
padi88 permainan paling top dan garansi imbal balik hasil besar bersama padi88.com
padi77 permainan paling top dan garansi imbal balik hasil besar bersama padi77.asia
muara88 permainan paling top dan garansi imbal balik hasil besar bersama muara88.asia
muara77 permainan paling top dan garansi imbal balik hasil besar bersama muara77.asia
maxwin777 permainan paling top dan garansi imbal balik hasil besar bersama maxwin777.asia
bigpot888 permainan paling top dan garansi imbal balik hasil besar bersama bigpot888.org
bigpot888 permainan paling top dan garansi imbal balik hasil besar bersama bigpot888.net
sumo88 permainan paling top dan garansi imbal balik hasil besar bersama sumo88.net
sumo77 permainan paling top dan garansi imbal balik hasil besar bersama sumo77.org
sumo77 permainan paling top dan garansi imbal balik hasil besar bersama sumo77.net
sjo88 permainan paling top dan garansi imbal balik hasil besar bersama sjo88.asia
sjo77 permainan paling top dan garansi imbal balik hasil besar bersama sjo77.asia
kudetabet88 permainan paling top dan garansi imbal balik hasil besar bersama kudetabet88.asia
kudeta99 permainan paling top dan garansi imbal balik hasil besar bersama kudeta99.asia
kudeta988 permainan paling top dan garansi imbal balik hasil besar bersama kudeta988.com
kudeta88 permainan paling top dan garansi imbal balik hasil besar bersama kudeta88.asia
fufufafa permainan paling top dan garansi imbal balik hasil besar bersama fufufafa.org
bahagia88 permainan paling top dan garansi imbal balik hasil besar bersama bahagia88.org
bahagia77 permainan paling top dan garansi imbal balik hasil besar bersama bahagia77.club
angin777 permainan paling top dan garansi imbal balik hasil besar bersama angin777.inf
sunda88 permainan paling top dan garansi imbal balik hasil besar bersama sunda88.org
slotcc88 permainan paling top dan garansi imbal balik hasil besar bersama slotcc88.com
poskobet88 permainan paling top dan garansi imbal balik hasil besar bersama poskobet88.com
nuri88 permainan paling top dan garansi imbal balik hasil besar bersama nuri88.asia
janjiwin88 permainan paling top dan garansi imbal balik hasil besar bersama janjiwin88.com
top99 permainan paling top dan garansi imbal balik hasil besar bersama top99.asia
top888 permainan paling top dan garansi imbal balik hasil besar bersama top888.info
terbaik99 permainan paling top dan garansi imbal balik hasil besar bersama terbaik99.com
terbaik88 permainan paling top dan garansi imbal balik hasil besar bersama terbaik88.asia
pornhub88 permainan paling top dan garansi imbal balik hasil besar bersama pornhub88.org
pornhub88 permainan paling top dan garansi imbal balik hasil besar bersama pornhub88.com
plastik88 permainan paling top dan garansi imbal balik hasil besar bersama plastik88.com
partai88 permainan paling top dan garansi imbal balik hasil besar bersama partai88.asia
panas88 permainan paling top dan garansi imbal balik hasil besar bersama panas88.info
minimal88 permainan paling top dan garansi imbal balik hasil besar bersama minimal88.net
minimal88 permainan paling top dan garansi imbal balik hasil besar bersama minimal88.com
merk88 permainan paling top dan garansi imbal balik hasil besar bersama merk88.net
merk88 permainan paling top dan garansi imbal balik hasil besar bersama merk88.com
