"Pertarungan Seratus Model" di Bidang AI: Masalah Teknik Menggantikan Inovasi Algoritme
Bulan lalu, dunia AI meletus dengan "perang hewan". Di satu sisi ada model Llama yang diluncurkan oleh Meta, yang sangat disukai oleh para pengembang karena sifat open source-nya. Di sisi lain ada model besar bernama Falcon, yang setelah diluncurkan pada bulan Mei, mengalahkan Llama dan menduduki puncak daftar peringkat LLM open source.
Menariknya, pengembang Falcon adalah Institut Penelitian Inovasi Teknologi Uni Emirat Arab. Setelah peluncuran versi 180B, Menteri Kecerdasan Buatan Uni Emirat Arab terpilih sebagai 100 orang paling berpengaruh di bidang AI menurut majalah Time.
Saat ini, negara dan perusahaan dengan kekuatan finansial tertentu sedang membangun model bahasa besar mereka sendiri. Hanya di negara-negara Teluk, sudah ada lebih dari satu pemain, Arab Saudi baru saja membeli lebih dari 3000 chip H100 untuk universitas domestik guna melatih LLM.
Di balik "perang seratus model" ini, ada jasa algoritme Transformer. Pada tahun 2017, Google mempublikasikan algoritme Transformer dalam makalah "Attention Is All You Need", yang menjadi titik awal dari gelombang panas AI ini. Semua model besar setelah itu, termasuk seri GPT, dibangun berdasarkan Transformer.
Transformer mengatasi masalah pemahaman konteks yang sulit pada jaringan saraf awal, secara signifikan meningkatkan efisiensi pelatihan, dan mendorong AI memasuki era model besar. Ini mengubah model besar dari penelitian teoritis menjadi masalah rekayasa murni - selama ada cukup data, daya komputasi, dan arsitektur model, perusahaan mana pun yang memiliki kemampuan teknis dapat membangun model besar.
Ini juga menyebabkan perlambatan kecepatan inovasi algoritme dasar di dunia akademis, dengan elemen teknik seperti data, daya komputasi, dan arsitektur model menjadi kunci dalam kompetisi AI. Beberapa analisis berpendapat bahwa bahkan daya saing GPT-4 terutama berasal dari solusi teknik, dan jika open source, pesaing dapat segera menyalin.
Namun, kemudahan masuk tidak berarti setiap orang dapat menjadi raksasa di era AI. Seri Llama dari Meta telah menjadi patokan untuk LLM sumber terbuka, dengan komunitas pengembang yang besar. Sedangkan dalam hal kinerja, GPT-4 masih jauh unggul, model lain sulit untuk mengejarnya.
Kekuatan inti model besar terletak pada pembangunan ekosistem atau kemampuan inferensi murni, bukan hanya pada skala parameter. Dengan semakin aktifnya komunitas sumber terbuka, kinerja berbagai LLM mungkin akan cenderung serupa.
Tantangan yang lebih besar adalah model keuntungan. Dengan beberapa pengecualian, sebagian besar penyedia model besar menghadapi masalah ketidakseimbangan serius antara biaya dan pendapatan. Biaya komputasi yang tinggi telah menjadi hambatan bagi perkembangan industri, sementara perusahaan perangkat lunak, setelah mengeluarkan biaya besar, belum menemukan cara untuk menghasilkan keuntungan yang jelas.
Seiring dengan meningkatnya persaingan yang homogen dan semakin banyaknya model sumber terbuka, penyedia model besar yang murni mungkin menghadapi tekanan yang lebih besar. Di masa depan, nilai sejati mungkin tidak terletak pada model itu sendiri, tetapi pada skenario aplikasi dan kemampuan komersialnya.
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
10 Suka
Hadiah
10
5
Bagikan
Komentar
0/400
SingleForYears
· 17jam yang lalu
Pemula tidak mengerti model-model besar ini
Lihat AsliBalas0
OnChainDetective
· 17jam yang lalu
Arab Saudi kembali membeli chip dalam jumlah besar... Apakah transfer besar yang saya pantau sebelumnya dari Uni Emirat Arab benar-benar ada hubungannya? Sumber dana di baliknya layak untuk diselidiki lebih dalam.
AI百模大战: Sumber Terbuka崛起 Algoritme创新让位工程实践
"Pertarungan Seratus Model" di Bidang AI: Masalah Teknik Menggantikan Inovasi Algoritme
Bulan lalu, dunia AI meletus dengan "perang hewan". Di satu sisi ada model Llama yang diluncurkan oleh Meta, yang sangat disukai oleh para pengembang karena sifat open source-nya. Di sisi lain ada model besar bernama Falcon, yang setelah diluncurkan pada bulan Mei, mengalahkan Llama dan menduduki puncak daftar peringkat LLM open source.
Menariknya, pengembang Falcon adalah Institut Penelitian Inovasi Teknologi Uni Emirat Arab. Setelah peluncuran versi 180B, Menteri Kecerdasan Buatan Uni Emirat Arab terpilih sebagai 100 orang paling berpengaruh di bidang AI menurut majalah Time.
Saat ini, negara dan perusahaan dengan kekuatan finansial tertentu sedang membangun model bahasa besar mereka sendiri. Hanya di negara-negara Teluk, sudah ada lebih dari satu pemain, Arab Saudi baru saja membeli lebih dari 3000 chip H100 untuk universitas domestik guna melatih LLM.
Di balik "perang seratus model" ini, ada jasa algoritme Transformer. Pada tahun 2017, Google mempublikasikan algoritme Transformer dalam makalah "Attention Is All You Need", yang menjadi titik awal dari gelombang panas AI ini. Semua model besar setelah itu, termasuk seri GPT, dibangun berdasarkan Transformer.
Transformer mengatasi masalah pemahaman konteks yang sulit pada jaringan saraf awal, secara signifikan meningkatkan efisiensi pelatihan, dan mendorong AI memasuki era model besar. Ini mengubah model besar dari penelitian teoritis menjadi masalah rekayasa murni - selama ada cukup data, daya komputasi, dan arsitektur model, perusahaan mana pun yang memiliki kemampuan teknis dapat membangun model besar.
Ini juga menyebabkan perlambatan kecepatan inovasi algoritme dasar di dunia akademis, dengan elemen teknik seperti data, daya komputasi, dan arsitektur model menjadi kunci dalam kompetisi AI. Beberapa analisis berpendapat bahwa bahkan daya saing GPT-4 terutama berasal dari solusi teknik, dan jika open source, pesaing dapat segera menyalin.
Namun, kemudahan masuk tidak berarti setiap orang dapat menjadi raksasa di era AI. Seri Llama dari Meta telah menjadi patokan untuk LLM sumber terbuka, dengan komunitas pengembang yang besar. Sedangkan dalam hal kinerja, GPT-4 masih jauh unggul, model lain sulit untuk mengejarnya.
Kekuatan inti model besar terletak pada pembangunan ekosistem atau kemampuan inferensi murni, bukan hanya pada skala parameter. Dengan semakin aktifnya komunitas sumber terbuka, kinerja berbagai LLM mungkin akan cenderung serupa.
Tantangan yang lebih besar adalah model keuntungan. Dengan beberapa pengecualian, sebagian besar penyedia model besar menghadapi masalah ketidakseimbangan serius antara biaya dan pendapatan. Biaya komputasi yang tinggi telah menjadi hambatan bagi perkembangan industri, sementara perusahaan perangkat lunak, setelah mengeluarkan biaya besar, belum menemukan cara untuk menghasilkan keuntungan yang jelas.
Seiring dengan meningkatnya persaingan yang homogen dan semakin banyaknya model sumber terbuka, penyedia model besar yang murni mungkin menghadapi tekanan yang lebih besar. Di masa depan, nilai sejati mungkin tidak terletak pada model itu sendiri, tetapi pada skenario aplikasi dan kemampuan komersialnya.