Cuộc chiến "trăm mô hình" trong lĩnh vực AI: Vấn đề kỹ thuật thay thế đổi mới thuật toán
Tháng trước, một cuộc "chiến tranh động vật" đã bùng nổ trong giới AI. Một bên là mô hình Llama do Meta phát hành, vì đặc tính mã nguồn mở nên được các nhà phát triển yêu thích. Bên kia là mô hình lớn có tên Falcon, sau khi ra mắt vào tháng 5 đã vượt qua Llama để đứng đầu bảng xếp hạng LLM mã nguồn mở.
Thú vị là, nhà phát triển Falcon là Viện Nghiên cứu Đổi mới Công nghệ của Các Tiểu vương quốc Ả Rập Thống nhất. Sau khi phiên bản 180B được phát hành, Bộ trưởng Trí tuệ Nhân tạo của Các Tiểu vương quốc Ả Rập Thống nhất đã được chọn vào danh sách 100 người có ảnh hưởng nhất trong lĩnh vực AI của tạp chí Time.
Ngày nay, chỉ cần có tiềm lực tài chính nhất định, các quốc gia và doanh nghiệp đều đang xây dựng mô hình ngôn ngữ lớn của riêng mình. Chỉ riêng các quốc gia Vùng Vịnh cũng không chỉ có một người chơi, Ả Rập Xê Út vừa mới mua hơn 3000 chip H100 cho các trường đại học trong nước để đào tạo LLM.
Đằng sau "cuộc chiến trăm mô hình" này là công lao của thuật toán Transformer. Năm 2017, Google đã công bố thuật toán Transformer trong bài báo "Attention Is All You Need", điều này đã trở thành điểm khởi đầu cho cơn sốt AI lần này. Tất cả các mô hình lớn sau đó, bao gồm cả các dòng GPT, đều được xây dựng dựa trên Transformer.
Transformer đã giải quyết vấn đề mà các mạng nơ-ron sớm gặp phải trong việc hiểu ngữ cảnh, nâng cao đáng kể hiệu suất huấn luyện và thúc đẩy AI bước vào kỷ nguyên mô hình lớn. Nó đã biến mô hình lớn từ nghiên cứu lý thuyết thành vấn đề kỹ thuật thuần túy - chỉ cần có đủ dữ liệu, sức mạnh tính toán và kiến trúc mô hình, bất kỳ công ty nào có khả năng kỹ thuật đều có thể xây dựng mô hình lớn.
Điều này cũng dẫn đến việc tốc độ đổi mới thuật toán cơ sở trong giới học thuật chậm lại, các yếu tố kỹ thuật như dữ liệu, sức mạnh tính toán, kiến trúc mô hình, v.v. trở thành những yếu tố then chốt trong cuộc đua AI. Có phân tích cho rằng, ngay cả sức cạnh tranh của GPT-4 cũng chủ yếu xuất phát từ các giải pháp kỹ thuật, nếu được mã nguồn mở, các đối thủ cạnh tranh sẽ nhanh chóng sao chép.
Tuy nhiên, việc gia nhập dễ dàng không có nghĩa là ai cũng có thể trở thành ông lớn trong thời đại AI. Dòng sản phẩm Llama của Meta đã trở thành tiêu chuẩn cho LLM mã nguồn mở, với một cộng đồng phát triển lớn mạnh. Còn về hiệu suất, GPT-4 vẫn đang dẫn đầu, các mô hình khác khó có thể theo kịp.
Năng lực cạnh tranh cốt lõi của mô hình lớn nằm ở việc xây dựng hệ sinh thái hoặc khả năng suy diễn thuần túy, chứ không chỉ là quy mô tham số. Khi cộng đồng mã nguồn mở ngày càng sôi động, hiệu suất của các LLM có thể sẽ đồng nhất.
Thách thức lớn hơn là mô hình lợi nhuận. Ngoại trừ một vài trường hợp, hầu hết các nhà cung cấp mô hình lớn đều phải đối mặt với vấn đề mất cân bằng nghiêm trọng giữa chi phí và doanh thu. Chi phí tính toán cao đã trở thành rào cản cho sự phát triển của ngành, trong khi các công ty phần mềm chưa tìm ra cách kiếm lợi rõ ràng sau khi đã chi một khoản chi phí khổng lồ.
Với sự gia tăng cạnh tranh đồng nhất và sự gia tăng của các mô hình mã nguồn mở, các nhà cung cấp mô hình lớn đơn thuần có thể phải đối mặt với áp lực lớn hơn. Trong tương lai, giá trị thực sự có thể không nằm ở chính mô hình, mà ở các ứng dụng và khả năng thương mại hóa của nó.
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
11 thích
Phần thưởng
11
5
Chia sẻ
Bình luận
0/400
SingleForYears
· 08-04 09:52
Người mới không hiểu những mô hình lớn này.
Xem bản gốcTrả lời0
OnChainDetective
· 08-04 09:43
Ả Rập Xê Út lại đang tích trữ chip hàng loạt... Liệu những chuyển tiền lớn mà tôi đã theo dõi ở Các Tiểu vương quốc Ả Rập Thống nhất thực sự có liên quan? Nguồn tài chính đứng sau thật đáng để khai thác.
AI百模大战: Mã nguồn mở崛起 Thuật toán创新让位工程实践
Cuộc chiến "trăm mô hình" trong lĩnh vực AI: Vấn đề kỹ thuật thay thế đổi mới thuật toán
Tháng trước, một cuộc "chiến tranh động vật" đã bùng nổ trong giới AI. Một bên là mô hình Llama do Meta phát hành, vì đặc tính mã nguồn mở nên được các nhà phát triển yêu thích. Bên kia là mô hình lớn có tên Falcon, sau khi ra mắt vào tháng 5 đã vượt qua Llama để đứng đầu bảng xếp hạng LLM mã nguồn mở.
Thú vị là, nhà phát triển Falcon là Viện Nghiên cứu Đổi mới Công nghệ của Các Tiểu vương quốc Ả Rập Thống nhất. Sau khi phiên bản 180B được phát hành, Bộ trưởng Trí tuệ Nhân tạo của Các Tiểu vương quốc Ả Rập Thống nhất đã được chọn vào danh sách 100 người có ảnh hưởng nhất trong lĩnh vực AI của tạp chí Time.
Ngày nay, chỉ cần có tiềm lực tài chính nhất định, các quốc gia và doanh nghiệp đều đang xây dựng mô hình ngôn ngữ lớn của riêng mình. Chỉ riêng các quốc gia Vùng Vịnh cũng không chỉ có một người chơi, Ả Rập Xê Út vừa mới mua hơn 3000 chip H100 cho các trường đại học trong nước để đào tạo LLM.
Đằng sau "cuộc chiến trăm mô hình" này là công lao của thuật toán Transformer. Năm 2017, Google đã công bố thuật toán Transformer trong bài báo "Attention Is All You Need", điều này đã trở thành điểm khởi đầu cho cơn sốt AI lần này. Tất cả các mô hình lớn sau đó, bao gồm cả các dòng GPT, đều được xây dựng dựa trên Transformer.
Transformer đã giải quyết vấn đề mà các mạng nơ-ron sớm gặp phải trong việc hiểu ngữ cảnh, nâng cao đáng kể hiệu suất huấn luyện và thúc đẩy AI bước vào kỷ nguyên mô hình lớn. Nó đã biến mô hình lớn từ nghiên cứu lý thuyết thành vấn đề kỹ thuật thuần túy - chỉ cần có đủ dữ liệu, sức mạnh tính toán và kiến trúc mô hình, bất kỳ công ty nào có khả năng kỹ thuật đều có thể xây dựng mô hình lớn.
Điều này cũng dẫn đến việc tốc độ đổi mới thuật toán cơ sở trong giới học thuật chậm lại, các yếu tố kỹ thuật như dữ liệu, sức mạnh tính toán, kiến trúc mô hình, v.v. trở thành những yếu tố then chốt trong cuộc đua AI. Có phân tích cho rằng, ngay cả sức cạnh tranh của GPT-4 cũng chủ yếu xuất phát từ các giải pháp kỹ thuật, nếu được mã nguồn mở, các đối thủ cạnh tranh sẽ nhanh chóng sao chép.
Tuy nhiên, việc gia nhập dễ dàng không có nghĩa là ai cũng có thể trở thành ông lớn trong thời đại AI. Dòng sản phẩm Llama của Meta đã trở thành tiêu chuẩn cho LLM mã nguồn mở, với một cộng đồng phát triển lớn mạnh. Còn về hiệu suất, GPT-4 vẫn đang dẫn đầu, các mô hình khác khó có thể theo kịp.
Năng lực cạnh tranh cốt lõi của mô hình lớn nằm ở việc xây dựng hệ sinh thái hoặc khả năng suy diễn thuần túy, chứ không chỉ là quy mô tham số. Khi cộng đồng mã nguồn mở ngày càng sôi động, hiệu suất của các LLM có thể sẽ đồng nhất.
Thách thức lớn hơn là mô hình lợi nhuận. Ngoại trừ một vài trường hợp, hầu hết các nhà cung cấp mô hình lớn đều phải đối mặt với vấn đề mất cân bằng nghiêm trọng giữa chi phí và doanh thu. Chi phí tính toán cao đã trở thành rào cản cho sự phát triển của ngành, trong khi các công ty phần mềm chưa tìm ra cách kiếm lợi rõ ràng sau khi đã chi một khoản chi phí khổng lồ.
Với sự gia tăng cạnh tranh đồng nhất và sự gia tăng của các mô hình mã nguồn mở, các nhà cung cấp mô hình lớn đơn thuần có thể phải đối mặt với áp lực lớn hơn. Trong tương lai, giá trị thực sự có thể không nằm ở chính mô hình, mà ở các ứng dụng và khả năng thương mại hóa của nó.