Orion là mô hình AI chủ lực của OpenAI, dự kiến ra mắt cuối năm. Tuy nhiên, các nguồn tin nội bộ đã dùng thử mô hình nói với The Information rằng Orion không thực sự đột phá, "chỉ được cải thiện vừa phải" so với GPT-4.
Orion cũng sẽ không được nâng cấp nhiều về các tác vụ mã hóa, vốn là điểm yếu trên các mô hình GPT của OpenAI. Dù quá trình đào tạo chưa hoàn tất và công ty của Sam Altman vẫn liên tục bổ sung tính năng để tăng hiệu suất, những người đã trải nghiệm đánh giá nó sẽ không tạo ra sự phấn khích như những gì thế hệ GPT-4 đã làm được so với GPT-3.
OpenAI chưa đưa ra bình luận.
Giao diện website OpenAI. Ảnh: Bảo Lâm
Trước đó, theo The Verge, OpenAI có kế hoạch ra mắt Orion vào tháng 12. AI này được đánh giá mạnh hơn GPT-4 tới 100 lần, hoạt động tách biệt với mô hình lý luận o1 mà OpenAI phát hành vào tháng 9. Mục tiêu của công ty là kết hợp các LLM của mình để tạo nên siêu trí tuệ nhân tạo AGI.
Theo Business Insider, dù OpenAI vẫn còn thời gian để cải tiến Orion trước khi ra mắt, thông tin từ The Information có thể xem là dấu hiệu cho thấy các thế hệ mô hình ngôn ngữ lớn (LLM) trong tương lai sẽ "kém ấn tượng" hơn sau mỗi thế hệ. Có hai lý do khiến điều này xảy ra.
Thứ nhất, dữ liệu dùng để đào tạo AI ngày càng khó tìm, còn kho dữ liệu trực tuyến gần như đã bị khai thác hết, từ đó có thể gây ra sự trùng lặp. Thời gian qua, các công ty AI đã thu thập một lượng lớn dữ liệu do con người tạo ra, như văn bản, video, bài nghiên cứu, tiểu thuyết... để đào tạo mô hình. Thống kê của Epoch AI công bố hồi tháng 6 cho thấy đến năm 2028, dữ liệu văn bản cho AI sẽ bị cạn kiệt.
Đến nay, các công ty đang cố gắng khắc phục hạn chế bằng cách chuyển sang dữ liệu tổng hợp do chính AI tạo ra, nhưng điều đó cũng đi kèm với các vấn đề. Ion Stoica, đồng sáng lập kiêm CEO công ty phần mềm doanh nghiệp Databricks, cho rằng "dữ liệu thực tế" hữu ích hơn dữ liệu tổng hợp. Do đó, đối với các câu hỏi về kiến thức chung, hiệu suất của các chương trình LLM sẽ bị "trì trệ" theo thời gian.
Sức mạnh tính toán của AI cũng không phải là vô hạn. Trong cuộc hỏi đáp Ask me Anything trên Reddit tháng trước, Altman thừa nhận OpenAI phải đối mặt với "rất nhiều hạn chế và quyết định khó khăn" về việc phân bổ tài nguyên tính toán.
Theo giáo sư Gary Marcus của Đại học New York, một nhà phê bình về sự cường điệu của AI, sự phát triển của trí tuệ nhân tạo chắc chắn sẽ chạm đến giới hạn. Trong đó, ông nhận thấy các công ty về AI đang có dấu hiệu "đạt đến điểm lợi nhuận giảm dần".
Ilya Sutskever, đồng sáng lập của OpenAI và hiện là người đứng đầu Safe Superintelligence, cũng đưa ra khái niệm tương tự. Ngày 11/11, ông nói với Reuters rằng kết quả từ việc mở rộng quy mô đào tạo AI hiện đã đạt đến mức ổn định, dù vấn đề này vẫn có tầm quan trọng hơn bao giờ hết.
Dario Amodei, CEO của Anthropic, đánh giá chi phí đào tạo các mô hình AI sẽ tăng vọt, thậm chí vượt ngưỡng 100 tỷ USD. Trong các chia sẻ trước đây, Altman nói chi phí đào tạo GPT-4 là hơn 100 triệu USD. "Chúng ta vẫn phải chờ xem một mô hình AI có thể thông minh đến mức nào khi được đầu tư nhiều vốn như vậy", Amodei nhận định.
Dù vậy, một số khác vẫn lạc quan công khai về tiềm năng mở rộng quy mô của AI. Trong podcast của Sequoia Capital hồi tháng 7, Kevin Scott, Giám đốc công nghệ của Microsoft, đã bác bỏ những lo ngại rằng việc phát triển AI đã đạt đến đỉnh điểm.
Ngoài ra, một số chuyên gia cũng đánh giá phần lớn ngành công nghiệp AI vẫn kiên định với niềm tin rằng việc mở rộng quy mô là động lực thúc đẩy hiệu suất AI. Dù vậy, nó sẽ đồng nghĩa với việc hàng tỷ USD tiếp tục được đổ vào lĩnh vực này.
Bảo Lâm
