EnglishCác công ty trí tuệ nhân tạo như OpenAI đang tìm cách vượt qua những trì hoãn và thách thức không ngờ trong việc phát triển các mô hình ngôn ngữ lớn hơn bằng cách phát triển các kỹ thuật huấn luyện sử dụng các phương pháp gần giống với cách “suy nghĩ” của con người.
Một nhóm gồm 12 nhà khoa học AI, các nhà nghiên cứu và nhà đầu tư đã nói với Reuters rằng họ tin rằng các kỹ thuật này, nằm sau mô hình o1 mà OpenAI mới ra mắt, có thể thay đổi cuộc đua AI và có tác động đến loại tài nguyên mà các công ty AI cần, từ năng lượng đến các loại chip. OpenAI đã từ chối bình luận về câu chuyện này.
Sau khi phát hành chatbot ChatGPT nổi tiếng cách đây hai năm, các công ty công nghệ, mà giá trị đã tăng mạnh nhờ vào sự bùng nổ AI, đã công khai khẳng định rằng “mở rộng” các mô hình hiện tại thông qua việc thêm dữ liệu và sức mạnh tính toán sẽ liên tục cải thiện các mô hình AI.
Tuy nhiên, giờ đây, một số nhà khoa học AI nổi bật nhất đang lên tiếng về những hạn chế của triết lý “càng lớn càng tốt”. Ilya Sutskever, đồng sáng lập các phòng thí nghiệm AI Safe Superintelligence (SSI) và OpenAI, gần đây đã nói với Reuters rằng kết quả từ việc mở rộng huấn luyện trước – giai đoạn huấn luyện mô hình AI sử dụng một lượng lớn dữ liệu chưa gán nhãn để hiểu các mẫu ngôn ngữ và cấu trúc – đã đạt đến mức trần.
Sutskever được công nhận rộng rãi là người đi đầu trong việc đạt được những bước nhảy vọt lớn trong sự tiến bộ của AI sinh tạo thông qua việc sử dụng nhiều dữ liệu và sức mạnh tính toán trong huấn luyện trước, điều này cuối cùng đã tạo ra ChatGPT. Sutskever đã rời OpenAI vào đầu năm nay để thành lập SSI.
“Những năm 2010 là thời kỳ mở rộng, giờ chúng ta lại trở lại với thời kỳ kỳ diệu và khám phá. Mọi người đều đang tìm kiếm điều gì đó tiếp theo” Sutskever nói. “Việc mở rộng điều đúng đắn quan trọng hơn bao giờ hết.”
Sutskever từ chối chia sẻ thêm chi tiết về cách nhóm của ông đang giải quyết vấn đề này, ngoài việc nói rằng SSI đang làm việc với một phương pháp thay thế để mở rộng huấn luyện trước.
Ở hậu trường, các nhà nghiên cứu tại các phòng thí nghiệm AI lớn đã gặp phải trì hoãn và kết quả thất vọng trong cuộc đua phát hành một mô hình ngôn ngữ lớn vượt trội hơn mô hình GPT-4 của OpenAI, đã gần hai năm tuổi, theo ba nguồn tin quen thuộc với các vấn đề riêng tư. Các “chạy huấn luyện” cho các mô hình lớn có thể tốn hàng chục triệu đô la khi chạy đồng thời hàng trăm chip.
Chúng dễ gặp phải sự cố phần cứng do hệ thống phức tạp; các nhà nghiên cứu có thể không biết hiệu suất cuối cùng của các mô hình cho đến khi kết thúc quá trình, có thể kéo dài hàng tháng.
Một vấn đề khác là các mô hình ngôn ngữ lớn tiêu tốn rất nhiều dữ liệu, và các mô hình AI đã cạn kiệt tất cả dữ liệu dễ tiếp cận trên thế giới. Các thiếu hụt năng lượng cũng đã cản trở các “chạy huấn luyện”, vì quá trình này cần rất nhiều năng lượng.
Để vượt qua những thách thức này, các nhà nghiên cứu đang khám phá “tính toán thời gian kiểm tra”, một kỹ thuật cải thiện các mô hình AI hiện có trong giai đoạn “suy luận”, hay khi mô hình đang được sử dụng.
Ví dụ, thay vì ngay lập tức chọn một câu trả lời duy nhất, một mô hình có thể tạo ra và đánh giá nhiều khả năng trong thời gian thực, cuối cùng chọn con đường tốt nhất.
Phương pháp này cho phép các mô hình dành nhiều sức mạnh tính toán hơn cho các nhiệm vụ khó khăn như toán học, lập trình hoặc các phép toán phức tạp đòi hỏi sự lý luận và quyết định giống như con người.
“Thực tế là việc để một bot suy nghĩ chỉ trong 20 giây trong một ván bài poker đã đạt được hiệu suất tăng trưởng giống như việc mở rộng mô hình lên 100.000 lần và huấn luyện nó lâu gấp 100.000 lần,” Noam Brown, một nhà nghiên cứu tại OpenAI, người đã làm việc trên o1, chia sẻ tại hội nghị TED AI ở San Francisco tháng trước.
OpenAI đã áp dụng kỹ thuật này vào mô hình mới của họ được gọi là “o1”, trước đây gọi là Q* và Strawberry, mà Reuters đã đưa tin lần đầu vào tháng 7. Mô hình O1 có thể “suy nghĩ” qua các vấn đề theo cách đa bước, tương tự như lý luận của con người.
Nó cũng sử dụng dữ liệu và phản hồi từ các tiến sĩ và chuyên gia ngành. Bí quyết của loạt mô hình o1 là một loạt huấn luyện khác được thực hiện trên các mô hình “cơ bản” như GPT-4, và công ty nói rằng họ có kế hoạch áp dụng kỹ thuật này với các mô hình cơ bản lớn hơn và mạnh mẽ hơn.
Cùng lúc đó, các nhà nghiên cứu tại các phòng thí nghiệm AI hàng đầu khác, từ Anthropic, xAI và Google DeepMind, cũng đang làm việc để phát triển phiên bản của họ về kỹ thuật này, theo năm người quen thuộc với những nỗ lực này.
“Chúng tôi thấy rất nhiều cơ hội dễ dàng có thể cải thiện những mô hình này nhanh chóng,” Kevin Weil, giám đốc sản phẩm của OpenAI, nói tại một hội nghị công nghệ vào tháng 10. “Khi mọi người bắt kịp, chúng tôi sẽ cố gắng đi trước ba bước nữa.”
Google và xAI không phản hồi yêu cầu bình luận và Anthropic cũng không có bình luận ngay lập tức.
Tác động có thể thay đổi bối cảnh cạnh tranh cho phần cứng AI, đến nay vẫn được thống trị bởi nhu cầu khổng lồ đối với các chip AI của Nvidia. Các nhà đầu tư mạo hiểm nổi bật, từ Sequoia đến Andreessen Horowitz, những người đã đổ hàng tỷ đô la vào việc phát triển các mô hình AI đắt đỏ tại nhiều phòng thí nghiệm AI bao gồm OpenAI và xAI, đang chú ý đến sự chuyển mình này và cân nhắc tác động của nó đối với các khoản đầu tư tốn kém của họ.
“Sự thay đổi này sẽ chuyển chúng ta từ một thế giới các cụm huấn luyện quy mô lớn sang các đám mây suy luận, tức là các máy chủ phân tán, dựa trên đám mây cho suy luận,” Sonya Huang, đối tác tại Sequoia Capital, nói với Reuters.
Nhu cầu đối với các chip AI của Nvidia, vốn là những chip tiên tiến nhất, đã thúc đẩy sự phát triển của công ty này, đưa nó trở thành công ty giá trị nhất thế giới, vượt qua Apple vào tháng 10. Không giống như các chip huấn luyện, nơi Nvidia thống trị, ông lớn chip này có thể đối mặt với nhiều cạnh tranh hơn trong thị trường suy luận.
Khi được hỏi về tác động có thể có đối với nhu cầu đối với sản phẩm của mình, Nvidia chỉ ra các bài thuyết trình gần đây của công ty về tầm quan trọng của kỹ thuật đằng sau mô hình o1. Giám đốc điều hành Jensen Huang đã nói về nhu cầu ngày càng tăng trong việc sử dụng các chip của họ cho suy luận.
“Chúng tôi giờ đã phát hiện ra một quy luật mở rộng thứ hai, và đây là quy luật mở rộng trong thời gian suy luận…Tất cả các yếu tố này đã dẫn đến nhu cầu đối với Blackwell cao một cách đáng kinh ngạc,” Huang nói vào tháng trước tại một hội nghị ở Ấn Độ, ám chỉ đến chip AI mới nhất của công ty.
Tác giả: Krystal Hu và Anna Tong
Nguồn: Reuters
Thứ ba, 12/11/2024, 06:30 (giờ Anh)
>>> Xem thêm: OpenAI huy động 6,6 tỷ USD với khoản đầu tư từ Microsoft và Nvidia
