Wu Dao 2.0 của Trung Quốc có kích thước gần gấp mười lần GPT-3 của Open AI của Mỹ

Khi mô hình GPT-3 của Open AI ra mắt lần đầu tiên vào tháng 5 năm 2020, hiệu suất của nó được nhiều người coi là một tác phẩm nghệ thuật theo đúng nghĩa đen. Có khả năng tạo ra văn bản không thể thấy rõ từ do con người viết ra, GPT-3 đã thiết lập một tiêu chuẩn mới trong học sâu.

Các nhà nghiên cứu từ Học viện Trí tuệ Nhân tạo Bắc Kinh (BAAI) đã công bố về việc phát hành mô hình mô hình xử lý ngôn ngữ tự nhiên Wu Dao 2.0, một trí tuệ nhân tạo (AI) khổng lồ dường như có khả năng làm mọi thứ mà GPT-3 có thể làm và hơn thế nữa.

Đầu tiên, Wu Dao có thiết kế khổng lồ. Nó được đào tạo dựa trên 1,75 nghìn tỷ tham số cấu thành (về cơ bản, hệ số tự chọn của mô hình), lớn hơn gấp 10 lần so với 175 tỷ tham số của GPT-3 đã được đào tạo và so với 150 tỷ tham số của Switch Transformers từ Google.

Tham số là các biến được xác định bởi các mô hình học máy. Khi mô hình phát triển, các tham số được tinh chỉnh thêm để cho phép thuật toán trở nên tốt hơn trong việc tìm ra kết quả chính xác theo thời gian. Khi một mô hình được đào tạo trên một tập dữ liệu cụ thể, chẳng hạn như các mẫu giọng nói của con người, kết quả sau đó có thể được áp dụng để giải quyết các vấn đề tương tự.

Nói chung, một mô hình càng chứa nhiều thông số thì nó càng phức tạp. Tuy nhiên, việc tạo ra một mô hình phức tạp hơn đòi hỏi thời gian, tiền bạc và các nghiên cứu đột phá.

Wu Dao 2.0 ra mắt chỉ 3 tháng sau khi phiên bản 1.0 phát hành vào tháng 3 - các nhà nghiên cứu của BAAI lần đầu tiên phát triển một hệ thống học tập mã nguồn mở tương tự như Mixture of Experts của Google, được đặt tên là FastMoE. Hệ thống này, có thể hoạt động trên PyTorch, cho phép mô hình được đào tạo cả trên các cụm siêu máy tính và GPU thông thường. Điều này giúp FastMoE linh hoạt hơn hệ thống của Google vì FastMoE không yêu cầu phần cứng độc quyền như TPU của Google và do đó có thể chạy trên phần cứng có sẵn của các cụm siêu máy tính.

Các nhà nghiên cứu của BAAI đã chứng minh khả năng của Wu Dao trong việc thực hiện các nhiệm vụ xử lý ngôn ngữ tự nhiên, tạo văn bản, nhận dạng hình ảnh và tạo hình ảnh trong hội nghị thường niên của phòng thí nghiệm.

Mô hình này không chỉ có thể viết các bài luận, bài thơ và câu đối bằng tiếng Trung truyền thống mà còn có thể tạo văn bản thay thế dựa trên hình ảnh tĩnh và tạo ra hình ảnh gần như chân thực dựa trên mô tả ngôn ngữ tự nhiên. Wu Dao cũng thể hiện khả năng cung cấp năng lượng cho thần tượng ảo (với sự trợ giúp nhỏ từ Microsoft-spinoff XiaoIce) và dự đoán cấu trúc 3D của các protein như AlphaFold.

Tiến sĩ Zhang Hongjiang, chủ tịch BAAI, cho biết: “Những gì chúng tôi đang xây dựng là một nhà máy điện cho tương lai của AI, với dữ liệu khổng lồ, sức mạnh tính toán lớn và các mô hình lớn, chúng tôi có thể chuyển đổi dữ liệu để cung cấp năng lượng cho các ứng dụng AI trong tương lai”.

Trung Quốc và Mỹ hiện đang trong cuộc chạy đua sản xuất thế hệ công nghệ phức tạp. Trung Quốc đã tụt hậu trong các lĩnh vực có tầm quan trọng chiến lược, nhưng chính phủ vẫn đang dồn nguồn lực vào các công nghệ mới bao gồm AI, 5G và chất bán dẫn để giúp thu hẹp khoảng cách với đối thủ, với các mức độ thành công khác nhau.

BAAI được tài trợ bởi chính phủ Bắc Kinh, đã đầu tư 340 triệu nhân dân tệ (53,3 triệu USD) vào học viện chỉ trong năm 2018 và 2019, cam kết tiếp tục hỗ trợ, một quan chức Bắc Kinh cho biết trong một bài phát biểu năm 2019.

Mỹ có thể cũng nhận ra việc mình đang mất dần lợi thế cạnh tranh trong cuộc đua phát triển công nghệ. Tổng thống Mỹ ông Joe Biden yêu cầu Quốc hội hỗ trợ tăng 13,5 tỷ USD trong tổng chi tiêu liên bang cho nghiên cứu và phát triển. Đầu tháng này, một ủy ban của Thượng viện cũng đã thông qua Đạo luật Biên giới Vô tận, luật đang chờ phê duyệt sẽ cấp phép hơn 110 tỷ USD cho các nghiên cứu công nghệ cơ bản và nâng cao trong 5 năm.

Năm ngoái, chính quyền tiền nhiệm của cựu Tổng thống Mỹ Donald Trump đã tiết lộ kế hoạch đầu tư 1 tỷ USD vào AI và khoa học lượng tử.

Một báo cáo tháng 3 của Ủy ban An ninh Quốc gia Mỹ về AI, bao gồm cựu Giám đốc điều hành Google Eric Schmidt làm chủ tịch cùng với đại diện từ các công ty công nghệ lớn khác, đã xác định Trung Quốc là mối đe dọa tiềm tàng đối với quyền lực tối cao của AI của Mỹ.

Năm ngoái, tổ chức tư vấn Rand Corporation cũng cảnh báo rằng sự tập trung của Bắc Kinh vào AI đã giúp họ thu hẹp đáng kể khoảng cách với Mỹ, do “vị trí dẫn đầu khiêm tốn” của quốc gia này đối với lĩnh vực bán dẫn thống trị của họ.