Nỗ lực “ép” AI rẻ hơn

QUÂN BẢO• 26/02/2024 11:00

Mỗi ngày, ChatGPT “ngốn” tới 700.000 USD tiền vận hành. Nhiều công ty đang tham vọng, nỗ lực ép con số này phải thấp xuống, và các nhà đầu tư cũng đang rất quan tâm.

>>ChatGPT lần đầu tiên được tích hợp sẵn trên ô tô

Với công nghệ AI, chi phí cao là trở ngại cực kỳ lớn. Một con chip AI của Nvidia đã có giá hơn 30.000 USD. Để vận hành ChatGPT, OpenAI phải bỏ ra chi phí đến 700.000 USD mỗi ngày. Với những con số kinh khủng như vậy, hiện nay chỉ những công ty lớn mới đủ tiềm lực phát triển và vận hành AI.

Bởi vì tình trạng ấy, rất nhiều công ty, startup đang cố gắng tìm cách giảm thiểu chi phí và tối đa hóa công nghệ AI. SqueezeBits là một trong số đó.

Trong vòng gọi vốn pre-Series A hồi tháng 1, SqueezeBits huy động được 2,5 tỷ won (gần 2 triệu USD). Họ từ chối công bố định giá, thế nhưng các nguồn tin cho biết SqueezeBits có giá trị rơi vào khoảng 15 triệu USD.

Những nhà đầu tư của vòng này có Kakao Venture (đơn vị kinh doanh đầu tư mạo hiểm của Kakao, một trong những công ty internet lớn nhất Hàn Quốc), Samsung Next (thuộc Samsung Electronics), Posco Venture Capital (thuộc tập đoàn thép Posco) và Postech Holdings (thuộc Đại học Khoa học Công nghệ Pohang).

Trước đó, trong phòng gọi vốn hạt giống năm 2022, SqueezeBits đã nhận được đầu tư 1 tỷ won từ D2 Startup Factory (do Naver hậu thuẫn) và Postech Holdings. Như vậy tổng cộng họ huy động được 3,5 tỷ vốn đầu tư.

Trong một đoạn phỏng vấn video, Justin Shin, cộng sự cấp cao tại Kakao Venture, cho biết họ không chỉ mong muốn các công ty sử dụng AI, mà còn hướng đến việc dân chủ hóa AI, lan truyền rộng rãi công nghệ này để có thể tạo ra thêm nhiều ứng dụng AI. Và trong các ứng dụng AI này, giới công nghệ luôn tìm cách tối thiểu chi phí và tối đa hiệu suất.

Với kỳ vọng ấy, SqueezeBits khẳng định họ có thể giảm thiểu chi phí bằng cách khiến các mô hình AI hoạt động hiệu quả hơn.

Trong một video phỏng vấn riêng biệt, CEO Kim Hyungjun của SqueezeBits cho biết nhiều công ty chưa thực sự tối ưu hóa toàn bộ mô hình.

Kim giải thích rằng trong một mô hình AI, số lượng tham số là thước đo quan trọng để đánh giá quy mô, thế nhưng chúng thường không tương thích với hiệu suất. Chẳng hạn, mô hình ngôn ngữ GPT-3 của OpenAI có 175 tỷ tham số, còn GPT-4 (phiên bản mới nhất của ChatGPT) có đến 1,7 nghìn tỷ tham số.

Thông thường trong các mô hình AI, có một số tham số và dữ liệu chẳng có tác dụng gì. Vậy nên về cơ bản SqueezeBits đang tìm cách loại bỏ dữ liệu vô dụng hoặc ít quan trọng hơn trong mô hình hoặc trong quá trình tính toán, từ đó có thể giảm chi phí tính toán và độ chiếm dụng bộ nhớ. Khi ấy, quá trình AI hoạt động sẽ nhanh hơn và ít tốn kém hơn.

Kim ước tính SqueezeBits có thể tạo ra một mô hình hoạt động nhanh hơn từ 3 đến 5 lần và giảm mức độ sử dụng bộ nhớ xuống 4 lần. Hồi tháng trước, họ đã ra mắt bộ công cụ phần mềm SaaS, hỗ trợ các công ty tối ưu hóa mô hình AI nguồn mở hoặc các mô hình ngôn ngữ lớn của riêng mình.

Tất nhiên SqueezeBits không phải là công ty duy nhất cung cấp các giải pháp tối ưu hóa mô hình AI.

Trên trường quốc tế, hai cái tên nổi bật về mảng này có OmniML, công ty trụ sở tại San Jose thành lập năm 2021, và Xnor.ai, công ty trụ sở tại Seattle thành lập năm 2017. OmniML từng nhận được đầu tư từ GGV Capital, Qualcomm Ventures, IMO Ventures, v.v. và đã được Nvidia mua lại hồi tháng 2. Còn Xnor.ai được Apple mua lại vào năm 2020 với giá 200 triệu USD.

Bên cạnh các startup dưới trướng Big Tech, thị trường còn có startup độc lập hoạt động trong mảng tối ưu hóa AI. Ví dụ Deci (Israel) với hậu thuẫn từ Insight Partner, một trong những nhà đầu tư công nghệ lớn nhất thế giới; hoặc Neural Magic (Massachusetts) với khoản đầu tư từ Andreessen Horowitz và NEA.

Tại thị trường Hàn Quốc, đối thủ cạnh tranh nổi bật trong nước của SqueezBits có Nota. Startup này từng huy động được 14,7 triệu USD trong Series B năm 2021 với các nhà đầu tư đến từ Stonebridge Ventures và Company K Partners.

Trước sự cạnh tranh ấy, Kim cho biết mình không bối rối. Anh nhận định phần cứng luôn phát triển chậm hơn phần mềm. Hay nói cách khác, khi thuật toán AI phát triển chóng mặt thì chắc chắn quy mô mô hình và phần cứng vẫn chưa thể đáp ứng nổi. Và đó là nơi mà những nhà cung cấp giải pháp tối ưu AI như SqueezeBits có thể phát huy công dụng.