Chip Al do Groq phát triển khuấy đảo cộng đồng công nghệ

Nếu vận hành trên chip do Groq phát triển, tốc độ phản hồi của ChatGPT được cho là sẽ nhanh gấp 13 lần so với GPU Nvidia.

Các video chatbot trả lời người dùng “nhanh như chớp” được phát triển từ chip của Groq trên mạng xã hội đang lan truyền với tốc độ chóng mặt. Startup đứng sau những video này đã tuyên bố cung cấp “mô hình ngôn ngữ lớn nhất và nhanh nhất thế giới”. Một số thử nghiệm độc lập cũng đã chứng minh rằng Groq mang lại hiệu suất vượt trội.

Theo báo Gizmodo, tốc độ ấn tượng của chatbot Groq đang khiến cho mô hình AI Grok của Elon Musk bị nhòa mờ. Mặc dù có tên gần giống, Groq không cạnh tranh trực tiếp với chatbot của Elon Musk, Gemini của Google hoặc ChatGPT của OpenAI. Thực tế, Groq là một startup được thành lập vào năm 2016 tại California (Mỹ), chuyên phát triển chip AI cho xử lý ngôn ngữ (LPU). Họ đã tuyên bố rằng chip LPU của họ có tốc độ xử lý nhanh hơn GPU của Nvidia.

Theo Medium, trong ngành công nghiệp trí tuệ nhân tạo, GPU của Nvidia thường được xem là chuẩn mực để vận hành các mô hình AI. Tuy nhiên, sự xuất hiện của Groq có thể đang thay đổi tương lai của ngành này.

Sức mạnh của Groq

Một trong những thách thức trong cuộc đua phát triển trí tuệ nhân tạo hiện nay là tốc độ phản hồi. Các công ty như OpenAI và Google đều đang nỗ lực tăng tốc độ phản ứng của các hệ thống AI để có trải nghiệm nói chuyện tự nhiên hơn. Google cũng đã công bố rằng họ đã chỉnh sửa video trong buổi giới thiệu Genimi để làm cho nó trở nên “mượt mà” hơn.

Để giải quyết vấn đề trả lời trì trễ của các chatbot, Groq đã phát triển chip LPU giúp mô hình ngôn ngữ lớn có thể tăng tốc độ suy luận lên đến 500 token mỗi giây. Trong khi đó, Gemini Pro của Google và GPT-3.5 của OpenAI chỉ đạt khoảng 30-50 token mỗi giây.

Công ty nghiên cứu Artificial Analysis đã tiến hành thử nghiệm thực tế về tốc độ của Groq bằng cách chạy 8 mô hình AI trên các GPU phổ biến nhất hiện nay. Kết quả cho thấy rằng Groq vượt trội về độ trễ thấp và thời gian phản hồi nhanh. Sự chênh lệch hiệu suất lớn nhất được ghi nhận khi chạy mô hình Llama 2-70b của Meta.

Đặc biệt, trong một giây, chatbot chạy trên chip LPU của Groq có thể tạo ra 247 token, trong khi mô hình ChatGPT chạy trên nền tảng đám mây Azure của Microsoft chỉ đạt được 18 token mỗi giây. Điều này có nghĩa là nếu được triển khai trên chip LPU của Groq, ChatGPT sẽ hoạt động nhanh gấp 13 lần.

Trong một thử nghiệm khác, CEO của Groq, Jonathan Ross, đã hướng dẫn một người dẫn chương trình của CNN tại Mỹ trò chuyện bằng giọng nói với một chatbot AI ở bên kia địa cầu mà không gặp bất kỳ gián đoạn nào.

Công ty phân tích Artificial Analysis đã đánh giá rằng hiệu suất ấn tượng này có thể mở ra nhiều tiềm năng mới cho các mô hình ngôn ngữ lớn trong nhiều lĩnh vực khác nhau, gần như cho phép người dùng thực hiện các tác vụ theo thời gian thực.

Tác động của Groq đến ngành AI

Mỗi chip LPU của Groq hiện đang có giá khoảng 20.000 USD (khoảng 480 triệu đồng), tương đương với GPU A100 của Nvidia. Theo Medium, việc Groq ra mắt chip LPU đã đánh dấu một cột mốc mới so với GPU truyền thống trong việc xử lý các tác vụ ngôn ngữ.

Groq được đánh giá sẽ đối đầu trực tiếp với các tên tuổi lớn như Nvidia, AMD và Intel, đồng thời mở ra cơ hội cho việc phát triển các ứng dụng và mô hình trí tuệ nhân tạo mới. Hiệu suất vượt trội của chip LPU đã củng cố vị thế của Groq trong cuộc đua tăng tốc độ AI. Trong bối cảnh chatbot liên tục được phát triển và kích thước của các mô hình ngôn ngữ lớn ngày càng tăng, vai trò của chip LPU sẽ trở nên quan trọng hơn.

Ngoài ra, chip LPU của Groq có thể giúp các ứng dụng trí tuệ nhân tạo dễ dàng tiếp cận, mở ra khả năng tương tác theo thời gian thực với người dùng. Trí tuệ nhân tạo đang đứng trước một kỷ nguyên mới và có thể áp dụng rộng rãi trong các lĩnh vực doanh nghiệp và xã hội.

Thách thức với Groq

Chip LPU của Groq có khả năng chạy được trên hầu hết các mô hình ngôn ngữ lớn hiện nay. Tuy nhiên, chip này chỉ đạt hiệu suất tối đa trong việc xử lý các tác vụ liên quan đến suy luận chuỗi văn bản. Để đào tạo các mô hình, các công ty vẫn cần phải sử dụng GPU của Nvidia hoặc các chip tương tự.

Theo thông tin từ Reuters, Groq đang nỗ lực chiếm lĩnh thị phần từ Nvidia nhưng công ty vẫn phải cạnh tranh dữ dội với các đối thủ khác. GPU của Nvidia và TPU của Google từ lâu đã được các nhà phát triển và nhà nghiên cứu AI tin dùng. LPU của Groq sẽ phải chứng minh được sự đáng tin cậy và ổn định chứ không chỉ về hiệu suất và chi phí.

Groq đang phải đối mặt với một số nhầm lẫn vì có tên gần giống với Grok của Elon Musk. Ngoài ra, trong lĩnh vực trí tuệ nhân tạo còn có một công ty khác tên Grok Grime, chuyên sản xuất các sản phẩm đồ chơi tích hợp trí tuệ nhân tạo.

Tuy nhiên, các nhà phân tích cho rằng Groq vẫn có nhiều tiềm năng để tạo ra bước tiến lớn trong lĩnh vực trí tuệ nhân tạo. Sự xuất hiện ấn tượng của chip LPU có thể thu hút sự chú ý của những cá nhân có ảnh hưởng như Sam Altman, người đang tìm kiếm các giải pháp thay thế về chip AI.