Bạn có thể đã nhận thấy các công cụ AI tổng hợp như Google Gemini và ChatGPT đang thâm nhập vào hầu hết công nghệ mà chúng ta sử dụng hàng ngày. Những công cụ này dựa trên Mô hình ngôn ngữ lớn hoặc LLM khổng lồ: các mạng được đào tạo dựa trên lượng dữ liệu khổng lồ của con người để chúng có thể tạo ra văn bản hoặc hình ảnh thực tế hoặc video.
Tuy nhiên, bạn không cần ứng dụng đám mây để truy cập các LLM này—bạn cũng có thể chạy chúng trên máy tính của riêng mình. Bạn có thể hưởng lợi từ mọi thứ mà các mô hình này cung cấp khi ngoại tuyến và bạn cũng không cần phải chuyển lời nhắc và cuộc trò chuyện của mình cho những người như Google hoặc OpenAI.
Hiện Nvidia đã ra mắt ứng dụng LLM cục bộ của riêng mình—sử dụng sức mạnh của card đồ họa dòng RTX 30 và RTX 40—được gọi là Trò chuyện với RTX. Nếu bạn có một trong những GPU này, bạn có thể cài đặt một chatbot AI tổng quát ngay trên máy tính của mình và điều chỉnh nó theo nhu cầu của riêng bạn.
Làm thế nào để bắt đầu
Trước khi bắt đầu, hãy đảm bảo bạn đang chạy trình điều khiển mới nhất cho GPU Nvidia của mình—ứng dụng GeForce Experience trên PC sẽ giúp bạn thực hiện việc này—sau đó đi tới trang tải xuống Trò chuyện với RTX. Để chạy công cụ này, bạn cần có Windows 11, GPU dòng GeForce RTX 30/40 (hoặc GPU RTX Ampere hoặc Ada Generation có ít nhất 8GB VRAM) và RAM ít nhất 16GB.
Hãy nhớ rằng Nvidia gắn nhãn đây là một “ứng dụng demo”, điều mà chúng tôi cho rằng có nghĩa là nó chưa ở dạng hoàn thiện (và kết quả là bạn có thể gặp một số lỗi và trục trặc). Đây cũng là một bản tải xuống khổng lồ, dung lượng khoảng 35 GB, vì nó bao gồm một số LLM đi kèm—điều cần lưu ý nếu bạn bị giới hạn về dung lượng ổ đĩa hoặc tốc độ Internet. Công cụ cài đặt cũng mất một thời gian để hoàn thành tất cả các nhiệm vụ của nó.
Trò chuyện với RTX chạy từ PC của bạn.
Tín dụng: Lifehacker
Cuối cùng, bạn sẽ thấy ứng dụng Trò chuyện với RTX được thêm vào menu Bắt đầu của mình. Chạy nó và sau một lúc xử lý, giao diện chương trình sẽ bật lên trong trình duyệt web mặc định của bạn. Ở góc trên cùng bên trái, bạn có thể chọn mô hình AI nguồn mở mà bạn muốn sử dụng: Mistral hoặc Llama. Khi đã xong, bạn có thể bắt đầu gửi lời nhắc như với ChatGPT hoặc Google Gemini.
Nếu trước đây bạn đã sử dụng LLM, bạn sẽ biết những công cụ AI tổng hợp này có khả năng gì: Nhận trợ giúp soạn email, tài liệu, tin nhắn văn bản, v.v. hoặc đơn giản hóa các chủ đề phức tạp hoặc đặt câu hỏi mà bạn có thể chạy một tìm kiếm trên web (chẳng hạn như “trò chơi tiệc tùng hay dành cho bốn người lớn là gì?”).
Ứng dụng này cũng mở một cửa sổ nhắc lệnh.
Tín dụng: Lifehacker
Áp dụng các quy tắc bot AI tiêu chuẩn—hãy cố gắng cụ thể và chi tiết nhất có thể, đồng thời thận trọng với việc đặt quá nhiều niềm tin vào các câu trả lời bạn nhận được (đặc biệt vì đây là “bản demo”). Trò chuyện với RTX không thể tra cứu thông tin hiện tại trên web, vì vậy nó không thực sự phù hợp để đưa ra các câu trả lời cần cập nhật, nhưng nó sẽ luôn cố gắng và đưa ra câu trả lời cho bạn dựa trên hàng loạt văn bản trực tuyến mà nó đã có. Huân luyện vê.
Ở dưới cùng của giao diện, bạn có một nút để tạo phản hồi mới từ lời nhắc cuối cùng (nếu bạn không hài lòng với lời nhắc hiện tại), một nút hoàn tác (để quay lại lời nhắc trước đó), và nút xóa trò chuyện, thao tác này sẽ xóa lịch sử cuộc trò chuyện của bạn để bạn có thể bắt đầu lại. Hiện tại, không có cách nào để xuất câu trả lời ngoài việc sao chép và dán văn bản.
Thêm dữ liệu của riêng bạn và video YouTube
Ngay cả ở dạng ban đầu này, Trò chuyện với RTX có một số thủ thuật hữu ích, một trong số đó là khả năng đưa ra câu trả lời dựa trên tài liệu bạn cung cấp: Có thể là nghiên cứu có giá trị trong một tuần hoặc một loạt báo cáo bạn cần phân tích hoặc thậm chí tất cả của fanfic bạn đang viết. Bên dưới Tập dữ liệu tiêu đề, chọn Đường dẫn thư mụcsau đó hướng chương trình tới thư mục chứa tài liệu bạn muốn sử dụng.
Ứng dụng sẽ quét thư mục mà bạn đã trỏ tới—việc này có thể mất một hoặc hai phút nếu có nhiều tệp trong đó—và sau đó bạn có thể thoải mái bắt đầu nhập các truy vấn của mình. Bot sẽ quét văn bản để tìm câu trả lời thích hợp, sau đó đặt tên cho (các) tệp được sử dụng ở cuối câu trả lời. Bạn có thể yêu cầu tóm tắt, kiểm tra thông tin hoặc yêu cầu bot tạo văn bản mới dựa trên văn bản bạn đã cung cấp.
Trò chuyện với RTX cũng có thể hoạt động với các tệp của riêng bạn.
Tín dụng: Lifehacker
Một lần nữa, xin nhắc lại, đây là phiên bản đầu tiên của một công nghệ được cho là có độ chính xác dưới 100%—đó chưa phải là thứ bạn muốn làm cơ sở cho các quyết định của hội đồng quản trị. Tuy nhiên, thật thú vị khi sử dụng LLM có thể hoạt động từ các tài liệu bạn cung cấp, cho dù đó là bản ghi cuộc phỏng vấn hay tập thơ.
Nói về bản ghi, Chat with RTX cũng có thể phân tích các video trên YouTube và đưa ra phản hồi dựa trên chúng thông qua bản ghi được liên kết với các clip. (Dựa trên thử nghiệm mà chúng tôi đã thực hiện, nó có thể tự động tạo bản ghi cho những video chưa có bản ghi đó.) Tính năng này thậm chí còn hoạt động với toàn bộ danh sách phát YouTube, vì vậy bạn có thể để chương trình chạy qua toàn bộ loạt clip cùng một lúc thời gian.
Bạn cũng có thể hướng chương trình tới các video trên YouTube.
Tín dụng: Lifehacker
Lựa chọn URL YouTube làm tập dữ liệu, sau đó dán địa chỉ của video hoặc danh sách phát vào hộp bên dưới. Nếu đang làm việc với danh sách phát, bạn có thể chỉ định số lượng video bạn muốn đưa vào danh sách phát đó vào hộp bên phải. Cuối cùng, hãy nhấp vào nút tải xuống ở ngoài cùng bên phải và Trò chuyện với RTX sẽ tải xuống và xử lý văn bản bản ghi, sẵn sàng cho bất kỳ lời nhắc nào bạn có thể có.
Giống như tính năng quét tài liệu, tính năng này có thể hữu ích để nhận các bản tóm tắt hoặc chọn ra các thông tin quan trọng, nhưng chúng tôi nhận thấy đây là phần có nhiều lỗi nhất trong chương trình để sử dụng—một chương trình, công bằng mà nói, được gắn nhãn là phiên bản 0.2. Ứng dụng đôi khi nhầm lẫn về video mà chúng tôi đang đề cập đến nhưng nếu bạn cần câu trả lời nhanh về các video dài và danh sách phát mà bạn không có thời gian xem thì Trò chuyện với RTX có thể là một công cụ hữu ích để thử.