Bạn thích ý tưởng về AI, nhưng ước gì bạn có thể sử dụng nó mà không cần phải tin tưởng vào một máy chủ lớn nào đó ở đâu đó? Bạn có thể chạy các mô hình ngôn ngữ lớn cục bộ, cung cấp cho bạn thứ gì đó như ChatGPT hoạt động hoàn toàn ngoại tuyến.
Jan là một ứng dụng mã nguồn mở miễn phí giúp bạn dễ dàng tải xuống nhiều mô hình ngôn ngữ lớn và bắt đầu trò chuyện với họ. Có các trình cài đặt đơn giản cho Windows, macOS và Linux. Bây giờ, điều này không hoàn hảo. Các mô hình này không nhất thiết phải tốt như các mô hình mới nhất của OpenAI hoặc Google và tùy thuộc vào mức độ mạnh mẽ của máy tính của bạn, có thể phải mất một thời gian mới có kết quả. Tuy nhiên, mặt khác, bạn có thể sử dụng công nghệ này mà không cần phải phải lo lắng về những lo ngại về quyền riêng tư và bảo mật khi sử dụng dịch vụ AI trực tuyến.
Tín dụng: Justin Pot
Sau khi cài đặt Jan, bạn sẽ cần chọn một kiểu máy—nếu bạn không biết kiểu nào, tôi sẽ bắt đầu với Mistral, ở đầu danh sách—bạn luôn có thể thử kiểu khác sau nếu bạn không thích kết quả . Ngay sau khi mô hình tải xuống, bạn có thể bắt đầu trò chuyện.
Bạn có thể cung cấp một số hướng dẫn chung cho bot ở bảng bên phải nếu muốn—mặc định là “bạn là một trợ lý hữu ích”, nhưng bạn có thể thay đổi nó thành bất cứ điều gì bạn thích để có thêm một chút ngữ cảnh. Sau đó, bạn có thể bắt đầu sử dụng dịch vụ giống như cách bạn làm với ChatGPT hoặc Google Gemini. Tôi thử yêu cầu tóm tắt nhanh một bài báo gần đây của tôi; nó đã làm một công việc tốt.
Tín dụng: Justin Pot
Một lần nữa, nếu bạn không thích kết quả hoặc thấy rằng việc nhận được kết quả mất quá nhiều thời gian, hãy thử một vài mô hình khác nhau. Tất cả chúng đều miễn phí và được tối ưu hóa cho những mục đích khác nhau: chẳng hạn, một số dành riêng cho các câu hỏi mã hóa và một số được tối ưu hóa để chạy trên máy tính không có nhiều sức mạnh CPU. Đó là vấn đề tìm kiếm những gì phù hợp nhất với bạn.
Và có một tính năng thú vị khác: nếu ứng dụng đang chạy, nó cũng có thể hoạt động như một API tương đương với OpenAI. Nếu bạn không biết điều này có nghĩa là gì, đừng lo lắng—đó là một điều rất kỳ quặc. Tuy nhiên, tóm lại, điều đó có nghĩa là bạn có thể sử dụng Jan trong các ứng dụng yêu cầu đăng ký ChatGPT trả phí — chỉ cần bật tính năng API trong cài đặt và trỏ các ứng dụng khác của bạn đến địa chỉ IP cục bộ và số cổng thay vì OpenAI.