Cách sử dụng trợ lý AI ngoại tuyến Dolphin3 thay vì chatbot đám mây

Nhiều người đã sử dụng chatbot dựa trên đám mây từ lâu. Vì các mô hình ngôn ngữ lớn đòi hỏi sức mạnh tính toán đáng kể để chạy, nên về cơ bản chúng là lựa chọn duy nhất. Nhưng với LM Studio và các LLM lượng tử hóa, giờ đây bạn có thể chạy những mô hình tốt ngoại tuyến bằng phần cứng hiện có. Khởi đầu từ sự tò mò về AI cục bộ, giờ đây nó đã trở thành một giải pháp thay thế mạnh mẽ, không tốn kém, hoạt động mà không cần Internet và cho phép bạn kiểm soát hoàn toàn các tương tác AI của mình.

Sự thay đổi trở nên cấp thiết sau khi bạn tự mình trải nghiệm những gì xảy ra khi vô tình chia sẻ thông tin nhạy cảm với AI đám mây. Bạn có thể vô tình chia sẻ mã PIN của mình với ChatGPT trong một cuộc trò chuyện tưởng chừng như bình thường. Khoảnh khắc bất cẩn đó đã khiến bạn nhận ra mình đang coi AI đám mây như một cuốn sổ tay kỹ thuật số, mà không hề cân nhắc đến những vấn đề bảo mật. LM Studio khắc phục những vấn đề cơ bản này bằng cách đưa khả năng AI của LLM trực tiếp đến máy tính để bàn của bạn, loại bỏ cả rủi ro về quyền riêng tư và chi phí định kỳ.

LM Studio đã khắc phục sự phức tạp của AI cục bộ

Việc chạy các LLM cục bộ giờ đây dễ dàng hơn bao giờ hết!

Trước khi khám phá ra LM Studio, nhiều người đã dành vô số giờ vật lộn với các công cụ mã nguồn mở mới được xây dựng. Họ thường xuyên chìm đắm trong kho lưu trữ GitHub, đọc tài liệu kỹ thuật dài dòng, cấu hình các môi trường Python dường như bị lỗi sau mỗi lần cập nhật, và tìm kiếm những mô hình phù hợp trên trang Hugging Face của oobabooga. Ngay khi vừa thiết lập xong, các công cụ cơ bản lại bị lỗi thời hoặc trải qua những thay đổi lớn, buộc bạn phải bắt đầu lại toàn bộ quy trình.

LM Studio đã thay đổi hoàn toàn trải nghiệm này bằng cách đóng gói mọi thứ vào một ứng dụng desktop hoàn thiện, giúp việc tải xuống và chạy các mô hình ngôn ngữ lớn trở nên đơn giản như cài đặt bất kỳ phần mềm nào khác. Để chạy AI ngoại tuyến, bạn cần hai thứ: Một mô hình AI lượng tử hóa và một công cụ giao diện như LM Studio. Các mô hình lượng tử hóa là phiên bản nén của những mô hình AI đầy đủ, duy trì hầu hết các khả năng của chúng trong khi sử dụng ít tài nguyên máy tính hơn đáng kể. Thay vì cần phần cứng máy chủ đắt tiền, bạn có thể chạy các mô hình AI phức tạp trên một laptop thông thường với CPU tốt và 16GB RAM. Với LM Studio, thậm chí có thể chạy chatbot AI trên phần cứng cũ!

Một trong những mô hình lượng tử hóa được yêu thích khi sử dụng với LM Studio là Dolphin3. Không giống như các mô hình AI thông thường đi kèm với bộ lọc nội dung mở rộng, Dolphin3 được thiết kế để thực sự hữu ích mà không bị hạn chế tùy ý.

Khởi chạy Dolphin3 chỉ trong vài phút

Hướng dẫn khởi động nhanh chóng và dễ dàng

Việc thiết lập trợ lý AI ngoại tuyến không đòi hỏi nhiều chuyên môn kỹ thuật. Toàn bộ quá trình có thể mất khoảng 20 phút, phần lớn thời gian chỉ là chờ tải xuống hoàn tất.

Trước tiên, hãy tải xuống LM Studio từ trang web chính thức và cài đặt như bất kỳ ứng dụng thông thường nào. Phần mềm tương thích với Windows, Mac và Linux, đặc biệt là các máy Mac Apple Silicon hoạt động rất tốt trong những tác vụ suy luận AI loại này. Sau khi cài đặt, LM Studio sẽ mở ra một giao diện gọn gàng với thanh tìm kiếm để tìm kiếm mô hình.

Tìm kiếm "Dolphin3" và bạn sẽ thấy một số phiên bản khả dụng. Bạn nên bắt đầu với phiên bản tham số 8B nếu có 16GB RAM, hoặc phiên bản 3B nhỏ hơn cho máy tính có 8GB. Dung lượng tải xuống dao động từ 2GB đến 6GB, tùy thuộc vào phiên bản bạn chọn. LM Studio hiển thị chính xác dung lượng bộ nhớ cần thiết cho từng mô hình, giúp bạn không cần phải đoán mò về khả năng tương thích phần cứng.

Sau khi tải xuống hoàn tất, hãy vào giao diện Chat ở góc trên bên phải của thanh bên, sau đó nhấp vào nút Select a mô hình to load ở giữa phía trên cùng của cửa sổ. Các mô hình đã tải xuống sẽ hiển thị dưới dạng danh sách drop-down. Chọn Dolphin3 để bắt đầu load mô hình. Quá trình load mất khoảng 30 giây, sau đó bạn đã sẵn sàng để bắt đầu trò chuyện. Giao diện quen thuộc với bất kỳ ai đã sử dụng ChatGPT, với hộp tin nhắn ở cuối và lịch sử trò chuyện ở trên.

Khi hỏi Dolphin3 một câu hỏi, hiệu suất của nó khá tốt. Không nhanh như ChatGPT hay Claude, nhưng khá chấp nhận được. Như bạn thấy, Dolphin3 có thể trả lời trong khoảng 11 giây cho một câu trả lời khoảng 320 từ (453 token), giúp cuộc trò chuyện diễn ra mượt mà mà không hề có độ trễ đáng kể. Mọi thứ diễn ra cục bộ, vì vậy thời gian phản hồi luôn nhất quán bất kể kết nối Internet của bạn ra sao.

Khi kết thúc cuộc trò chuyện, bạn có thể nhấp vào nút Eject để xóa hoàn toàn Dolphin3 khỏi bộ nhớ. Thao tác này sẽ xóa ngay lập tức mọi dấu vết của cuộc trò chuyện và giải phóng tài nguyên hệ thống.

Không giống như các dịch vụ đám mây có thể lưu giữ lịch sử trò chuyện của bạn vô thời hạn, việc loại bỏ mô hình cho phép bạn kiểm soát hoàn toàn thời điểm các cuộc trò chuyện của mình bị xóa vĩnh viễn.

Tại sao mọi người thích sử dụng Dolphin3?

Nhanh chóng, riêng tư và có khả năng đáng ngạc nhiên

Đúng, nó sẽ không phải là một lựa chọn thay thế tuyệt vời cho ChatGPT cho những lập luận phức tạp hoặc những thông tin chi tiết mới nhất được kết nối web, nhưng nó bù đắp cho điều đó bằng những cách khác. Các cuộc trò chuyện nhạy cảm về quyền riêng tư đứng đầu danh sách này, nơi bạn có thể chia sẻ những suy nghĩ và mối quan tâm sâu sắc nhất của mình mà không phải lo lắng về chính sách lưu trữ dữ liệu hoặc giám sát của công ty. Điều này bao gồm những suy ngẫm cá nhân, các vấn đề về mối quan hệ hoặc những tình huống nhạy cảm tại nơi làm việc mà bạn sẽ không bao giờ tin tưởng vào các dịch vụ đám mây.

Hiện tại, có một số LLM ngoại tuyến khác mà bạn có thể thử, nhưng nhiều người vẫn gắn bó với Dolphin3 vì cách tiếp cận kiểm duyệt nội dung của nó. Là một mô hình không kiểm duyệt không có nghĩa là nó bỏ qua đạo đức hay bối cảnh. Vì nó được xây dựng dựa trên LLaMA, được đào tạo trên các tập dữ liệu lớn và đa dạng, nó vẫn phản ánh sự hiểu biết vững chắc về đúng và sai. "Không kiểm duyệt" đơn giản có nghĩa là nó có thể xử lý những chủ đề mà các mô hình khác có thể tránh, chẳng hạn như chính trị gây tranh cãi hoặc các sự kiện lịch sử nhạy cảm.

Không giống như nhiều trợ lý AI khác thường xuyên kiểm soát lời nói của bạn, Dolphin3 đưa ra những câu trả lời trung thực, thẳng thắn mà không có những hạn chế không cần thiết. Kết quả là cuộc trò chuyện giống như đang nói chuyện với một người bạn hiểu biết hơn là tương tác với một chatbot được "lọc" bởi doanh nghiệp. Bạn có thể đi sâu vào các chủ đề phức tạp và đặt những câu hỏi khó mà không bị nhắc nhở về vấn đề an toàn.

Mọi người cũng rất thích chức năng RAG mà LM Studio cung cấp với Dolphin3. Nó cho phép bạn phân tích các hợp đồng, tài liệu pháp lý và chính sách bảo mật có chứa thông tin nhạy cảm. Những tài liệu này thường bao gồm các điều khoản bí mật, điều khoản độc quyền hoặc dữ liệu cá nhân không nên được chia sẻ với các dịch vụ đám mây. Việc có một trợ lý AI có thể phân tích ngôn ngữ pháp lý phức tạp trong khi vẫn giữ mọi thứ cục bộ mang lại giá trị to lớn cho những người làm việc tự do và chủ doanh nghiệp nhỏ như tôi trong việc xử lý các tài liệu nhạy cảm.

Hỗ trợ lập trình ngắn gọn cũng hoạt động tốt, đặc biệt là để hỗ trợ gỡ lỗi nhanh hoặc giải thích các mẫu mã không quen thuộc. Mặc dù nhiều người sẽ không dựa vào AI cục bộ cho các dự án phát triển phức tạp, nhưng nó rất xuất sắc trong việc giải đáp các câu hỏi kỹ thuật cụ thể mà không để lộ mã độc quyền cho các máy chủ bên ngoài.

Cuối cùng, các tình huống khi đi du lịch cho thấy một lợi thế lớn khác của AI ngoại tuyến. Trong những chuyến đi dài, các buổi làm việc từ xa hoặc ở những khu vực có kết nối kém, việc có một trợ lý AI đầy đủ chức năng tỏ ra vô cùng hữu ích. Nhiều người đã sử dụng Dolphin3 để soạn thảo email, phân tích dữ liệu và giải quyết vấn đề khi hoàn toàn ngoại tuyến, điều không thể thực hiện được với các giải pháp dựa trên đám mây.

Nhiều người vẫn sử dụng AI dựa trên đám mây

Không thể từ bỏ hoàn toàn AI dựa trên đám mây, và thành thật mà nói, đó không phải là mục tiêu. Thực tế là, để chạy các mô hình thực sự mạnh mẽ, lựa chọn hợp lý duy nhất thực sự là sử dụng AI dựa trên đám mây. Nhiều người thích sử dụng Perplexity cho các nhiệm vụ nghiên cứu và kết nối web, nơi họ cần thông tin cập nhật và cơ sở kiến ​​thức rộng hơn. Các dịch vụ này vượt trội trong những nhiệm vụ đòi hỏi tài nguyên tính toán khổng lồ, dữ liệu thời gian thực hoặc đào tạo mới nhất.

Điều quan trọng là tìm ra sự cân bằng phù hợp giữa AI dựa trên đám mây và AI ngoại tuyến để đảm bảo quyền riêng tư, bảo mật tối đa và giảm thiểu sự phụ thuộc vào cơ sở hạ tầng. Nhiều người sử dụng dịch vụ đám mây khi cần các tính năng tiên tiến, tích hợp tìm kiếm trên web hoặc khi không có thông tin nhạy cảm. Đối với mọi thứ khác, đặc biệt là các cuộc trò chuyện liên quan đến dữ liệu cá nhân, thông tin độc quyền hoặc những tình huống cần đảm bảo tính khả dụng, hệ thống cục bộ sẽ được sử dụng.