Cách dùng Ollama để viết với AI riêng tư, ngoại tuyến
Cài Ollama, tải một mô hình, rồi đặt nhà cung cấp Ollama trong AI Shortcuts là http://localhost:11434 cùng tên mô hình. Văn bản ở lại trên máy bạn và không cần API key.
Từng bước
- 1
Cài Ollama
Tải Ollama từ ollama.com và cài đặt. Nó chạy một máy chủ cục bộ ở cổng 11434.
- 2
Tải mô hình
Trong terminal chạy: ollama pull llama3.1:8b (hoặc mô hình khác vừa với RAM của bạn).
- 3
Cấu hình nhà cung cấp
Mở AI Shortcuts → Settings → AI Providers, chọn Ollama (For Experts), đặt API Base URL là http://localhost:11434 và API Model là llama3.1:8b.
Settings → AI Providers → Ollama - 4
Thử một lệnh
Chọn văn bản, nhấn phím tắt và chạy Proofread. Yêu cầu chỉ đi tới chính máy của bạn.
ollama pull llama3.1:8b ollama run llama3.1:8b "hello" # kiểm tra nhanh
Mẹo
- Mô hình nhỏ chạy được trên máy yếu nhưng viết kém hơn. Thử mô hình lớn hơn nếu máy đủ bộ nhớ.
- Cài đặt “Time to keep the model loaded in memory in minutes” quyết định Ollama giữ mô hình trong bộ nhớ bao lâu giữa các yêu cầu.
- Có thể kết hợp: dùng Ollama cho văn bản riêng tư và mô hình đám mây cho việc khó, bằng cách đặt nhà cung cấp riêng cho từng lệnh.
Hỏi đáp
Có cần internet không?
Chỉ để tải Ollama và mô hình. Sau đó AI Shortcuts với Ollama chạy ngoại tuyến.
Có tốn phí không?
Không. Ollama và các mô hình mở miễn phí. Bạn dùng tài nguyên máy của mình.
Dùng LM Studio hoặc llama.cpp được không?
Được. Dùng nhà cung cấp OpenAI Compatible và trỏ base URL tới máy chủ cục bộ.
Tải AI Shortcuts
Miễn phí, mã nguồn mở cho Windows, macOS và Linux.