Cách sử dụng các mô hình LM Studio trong Claude Code

LM Studio 0.4.1 giới thiệu endpoint /v1/messages tương thích với Anthropic. Điều này nghĩa là bạn có thể sử dụng các mô hình cục bộ của mình với Claude Code!

LM Studio và Claude Code

Trước tiên, hãy cài đặt LM Studio từ lmstudio.ai/download và thiết lập một mô hình.

Ngoài ra, nếu bạn đang chạy trên máy ảo hoặc trên máy chủ từ xa, hãy cài đặt llmster:

curl -fsSL https://lmstudio.ai/install.sh | bash

1. Khởi động máy chủ cục bộ của LM Studio

Đảm bảo LM Studio đang chạy với tư cách là máy chủ. Bạn có thể khởi động nó từ ứng dụng hoặc từ terminal:

lms server start --port 1234

2. Trỏ Claude Code đến LM Studio

Thiết lập các biến môi trường này để CLI của Claude có thể giao tiếp với máy chủ LM Studio cục bộ của bạn:

export ANTHROPIC_BASE_URL=http://localhost:1234
export ANTHROPIC_AUTH_TOKEN=lmstudio

3. Chạy Claude Code trong terminal

Từ terminal, sử dụng:

claude --model openai/gpt-oss-20b

Vậy là xong! Claude Code hiện đang sử dụng mô hình cục bộ của bạn.

Bạn nên bắt đầu với kích thước ngữ cảnh ít nhất là 25K token và tăng dần để có kết quả tốt hơn, vì Claude Code có thể khá nặng về ngữ cảnh.

Hoặc cách khác: Cấu hình Claude Code trong VS Code

Mở cài đặt VS Code của bạn:

"claudeCode.environmentVariables": [
  {
    "name": "ANTHROPIC_BASE_URL",
    "value": "http://localhost:1234"
  },
  {
    "name": "ANTHROPIC_AUTH_TOKEN",
    "value": "lmstudio"
  }
]

LM Studio 0.4.1 cung cấp endpoint /v1/messages tương thích với Anthropic. Điều này có nghĩa là bất kỳ công cụ nào được xây dựng cho API Anthropic đều có thể giao tiếp với LM Studio chỉ bằng cách thay đổi URL cơ sở.

Những gì được hỗ trợ

• API nhắn tin: Hỗ trợ đầy đủ cho endpoint /v1/messages
• Stream: Các sự kiện SSE bao gồm message_start, content_block_delta và message_stop
• Sử dụng công cụ: Gọi hàm hoạt động ngay lập tức

Ví dụ Python

Nếu bạn đang xây dựng công cụ của riêng mình, đây là cách sử dụng Anthropic Python SDK với LM Studio:

from anthropic import Anthropic

client = Anthropic(
    base_url="http://localhost:1234",
    api_key="lmstudio",
)

message = client.messages.create(
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": "Hello from LM Studio",
        }
    ],
    model="ibm/granite-4-micro",
)

print(message.content)

Khắc phục sự cố

Nếu bạn gặp sự cố:

1. Kiểm tra xem máy chủ có đang chạy không: Chạy lms status để xác minh máy chủ của LM Studio đang hoạt động
2. Kiểm tra cổng: Đảm bảo ANTHROPIC_BASE_URL sử dụng đúng cổng (mặc định: 1234)
3. Kiểm tra khả năng tương thích của mô hình: Một số mô hình hoạt động tốt hơn những mô hình khác đối với các tác vụ agentic