LLM tốt nhất cho nhập vai 2025: Những yếu tố cần xem xét

Điều gì khiến một mô hình giỏi nhập vai

Hỏi xem LLM tốt nhất cho nhập vai 2025 là gì và bạn sẽ nhận được câu trả lời khác nhau từ mọi chủ đề diễn đàn, vì mọi người đánh giá cao những khía cạnh khác nhau. Thay vì chỉ ra một người chiến thắng mà tôi không thể xác minh, sẽ hữu ích hơn khi liệt kê các đặc điểm quyết định xem một phiên nhập vai có hoạt động hay không, sau đó kiểm tra bất kỳ mô hình nào dựa trên chúng.

• Sự sẵn sàng duy trì trong hư cấu. Một mô hình phá vỡ nhân vật để giảng đạo lý với bạn, hoặc từ chối một cảnh mà một nhà văn có thể viết, sẽ làm gián đoạn dòng chảy. Đây là lời phàn nàn phổ biến nhất về các trợ lý chung được sử dụng để kể chuyện.
• Bộ nhớ về cảnh. Tên, địa điểm, lời hứa và những vết thương cần tồn tại qua hàng chục lượt. Điều này phụ thuộc vào độ dài ngữ cảnh và cách bạn quản lý lịch sử.
• Giọng điệu nhất quán. Nhân vật nên có cùng giọng điệu ở lượt 80 như ở lượt 5.
• Chi phí và tốc độ mỗi lượt. Roleplay nghĩa là nhiều cuộc trao đổi ngắn. Một mô hình có chi phí thấp trên mỗi token cho phép bạn duy trì lịch sử dài.
• Kiểm soát. Nhiệt độ, hình phạt và các chuỗi dừng cho phép bạn điều chỉnh độ sáng tạo và ngăn mô hình viết các dòng thoại của nhân vật của bạn.

Không có mô hình đơn nào thắng tất cả năm tiêu chí. Các mô hình độc quyền lớn hơn thường viết văn bản trau chuốt hơn; hãy kiểm tra giá hiện tại và quy tắc nội dung của chúng và so sánh với cảnh thử nghiệm của bạn. Một mô hình trọng số mở được lưu trữ và tinh chỉnh để tránh từ chối nội dung đánh đổi một chút sự trau chuốt để lấy sự tự do và giá thấp.

API này cung cấp gì cho nhập vai

Dịch vụ này cung cấp một mô hình thông qua API tương thích OpenAI, do một nhà cung cấp độc lập vận hành. Đó là một mô hình trọng số mở được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp. Nó không phải là API chính thức của bất kỳ nhà cung cấp lớn nào và nó không phải là trình định tuyến chọn giữa các mô hình, vì vậy những gì bạn kiểm tra là những gì bạn nhận được.

Các sự thật quan trọng cho nhập vai:

• Model ID uncensored tại https://api.llmapisource.com/v1, sử dụng POST /v1/chat/completions.
• Cửa sổ ngữ cảnh 100.000 token được chia sẻ bởi prompt và phần hoàn thành. Điều đó đủ dài để giữ một cảnh rất dài trong prompt.
• Truyền phát qua SSE, vì vậy các phản hồi xuất hiện khi chúng được viết.
• Nhiệt độ, top_p, stop, seed và các hình phạt về tần suất và hiện diện được chuyển tiếp.
• Các prompt không được sử dụng để huấn luyện.

Các giới hạn cũng rất rõ ràng. Nó chỉ hỗ trợ văn bản: không tạo hình ảnh, không giọng nói, không video. Không có tinh chỉnh, vì vậy bạn định hình nhân vật thông qua prompt. Và một quy tắc là cố định: không có nội dung tình dục liên quan đến người chưa thành niên, trong bất kỳ khung cảnh nào. Dịch vụ này dành cho hư cấu, nhập vai và các ứng dụng bạn đồng hành cho người trưởng thành.

Một cấu hình hoạt động

Chất lượng roleplay phụ thuộc nhiều hơn vào prompt hệ thống của bạn hơn là bất kỳ công tắc nào. Một prompt tốt thì ngắn gọn, cụ thể và nêu rõ định dạng. Dưới đây là một mẫu cho một bí ẩn noir, với các quy tắc được viết dưới dạng hướng dẫn rõ ràng:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.llmapisource.com/v1",
    api_key="YOUR_KEY",
)

SYSTEM = (
    "You are the narrator and all non-player characters in a 1940s detective story. "
    "Write in second person for the player, present tense, 2 to 4 short paragraphs. "
    "Never write the player's actions or dialogue. "
    "Keep track of clues, names and injuries. "
    "End each turn with a situation the player can respond to. "
    "Stay in the fiction; do not add disclaimers."
)

history = [{"role": "system", "content": SYSTEM}]

def turn(player_text):
    history.append({"role": "user", "content": player_text})
    reply = client.chat.completions.create(
        model="uncensored",
        messages=history,
        temperature=0.9,
        top_p=0.95,
        frequency_penalty=0.3,
        presence_penalty=0.3,
        stop=["Player:"],
    )
    text = reply.choices[0].message.content
    history.append({"role": "assistant", "content": text})
    return text

print(turn("I step into the office and close the door behind me."))

Chuỗi stop là một biện pháp bảo vệ rẻ tiền để ngăn mô hình viết dòng tiếp theo của người chơi. Các hình phạt giảm các cụm từ lặp lại, đây là cách thường khiến các phiên dài trở nên nhàm chán. Nếu bạn muốn phát lại một cảnh chính xác trong khi chỉnh sửa prompt, hãy truyền một seed cố định.

Các cài đặt quan trọng

Cài đặt	Giá trị bắt đầu	Nó thay đổi điều gì
nhiệt độ	0,8 đến 1,0	Giá trị cao hơn mang lại văn bản bất ngờ hơn và sự trôi dạt nhiều hơn khỏi các sự thật của cảnh
top_p	0,9 đến 0,95	Cắt giảm các từ có xác suất thấp; giảm giá trị này nếu các phản hồi trở nên kỳ lạ
frequency_penalty	0,2 đến 0,5	Giảm tần suất các từ lặp lại và phần mở đầu câu
presence_penalty	0,2 đến 0,5	Nhẹ nhàng thúc đẩy các chủ đề và chi tiết mới
stop	một nhãn người nói	Ngăn mô hình nói thay bạn
max_tokens	tùy chọn	Đặt giới hạn tối đa độ dài của một phản hồi đơn lẻ

Đây là những điểm bắt đầu, không phải các giá trị tối ưu đã được kiểm tra. Thay đổi từng mục một và phát lại cùng một cảnh với seed cố định để bạn có thể thấy hiệu ứng. Nếu bạn sử dụng giao diện như SillyTavern, cho phép bạn thêm một endpoint tương thích OpenAI, hãy nhập URL cơ sở, khóa và ID mô hình uncensored, sau đó dán các giá trị mẫu tương tự vào cài đặt của nó. quickstart có các phiên bản curl và Node của lệnh gọi ở trên.

Bộ nhớ và cửa sổ ngữ cảnh 100k

Một trăm nghìn token là một lượng câu chuyện lớn, xấp xỉ độ dài của một tiểu thuyết ngắn, nhưng nó không phải là vô hạn và không phải là miễn phí. Mỗi lượt gửi lại toàn bộ lịch sử, vì vậy chi phí và độ trễ tăng lên khi phiên dài ra. Ba thói quen giúp kiểm soát điều đó.

1. Giữ một bản tóm tắt được ghim. Cứ sau 20 đến 30 lượt, hãy yêu cầu mô hình viết một bản tóm tắt ngắn gọn về các sự thật, tên và các luồng mở, sau đó thay thế các lượt cũ nhất bằng nó.
2. Giữ một trang nhân vật trong prompt hệ thống. Ngoại hình, mục tiêu, thói quen nói chuyện và bí mật thuộc về đó, không bị chôn vùi 60 lượt trước.
3. Cắt giảm trò chuyện. Các bình luận ngoài vai và các phản hồi được tạo lại không cần phải ở lại trong lịch sử.

Mô hình vẫn có thể mất chi tiết sâu trong một prompt rất dài, vì vậy đừng giả định rằng một cửa sổ đầy đủ có nghĩa là ghi nhớ hoàn hảo. Nếu một sự thật quan trọng, hãy nêu lại nó trong bản tóm tắt.

Một yêu cầu bị từ chối khi prompt cộng với completion sẽ vượt quá 100.000 token, vì vậy nếu bạn để một phiên phát triển mà không cắt giảm, bạn cuối cùng sẽ phải cắt lịch sử.

Kiểm tra một mô hình cho phong cách của riêng bạn

Các đánh giá không thể cho bạn biết liệu một mô hình có phù hợp với sở thích của bạn hay không, vì vậy hãy xây dựng một bài kiểm tra nhỏ mà bạn có thể lặp lại. Chọn ba cảnh thử thách các kỹ năng khác nhau: một cuộc đối thoại căng thẳng với một bí mật, một hành động dài, và một cảnh yên tĩnh nơi nhân vật phải nhớ điều gì đó đã nói trước đó. Chạy mỗi cảnh với một seed cố định và cùng một prompt hệ thống, sau đó đọc kết quả cho các lỗi bạn quan tâm: nhân vật bị phá vỡ, các dòng được viết cho bạn, các cụm từ lặp lại, các chi tiết bị lãng quên.

Ghi chú những gì bạn thấy, và chạy cùng ba cảnh trên bất kỳ mô hình nào khác mà bạn đang xem xét. Điều đó mất dưới một giờ và cho bạn biết nhiều hơn một bảng xếp hạng được viết cho sở thích của người khác. Vì API này tương thích OpenAI, việc thay đổi URL cơ sở và ID mô hình trong kịch bản ở trên là tất cả những thay đổi cần thiết cho một so sánh.

Chi phí cho một phiên

Giá là $0,15 cho mỗi 1 triệu token đầu vào và $0,50 cho mỗi 1 triệu token đầu ra, từ tín dụng trả trước. Vì đầu vào được gửi lại mỗi lượt, đầu vào chiếm hóa đơn trong một phiên dài. Đây là một ví dụ thực tế.

Một phiên 200 lượt, với prompt trung bình 6.000 token và phản hồi trung bình 300 token:

• Đầu vào: 200 x 6.000 = 1.200.000 token, tương đương 1,2 x $0,15 = $0,18
• Đầu ra: 200 x 300 = 60.000 token, tương đương 0,06 x $0,50 = $0,03
• Tổng cộng: $0,21

Bây giờ là trường hợp cực đoan. Một lượt với 90.000 token đầu vào và 400 token đầu ra tốn 90.000 x $0,15 / 1.000.000 = $0,0135 cho đầu vào và 400 x $0,50 / 1.000.000 = $0,0002 cho đầu ra, tổng cộng $0,0137. Chạy 100 lượt ở kích thước đó tốn $1,37. Tóm tắt để giữ prompt ngắn là cách chính để giảm chi phí đó.

Người dùng mới có thể nhận $0.50 tín dụng dùng thử chỉ với một cú nhấp chuột sau khi đăng ký, không cần thẻ và kéo dài 7 ngày, để bạn có thể chạy một vài cảnh đầy đủ trước khi thanh toán. Nạp tiền bắt đầu từ $20, với các khoản bonus 5% từ $50, 10% từ $100 và 15% từ $200, và tín dụng không bao giờ hết hạn. Xem trang giá cả để biết các tùy chọn thanh toán, bao gồm thẻ và tiền mã hóa, hoặc lấy khóa để thử nó.

Khi nào một tùy chọn khác phù hợp hơn

Hãy thực tế về các sự đánh đổi. Nếu bạn muốn hình ảnh nhân vật, giọng nói hoặc ứng dụng di động hoàn thiện, API chỉ văn bản chỉ là động cơ và bạn phải xây dựng phần còn lại. Nếu bạn cần văn phong văn học tinh tế nhất và không ngại bộ lọc nội dung, một mô hình độc quyền lớn có thể đọc tốt hơn cho một số cảnh. Nếu bạn muốn chạy mọi thứ riêng tư trên máy tính của mình, mô hình cục bộ là lựa chọn đúng, miễn là phần cứng của bạn có thể xử lý được.

Một endpoint uncensored được lưu trữ phù hợp cho một trường hợp hẹp hơn: bạn muốn truyện và trò chuyện kiểu bạn đồng hành cho người lớn mà không bị từ chối, bạn muốn một API tương thích OpenAI mà các công cụ hiện có của bạn đã biết, và bạn muốn giá trên mỗi token khiến các phiên dài trở nên hợp lý. Nếu đó là sự phù hợp, bài kiểm tra nhanh nhất là chạy cảnh khó nhất của bạn thông qua nó với tín dụng dùng thử.

Hướng dẫn khác

• Có LLM nào có API miễn phí không? Chi phí miễn phí là bao nhiêu
• Khóa API AnythingLLM: Kết nối một Endpoint OpenAI Tùy chỉnh
• LiteLLM so với API LLM Không kiểm duyệt Trực tiếp