2025년 역할극용 최고 LLM: 확인해야 할 사항

모델이 역할극에 적합한 이유

2025년 역할극용 최고의 LLM이 무엇인지 묻는다면, 포럼 스레드마다 다른 답변을 얻게 됩니다. 사람들은 서로 다른 가치를 중요하게 여기기 때문입니다. 검증할 수 없는 우승자를 지명하기보다는, 역할극 세션이 성공하기 위해 필요한 품질을 나열하고, 어떤 모델이든 그에 따라 평가하는 것이 더 유용합니다.

• 소설 속 캐릭터 유지 의지. 캐릭터를 깨뜨리며 당신에게 강연하거나 소설가가 쓸 수 있는 장면을 거부하는 모델은 흐름을 망칩니다. 이는 스토리텔링에 사용되는 일반 보조 도구들에 대한 가장 흔한 불만입니다.
• 장면의 메모리. 이름, 장소, 약속, 상처는 수십 번의 턴 동안 유지되어야 합니다. 이는 컨텍스트 길이와 이력 관리 방식에 달려 있습니다.
• 일관된 목소리. 캐릭터는 5번째 턴이든 80번째 턴이든 동일하게 들려야 합니다.
• 비용 및 턴당 속도. 역할극은 짧은 교환이 많습니다. 토큰당 비용이 저렴한 모델은 긴 이력을 유지할 수 있게 해줍니다.
• 제어. 온도, 패널티 및 중지 시퀀스는 창의력을 조정하고 모델이 당신의 캐릭터 대사를 쓰지 않도록 방지합니다.

단 하나의 모델이 다섯 가지 모두에서 승리하지는 않습니다. 대형 독점 모델은 종종 더 다듬어진 문체를 작성하지만, 현재 가격과 콘텐츠 규칙을 확인하고 테스트 장면과 비교하세요. 거부 방지에 조정된 호스팅 오픈 웨이트 모델은 다듬어짐의 일부를 자유와 낮은 가격과 교환합니다.

역할극을 위한 이 API의 기능

이 서비스는 독립 제공업체가 실행하는 OpenAI 호환 API를 통해 하나의 모델을 노출합니다. 이 모델은 합법적인 성인 사용에 콘텐츠 거부 없이 답변하도록 조정된 오픈 웨이트 모델입니다. 대형 벤더의 공식 API가 아니며 모델 간 선택을 하는 라우터가 아니므로, 테스트한 것이 그대로 제공됩니다.

역할극에 중요한 사실:

• 모델 ID uncensored, 엔드포인트 https://api.llmapisource.com/v1, POST /v1/chat/completions 사용.
• 프롬프트와 완성을 공유하는 100,000 토큰 컨텍스트 창입니다. 이는 매우 긴 장면을 프롬프트에 유지하기에 충분히 깁니다.
• SSE를 통한 스트리밍을 지원하므로 응답은 작성되는 대로 표시됩니다.
• 온도, top_p, 중지, 시드 및 빈도 및 존재 패널티가 전달됩니다.
• 프롬프트는 학습에 사용되지 않습니다.

한계도 명확합니다. 텍스트 전용이며 이미지 생성, 음성, 비디오가 없습니다. 파인 튜닝이 없으므로 프롬프트로 캐릭터를 형성합니다. 그리고 하나의 규칙은 고정되어 있습니다. 모든 프레임에서 미성년자가 관련된 성 콘텐츠는 허용되지 않습니다. 이 서비스는 성인용 소설, 역할극 및 동반자 앱을 위한 것입니다.

작동하는 설정

역할극의 품질은 어떤 스위치보다 시스템 프롬프트에 더 크게 좌우됩니다. 좋은 프롬프트는 짧고 구체적이며 형식을 명시해야 합니다. 다음은 규칙을 일반 지침으로 작성한 노어 미스터리 패턴입니다:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.llmapisource.com/v1",
    api_key="YOUR_KEY",
)

SYSTEM = (
    "You are the narrator and all non-player characters in a 1940s detective story. "
    "Write in second person for the player, present tense, 2 to 4 short paragraphs. "
    "Never write the player's actions or dialogue. "
    "Keep track of clues, names and injuries. "
    "End each turn with a situation the player can respond to. "
    "Stay in the fiction; do not add disclaimers."
)

history = [{"role": "system", "content": SYSTEM}]

def turn(player_text):
    history.append({"role": "user", "content": player_text})
    reply = client.chat.completions.create(
        model="uncensored",
        messages=history,
        temperature=0.9,
        top_p=0.95,
        frequency_penalty=0.3,
        presence_penalty=0.3,
        stop=["Player:"],
    )
    text = reply.choices[0].message.content
    history.append({"role": "assistant", "content": text})
    return text

print(turn("I step into the office and close the door behind me."))

stop 시퀀스는 모델이 플레이어의 다음 대사를 작성하는 것을 방지하는 저렴한 방법입니다. 패널티는 세션이 지루해지는 일반적인 원인인 반복된 구문을 줄입니다. 프롬프트를 수정하면서 장면을 정확히 다시 재생하려면 고정 seed을 전달하세요.

중요한 설정

설정	시작 값	변경 사항
temperature	0.8 to 1.0	더 높은 값은 더 놀라운 문체와 장면의 사실로부터의 이탈을 증가시킵니다.
top_p	0.9 ~ 0.95	덜 가능성 있는 단어를 다듬습니다. 응답이 이상해지면 낮게 설정하세요.
frequency_penalty	0.2 ~ 0.5	반복된 단어와 문장 시작 부분을 잘라냅니다
presence_penalty	0.2 ~ 0.5	새로운 주제와 세부 사항으로 유도합니다.
stop	화자 레이블	모델이 당신 대신 말하지 못하게 방지합니다.
max_tokens	선택 사항	단일 응답의 길이를 상한선으로 제한합니다

이것들은 시작점일 뿐이며 테스트된 최적의 값은 아닙니다. 한 번에 하나씩 변경하고 고정된 seed로 같은 장면을 다시 실행하여 효과를 확인하세요. SillyTavern과 같은 프론트 엔드를 사용하는 경우, OpenAI 호환 엔드포인트를 추가할 수 있으므로 base URL, 키 및 모델 ID uncensored를 입력한 후, 동일한 샘플러 값을 해당 설정에 붙여넣으세요. 빠른 시작에는 위의 호출에 대한 curl 및 Node 버전이 있습니다.

메모리와 100k 컨텍스트 창

10만 토큰은 짧은 소설의 길이에 해당하는 많은 양의 스토리이지만, 무한하지 않으며 무료도 아닙니다. 모든 턴에서 전체 이력이 다시 전송되므로 세션이 길어질수록 비용과 지연 시간이 증가합니다. 이를 통제하기 위한 세 가지 습관이 필요합니다.

1. 고정된 요약을 유지하세요. 20~30번의 턴마다 모델에게 사실, 이름 및 미해결 스레드에 대한 짧은 요약을 작성하도록 요청한 다음, 가장 오래된 턴을 그것으로 대체하세요.
2. 시스템 프롬프트에 캐릭터 시트를 유지하세요. 외모, 목표, 말버릇 및 비밀은 거기에 있어야 하며, 60번의 턴 뒤에 묻히지 않아야 합니다.
3. 잡담을 다듬으세요. 캐릭터 밖의 코멘트와 다시 뽑은 응답은 이력에 남아있을 필요가 없습니다.

모델은 매우 긴 프롬프트의 깊은 곳에서 세부 정보를 잃을 수 있으므로 전체 창이 완벽한 기억력을 의미한다고 가정하지 마세요. 중요한 사실이 있다면 요약문에 다시 명시하세요.

프롬프트와 완성이 100,000 토큰을 초과하면 요청이 거부되므로, 다듬지 않고 세션을 계속 확장하면 결국 이력을 잘라야 합니다.

자신만의 스타일에 대한 모델 테스트

리뷰로는 모델이 당신의 취향에 맞는지 알 수 없으므로 반복 가능한 작은 테스트를 만드세요. 서로 다른 기술을 테스트하는 세 장면을 선택하세요: 비밀이 있는 긴장감 있는 대화, 긴 액션 비트, 이전에 언급된 무언가를 기억해야 하는 조용한 장면. 고정 시드와 동일한 시스템 프롬프트로 각각 실행한 후, 캐릭터 붕괴, 당신 대신 작성된 대사, 반복된 어구, 잊혀진 세부 사항 등 관심 있는 실패를 위해 출력을 읽어보세요.

목격한 내용을 메모하고 고려 중인 다른 모델에서 동일한 세 장면을 다시 실행하세요. 이는 1시간도 걸리지 않으며 타인의 취향을 위해 작성된 순위보다 더 많은 것을 알려줍니다. 이 API는 OpenAI 호환이므로 스크립트 위의 베이스 URL과 모델 ID를 바꾸는 것만으로도 비교가 가능합니다.

세션 비용

가격은 선불 크레딧 기준 입력 토큰 1M당 $0.15, 출력 토큰 1M당 $0.50입니다. 입력은 모든 턴에서 다시 전송되므로 긴 세션에서는 입력이 청구서의 대부분을 차지합니다. 다음은 현실적인 예시입니다.

200턴 세션, 평균 프롬프트 6,000 토큰 및 평균 응답 300 토큰:

• 입력: 200 x 6,000 = 1,200,000 토큰, 이는 1.2 x $0.15 = $0.18입니다.
• 출력: 200 x 300 = 60,000 토큰, 이는 0.06 x $0.50 = $0.03입니다.
• 총계: $0.21

이제 극단적인 경우입니다. 입력 토큰 90,000개와 출력 400개로 구성된 한 턴의 비용은 입력의 경우 90,000 x $0.15 / 1,000,000 = $0.0135, 출력의 경우 400 x $0.50 / 1,000,000 = $0.0002로, 총 $0.0137입니다. 이 크기의 요청을 100번 실행하는 데는 $1.37가 소요됩니다. 프롬프트 길이를 줄이기 위해 요약을 수행하는 것이 비용을 줄이는 주요 방법입니다.

새로운 사용자는 회원가입 후 한 번의 클릭으로 $0.50의 체험 크레딧을 받을 수 있으며, 카드 등록이 필요 없고 7일 동안 유효합니다. 이를 통해 결제 전 몇 번의 완전한 시나리오를 실행해 볼 수 있습니다. 충전은 $20부터 시작하며, $50부터 5%, $100부터 10%, $200부터 15%의 보너스가 제공됩니다. 크레딧은 만료되지 않습니다. 카드와 암호화폐를 포함한 결제 옵션은 가격 책정 페이지에서 확인하거나, API 키 받기를 통해 시도해 보세요.

다른 옵션이 더 적합한 경우

장단점을 현실적으로 평가하세요. 캐릭터의 이미지나 음성, 완성도 높은 모바일 앱을 원한다면 텍스트 전용 API는 엔진일 뿐 나머지는 직접 구축해야 합니다. 가장 정교한 문학적인 산문이 필요하고 콘텐츠 필터를 신경 쓰지 않는다면, 일부 시나리오에서는 대형 독점 모델이 더 잘 읽힐 수 있습니다. 모든 것을 자신의 컴퓨터에서 비공개로 실행하려면 하드웨어가 이를 처리할 수 있는 한 로컬 모델이 올바른 선택입니다.

호스팅된 uncensored 엔드포인트는 더 좁은 사용 사례에 적합합니다. 거부 없이 성인을 위한 픽션 및 동반자 스타일 채팅을 원하거나, 기존 도구와 호환되는 OpenAI 호환 API를 원하거나, 긴 세션도 부담 없는 토큰당 가격을 원한다면 해당 조건에 부합합니다. 이러한 경우 가장 빠른 테스트 방법은 무료 체험 크레딧을 사용하여 가장 어려운 시나리오를 해당 엔드포인트에서 실행해 보는 것입니다.

더 많은 가이드

• 무료 API를 제공하는 LLM이 있나요? 무료 티어의 비용은?
• AnythingLLM API 키: 커스텀 OpenAI 엔드포인트 연결
• LiteLLM vs 직접 무검열 LLM API