Rol Yapma İçin En İyi LLM 2025: Nelere Dikkat Edilmeli

Bir modeli rol yapmada iyi yapan şey

2025 için en iyi rol yapma LLM'i hangisi diye sorarsanız, her forum konusundan farklı bir cevap alırsınız çünkü insanlar farklı şeylere değer verir. Doğrulayamadığım bir kazananı adlandırmak yerine, bir rol yapma oturumunun çalışıp çalışmayacağını belirleyen nitelikleri listelemek ve herhangi bir modeli bunlara göre kontrol etmek daha faydalıdır.

• Kurguda kalma isteği. Karakterini bozup sizi ders vermeye başlayan veya bir romancının yazabileceği bir sahneyi reddeden bir model, akışı bozar. Bu, hikâye anlatımı için kullanılan genel asistanlar hakkındaki en yaygın şikâyettir.
• Sahnenin hafızası. İsimler, yerler, vaatler ve yaralar onlarca dönüş boyunca ayakta kalmalıdır. Bu, bağlam uzunluğuna ve geçmişi nasıl yönettiğinize bağlıdır.
• Tutarlı ses. Karakter, 5. dönüşte olduğu gibi 80. dönüşte de aynı şekilde konuşmalıdır.
• Dönüş başına maliyet ve hız. Rol yapma, birçok kısa etkileşim demektir. Token başına ucuz bir model, uzun geçmişleri korumanızı sağlar.
• Kontrol. Sıcaklık, cezalar ve durma dizileri, yaratıcılığı ayarlamanıza ve modelin karakterinizin satırlarını yazmasını stopmanıza olanak tanır.

Hiçbir model beşinde de kazanmaz. Daha büyük ticari modeller genellikle daha düzgün bir metin yazar; mevcut fiyatlandırmalarını ve içerik kurallarını kontrol edin ve kendi test sahnenizle karşılaştırın. Reddetmeleri önlemek için ayarlanmış bir barındırılan açık ağırlıklı model, özgürlük ve düşük fiyat karşılığında biraz düzgünlükten vazgeçer.

Bu API'nin rol yapma için sundukları

Servis, bağımsız bir sağlayıcı tarafından işletilen ve yasal yetişkin kullanımı için içerik reddetmeleri olmadan cevap verecek şekilde ayarlanmış tek bir modeli OpenAI uyumlu bir API üzerinden sunar. Büyük bir satıcının resmi API'si değildir ve modeller arasında seçim yapan bir yönlendirici değildir, bu yüzden test ettiğiniz şey, elde ettiğiniz şeydir.

Rol yapma için önemli gerçekler:

• Model ID uncensored, https://api.llmapisource.com/v1 adresinde, POST /v1/chat/completions kullanılarak gönderilir.
• İstem ve tamamlama metni tarafından paylaşılan 100.000 token'lık bağlam penceresi. Bu, çok uzun bir sahneyi istemde tutmak için yeterince uzundur.
• SSE üzerinden akış, böylece yanıtlar yazıldıkça görünür.
• Sıcaklık, top_p, stop, seed ve frekans ile var olma cezaları geçirilir.
• İstemler eğitim için kullanılmaz.

Sınırlar da aynı kadar açıktır. Sadece metindir: resim oluşturma, ses veya video yoktur. İnce ayar yoktur, bu nedenle karakteri istemle şekillendirirsiniz. Ve tek bir kural sabittir: herhangi bir çerçevede reşit olmayanlar ile ilgili cinsel içerik yoktur. Servis yetişkinler için kurgu, rol yapma ve arkadaş uygulamaları içindir.

Çalışan bir kurulum

Rol yapma kalitesi, herhangi bir anahtardan daha çok sistem isteminize bağlıdır. İyi bir istem kısa, somut ve formatı belirten olmalıdır. İşte kurallar düz talimatlar olarak yazılmış bir noir gizem deseni:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.llmapisource.com/v1",
    api_key="YOUR_KEY",
)

SYSTEM = (
    "You are the narrator and all non-player characters in a 1940s detective story. "
    "Write in second person for the player, present tense, 2 to 4 short paragraphs. "
    "Never write the player's actions or dialogue. "
    "Keep track of clues, names and injuries. "
    "End each turn with a situation the player can respond to. "
    "Stay in the fiction; do not add disclaimers."
)

history = [{"role": "system", "content": SYSTEM}]

def turn(player_text):
    history.append({"role": "user", "content": player_text})
    reply = client.chat.completions.create(
        model="uncensored",
        messages=history,
        temperature=0.9,
        top_p=0.95,
        frequency_penalty=0.3,
        presence_penalty=0.3,
        stop=["Player:"],
    )
    text = reply.choices[0].message.content
    history.append({"role": "assistant", "content": text})
    return text

print(turn("I step into the office and close the door behind me."))

stop dizisi, modelin oyuncunun bir sonraki satırını yazmasını önlemek için ucuz bir korumadır. Cezalar tekrarlanan ifadeleri azaltır, bu da uzun oturumların tazeliklerini yitirmesinin yaygın yoludur. Bir sahneyi istemi düzenlerken tam olarak yeniden oynatmak istiyorsanız, sabit bir seed geçirin.

Önemli ayarlar

Ayar	Başlangıç değeri	Neyi değiştirir
sıcaklık	0,8 ile 1,0	Daha yüksek değerler daha sürpriz edici bir anlatım ve sahnenin gerçeklerinden daha fazla sapma sağlar.
top_p	0,9 ile 0,95	Olasılığı düşük kelimeleri azaltır; yanıtlar tuhaf hale gelirse bunu düşürün.
frequency_penalty	0,2 ile 0,5	Tekrarlanan kelimeleri ve cümle başlangıçlarını keser
presence_penalty	0,2 ile 0,5	Yeni konular ve detaylara doğru yönlendirir
stop	bir konuşmacı etiketi	Modelin sizin için konuşmasını engeller
max_tokens	isteğe bağlı	Tek bir yanıtın uzunluğunu sınırlar

Bunlar başlangıç noktalarıdır, test edilmiş optimumlar değildir. Etkisini görmek için aynı sahneyi sabit bir seed ile yeniden oynatarak birini değiştirin. SillyTavern gibi bir OpenAI uyumlu uç nokta eklemenize olanak tanıyan bir ön uç kullanıyorsanız, temel URL'yi, anahtarı ve uncensored model kimliğini girin ve aynı örnekleme değerlerini ayarlarına yapıştırın. hızlı başlangıç, yukarıdaki çağrının curl ve Node sürümlerini içerir.

Hafıza ve 100k bağlam penceresi

Yüz bin token çok fazla hikayedir, yaklaşık olarak bir kısa romanın uzunluğundadır, ancak sonsuz değildir ve ücretsiz değildir. Her dönüş tüm geçmişi yeniden gönderir, bu nedenle maliyet ve gecikme oturum büyüdükçe artar. Bunu kontrol altında tutmak için üç alışkanlık edin.

1. Sabit bir özet tutun. Her 20 ila 30 dönüşte, modelden gerçekler, isimler ve açık konular hakkında kısa bir özet yazmasını isteyin, ardından en eski dönüşleri bununla değiştirin.
2. Sistem isteminde bir karakter sayfası tutun. Görünüm, hedefler, konuşma alışkanlıkları ve sırlar oraya aittir, 60 dönüş geride gömülü değildir.
3. Gereksiz konuşmaları kısaltın. Karakter dışı yorumlar ve yeniden üretilmiş yanıtlar geçmişte kalmamalıdır.

Model, çok uzun bir istemin derinliklerinde detayları hala kaybedebilir, bu nedenle tam bir pencerenin mükemmel bir hatırlama yeteneği anlamına geldiğini varsaymayın. Bir gerçek önemliyse, özetinde tekrarlayın.

İstem ve tamamlama 100.000 tokeni aşarsa bir istek reddedilir, bu nedenle oturumu kısaltmadan büyütürseniz, bir noktada geçmişi kesmek zorunda kalacaksınız.

Kendi üslubunuz için bir modeli test etme

İncelemeler bir modelin zevkinize uygun olup olmadığını söyleyemez, bu yüzden tekrarlayabileceğiniz küçük bir test oluşturun. Farklı becerileri zorlayan üç sahne seçin: gizli bir gerilim diyaloğu, uzun bir aksiyon sahnesi ve karakterin daha önce söylenen bir şeyi hatırlaması gereken sakin bir sahne. Sabit bir seed ve aynı sistem istemi ile her birini çalıştırın, ardından ilgilendiğiniz hatalar için çıktıyı okuyun: karakter bozukluğu, sizin için yazılan satırlar, tekrarlanan ifadeler, unutulan detaylar.

Gördüklerinize notlar tutun ve düşündüğünüz herhangi bir başka modelde aynı üç sahneyi çalıştırın. Bu bir saatten az sürer ve başkalarının zevkleri için yazılmış bir sıralamadan daha fazla bilgi verir. Bu API OpenAI uyumlu olduğu için, yukarıdaki betikteki temel URL'yi ve model ID'sini değiştirmek bir karşılaştırma için gereken tek değişikliktir.

Bir oturumun maliyeti

Fiyatlandırma, ön ödemeli krediden 1M girdi token'ı başına $0,15 ve 1M çıktı token'ı başına $0,50'dir. Girdi her dönüş yeniden gönderildiğinden, uzun bir oturumda faturada girdi baskın gelir. İşte gerçekçi bir örnek.

Ortalama 6.000 tokenlik bir istem ve ortalama 300 tokenlik bir yanıt ile 200 dönüşlü bir oturum:

• Girdi: 200 x 6,000 = 1,200,000 token, bu da 1.2 x $0.15 = $0.18
• Çıkış: 200 x 300 = 60.000 token, bu da 0,06 x $0,50 = $0,03
• Toplam: $0,21

Şimdi aşırı durumu ele alalım. Girdisi 90.000 token, çıktısı 400 token olan bir dönüş için maliyet girdi için 90.000 x $0,15 / 1.000.000 = $0,0135 ve çıktı için 400 x $0,50 / 1.000.000 = $0,0002'dir; toplam $0,0137 eder. Bu boyutta 100 dönüş çalıştırmak $1,37'e mal olur. İstemleri kısa tutmak için özetleme, bu maliyeti düşürmenin başlıca yoludur.

Yeni kullanıcılar, kayıt sonrası tek tıkla $0,50 değerinde ücretsiz deneme kredisi alabilir; bu kredi için kart gerekmez ve 7 gün geçerlidir, böylece ödeme yapmadan önce birkaç tam sahne çalıştırabilirsiniz. Bakiye yüklemeleri $20'den başlar, $50'den %5, $100'den %10 ve $200'den %15 bonus sağlar ve kredi süresi dolmaz. Kart ve kripto dahil ödeme seçenekleri için fiyatlandırma sayfasına bakın veya bir anahtar alın.

Başka bir seçeneğin daha iyi uyduğu yerler

Fayda/zarar dengeleri konusunda gerçekçi olun. Karakterlerinizin görsellerini, seslerini veya şık bir mobil uygulamasını istiyorsanız, metin tabanlı API sadece motorudur ve geri kalanını siz geliştirirsiniz. En ince edebi anlatımı istiyor ve içerik filtrelerine katlanabiliyorsanız, bazı sahneler için büyük özel bir model daha iyi okunabilir. Her şeyi kendi bilgisayarınızda özel olarak çalıştırmak istiyorsanız, donanımınızın kaldırabilmesi kaydıyla yerel model doğru tercihtir.

Barındırılan sansürsüz bir uç nokta daha dar bir kullanım durumu için uygundur: reddetme olmadan yetişkinler için kurgu ve arkadaşça sohbet istiyorsanız, mevcut araçlarınızın zaten desteklediği OpenAI uyumlu bir API istiyorsanız ve uzun oturumları uygun fiyatlı kılan token başına fiyat istiyorsanız. Bu size uyuyorsa, en hızlı test, deneme kredisiyle en zorlu sahnenizi bu uç noktada çalıştırmaktır.

Daha fazla kılavuz

• Ücretsiz API'si olan LLM'ler var mı? Ücretsiz olanın maliyeti nedir?
• AnythingLLM API Anahtarı: Özel OpenAI Uç Noktası Bağlayın
• LiteLLM vs Doğrudan Uncensored LLM API