Inference (Çıkarım) Nedir? AI'ın Cevap Üretme Süreci
Inference, önceden eğitilmiş bir AI modelinin yeni bir girdiye karşı tahmin/cevap üretme sürecidir. Eğitim aşaması bittikten sonra modelin 'kullanılması' aşamasıdır.
Alternatif isimler: çıkarım, model inference
Kısa Tanım
Inference (Türkçe: çıkarım), önceden eğitilmiş bir AI modelinin yeni bir girdiye karşı tahmin/cevap üretme sürecidir.
ChatGPT’ye soru sorduğunuzda → cevap aldığınızda → bu bir inference’dır.
Training vs Inference
| Aşama | Training | Inference |
|---|---|---|
| Amaç | Modeli öğretmek | Modeli kullanmak |
| Süre | Günler-aylar | Saniyeler |
| Maliyet | Milyonlar USD | Çok daha az |
| Donanım | Yüzlerce GPU | Birkaç GPU yeterli |
| Sıklık | Bir kez | Sürekli |
GPT-4 eğitimi ~$100M tahmin ediliyor. Aynı modeli inference için kullanmak günlük cents ile mümkün.
Inference Maliyeti
| Sağlayıcı | Model | Input (1M token) | Output (1M token) |
|---|---|---|---|
| OpenAI | GPT-4o | $5 | $15 |
| OpenAI | GPT-5 | $10 | $30 |
| Anthropic | Claude 4.7 Sonnet | $3 | $15 |
| Anthropic | Claude 4.7 Opus | $15 | $75 |
| Gemini 2.5 Pro | $3 | $12 |
Self-hosted Llama 70B: aylık ~$200-1000 (RunPod/Vast gibi GPU kiralama).
Inference Hızı
İki ölçü:
- TTFT (Time To First Token): İlk kelimenin gelmesi
- TPS (Tokens Per Second): Saniyede kaç token üretilir
Hedefler:
- TTFT < 500ms (ideal < 200ms)
- TPS > 30 (ideal > 50)
ChatGPT TPS ~50-80 token/saniye. Llama 70B self-hosted: 15-40 token/saniye.
Optimizasyon Teknikleri
1. Quantization
Modelin float32 ağırlıklarını int8 veya int4’e indirgemek. %75 boyut tasarrufu, %5-10 kalite kaybı.
2. Distillation
Büyük bir model küçük bir modeli “öğretir”. GPT-4o → GPT-4o mini gibi.
3. Caching
Aynı prompt’a aynı cevap → cache’le. OpenAI, Anthropic prompt caching destekliyor.
4. Batching
Birden fazla isteği aynı anda işlemek.
5. Speculative Decoding
Küçük model hızlı tahmin yapar, büyük model onaylar. 2-3x hız.
Inference Platformları
| Platform | Tip | Maliyet |
|---|---|---|
| OpenAI API | Cloud | Pay-as-you-go |
| Anthropic API | Cloud | Pay-as-you-go |
| Together AI | Open-source models | Pay-as-you-go |
| Replicate | Multi-model | Pay-as-you-go |
| RunPod | GPU rental | Saatlik |
| Ollama | Self-hosted local | Donanım |
| vLLM | High-throughput | Donanım |
Sınırları
- Bağlam window: Context window doluyorsa hata
- Cost: Yoğun kullanım maliyetli
- Latency: Critical UX
- Quality: Smaller model = lower quality (genelde)
İlgili Kavramlar
- LLM — inference yapan sistem
- Token — inference’in ölçüm birimi
- Fine-tuning — özel inference
Özet
Inference, eğitilmiş AI modelinin kullanım aşamasıdır. Training’den çok daha ucuz ve hızlı. Maliyet ve hız production AI sistemleri için kritik metriklerdir. Optimize etmek için quantization, caching, batching kullanılır.