Transformer Nedir? Modern Yapay Zekanın Mimarisi

Kısa Tanım

Transformer, 2017’de Google Brain ekibi tarafından “Attention is All You Need” makalesiyle tanıtılan yapay sinir ağı mimarisidir.

Modern LLM’lerin (GPT, Claude, Gemini, Llama) tamamı Transformer mimarisi üzerine kurulmuştur. AI dünyasında bir devrim yaratan kavramdır.

Neden Devrim?

Transformer öncesi:

• RNN/LSTM: cümleyi kelime kelime işliyor, uzun cümlelerde dağılıyordu
• Çok yavaş: paralel işleme yok
• Hafıza kaybı: cümlenin başını sonunda unutuyordu

Transformer:

• Paralel işleme → çok hızlı
• Attention → uzun cümlelerde tutarlı
• Ölçeklenebilir → milyarlarca parametreye çıkabiliyor

Attention Nedir?

Transformer’ın kritik özelliği attention (dikkat) mekanizmasıdır.

Örnek cümle: “Köpek pastayı yedi çünkü o açtı.”

“O” kelimesi:

• Köpek’e mi işaret ediyor?
• Pasta’ya mı?

Attention bu sorunu çözer. Her kelime, cümlenin diğer her kelimesiyle “ilişkilendirilir” ve hangisine daha çok bağlı olduğu hesaplanır.

"o" kelimesinin attention dağılımı:
- köpek: 0.78 (en yüksek)
- pastayı: 0.15
- yedi: 0.05
- çünkü: 0.02

Bu sayede model anlamı doğru çözer.

Mimari Bileşenleri

1. Embedding katmanı: Token’ları vektöre dönüştürür
2. Positional Encoding: Kelime sırasını ekler
3. Multi-Head Attention: Birden fazla “dikkat kafası” paralel çalışır
4. Feed-Forward Network: Bilgi işlenir
5. Layer Normalization: Eğitimi stabilize eder
6. Residual Connection: Derinleştikçe bilgi kaybını önler

Encoder vs Decoder

Orijinal Transformer iki kısımdan oluşur:

Bileşen	Görev	Örnek
Encoder	Girdiyi temsil eder	BERT (anlama görevleri)
Decoder	Çıktı üretir	GPT (üretim görevleri)

ChatGPT, Claude, Gemini sadece decoder kullanır (“decoder-only”).

Transformer Varyantları

• BERT: encoder-only, sınıflandırma için
• GPT: decoder-only, üretim için
• T5: encoder-decoder, çeviri/özet için
• Vision Transformer (ViT): görsel sınıflandırma
• DETR: nesne tespiti

Self-Attention Hesabı

Matematiksel olarak:

Attention(Q, K, V) = softmax(QK^T / √d_k) V

• Q (Query): “Ne arıyorum?”
• K (Key): “Hangi anahtar bana hitap eder?”
• V (Value): “İçerik ne?”

Bu üçlü mekanizma sayesinde bağlamlı bilgi akışı sağlanır.

Ölçeklenebilirlik

Transformer’ın güzelliği: parametre sayısı arttıkça performans artıyor.

Model	Parametre
Orijinal Transformer (2017)	65M
GPT-2	1.5B
GPT-3	175B
GPT-4	~1.7T (tahmin)

Bu “scaling law” devam ettiği sürece daha güçlü modeller gelecek.

Sınırları

1. O(n²) maliyet: Bağlam uzunluğu arttıkça maliyet karesel artar
2. Bellek: Uzun bağlam çok RAM ister
3. Energy: Eğitim ciddi enerji harcar
4. Veri açlığı: İyi performans için devasa veri gerekir

Gelecek

Transformer hala dominant ama alternatifler geliyor:

• Mamba/State Space Models: O(n) maliyet
• Mixture of Experts (MoE): Aktif parametre az
• Hybrid mimariler: Transformer + Mamba

İlgili Kavramlar

• LLM — Transformer üzerine kurulu
• Token — Transformer’ın girdi birimi
• Context Window — Transformer’ın bağlam sınırı
• Embedding — Transformer’ın çıktı temsili

Sonraki Adımlar

• LLM Nedir?
• ChatGPT Nasıl Kullanılır?

Özet

Transformer, modern yapay zekanın bel kemiğidir. Attention mekanizması sayesinde dil ve diğer veri tiplerini insanüstü kalitede işleyebilen, hızlı ve ölçeklenebilir mimari. ChatGPT’nin temelinde, görsel AI’da, ses tanımada hep Transformer var. AI tarihinde 2017’deki yayını “öncesi ve sonrası” olarak ayıran bir dönüm noktası.