badge icon

Bu içerik Türkçe olarak yazılmış olup yapay zeka ile otomatik olarak İngilizceye çevrilmiştir.

Blog
Blog
Avatar
YazarMuhammed Sina Çimen26 Ekim 2026 07:00

Speculative Code Decoding in GLM-5.3-Flash: DFlash2 and MTP Experiments

T3 AI+2 Daha
Alıntıla
T3 AI Geliştiricisi
T3 AI Geliştiricisi

Büyük Dil Modelleri (Large Language Model, LLM) eğitildikten sonra kullanıcı isteklerine yanıt üretmek üzere bir sunucuda çalıştırılır. Bu süreç çıkarım (inference), modelin istekleri alıp yanıt üretecek biçimde hizmete sunulması ise model servisi (model serving) olarak adlandırılır. Çıkarım sırasında yanıt, token (metnin model tarafından işlenen en küçük birimi) adı verilen parçalar hâlinde, her adımda bir token üretilerek oluşturulur. Her adım modelin ağırlıklarının GPU belleğinden okunmasını gerektirdiğinden üretim hızı genellikle bellek erişimiyle sınırlanır.


Servis edilen modellerde yanıt süresini kısaltmak ve aynı donanımla daha fazla isteği karşılamak için çeşitli hızlandırma yöntemleri kullanılır; ağırlıkların daha düşük sayısal duyarlılıkla tutulması, modelin birden fazla GPU'ya bölünmesi ve ara sonuçların önbelleğe alınması bunlar arasındadır.


Spekülatif kod çözme (speculative decoding) bu yöntemlerden biridir. Küçük ve hızlı bir taslak model (draft model) sıradaki birkaç token'ı önceden önerir; asıl model (hedef model, target model) bu önerileri tek bir ileri geçişte doğrular ve doğru olan kısmı kabul eder. Böylece hedef model her adımda birden fazla token üretmiş olur. vLLM dokümantasyonuna göre yöntem, donanımın kayan nokta hassasiyeti sınırları içinde teorik olarak kayıpsızdır.【1】 Yöntemin genel bir incelemesi için bkz.【2】


Bu yazı, GLM-5.3-Flash modelinde spekülatif kod çözmenin iki metodunu, vLLM 0.32.0rc0 üzerinde aynı donanım ve aynı iş yüküyle karşılaştırmayı amaçlamaktadır. 17.280 karşılaştırmalı değerlendirme testi (benchmark) isteğinden oluşan ölçümlerde en yüksek çıktı hızı (output throughput), ölçülen bütün eşzamanlılık (concurrency) düzeylerinde ayrı eğitilmiş DFlash2 taslak modeliyle elde edilmiştir; modelin kendi MTP katmanıyla ise kısa bağlam (context) sınırlarında daha fazla anahtar–değer önbelleği (KV cache) kapasitesi korunmuştur. Sonuçlar tek koşuya, tek donanım yapılandırmasına (2× B200, iki GPU'ya bölünmüş tensör paralelliği — tensor parallelism, TP=2) ve bir sürüm adayına (release candidate) dayanır; çıktı kalitesi ölçülmemiştir.


GLM-5.3-Flash ile spekülatif kod çözme iki yöntemle gerçekleştirilebilir:

  • MTP (çoklu token tahmini, multi-token prediction): Modelle birlikte gelen yerleşik tahmin katmanı.
  • DFlash2: Ayrı eğitilmiş, blok difüzyon (block diffusion) tabanlı bir taslak model: `incoai/GLM-5.3-Flash-DFlash2`.【3】 DFlash2, DFlash yönteminin sonraki sürümüdür.【4】

vLLM 0.32.0rc0 sürümünden itibaren iki yöntem de yamasız vLLM üzerinde çalıştırılabilir. Bu yazıda ikisi birbiriyle ve spekülasyonsuz çalışmayla (baseline) karşılaştırılır. Yazıda dört soru yanıtlanır: 1 ile 32 arasında eşzamanlı istekte hızın nasıl değiştiği, kaç taslak token kullanılması gerektiği, hangi yöntemin ne kadar KV önbelleği kapasitesi tükettiği ve uzun girdilerde nelerin değiştiği.

MTP ve DFlash2 Taslak Token'ları Nasıl Üretir?

Spekülatif kod çözmede düşük maliyetli bir taslak model, sıradaki k token'ı önceden önerir. Asıl üretimi yapan hedef model bu önerilerin hepsini tek bir ileri geçişte doğrular: Önerilerin baştan itibaren doğru olan en uzun kısmını kabul eder ve ayrıca kendisi bir token üretir. Hedef modelin her adımda ürettiği token sayısına kabul uzunluğu (acceptance length, AL) denir. Elde edilen hızlanma, bu uzunluğa ve tahmin ile doğrulamanın maliyetine bağlıdır.


İki yöntem, taslağı nereden ve nasıl ürettikleri bakımından ayrışır. MTP, hedef modelin son gizli durumunu (hidden state) kullanırken DFlash2 hedef modelin beş katmanından gelen gizli durumlarla çalışır ve kayan pencereli dikkat (sliding window attention) kullanır.【5】


Tablo 1: MTP ve DFlash2 Yöntemlerinin Yapısal Karşılaştırması

DFlash2 için bkz.【6】

Yöntem

  • Donanım: 2× NVIDIA B200 (183 GB), TP=2; sürücü 580, CUDA 13.0.
  • Model: Hedef model `nvidia/GLM-5.3-Flash-NVFP4` (revizyon `da920bb0b9f4`);【7】 uzman (expert) ağırlıkları NVFP4 biçiminde, KV önbelleği FP8. Taslak model `incoai/GLM-5.3-Flash-DFlash2` (revizyon bf582e4eacc1);【8】 yöntem için bkz.【9】
  • vLLM: 0.32.0rc0 (commit `fe341a53dda0`), yamasız, varsayılan CUDA graph modu. Sunucu ayarları `--max-model-len 32768 --max-num-seqs 32 --gpu-memory-utilization 0.90`; önek önbellekleme (prefix caching) açık.
  • Yük: Spec-Bench veri setinin【10】 13 kategorisinden (çeviri, özetleme, soru-cevap, matematik, geri çağırmayla zenginleştirilmiş üretim (RAG), kodlama vb.) 480 istem (prompt); kategori başına 10 veya 80 istem. İstek başına en fazla 1024 çıktı token'ı üretildi. Örnekleme (sampling) ayarları model kartındaki gibidir: `temperature=1.0`, `top_p=0.95`.【11】
  • Eşzamanlılık: Eşzamanlılık 1'de her kategori ayrı koşulup sonuçlar birleştirildi; 4, 16 ve 32'de 480 istem karışık sırayla gönderildi. Metinde ve tablolarda c, aynı anda işlenen istek sayısını gösterir.
  • Isınma: Her sunucu, ölçümden önce ölçüme katılmayan 160 Spec-Bench isteğiyle ısıtıldı (warm-up). Açılıştan sonraki ilk yükte yeni küme (batch) boyutları için çekirdekler (kernel) derlendiğinden işlem yaklaşık yarı hızda gerçekleşir; ısınma yapılmadan alınan sonuçlar yanıltıcı olur.
  • Ölçüm: Çıktı hızı, üretilen çıktı token'larının duvar saati süresine oranıdır. Her nokta tek koşudan elde edilmiştir; bu nedenle ≈%5'in altındaki farklar gürültü sınırında değerlendirilmelidir.

Temel Bulgular

  • DFlash2, ölçülen her eşzamanlılık düzeyinde en hızlı seçenektir. k=5…7 ile spekülasyonsuz çalışmaya göre 1,8–2,4× çıktı hızı elde edilmiştir. Tek akışta açgözlü kod çözmede (greedy decoding) bu oran 2,77× olmuştur.
  • Modelin kendi MTP katmanı 1,5–2,0× hızlanma sağlamıştır ve en iyi sonuç k=3'te elde edilmiştir. Aynı kabul uzunluğunda (acceptance length, AL) DFlash2 %16–26 daha hızlıdır. Bu farkın en olası açıklaması, DFlash2'nin bütün taslak token'ları tek ileri geçişte (forward pass) tahmin etmesi, MTP'nin ise her geçişte tek token tahmin etmesidir.
  • DFlash2 için k=5 önerilir. k=5, 6 ve 7'nin çıktı hızları birbirinden yalnızca %0,2–4,8 farklıdır. Buna karşılık k=5 ile 32K bağlam sınırında k=7'ye göre %22 daha fazla KV önbelleği kapasitesi korunmuştur.
  • Spekülasyonun KV önbelleği kapasitesine maliyeti en çok kısa bağlam sınırlarında ortaya çıkmaktadır. `max_model_len` 32K iken DFlash2 k=5 spekülasyonsuz kapasitenin %39'unu, MTP k=3 ise %60'ını korumaktadır. 1M'de kayıplar %16 ve %23'e inmektedir; bu aralıkta DFlash2'nin kapasitesi MTP'ninkinden daha yüksektir.
  • Uzun girdi kabul uzunluğunu düşürmekte, ancak hızlanmayı ortadan kaldırmamaktadır. Girdi 2K'dan 128K token'a uzadığında DFlash2 k=5'in kabul uzunluğu 3,5'ten 2,7'ye inmiştir; buna rağmen 128K'da üretim aşaması hızı (decode; ilk token'dan sonraki token üretim hızı) spekülasyonsuz çalışmanın 1,9 katıdır.
  • 17.280 değerlendirme isteğinin hiçbiri başarısız olmamıştır.

Eşzamanlılık Arttıkça Çıktı Hızı Nasıl Değişir?

Spec-Bench Örneklemesinde Spekülasyonsuz Çalışmaya Göre Hızlanma (Yapay Zeka ile Oluşturulmuştur.)

Hızlanma tek akışta en yüksektir; eşzamanlılık 4–32 aralığında ise DFlash2 k=5 için 1,8–1,9× civarına inmiştir. Bu düşüş büyük olasılıkla, aynı anda işlenen istek sayısı arttıkça GPU'da taslak token'ları doğrulamak için kalan boş hesap kapasitesinin azalmasından kaynaklanmaktadır. Buna rağmen 32 eşzamanlı istekte bile spekülasyonla belirgin bir kazanç sağlanmıştır.


Tablo 2: Spec-Bench Örneklemesinde Çıktı Token/sn Değerleri

Parantez içinde spekülasyonsuz çalışmaya göre hızlanma verilmiştir. Kalın satırlar her yöntemin önerilen yapılandırmasıdır.

Kabul uzunluğu metnin türüne göre belirgin biçimde değişmiştir. Açgözlü kod çözmede ve eşzamanlılık 1'de DFlash2 k=7, matematik kategorisinde 5,95 kabul uzunluğuna ulaşmıştır (598 token/sn); beşeri bilimler sorularında ise 2,79'da kalmıştır (301 token/sn). Bu iki kategorinin her biri 10 istem içerir. Bütün istemler birlikte ele alındığında açgözlü kod çözmede DFlash2 k=7, spekülasyonsuz çalışmadan 2,77 kat hızlı (407'ye karşı 147 token/sn).

Kaç Taslak Token Kullanılmalıdır?

Taslak Token Sayısına (k) Göre Çıktı Hızı (Yapay Zeka ile Oluşturulmuştur.)

  • DFlash2'de hız k=5 civarında doyuma ulaşmıştır. Her ek taslak token kabul uzunluğunu 0,11–0,32 artırmış ve artış k büyüdükçe azalmıştır (k=5'ten sonra 0,1–0,2); öte yandan doğrulamanın maliyeti de artmıştır. k=5'ten sonra bu iki etki birbirini dengelemiş ve k=5, 6 ve 7 gürültü sınırı içinde aynı sonucu vermiştir. k=5 daha az KV önbelleği gerektirdiği için (bir sonraki bölüm) varsayılan öneri k=5'tir.
  • k=4'ün c=32'deki değeri (3.067 token/sn) tablodaki en yüksek değerdir. Ancak k=4, c=16'da k=3'ün bile gerisinde kalmıştır; bu nedenle bu değer gerçek bir optimum olarak değil, koşudan koşuya değişkenlik olarak değerlendirilmektedir.
  • MTP'de en iyi değer k=3. k=5'e çıkıldığında kabul uzunluğu 2,87'den 3,33'e yükselmiş, ancak tek akışta çıktı hızı düşmüştür (310'dan 295 token/sn'ye). MTP katmanı her taslak token için ayrı çalıştığından taslak maliyetinin k ile doğrusal artması, bu düşüşün en olası açıklamasıdır.
  • Aynı kabul uzunluğunda DFlash2 daha hızlı. DFlash2 k=5 ile MTP k=5 neredeyse aynı kabul uzunluğuna ulaşmıştır (3,37 ve 3,33). Buna karşın DFlash2 %16–26 daha hızlıdır; bunun en olası nedeni, DFlash2'nin bütün tahmini tek paralel geçişte yapmasıdır.

Spekülasyon KV Önbelleği Kapasitesini Nasıl Etkiler?

Bağlam Sınırına (max_model_len) Göre vLLM'in Açılışta Raporladığı KV Önbelleği Kapasitesi (Yapay Zeka ile Oluşturulmuştur.)

KV önbelleği, modelin daha önce işlediği token'lara ait dikkat anahtar ve değerlerini tutan GPU belleğidir. Spekülasyon, taslak modelin ağırlıklarının ötesinde bu bellekte ek yer gerektirir. Bu ek yerin iki kaynağı vardır:

  • Doğrusal dikkat durumları: GLM-5.3-Flash, seyrek (sparse) ve doğrusal dikkat (linear attention) katmanlarını birlikte kullanan hibrit bir modeldir. Doğrusal dikkat katmanları her istek için sabit boyutlu bir durum tutar; spekülasyon açıkken vLLM her taslak pozisyonu için bu durumdan bir kopya daha saklar.
  • Taslak modelin KV önbelleği: DFlash2 ayrıca kendi kayan pencereli katmanları için KV önbelleği tutar.

Her iki maliyet de token başına değil, istek başına ortaya çıkar. vLLM 32K sınırında çok sayıda eşzamanlı isteğe yer ayırdığından maliyet burada baskın hâle gelir; 1M'de ise payı küçülür.


Tablo 3: vLLM'in Açılışta Raporladığı KV Önbelleği Token Kapasitesi

Parantez içinde o bağlam sınırındaki en yüksek eşzamanlılık gösterilmiştir.

  • Kısa bağlamda MTP daha ekonomik. 32K'da MTP k=1 spekülasyonsuz kapasitenin %81'ini korumuş ve yine de 1,3–1,5× hızlanma sağlamıştır.
  • Uzun bağlamda sıralama tersine dönmüştür. 512K ve üzerinde k ≤ 5 olan DFlash2 yapılandırmaları, MTP k=3'ten daha fazla kapasite korumuştur.
  • Mevcut sunucu ayarında pratik etkisi sınırlıdır. 32K'da bile vLLM, DFlash2 k=5 için en yüksek eşzamanlılığı ≈47,5 tam uzunlukta istek olarak bildirmektedir; bu değer --max-num-seqs 32 ayarından fazladır. Kapasite maliyeti ancak küme boyutu büyütüldüğünde ya da çok sayıda kullanıcıya uzun bağlam sunulduğunda önem kazanır.

Girdi Uzunluğuna Göre Kabul Uzunluğu (Eşzamanlılık 1) (Yapay Zeka ile Oluşturulmuştur.)

Uzun Girdi Kabul Uzunluğunu ve Üretim Aşaması Hızını Nasıl Etkiler?

Uzun girdide kabul uzunluğunun nasıl değiştiğini görmek için her uzunlukta Savaş ve Barış'tan 4 bölüm gönderildi. Her bölümün ardından "metni özetle" talimatı yer aldı ve istekler tek tek (eşzamanlılık 1) işlendi. Üretim aşaması hızı yanıt akışından, kabul uzunluğu ise vLLM'in `/metrics` sayaçlarındaki farklardan ölçüldü.


Tablo 4. Girdi Uzunluğuna Göre Üretim Aşaması Token/sn ve Kabul Uzunluğu (AL), eşzamanlılık 1.

Girdi Uzunluğuna Göre Üretim Aşaması Hızı (Eşzamanlılık 1) (Yapay Zeka ile Oluşturulmuştur.)

  • Spekülasyonsuz üretim aşaması hızı girdi uzunluğundan bağımsız. Hız 2K'dan 128K'ya kadar ≈169 token/sn'de sabit kalmıştır. Bu durum büyük olasılıkla GLM-5.3-Flash'ın seyrek dikkat (sparse attention) kullanmasıyla ilişkilidir.
  • Birden fazla taslak token tahmin eden yöntemlerde kabul uzunluğu girdi uzadıkça düşmüştür. Düşüş ikinci ve sonraki taslak token'larda yoğunlaşmış gibi görünmektedir: Tek token tahmin eden MTP k=1'in kabul uzunluğu 1,8 civarında sabit kalmıştır.
  • Hızlanma korunmuştur. 128K token'da DFlash2 k=5 ve MTP k=3, spekülasyonsuz çalışmaya göre hâlâ 1,9 kat hızlı üretim aşaması hızına sahiptir.

Hangi Yapılandırma Önerilir?

  • Varsayılan yapılandırma: `num_speculative_tokens=5` ile DFlash2: `--speculative-config '{"method":"dflash","model":"incoai/GLM-5.3-Flash-DFlash2","num_speculative_tokens":5}'`.
  • Kısa bağlam sınırında çok sayıda eşzamanlı uzun istek gerekiyorsa: MTP (`{"method":"mtp","num_speculative_tokens":3}`; en yüksek kapasite için k=1). Bu seçenek hızdan kısmen ödün verilerek KV önbelleği kapasitesi kazandırır ve ek model indirmeyi gerektirmez.
  • Sunucu trafik almadan önce ısıtılmalıdır. Açılıştan sonraki ilk yükte çekirdekler derlendiği için işlem yaklaşık yarı hızda gerçekleşir. Derleme önbellekleri (`VLLM_CACHE_ROOT`, Triton, DeepGEMM) kalıcı bir diskte tutulmalıdır.

Kapsam ve Sınırlılıklar

KV Cache Capacity Reported by vLLM at Startup According to Context Limit (max_model_len) (Generated by Artificial Intelligence.)

  • Yazılım sürümü: vLLM 0.32.0rc0 bir sürüm adayıdır. GLM-5.3-Flash ile DFlash2 desteği, 0.31.0 sürümünden sonra PR #56983, #60763 ve #57169 ile eklenmiştir.【12】
  • Tekrar: Her nokta tek koşudan elde edilmiştir; tekrar yapılmamıştır.
  • Donanım: Yalnızca 2× B200 ve TP=2 ölçülmüştür. Daha yüksek tensör paralelliği ya da uzman paralelliği (expert parallelism, EP) hem hızı hem kapasiteyi değiştirebilir.
  • Çıktı kalitesi: Ölçülmemiştir. vLLM dokümantasyonuna göre spekülatif kod çözme, donanımın kayan nokta hassasiyeti sınırları içinde teorik olarak kayıpsızdır; kayan nokta hataları çıktı dağılımında küçük farklara yol açabilir.【13】
  • Lisans: DFlash2 ağırlıklarının lisansı ticari kullanımı kapsamaz;【14】önerilen yapılandırma ticari bir serviste ayrı lisans gerektirir.

Sonuç

GLM-5.3-Flash'ı yamasız vLLM 0.32.0rc0 üzerinde servis ederken DFlash2 k=5, ölçülen bütün eşzamanlılık düzeylerinde spekülasyonsuz çalışmaya göre 1,8–2,4× çıktı hızı sağlayan ve KV önbelleği maliyeti k=7'den düşük olan dengeli seçenektir. MTP ise ek model gerektirmemesi ve kısa bağlam sınırında daha fazla kapasite bırakması nedeniyle, çok sayıda eşzamanlı uzun isteğin önemli olduğu servislerde öne çıkar. Bu sonuçlar tek koşuya, tek donanım yapılandırmasına ve bir sürüm adayına dayanır. Sonraki adım olarak ölçümlerin tekrarlı koşularla, farklı tensör ve uzman paralelliği yapılandırmalarında yinelenmesi uygun olacaktır.

Kaynakça

Chen, J., Y. Liang, Z. Liu. "DFlash: Block Diffusion for Flash Speculative Decoding." *arXiv*. 2026. Accessed October 26, 2026.https://arxiv.org/abs/2602.06036

Dovis01. "[Spec Decode][Model] Support DFlash2 draft models with GLM-5.3-Flash." GitHub. Accessed October 26, 2026.https://github.com/vllm-project/vllm/pull/56983

NVIDIA. "GLM-5.3-Flash-NVFP4." Hugging Face. Accessed October 26, 2026.https://huggingface.co/nvidia/GLM-5.3-Flash-NVFP4

Xia, H., Z. Yang, Q. Dong et al. "Unlocking Efficiency in Large Language Model Inference: A Comprehensive Survey of Speculative Decoding." *arXiv*. 2024. Accessed October 26, 2026.https://arxiv.org/abs/2401.07851

andakai. "[KV Cache] GLM-5.3-Flash: use the generic packed KV layout; CircularBufferSpec tail with speculative ring slots." GitHub. Accessed October 26, 2026.https://github.com/vllm-project/vllm/pull/57169

hemingkx. "Spec-Bench." GitHub. Accessed October 26, 2026.https://github.com/hemingkx/Spec-Bench

inco.ai. "DFlash 2: Keep Drafting Parallel." inco.ai. Accessed October 26, 2026.https://inco.ai/blog/dflash2/

incoai. "GLM-5.3-Flash-DFlash2." Hugging Face. Accessed October 26, 2026.https://huggingface.co/incoai/GLM-5.3-Flash-DFlash2

ischencheng. "[Bugfix][Spec Decode] Fix GLM-5.3-Flash DFlash2/EAGLE3 aux hidden-state capture with the upstream config." GitHub. Accessed October 26, 2026.https://github.com/vllm-project/vllm/pull/60763

vLLM. "Speculative Decoding." vLLM. Accessed October 26, 2026.https://docs.vllm.ai/en/latest/features/speculative_decoding/

Dipnotlar

  • [1]

    vLLM, "Speculative Decoding," vLLM, Erişim Tarihi: 26 Ekim 2026. https://docs.vllm.ai/en/latest/features/speculative_decoding/

  • [2]

    H. Xia, Z. Yang, Q. Dong vd., "Unlocking Efficiency in Large Language Model Inference: A Comprehensive Survey of Speculative Decoding," arXiv, 2024, Erişim Tarihi: 26 Ekim 2026. https://arxiv.org/abs/2401.07851

  • [3]

    incoai, "GLM-5.3-Flash-DFlash2," Hugging Face, Erişim Tarihi: 26 Ekim 2026. https://huggingface.co/incoai/GLM-5.3-Flash-DFlash2

  • [4]

    inco.ai, "DFlash 2: Keep Drafting Parallel," inco.ai, Erişim Tarihi: 26 Ekim 2026. https://inco.ai/blog/dflash2/

  • [5]

    Dovis01, "[Spec Decode][Model] Support DFlash2 draft models with GLM-5.3-Flash," GitHub, Erişim Tarihi: 26 Ekim 2026. https://github.com/vllm-project/vllm/pull/56983; vLLM, "Speculative Decoding."

  • [6]

    incoai, "GLM-5.3-Flash-DFlash2," Hugging Face; inco.ai, "DFlash 2: Keep Drafting Parallel," inco.ai, Erişim Tarihi: 26 Ekim 2026. https://inco.ai/blog/dflash2/

  • [7]

    nvidia, "GLM-5.3-Flash-NVFP4," Hugging Face, Erişim Tarihi: 26 Ekim 2026. https://huggingface.co/nvidia/GLM-5.3-Flash-NVFP4

  • [8]

    incoai, "GLM-5.3-Flash-DFlash2." Hugging Face.

  • [9]

    inco.ai, "DFlash 2: Keep Drafting Parallel," inco.ai.

  • [10]

    hemingkx, "Spec-Bench," GitHub, Erişim Tarihi: 26 Ekim 2026. https://github.com/hemingkx/Spec-Bench

  • [11]

    nvidia, "GLM-5.3-Flash-NVFP4." Hugging Face.

  • [12]

    Dovis01, "[Spec Decode][Model] Support DFlash2 draft models with GLM-5.3-Flash," GitHub; ischencheng, "[Bugfix][Spec Decode] Fix GLM-5.3-Flash DFlash2/EAGLE3 aux hidden-state capture with the upstream config," GitHub; andakai, "[KV Cache] GLM-5.3-Flash: use the generic packed KV layout; CircularBufferSpec tail with speculative ring slots," GitHub.

  • [13]

    vLLM, "Speculative Decoding," vLLM.

  • [14]

    incoai, "GLM-5.3-Flash-DFlash2," Hugging Face.

T3 AI
Türkiye'nin Büyük Dil Modeli,sizlerle birlikte büyüyor.

İçindekiler

  • MTP ve DFlash2 Taslak Token'ları Nasıl Üretir?

  • Yöntem

  • Temel Bulgular

    • Eşzamanlılık Arttıkça Çıktı Hızı Nasıl Değişir?

    • Kaç Taslak Token Kullanılmalıdır?

    • Spekülasyon KV Önbelleği Kapasitesini Nasıl Etkiler?

    • Uzun Girdi Kabul Uzunluğunu ve Üretim Aşaması Hızını Nasıl Etkiler?

  • Hangi Yapılandırma Önerilir?

  • Kapsam ve Sınırlılıklar

  • Sonuç