ChatGPT’ye, Claude’a veya herhangi bir LLM’e uzun bir metin yap\u0131\u015ft\u0131r\u0131p soru sordu\u011funuzda, ilk yan\u0131t biraz ge\u00e7 gelse de ard\u0131ndan gelen her token’\u0131n neredeyse anl\u0131k akt\u0131\u011f\u0131n\u0131 fark etmi\u015fsinizdir. Bu sihrin arkas\u0131nda b\u00fcy\u00fck \u00f6l\u00e7\u00fcde KV Cache yat\u0131yor.
Teknik detaylara girmeden \u00f6nce \u015funu s\u00f6yleyeyim: KV Cache, b\u00fcy\u00fck dil modellerini production’da ger\u00e7ekten kullan\u0131labilir k\u0131lan \u015feydir. Olmasa GPT-4’e uzun bir d\u00f6k\u00fcman g\u00f6nderip cevap beklemek dakikalarca s\u00fcrebilirdi.<\/p>\n\n\n\n
\u00d6nce Transformer’\u0131n Nas\u0131l \u00c7al\u0131\u015ft\u0131\u011f\u0131n\u0131 Anlamak Gerekiyor
LLM’lerin temeli Transformer mimarisine dayan\u0131yor. Transformer’da her token, di\u011fer t\u00fcm token’larla bir Attention (dikkat) mekanizmas\u0131 arac\u0131l\u0131\u011f\u0131yla ili\u015fki kuruyor. Bu mekanizma \u015f\u00f6yle \u00e7al\u0131\u015f\u0131yor:
Her token i\u00e7in \u00fc\u00e7 hesapalama yap\u0131l\u0131yor: Query (Q), Key (K) ve Value (V).
Model bir sonraki token’\u0131 \u00fcretirken \u015funu soruyor: “Bu Query, di\u011fer hangi Key’lerle ne kadar alakal\u0131? O Key’lere kar\u015f\u0131l\u0131k gelen Value’lar\u0131 ne oranda kullanay\u0131m?”
\u0130\u015fte bu K ve V vekt\u00f6rlerini her ad\u0131mda s\u0131f\u0131rdan hesaplamak yerine bellekte saklay\u0131p yeniden kullanmak KV Cache’in \u00f6z\u00fc.<\/p>\n\n\n\n
KV Cache Olmadan Ne Olur?
Diyelim ki modele 1000 token’l\u0131k bir prompt g\u00f6nderdiniz. Model ilk yan\u0131t token’\u0131n\u0131 \u00fcretmek i\u00e7in bu 1000 token’\u0131n tamam\u0131n\u0131n K ve V vekt\u00f6rlerini hesaplamak zorunda. Tamam, bu bir kere yap\u0131ld\u0131.
Peki ya ikinci token? Model art\u0131k 1001 token’l\u0131 bir diziye bak\u0131yor. KV Cache yoksa bu 1001 token’\u0131n tamam\u0131n\u0131 ba\u015ftan hesapl\u0131yor. \u00dc\u00e7\u00fcnc\u00fc token i\u00e7in 1002 token\u2026 Her ad\u0131mda yeniden artan bir hesaplama y\u00fck\u00fc.
Bu durum hem son derece yava\u015f hem de GPU i\u00e7in ciddi bir kaynak israf\u0131.<\/p>\n\n\n\n
KV Cache ile Ne De\u011fi\u015fiyor? Peki Bu Cache Nerede Duruyor? Prompt Caching Ayr\u0131 Bir \u015eey Mi? Neden Bu Kadar \u00d6nemli? <\/p>\n","protected":false},"excerpt":{"rendered":" ChatGPT’ye, Claude’a veya herhangi bir LLM’e uzun bir metin yap\u0131\u015ft\u0131r\u0131p soru sordu\u011funuzda, ilk yan\u0131t biraz ge\u00e7 gelse de ard\u0131ndan gelen her token’\u0131n neredeyse anl\u0131k akt\u0131\u011f\u0131n\u0131…<\/p>\n
<\/strong>Model, bir kere hesaplad\u0131\u011f\u0131 K ve V vekt\u00f6rlerini bellekte (GPU VRAM’inde) sakl\u0131yor. Yeni bir token geldi\u011finde sadece o yeni token i\u00e7in K ve V hesapl\u0131yor, eskilerini cache’den \u00e7ekiyor.
Sonu\u00e7: Token \u00fcretimi yerine karma\u015f\u0131kl\u0131\u011f\u0131na yakla\u015f\u0131yor. \u00d6zellikle context window uzad\u0131k\u00e7a bu fark daha farkla art\u0131yor.
Durum Her token i\u00e7in hesaplama KV Cache yok T\u00fcm ge\u00e7mi\u015f token’lar yeniden hesaplan\u0131r KV Cache var ise sadece yeni token hesaplan\u0131r, geri kalan\u0131 cache’den gelir<\/p>\n\n\n\n
<\/strong>GPU’nun VRAM’inde. Ve bu ciddi bir sorun.
Bir modelin KV Cache boyutu \u015funa ba\u011fl\u0131: token say\u0131s\u0131 \u00d7 katman say\u0131s\u0131 \u00d7 kafa say\u0131s\u0131 \u00d7 vekt\u00f6r boyutu \u00d7 2 (K ve V i\u00e7in) \u00d7 veri tipi boyutu.
GPT-3.5 seviyesi bir modelde, 4096 token’l\u0131k bir context i\u00e7in KV Cache birka\u00e7 GB VRAM tutabilir. Bunun \u00fczerine bir de \u00e7ok say\u0131da paralel kullan\u0131c\u0131 iste\u011fi gelince inference altyap\u0131s\u0131 tasar\u0131m\u0131 ger\u00e7ek bir m\u00fchendislik problemi haline geliyor. Anthropic, OpenAI ve Google’\u0131n bu konuda yay\u0131mlad\u0131\u011f\u0131 teknik yaz\u0131lar incelendi\u011finde, KV Cache y\u00f6netiminin inference maliyetlerinin belki de en kritik kalemi oldu\u011fu g\u00f6r\u00fcl\u00fcyor.<\/p>\n\n\n\n
<\/strong>Burada bir ayr\u0131m\u0131 netle\u015ftirmek gerekiyor.
KV Cache: Model, tek bir istek i\u00e7inde kendi \u00fcretti\u011fi token’lar\u0131n vekt\u00f6rlerini bellekte tutar. Bu her modern LLM’de varsay\u0131lan olarak \u00e7al\u0131\u015f\u0131r.
Prompt Caching: Farkl\u0131 istekler aras\u0131nda ayn\u0131 prompt prefix’inin cache’lenmesi. Mesela bir sistem promptu veya uzun bir d\u00f6k\u00fcman her seferinde yeniden i\u015flenmek yerine cache’den servis edilir. Anthropic’in Claude API’sinde bu \u00f6zellik a\u00e7\u0131k\u00e7a sunuluyor. Ayn\u0131 uzun system prompt’u defalarca g\u00f6nderdi\u011finizde, ilk seferden sonra token maliyeti ve gecikme ciddi \u00f6l\u00e7\u00fcde d\u00fc\u015f\u00fcyor.<\/p>\n\n\n\n
\u015e\u00f6yle d\u00fc\u015f\u00fcn\u00fcn: Claude’a 100 sayfal\u0131k bir PDF y\u00fckleyip \u00fczerine 10 farkl\u0131 soru sormak istiyorsunuz. KV Cache ve prompt caching olmadan her soru i\u00e7in o 100 sayfal\u0131k i\u00e7erik ba\u015ftan i\u015flenmek zorunda kal\u0131r. Bu gereksiz yere token yakmak anlam\u0131na geliyor.
Bu teknoloji sayesinde uzun context window’larla \u00e7al\u0131\u015fmak, yani ger\u00e7ekten b\u00fcy\u00fck dok\u00fcmanlar, uzun konu\u015fma ge\u00e7mi\u015fleri, karma\u015f\u0131k system promptlar, ger\u00e7ek\u00e7i bir maliyetle m\u00fcmk\u00fcn hale geliyor.<\/p>\n\n\n\n
LLM’lerin bu kadar h\u0131zl\u0131 olmas\u0131n\u0131n arkas\u0131nda sadece daha h\u0131zl\u0131 GPU’lar yok. KV Cache gibi ak\u0131ll\u0131 m\u00fchendislik kararlar\u0131, bu modelleri g\u00fcnl\u00fck kullan\u0131ma uygun hale getiren as\u0131l fakt\u00f6rler de \u00f6nemli bir rol oynuyor.<\/p>\n\n\n\n