Groq, yapay zekâ çıkarımı alanına odaklanan Amerika Birleşik Devletleri merkezli bir yarı iletken ve bulut bilişim şirketidir. 2016 yılında Mountain View, Kaliforniya’da Jonathan Ross ve Douglas Wightman tarafından kurulmuştur. Şirketin geliştirdiği LPU (Language Processing Unit - Dil İşleme Birimi), geleneksel grafik işlemcilere (GPU) kıyasla daha düşük gecikme süresi, daha yüksek hız ve enerji verimliliği ile yapay zekâ modellerini çalıştırmak amacıyla özel olarak tasarlanmıştır. Groq’un bulut platformu olan GroqCloud, 2024 yılı Şubat ayında kullanıma sunulmuş ve kısa sürede 1,5 milyonu aşkın geliştirici tarafından kullanılmaya başlanmıştır.

Kurumsal Yapı

Groq’un kurucusu ve CEO’su, daha önce Google’da TPU (Tensor Processing Unit - Tensor İşlem Birimi) tasarımında görev alan Jonathan Ross’tur. Şirketin üst yönetim kadrosunda Stuart Pann (COO), Chelsey Susin Kantor (CMO), Sunny Madra (COO, Operasyon ve Tedarik Zinciri), Claire Hart (CLO), Allison Hopkins (CTO) ve Ian Andrews (CRO) görev yapmaktadır. Yönetim kurulunda Jonathan Ross’un yanı sıra Youngme Moon, Andy Rappaport ve Samir Menon yer almaktadır. Şirketin teknik danışmanları arasında Meta baş yapay zekâ bilimcisi Yann LeCun bulunmaktadır.

Teknolojik Mimari

Groq’un sunduğu çıkarım mimarisi, grafik işlemcilerden farklı bir şekilde tasarlanmıştır. LPU mimarisi; çekirdeksiz derleyici, bellek ve işlem biriminin çip üzerinde birlikte konumlandırılması, önbellek ve anahtarlama birimlerinin olmaması gibi yapısal farklılıklar içermektedir. Bu yaklaşım, çıkarım sürecindeki darboğazları azaltmayı ve doğrusal ölçeklenebilirliği mümkün kılmayı hedefler. LPU sistemleri, GroqCloud üzerinden veya şirketin yerinde dağıtım çözümü GroqRack aracılığıyla kullanılabilir.

GroqCloud

GroqCloud, geliştiricilerin Groq altyapısını kullanarak yapay zekâ uygulamaları geliştirmesine imkân tanıyan bir platformdur. Bu hizmet, kamuya açık modellerin yüksek hızla çıkarımını sağlar. Meta’nın Llama, Google’ın Gemma, OpenAI’nin Whisper, DeepSeek, Qwen ve Mistral gibi modeller GroqCloud üzerinden çalıştırılabilir. Groq, OpenAI API’siyle uyumlu hale getirilmiş olup, basit kod değişiklikleriyle mevcut uygulamaların Groq sistemine geçirilmesine olanak sağlar.

Donanım Çözümleri

GroqRack, sekiz adet GroqNode ve bir yedek sunucudan oluşan bir donanım kümesidir. Tek bir rack’te 1.6 mikrosaniye uçtan uca gecikme süresi ile çıkarım yapılabilir. Bu sistem, kurumsal veri merkezlerine “tak ve çalıştır” (plug-and-play) kolaylığında entegre edilebilmekte ve özel soğutma ile enerji altyapısı gerektirmemektedir. Kuzey Amerika’da üretilen LPU donanımları, Groq’un yerinde kurulum çözümleri kapsamında kullanıcılara sunulmaktadır.

Fiyatlandırma Politikası

Groq, ön ödeme gerektirmeyen ve yalnızca kullanılan token miktarına göre ödeme yapılan bir fiyatlandırma modeli benimsemiştir. Bu “kullandıkça öde” yapısı, geliştiricilere ve kurumsal müşterilere düşük maliyetli ve erişilebilir bir yapay zekâ çıkarım altyapısı sunmayı amaçlamaktadır. Ayrıca, Groq’un toplu işleme ve kurumsal API çözümleri, büyük ölçekli ihtiyaçlara yönelik ayrıcalıklı destekle birlikte sunulmaktadır.

Finansal Gelişmeler

2024 yılı Ağustos ayında Groq, BlackRock liderliğinde yürütülen Seri D yatırım turunda 640 milyon dolar fon toplamış ve toplam değerlemesini 2,8 milyar dolara çıkarmıştır. Şirketin önceki yatırımcıları arasında Neuberger Berman, Cisco Investments, KDDI ve Samsung Catalyst Fund yer almaktadır. Elde edilen fonların büyük bir bölümü LPU altyapısının genişletilmesi, GroqCloud kapasitesinin artırılması ve yeni modellerin desteklenmesi amacıyla kullanılmaktadır.

Rekabet Ortamı

Groq, yapay zekâ çıkarımına özel donanım geliştiren şirketler arasında Nvidia, Google (TPU), Amazon (Inferentia), Microsoft (Maia), Intel ve AMD gibi büyük teknoloji firmalarıyla rekabet hâlindedir. Şirketin öne çıkan stratejilerinden biri, düşük gecikme süresi ve yüksek enerji verimliliğiyle kamuya açık büyük dil modellerini gerçek zamanlı olarak çalıştırabilecek kapasitede sistemler geliştirmektir.

Uluslararası Ortaklıklar

Groq, kamu ve özel sektörle çeşitli iş birlikleri yürütmektedir. Bu kapsamda ABD hükümeti kurumları ve Avrupa’daki veri merkezleriyle çalışılmakta, Suudi Arabistan merkezli Aramco Digital gibi ortaklarla Orta Doğu'da yeni veri merkezleri kurulması planlanmaktadır. Şirketin 2025 yılı ilk çeyreği sonuna kadar 108.000’den fazla LPU’yu devreye alması, yıl sonuna kadar bu sayının 1,5 milyona ulaşması hedeflenmektedir.

Gelecek Vizyonu

Groq’un gelecek vizyonu, yapay zekâ çıkarımını daha hızlı, daha erişilebilir ve daha düşük maliyetli hâle getirmek üzerine şekillenmektedir. Şirket, bu doğrultuda bulut hizmetlerini genişletmeyi, yeni LPU nesillerini 4 nm üretim teknolojisiyle geliştirmeyi ve dünya genelinde daha fazla veri merkezine entegre olmayı planlamaktadır. Ayrıca, kamuya açık modellerin ötesinde özel ve ince ayarlanmış modellerin desteklenmesi, gerçek zamanlı uygulamaların güçlendirilmesi ve çok modlu yapay zekâ sistemlerinin yaygınlaştırılması hedeflenmektedir.