Together AI

Together AI, açık kaynaklı büyük dil modellerinin eğitimi, ince ayarı (fine-tuning) ve üretim ortamlarında çalıştırılması için altyapı ve yazılım çözümleri sunan, San Francisco merkezli bir yapay zekâ bulut sağlayıcısıdır. 2022 yılında kurulan şirket, araştırma odaklı mühendislik yaklaşımı ve RedPajama adlı açık veri kümesi girişimiyle, açık kaynak yapay zekâ ekosistemine katkılarıyla öne çıkmaktadır.

Kuruluşu ve Yönetimi

Together AI, 2022 yılında Vipul Ved Prakash (CEO), Ce Zhang (CTO), Chris Ré, Percy Liang ve Tri Dao tarafından kurulmuştur. Kurucu ekipte, Stanford Üniversitesi ve Hazy Research kökenli yapay zekâ araştırmacıları yer almaktadır. Şirketin merkezi San Francisco, Kaliforniya’da bulunmaktadır.

Teknoloji Altyapısı

Together AI, büyük dil modellerinin eğitimi, çıkarımı ve ince ayarı için optimize edilmiş, yüksek performanslı donanım ve yazılım bileşenlerinden oluşan bir altyapı sunmaktadır. Şirketin teknolojik yapısı üç ana bileşen etrafında şekillenmektedir: Together Inference Engine, Together Fine-Tuning altyapısı ve Together GPU Clusters.

Together Inference Engine

Together Inference Engine, açık kaynaklı ve özel modellerin üretim ortamlarında çıkarımı için geliştirilmiş yüksek verimli bir motor olarak konumlanmaktadır. Bu motor, şu teknik avantajları sunar:

• Transformer-optimize edilmiş çekirdekler (Kernels): Özelleştirilmiş FP8 (float 8-bit) çıkarım çekirdekleri, PyTorch gibi yaygın framework’lere kıyasla %75’e varan hız artışı sağlar.
• Kalite korumalı kuantizasyon (QTIP): Model doğruluğunu korurken düşük hassasiyetli (low-precision) hesaplamalarla çıkarım süresini kısaltır.
• Spekülatif kod çözme (Speculative Decoding): RedPajama veri kümesi ile eğitilmiş taslak modellerle yüksek verimli çıkarım gerçekleştirilmesini mümkün kılar.
• Model varyantları: Aynı modeli üç farklı formatta sunar: “Lite” (en düşük maliyet), “Turbo” (hız ve doğruluk dengesi) ve “Reference” (tam doğrulukta çıkarım).
• API Desteği: OpenAI uyumlu sunucusuz API’ler ile tüm modeller programatik olarak kullanılabilir. Ayrıca özel (dedicated) uç noktalarla tekil GPU’lara ayrılmış model çalıştırma imkânı tanır.

Together Fine-Tuning Altyapısı

Together AI’nin ince ayar altyapısı, kullanıcı verisiyle modellerin yeniden eğitilmesini sağlar ve aşağıdaki teknik özellikleri içerir:

• LoRA (Low-Rank Adaptation): Daha düşük kaynak kullanımıyla model özelleştirme imkânı tanır.
• Tam ince ayar (Full Fine-Tuning): Model parametrelerinin tamamının yeniden eğitilmesini sağlar.
• DPO (Direct Preference Optimization) ve Continued Fine-Tuning yöntemleri ile, tercih tabanlı ve devamlı model optimizasyonu yapılabilir.
• Uzun bağlam desteği: 32K token’a kadar uzun bağlamlarda fine-tuning yapılmasına olanak tanır.
• JSONL formatında veri yükleme ve CLI (komut satırı arayüzü) desteği ile, kullanıcılar ince ayar süreçlerini otomatikleştirebilir.

Together GPU Clusters

Together AI’nin yüksek performanslı GPU kümeleri, model eğitimi ve çıkarımı için özel olarak yapılandırılmıştır. Donanım ve ağ altyapısının özellikleri şunlardır:

• GPU Seçenekleri:
• • NVIDIA A100 (80GB HBM2e)
  • NVIDIA H100 (80GB HBM3)
  • NVIDIA H200 (141GB HBM3e)
  • NVIDIA B200 (192GB HBM3e)
  • NVIDIA GB200 (384GB HBM3e) gibi en yeni Blackwell ve Hopper mimarili kartlar
• Yüksek hızlı bağlantılar:
• • NVLink: GPU’lar arasında doğrudan ve hızlı iletişim sağlar.
  • InfiniBand (3200 Gbps): Dağıtık eğitim ve çıkarım süreçlerinde düşük gecikmeli ağ bağlantısı sunar.
• Yazılım Yığını:
• • Together Kernel Collection: CUDA tabanlı özel çekirdekler, eğitim süresini azaltır.
  • Slurm ve Kubernetes: Dinamik yük dengeleme ve kaynak yönetimi sağlar.
• Eğitim ve çıkarım hızları: PyTorch’a kıyasla %24 daha hızlı eğitim ve %75’e kadar daha hızlı çıkarım performansı sunar.
• SLA ve Güvenilirlik: %99.9’a varan hizmet düzeyi anlaşması (SLA), yedekli altyapı ve uzman teknik destek ile sunulur.

Together AI'nin geliştirdiği RedPajama, 30 trilyon token’dan oluşan RedPajama-Data-v2 veri kümesi ile, şimdiye kadar kamuya açık en büyük LLM veri kümelerinden biridir. Bu veri kümesi ve üzerine eğitilmiş RedPajama modelleri, 500’den fazla açık kaynak LLM projesi tarafından kullanılmaktadır. RedPajama, açık yapay zekâ araştırmaları ve yeniden üretilebilir modeller geliştirmek için temel sağlamayı amaçlamaktadır.

Araştırma ve Yenilikler

Together AI, yapay zekâ alanında birçok önemli araştırma yayınlamıştır. Bunlar arasında FlashAttention-3 (düşük gecikmeli ve hassas dikkat mekanizması), Cocktail SGD (dağıtık eğitimde ağ yükünü 117 kata kadar azaltan optimizasyonlar), QTIP (nitelikli düşük hassasiyetli çıkarım teknikleri) ve Sub-quadratic model mimarileri (Striped Hyena, Monarch Mixer gibi) yer almaktadır.

Müşteri ve Kullanım Alanları

Together AI altyapısı; metin, kod, görsel, ses, gömülü vektör (embedding), sıralama (rerank) ve çok modlu (multimodal) modelleri kapsar. Platform, Salesforce, The Washington Post, Pika Labs, Arcee AI, Nexusflow ve Wordware gibi şirketler tarafından kullanılmaktadır. Kullanım senaryoları arasında müşteri destek sistemleri, video üretimi, siber güvenlik modellemeleri, oyun içi yapay karakterler, metinden sese çözümler ve kurumsal belge analitiği yer almaktadır.

Fiyatlandırma

Together AI, üç ana fiyatlandırma paketi sunar:

• Build: Başlangıç seviyesinde, pay-as-you-go modeliyle hızlı çıkarım ve sunucusuz uç nokta erişimi sağlar.
• Scale: Ayrılmış GPU’larla daha yüksek sorgu sınırları, Slack destekli teknik yardım ve özel yapılandırma imkânı sunar.
• Enterprise: Tam VPC (Virtual Private Cloud) dağıtımı, 99.9% SLA garantili özel uç noktalar, coğrafi yedekleme ve özel destek temsilcileri içerir.

Gelecek Perspektifi

Together AI, açık kaynaklı yapay zekâ teknolojilerini kurumsal üretim ortamlarına taşımayı hedefleyen vizyonuyla; daha hızlı, maliyet etkin ve kontrol edilebilir modeller sunmaya odaklanmıştır. FlashAttention gibi çekirdek algoritmalarda araştırma liderliğini sürdüren şirket, altyapı seviyesinde hız ve verimliliği artırarak büyük modellerin dağıtımını daha erişilebilir hâle getirmeyi amaçlamaktadır.