Baseten, makine öğrenimi (ML – Machine Learning / Makine Öğrenimi) modellerinin üretim ortamında dağıtımını, sunumunu ve ölçeklendirilmesini sağlayan bir altyapı yazılım platformudur. 2019 yılında San Francisco, Kaliforniya’da kurulan şirket, yapay zekâ uygulamaları geliştiren kuruluşların modellerini hızlı, güvenilir ve maliyet etkin biçimde çalıştırmalarını hedeflemektedir. Geliştirdiği platform ile model çıkarımı (inference – çıkarım) sürecini merkezine alan Baseten, bu aşamadaki performans darboğazlarını çözmeye odaklanmaktadır. Şirketin müşteri portföyü arasında Writer, Descript, Abridge ve Gamma gibi yapay zekâ odaklı firmalar bulunmaktadır.

Kuruluş ve Finansman

Baseten, 2019 yılında Tuhin Srivastava, Amir Haghighat, Philip Howes ve Pankaj Gupta tarafından kurulmuştur. Şirket, yapay zekâ model çıkarımını optimize eden yazılımlar geliştirerek büyümesini sürdürmüştür. 2025 yılı itibarıyla çalışan sayısı 60’ı aşmış, aynı yıl içinde Spark Capital ve IVP ortak liderliğinde düzenlenen Seri C yatırım turunda 75 milyon dolar fon sağlamıştır. Toplamda 135 milyon dolarlık yatırım alan şirketin piyasa değeri 850 milyon dolar olarak açıklanmıştır.

Teknolojik Altyapı ve Ortaklıklar

Baseten, bulut tabanlı model sunum altyapısını Amazon Web Services (AWS – Amazon Web Hizmetleri) üzerinde çalıştırmaktadır. Amazon Elastic Compute Cloud (EC2 – Elastik Hesaplama Bulutu) ve Amazon Elastic Kubernetes Service (EKS – Elastik Kubernetes Servisi) gibi servisleri kullanan Baseten, aynı zamanda NVIDIA ile yakın bir işbirliği yürütmektedir. NVIDIA’nın TensorRT-LLM (TensorRT for Large Language Models / Büyük Dil Modelleri için TensorRT) ve Triton Inference Server çözümlerini entegre ederek model çıkarım süresini ve verimliliğini artırmaktadır. NVIDIA Inception programı kapsamında, Baseten TensorRT-LLM teknolojisine erken erişim elde etmiş ve müşterilerine ortalama iki kat daha yüksek çıkarım verimi ve %50’ye varan ilk çıktı üretim süresi (TTFT – Time to First Token / İlk Jeton Üretim Süresi) iyileştirmesi sunmuştur.

Ürünler ve Hizmetler

Baseten platformu, yapay zekâ modellerinin dağıtım, sunum, izleme ve yönetim aşamalarını desteklemektedir. Temel bileşenleri şunlardır:

Truss: Açık kaynaklı bir model paketleme kütüphanesi olup PyTorch, TensorFlow, HuggingFace Transformers, TensorRT ve Triton gibi framework'leri desteklemektedir. Python tabanlı modellerin bağımlılıklarıyla birlikte üretim ortamına aktarılmasını sağlar.

Chains: Karmaşık yapay zekâ iş akışlarını destekleyen bir yazılım geliştirme kiti (SDK – Software Development Kit / Yazılım Geliştirme Kiti) olan Chains, çok adımlı model zincirleri kurmaya imkân tanır.

Inference Motoru: Eşzamanlı (synchronous – senkron), eşzamansız (asynchronous – asenkron) ve akışlı (streaming – akışlı) çıkarımı destekleyen bu yapı, spekülatif çıkarım (speculative decoding – tahmine dayalı çözümleme) gibi gelişmiş tekniklerle çalışır.

Gözlemlenebilirlik (Observability – Gözlemlenebilirlik): Gerçek zamanlı izleme araçlarıyla sistem performansı takip edilebilir, dış gözlemleme araçları olan Datadog ve Prometheus ile entegre şekilde çalışabilir.

Modeller ve Uygulama Alanları

Baseten, kullanıcıların kendi modellerini ya da önceden eğitilmiş açık kaynak modelleri üretim ortamına entegre etmelerini sağlayan bir model kütüphanesi sunar. Bu kütüphane; metin üretimi (LLM – Large Language Model / Büyük Dil Modeli), sesli transkripsiyon (Whisper), görsel üretimi, metin gömme (embedding – gömme), ses üretimi ve metinden ses üretimi (TTS – Text to Speech / Metinden Konuşmaya) gibi farklı alanlara yayılmış modelleri içerir.

Altyapı ve Ölçeklenebilirlik

Baseten’in altyapısı çok bölgeli, çok bulutlu ve çok küme destekli olarak tasarlanmıştır. NVIDIA A100, H100, H200, GH200 ve L4 gibi GPU (Graphics Processing Unit / Grafik İşlem Birimi) modelleriyle çalışabilen sistem, gerektiğinde binlerce kopya (replica – çoğaltma) oluşturabilecek otomatik yatay ölçekleme (autoscaling – otomatik ölçekleme) yeteneğine sahiptir. Sistem, yıllık toplam hizmet kesintisi süresi yaklaşık beş buçuk dakika olacak şekilde %99,999 oranında kullanılabilirlik hedefiyle yapılandırılmıştır.

Uyumluluk ve Güvenlik

Baseten; HIPAA (Health Insurance Portability and Accountability Act / Sağlık Bilgi Taşınabilirliği ve Sorumluluk Yasası), SOC 2 Type II (System and Organization Controls / Sistem ve Organizasyon Kontrolleri) ve GDPR (General Data Protection Regulation / Genel Veri Koruma Tüzüğü) gibi uluslararası güvenlik ve veri koruma standartlarıyla uyumludur. Sistem, kullanıcı verilerini saklamaz; model giriş ve çıkışları tamamen kullanıcı kontrolünde tutulur.

Finansal Yapı ve Müşteri Kitlesi

Baseten'in fiyatlandırma modeli, kullanılan hesaplama süresi başına ödeme esasına dayalıdır (pay-per-minute – dakika başı ücretlendirme). Platformda Basic, Pro ve Enterprise olmak üzere üç katmanlı hizmet paketi sunulmaktadır. Müşteriler arasında Descript, Patreon, Rime ve Bland AI gibi kuruluşlar yer alırken, sistemin sağladığı çıkarım maliyeti tasarrufu %40 ile %65 arasında değişebilmektedir.