Edge AI (Uç Yapay Zeka)

Edge AI (Uç Yapay Zeka) veya Edge Intelligence (Uç Zeka - EI), yapay zeka (AI) hesaplamalarının ve algoritmalarının, merkezi bulut veri merkezleri yerine, verinin üretildiği veya kullanıcıların bulunduğu ağın uç noktalarına yakın konumdaki cihazlarda (uç cihazlar) çalıştırılması pratiğini ifade eder.

Bu yaklaşım, AI yeteneklerini mobil cihazlar, Nesnelerin İnterneti (IoT) sensörleri, akıllı kameralar, robotlar gibi gerçek dünya cihazlarına entegre etmeyi amaçlar. Temelde, uç bilişim (edge computing) paradigmalarını ve yapay zeka tekniklerini bir araya getirerek, verinin kaynağına daha yakın, dağıtık ve otonom zeka yetenekleri oluşturmayı hedefler.

Dar anlamda uç cihaz üzerinde AI çalıştırmak olarak tanımlansa da, daha geniş bir perspektifle, AI model eğitimini ve çıkarımını optimize etmek için uç cihazlar, uç sunucular ve bulut arasındaki hiyerarşik iş birliğinden tam olarak yararlanan bir paradigma olarak da görülebilir. Bu iş birliği seviyesi, verinin ne kadarının ve ne kadar uzağa aktarıldığına bağlı olarak farklılık gösterebilir.

^{Uç Zeka'nın 6 Seviyesi (}Zhou et al.: Edge Intelligence: Paving the Last Mile of Artificial Intelligence With Edge Computing⁾

Edge AI'ın kökenleri, 1990'larda web ve oyun videolarını kullanıcılara yakın sunucularda barındıran içerik dağıtım ağlarının (CDN) ortaya çıkışına kadar uzanabilir. Ancak modern anlamda Edge AI'ın gelişimi, bilişim modellerindeki evrimle yakından ilişkilidir. Merkezi ana bilgisayar modelinden kişisel bilgisayarlara, istemci-sunucu (C/S) ve tarayıcı-sunucu (B/S) mimarilerine, ardından bulut bilişime geçiş yaşanmıştır.

2000'li yıllardan sonra bulut bilişimin yaygınlaşması, merkezi veri merkezlerinde büyük işlem gücü ve depolama kapasitesi sunmuş olsa da, özellikle mobil cihazların ve IoT'nin patlamasıyla ortaya çıkan yüksek gecikme süresi, bant genişliği darboğazları, veri gizliliği endişeleri gibi zorluklar yeni yaklaşımları zorunlu kılmıştır. Bu zorluklara yanıt olarak, işlem gücünü ağın uç noktalarına taşıyan uç bilişim paradigmaları geliştirilmiştir:

• Cloudlet (Bulutçuk): 2009'da mobil cihazlar için yerel, küçük ölçekli "kutudaki veri merkezi" konsepti olarak ortaya çıktı.

• Fog Computing (Sis Bilişim): 2012'de Cisco tarafından, özellikle IoT uygulamaları için bulut ile cihazlar arasında bir ara katman olarak tanıtıldı.

• Mobile/Multi-access Edge Computing (MEC): 2014'te ETSI tarafından mobil ağlarda (daha sonra diğer erişim ağlarını da kapsayacak şekilde genişletildi) düşük gecikme ve yüksek bant genişliği sağlamak amacıyla tanımlandı.

• Micro Data Centers (mDCs): Özellikle endüstriyel uygulamalar için donanım odaklı, taşınabilir veya zorlu ortamlara uygun küçük veri merkezleri konseptidir.

Edge AI'ın doğuşu, bu uç bilişim altyapılarının gelişimiyle birlikte, yapay zeka (özellikle derin öğrenme) algoritmalarındaki verimlilik artışları ve IoT cihazlarının yaygınlaşmasıyla mümkün olmuştur. 2018 civarında Gartner Hype Cycle gibi teknoloji raporlarında belirginleşmeye başlamış ve hem akademik hem de endüstriyel alanda hızla ilgi görmüştür. Günümüzde Edge AI, yapay zekanın "son kilometresini" ağın uç noktalarına taşıyan kritik bir teknoloji olarak kabul edilmektedir.

Edge AI'ın yükselişi, çeşitli teknolojik ve uygulama ihtiyaçlarından kaynaklanmaktadır:

1. Düşük Gecikme (Low Latency): AI hesaplamalarını verinin üretildiği yere veya kullanıcıya yaklaştırmak, buluta veri gönderme ve sonuç bekleme süresini ortadan kaldırarak özellikle otonom araçlar, gerçek zamanlı video analizi, endüstriyel kontrol ve AR/VR gibi zamana duyarlı uygulamalar için kritik olan milisaniye düzeyinde yanıt süreleri sağlar.

2. Bant Genişliği ve Maliyet Tasarrufu: Büyük miktarda ham veriyi (özellikle video gibi) buluta göndermek yerine uçta işlemek, ağ trafiğini ve buna bağlı iletişim maliyetlerini önemli ölçüde azaltır. Sadece anlamlı sonuçların veya modellerin güncellemelerinin buluta gönderilmesi yeterli olabilir.

3. Gizlilik ve Güvenlik: Hassas verilerin (sağlık verileri, kişisel görüntüler, endüstriyel sırlar vb.) yerel cihazda veya güvenilir bir uç sunucuda işlenmesi, verinin ağ üzerinde taşınmasını ve merkezi bir yerde depolanmasını en aza indirerek gizlilik risklerini azaltır ve veri güvenliğini artırır. Federated Learning gibi teknikler bu konuda ek güvenceler sunar.

4. Güvenilirlik ve Erişilebilirlik: Uç cihazlar, ağ bağlantısı kesintili veya tamamen olmadığında bile AI görevlerini yerel olarak çalıştırabilir. Bu, özellikle kritik altyapı ve endüstriyel uygulamalar için operasyonel sürekliliği sağlar.

5. Kenar Verisinin Potansiyelini Açığa Çıkarma: Milyarlarca IoT ve mobil cihaz tarafından üretilen devasa veri hacmi, büyük ölçüde ağın kenarında oluşmaktadır. Edge AI, bu verilerden gerçek zamanlı olarak anlamlı bilgiler ve içgörüler çıkarmak için gerekli bir araçtır.

6. Yeni Uygulamalar ve Yetenekler: Edge AI, daha önce mümkün olmayan veya pratik olmayan birçok yeni uygulama senaryosunu mümkün kılar: Gelişmiş otomasyon, daha akıllı cihazlar, kişiselleştirilmiş deneyimler ve bağlam farkındalığı bunlardan bazılarıdır.

7. Ölçeklenebilirlik ve Dağıtıklık: AI iş yükünü merkezi buluttan dağıtık uç cihazlara yayarak, sistemin genel ölçeklenebilirliği artırılabilir ve tek bir merkezi noktadaki yoğunluk azaltılabilir.

Bu nedenlerle, Edge AI'ın pazar büyüklüğünün önümüzdeki yıllarda katlanarak artması beklenmektedir.

Edge AI sistemleri genellikle uç cihazlar (veri toplayan sensörler, kameralar, mobil telefonlar vb.), uç sunucular (erişim noktalarına, baz istasyonlarına veya yerel ağ geçitlerine bağlı daha güçlü hesaplama birimleri) ve bulut (merkezi depolama, yoğun model eğitimi, global koordinasyon için) arasında hiyerarşik bir yapıda çalışır. Bu mimari içinde AI modellerinin eğitimi ve çıkarımı farklı şekillerde dağıtılabilir:

• Bulut Eğitimi: En yaygın yaklaşımdır. Veriler uçtan buluta gönderilir ve modeller merkezi olarak eğitilir.

• Federated Learning (Federasyon Öğrenmesi): Verilerin cihazda kaldığı, sadece model güncellemelerinin (örneğin gradyanlar veya ağırlıklar) merkezi bir sunucuda (bulut veya uç sunucu) birleştirildiği gizlilik odaklı bir yaklaşımdır. Bu, özellikle hassas verilerle çalışırken ve iletişim maliyetini azaltmak istendiğinde önemlidir. Farklı varyasyonları (iletişim-verimli, kaynak-optimize, güvenlik-artırılmış) mevcuttur.

• Dağıtık Uç Eğitimi: Modeller uç cihazlar veya uç sunucular arasında (merkezi bir koordinatörle veya P2P Gossip protokolleri gibi yöntemlerle) iş birliği yapılarak eğitilir.

• Transfer Learning / Knowledge Distillation: Önceden eğitilmiş büyük bir modelden (öğretmen) öğrenilen bilginin, uç cihazlarda çalışacak daha küçük bir modele (öğrenci) aktarılmasıyla eğitim süreci hızlandırılır ve kaynak ihtiyacı azaltılır.

• Cihaz Üzerinde Çıkarım (On-Device Inference): Model tamamen uç cihaz üzerinde çalışır. En düşük gecikme ve en yüksek gizliliği sunar ancak cihazın kaynaklarıyla sınırlıdır. Model sıkıştırma teknikleri burada kritik rol oynar.

• Uç Sunucu Üzerinde Çıkarım (Edge Inference): Cihaz veriyi yakındaki bir uç sunucuya gönderir, çıkarım orada yapılır ve sonuç cihaza geri döner.

• Cihaz-Uç İş Birliğiyle Çıkarım (Device-Edge Co-inference): Model, cihaz ve uç sunucu arasında bölünür. Cihaz modelin ilk katmanlarını çalıştırır, ara veriyi (genellikle sıkıştırılarak) uç sunucuya gönderir, kalan katmanlar orada çalıştırılır. Bölünme noktasının dinamik olarak seçilmesi (örn. Neurosurgeon, Edgent) performansı optimize edebilir.

• Uç-Bulut İş Birliğiyle Çıkarım (Edge-Cloud Co-inference): Cihaz veriyi uca, uç da gerekirse buluta gönderir veya model uç ile bulut arasında bölünür. Özellikle çok yoğun hesaplama gerektiren durumlarda kullanılır.

• Erken Çıkış (Early Exit): Modelin ara katmanlarına çıkış noktaları eklenir. Basit girdiler için modelin tamamı çalıştırılmadan erken bir katmandan sonuç alınarak gecikme azaltılır.

• Sonuç Önbellekleme (Edge Caching): Benzer girdiler için daha önce hesaplanmış çıkarım sonuçları veya ara özellikler uçta önbelleğe alınarak tekrar tekrar hesaplama yapılması önlenir.

Son zamanlarda, Büyük Dil Modelleri (LLM'ler, örn. GPT) kullanılarak Edge AI sistemlerinin otonom hale getirilmesi vizyonu ortaya çıkmıştır. Bu yaklaşımda LLM, bulutta bir kontrolcü olarak görev yapar; doğal dildeki kullanıcı isteklerini anlar, mevcut AI modellerinin yeteneklerini değerlendirir, görevleri alt görevlere ayırır, uygun modelleri seçip koordine eder ve hatta Federasyon Öğrenmesi için otomatik olarak kod üretebilir.

^{Federatif Öğrenme Süreci (Kaynak:} Wang et al. 2019, In-Edge AI: Intelligentizing Mobile Edge Computing, Caching and Communication by Federated Learning⁾

Edge AI, neredeyse her endüstride uygulama potansiyeline sahiptir. Başlıca uygulama alanları şunlardır:

• Akıllı Şehirler ve Evler: Trafik yönetimi, akıllı park, kamu güvenliği için video analiz, enerji yönetimi, sesli asistanlar, akıllı termostatlar ve güvenlik kameraları gibi cihazların yerel zeka ile çalışması.

• Otonom Araçlar ve Ulaşım: Araçların çevrelerini algılaması, anlık kararlar alması (örn. acil frenleme), rotalama yapması ve diğer araçlarla (V2V) veya yol kenarı üniteleriyle (RSU) iletişim kurması için gerçek zamanlı sensör verisi işleme.

• Endüstriyel IoT (IIoT) ve Akıllı Üretim: Fabrika otomasyonu, kestirimci bakım (makine durumunu izleme ve arıza tahmini), kalite kontrol (üretim hattında görüntü işleme ile kusur tespiti), robotik kontrol ve tehlikeli ortam izleme.

• Sağlık Hizmetleri: Giyilebilir cihazlardan gelen verilerle hastaların anlık takibi, anormallik tespiti, erken uyarı sistemleri, tıbbi görüntü analizi yardımı.

• Video Analizi ve Gözetim: Yüz tanıma, nesne algılama, kalabalık analizi gibi görevlerin kameralara yakın sunucularda yapılmasıyla bant genişliği ihtiyacının ve gecikmenin azaltılması.

• Perakende ve Pazarlama: Müşteri davranış analizi, kişiselleştirilmiş öneriler ve reklamlar sunma.

• Artırılmış/Sanal Gerçeklik (AR/VR): Kullanıcının hareketlerine ve çevresine anlık tepki veren, düşük gecikmeli ve yüksek kaliteli deneyimler sunma.

• Dronlar ve Robotlar: Otonom navigasyon, çevre algılama, görev yürütme yeteneklerinin cihaz üzerinde veya yakınında işlenmesi.

Edge AI'ın hayata geçirilmesi, donanım ve yazılım alanlarındaki çeşitli teknolojik gelişmelerle mümkün olmaktadır:

• Donanım:Özelleşmiş AI Hızlandırıcılar: Uç cihazlarda AI modellerini düşük güç tüketimiyle verimli bir şekilde çalıştırmak için tasarlanmış yongalar. Örnekler: Google Edge TPU, Intel Movidius VPU / Nervana NNP, Huawei Ascend, Qualcomm Snapdragon (NPU/APU içerenler) , HiSilicon Kirin (NPU), MediaTek Helio (APU), NVIDIA Jetson (mobil GPU).

• Mobil CPU'lar ve GPU'lar: Akıllı telefonlar ve diğer uç cihazlardaki standart işlemciler, optimize edilmiş AI kütüphaneleriyle birlikte hafif AI görevleri için kullanılabilir.

• FPGA'lar (Field-Programmable Gate Arrays): Düşük güç tüketimi ve esneklik sunarak belirli AI iş yükleri için özelleştirilebilen programlanabilir donanımlar.

• Uç Sunucu Donanımları: Mikro veri merkezleri (mDCs) veya baz istasyonlarına/ağ geçitlerine entegre edilmiş sunucular daha yüksek işlem gücü sunar.

• Yazılım ve Algoritmalar:AI/ML Modelleri ve Algoritmaları: Özellikle derin öğrenme modelleri (CNN'ler, RNN'ler/LSTM'ler) ve Derin Pekiştirmeli Öğrenme (DRL) Edge AI'ın temelini oluşturur. Kaynak kısıtlı ortamlar için optimize edilmiş algoritmalar önemlidir.

• Model Sıkıştırma Teknikleri: AI modellerinin boyutunu ve hesaplama ihtiyacını azaltarak uç cihazlarda çalışmasını mümkün kılan yöntemler: Ağırlık Budama (Weight Pruning), Veri Nicemleme (Data Quantization), Kompakt Mimari Tasarımı, Bilgi Damıtma (Knowledge Distillation).

• Federated Learning (Federasyon Öğrenmesi): Dağıtık, gizliliği koruyan model eğitimi için bir çerçeve.

• AI Çerçeveleri ve Kütüphaneleri: Uç cihazlar için optimize edilmiş AI geliştirme ve çalıştırma ortamları: TensorFlow Lite, PyTorch Mobile , Core ML, ONNX Runtime, OpenVINO, CMSIS-NN, SNPE vb.

• Uç Bilişim Platformları ve Çerçeveleri: Uç cihazları ve uygulamaları yönetmek, dağıtmak ve orkestre etmek için kullanılan yazılımlar: KubeEdge, Azure IoT Edge, AWS IoT Greengrass, EdgeX Foundry, Akraino, OpenNESS vb.

• Ağ Teknolojileri: 5G ve ötesi (6G), ultra düşük gecikme (URLLC), Yazılım Tanımlı Ağlar (SDN), Ağ Fonksiyonları Sanallaştırma (NFV), Ağ Dilimleme (Network Slicing) gibi teknolojiler Edge AI için gerekli altyapıyı sağlar.

Edge AI hızla gelişen bir alan olmasına rağmen, çözülmesi gereken önemli zorluklar ve gelecek vaat eden araştırma yönleri bulunmaktadır:

• Kaynak Kısıtlamaları: Uç cihazların sınırlı hesaplama gücü, bellek, depolama alanı ve pil ömrü, karmaşık AI modellerinin çalıştırılmasını zorlaştırmaktadır. Enerji verimliliği kritik bir konudur.

• Algoritma ve Model Yönetimi: Farklı donanım ve uygulama gereksinimlerine uygun AI modellerinin tasarlanması (örn. AutoML/NAS), sıkıştırılması, dağıtılması, güncellenmesi ve yönetilmesi karmaşıktır. Heterojen cihazlar arasında uyumluluk sorunları yaşanabilir.

• Güvenlik ve Gizlilik: Uç cihazların dağıtık doğası, onları merkezi sistemlere göre daha fazla güvenlik tehdidine (veri zehirlenmesi, model çalma, yetkisiz erişim) açık hale getirebilir. Veri gizliliğinin korunması (GDPR gibi düzenlemelere uyum) ve güvenilir mekanizmaların (örn. blockchain) geliştirilmesi gerekmektedir.

• Ağ Yönetimi ve Optimizasyonu: Dinamik ağ koşulları (gecikme, bant genişliği dalgalanmaları), cihaz hareketliliği ve çok sayıda cihazın koordinasyonu, kaynak tahsisi (hesaplama, iletişim, önbellek) ve görev zamanlaması için akıllı yönetim mekanizmalarını gerektirir. "Intelligent Edge" kavramı, yani AI'ın uç ağını optimize etmek için kullanılması bu alandaki önemli bir yöndür.

• Standardizasyon ve Birlikte Çalışabilirlik: Farklı satıcılardan gelen donanım ve yazılım bileşenlerinin sorunsuz bir şekilde birlikte çalışabilmesi için ortak standartlara ve açık platformlara ihtiyaç vardır.

• Veri Yönetimi: Uçta üretilen büyük miktarda verinin verimli bir şekilde toplanması, etiketlenmesi (özellikle denetimli öğrenme için), filtrelenmesi ve işlenmesi zorludur. Veri kalitesi ve non-IID (bağımsız ve aynı dağılıma sahip olmayan) veri dağılımları Federated Learning gibi yöntemler için zorluk teşkil eder.

• Otonom Sistemler: Gelecekte, LLM'ler gibi teknolojilerle desteklenen, kendi kendini organize edebilen, uyarlayabilen ve optimize edebilen otonom Edge AI sistemlerine doğru bir eğilim vardır .

• Teşvik Mekanizmaları: Dağıtık bir ekosistemde, farklı paydaşların (cihaz sahipleri, uç sunucu sağlayıcıları vb.) kaynaklarını paylaşmaya ve iş birliği yapmaya teşvik edecek ekonomik modellerin geliştirilmesi gerekmektedir.