ResNeXt

ResNeXt, derin konvolüsyonel sinir ağlarında doğruluğu artırırken parametre verimliliğini korumayı hedefleyen bir CNN mimarisidir. Facebook AI Research (FAIR) tarafından 2017 yılında önerilen bu yapı, ResNet mimarisindeki artık (residual) bağlantı ilkesini Inception mimarisindeki grup temelli ayrık dönüşüm fikriyle birleştirerek geliştirir. ResNeXt’in temel yeniliği, aynı yapıdaki dönüşümlerin paralel dallar (cardinality) üzerinden bir araya getirilmesidir.

ResNeXt Mimarisinin Temelleri

ResNeXt, ResNet'teki artık öğrenme bloklarını temel alırken, her bloğun içinde birden çok paralel dönüşüm yolunu barındırır. Bu paralel yollar daha sonra birleştirilerek çıktı elde edilir. Böylece model, parametre sayısını artırmadan daha yüksek model kapasitesi sağlar.

Cardinality (Kardinalite)

ResNeXt mimarisinde en önemli kavramlardan biri cardinality yani paralel dönüşüm sayısıdır. Bu, her bloğun kaç ayrı yol içerdiğini ifade eder ve modelin kapasitesini artırmada en etkili parametrelerden biridir.

<span class="katex"><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.625em;vertical-align:-0.1944em;"></span><span class="mord mathnormal" style="margin-right:0.03588em;">y</span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">=</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:0.6667em;vertical-align:-0.0833em;"></span><span class="mord mathnormal">x</span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">+</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:1.2809em;vertical-align:-0.2997em;"></span><span class="mop"><span class="mop op-symbol small-op" style="position:relative;top:0em;">∑</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.9812em;"><span style="top:-2.4003em;margin-left:0em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mathnormal mtight">i</span><span class="mrel mtight">=</span><span class="mord mtight">1</span></span></span></span><span style="top:-3.2029em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mathnormal mtight" style="margin-right:0.07153em;">C</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.2997em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.1667em;"></span><span class="mord"><span class="mord mathcal" style="margin-right:0.25417em;">T</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3117em;"><span style="top:-2.55em;margin-left:-0.2542em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mathnormal mtight">i</span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mopen">(</span><span class="mord mathnormal">x</span><span class="mclose">)</span></span></span></span>

Burada <span class="katex"><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8333em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathcal" style="margin-right:0.25417em;">T</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3117em;"><span style="top:-2.55em;margin-left:-0.2542em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mathnormal mtight">i</span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span></span></span></span>, her biri aynı yapıya sahip olan dönüşüm fonksiyonlarını ve <span class="katex"><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6833em;"></span><span class="mord mathnormal" style="margin-right:0.07153em;">C</span></span></span></span> cardinality değerini ifade eder.

ResNeXt blokları, aynı yapıdaki birden çok dönüşüm yolunu paralel olarak işler ve bu yolların çıktıları birleştirilerek nihai çıktı elde edilir.

Yapısal Özellikler

Grup Konvolüsyonları

ResNeXt mimarisinde, her dönüşüm yolu grup konvolüsyonları kullanılarak uygulanır. Bu yöntem, parametre verimliliğini artırır ve her grubun farklı özellikler öğrenmesini sağlar. Bu, modelin daha verimli hale gelmesini sağlar.

Modüler Tasarım

ResNeXt blokları, belirli bir yapı standardına sahiptir. Bu da ölçeklenebilirlik ve farklı veri kümeleri üzerinde transfer öğrenme açısından avantaj sağlar.

Parametre Verimliliği

Aynı FLOP (Floating Point Operation) ve parametre sayısı ile daha yüksek doğruluk sağlamak mümkündür. Bu yönüyle ResNeXt, VGG ve ResNet gibi modellerle kıyaslandığında daha etkili sonuçlar verir.

Kullanım Alanları

• Görüntü sınıflandırma
• Nesne tespiti
• Video sınıflandırma (ResNeXt-3D türevleri)
• Medikal görüntü işleme
• Büyük ölçekli görsel arama sistemleri