Derin sinir ağları mimarilerinde karşılaşılan en büyük problemlerden biri olan “katman sayısı arttıkça eğitim performansının düşmesi” sorununu çözmek üzere geliştirilen ResNet (Residual Network), 2015 yılında Kaiming He ve ekibi tarafından tanıtılmıştır. Bu mimari, klasik katman yapılarına ek olarak artık bağlantılar (residual connections) kullanarak, çok derin ağların daha verimli ve başarılı şekilde eğitilebilmesini sağlamıştır. Özellikle görüntü sınıflandırma gibi görevlerde yüksek doğruluk elde etmesiyle derin öğrenme alanında devrim yaratmıştır.
Artık Öğrenme Mekanizması
ResNet mimarisinin temelinde, her bir katmanın doğrudan çıktısını bir sonraki katmana iletmenin yanı sıra, girdinin kendisini de ileriye taşıyan artık bağlantılar (skip connections) yer alır. Bu yapı, modelin sadece öğrenmesi gereken değişiklikleri (residuals) öğrenmesini sağlar.
Artık Bloklar (Residual Blocks)
Artık bloklar, ResNet mimarisinin temel yapı taşıdır. Her blok, giriş verisini x olarak alır ve bu girdinin bir dönüşümünü F(x) olarak üretir. Ancak klasik ağlardan farklı olarak bu dönüşümün çıktısına giriş verisi doğrudan eklenir:
y = F(x) + x
Bu sayede, modelin sıfıra yakın bir dönüşüm öğrenmesi gerekirse, öğrenme işlemi daha kolay gerçekleşir. Böylece, ağın derinliği arttıkça meydana gelen kaybolan gradyan (vanishing gradient) problemi büyük ölçüde azaltılır.
Basit Artık Blok Yapısı
Bir artık blok genellikle şu bileşenlerden oluşur:
- İki adet ardışık evrişim katmanı (Conv2D),
- Her birinden sonra gelen batch normalization (BN) ve ReLU aktivasyon fonksiyonu,
- Son olarak artık bağlantı (residual connection).
Artık Blok Yapısı (Kredi: Divo into Deep Learning)
Derinlik ve Varyantlar
ResNet mimarisi, farklı derinliklerde ağlar ile uygulanmıştır. En bilinen varyantları:
- ResNet-18 ve ResNet-34: Daha az derinlikte olup temel artık bloklar kullanır.
- ResNet-50, ResNet-101 ve ResNet-152: Daha derin modellerdir ve “bottleneck block” adı verilen özel blok yapıları içerir.
Bottleneck Bloklar
Bu bloklar, parametre sayısını ve hesaplama maliyetini azaltmak amacıyla üç katmandan oluşur:
- 1x1 evrişim (boyut indirgeme),
- 3x3 evrişim (özellik çıkarımı),
- 1x1 evrişim (boyut geri yükseltme).
Bu yapı sayesinde derin modellerin verimliliği artar. ResNet-50 mimarisinde katmanlar, artık bağlantılarla desteklenen bloklar halinde gruplanmıştır. Derinlik arttıkça bu bloklar tekrar edilir.
ResNet-50 Model Mimarisi (Kredi: Shuai Wang)
Kullanım Alanları ve Başarıları
ResNet, görüntü sınıflandırma başta olmak üzere birçok bilgisayarla görme görevinde başarıyla kullanılmıştır. Özellikle ImageNet yarışmasında 2015 yılında birincilik elde ederek yüksek doğruluk ve verimli eğitim performansını kanıtlamıştır. Ayrıca, ResNet mimarisi daha sonraki birçok modelin (örneğin: ResNeXt, DenseNet) temelini oluşturmuştur. Günümüzdeki transformer tabanlı modelde artık bağlantı yapısı aktif olarak içermektedir. Derin sinir ağları mimarilerinde karşılaşılan en büyük problemlerden biri olan “katman sayısı arttıkça eğitim performansının düşmesi” sorununu çözmek üzere geliştirilen ResNet (Residual Network), 2015 yılında Kaiming He ve ekibi tarafından tanıtılmıştır. Bu mimari, klasik katman yapılarına ek olarak artık bağlantılar (residual connections) kullanarak, çok derin ağların daha verimli ve başarılı şekilde eğitilebilmesini sağlamıştır. Özellikle görüntü sınıflandırma gibi görevlerde yüksek doğruluk elde etmesiyle derin öğrenme alanında devrim yaratmıştır.
