Dımaşk’ta doğdu. Pek çok ilim adamının yetiştiği bir aileden gelmektedir. Özellikle babası Ebü’l-Ferec Abdülvâhid eş-Şîrâzî, Hanbelî mezhebinin Suriye ve Filistin bölgesinde yayılması hususunda büyük gayret göstermiş olup soyundan gelenler İbnü’l-Hanbelî diye anılmıştır. İbnü’l-Hanbelî, küçük yaşta kaybettiği babasından ve Ebû Tâlib İbn Yûsuf’tan ders aldı. Fıkıh ve tefsir başta olmak üzere dinî ilimlerde adını duyurdu ve döneminde önde gelen Hanbelî âlimlerinden biri oldu. Şâfiîler’in itirazına rağmen, Hanbelî mezhebinin yayılması ve doktrinin gelişmesinde önemli roller üstlenmiş olan Dımaşk’taki Hanbeliyye Medresesi’ni kurdu. Eş‘arîler’e karşı Hanbelî-Selefî akîdesini savundu. Bilhassa Dımaşk’taki Mâlikiyye Medresesi’nin hocalarından Mâlikî-Eş‘arî âlimi Ebü’l-Haccâc Yûsuf b. Devnâs el-Mağribî el-Findelâvî ile çeşitli konularda tartışmalarda bulundu. Muhtemelen bu tartışmalar yüzünden ortaya çıkan huzursuzluklar sebebiyle bir ara Emeviyye Camii’nde vaaz vermesi yasaklandı.
Haçlılar 523 (1129) yılında Dımaşk’a saldırdığı zaman burada hüküm süren Tâcülmülûk Böri b. Tuğtegin, İbnü’l-Hanbelî’yi yardım istemesi için Bağdat’a elçi olarak gönderdi. Halife Müsterşid-Billâh, İbnü’l-Hanbelî’ye hil‘at giydirerek Dımaşk’a askerî yardım göndereceğini vaad etti. İbnü’l-Hanbelî, Bağdat’ta kaldığı süre içinde ders verdi ve bazı ilim adamları ile münazaralar yaptı. Bağdat’ta kendisinden hadis dinleyenler arasında Ebû Bekir İbn Kâmil bulunmaktadır.
İbnü’l-Hanbelî 17 Safer 536’da (21 Eylül 1141) Dımaşk’ta vefat etti. Sıbt İbnü’l-Cevzî ölüm tarihini 533 (1138) olarak vermektedir (Mirʾâtü’z-zamân, VIII/1, s. 169). Kaynaklarda onun el-Münteḫab fi’l-fıḳh (iki cilt), el-Müfredât, el-Burhân fî uṣûli’d-dîn, Risâle fi’r-red ʿale’l-Eşʿariyye adlı eserleri bulunduğu belirtilmektedir.