Kaynaklarda hayatına dair pek az bilgi vardır. Aslen Reyli olup Nîşâbur’da doğup büyümüş, Cüneyd-i Bağdâdî ve Ebû Abdullah el-Bûşencî gibi meşhur sûfîlerin sohbetinde bulunmuştur. Özellikle Ebû Osman el-Hîrî’nin gözde müridlerinden biriydi.
Abdullah er-Râzî’nin başından geçen bir olaydan sonra alçak gönüllülüğü düstur edindiği kaynaklarda zikredilmektedir. Sohbetlerinde bulunduğu şeyhlerden çok faydalanmış, bu sayede ahlâkî ve mânevî hayatını düzene koymuştur. Ayrıca, ruhen arınıp daha yüksek mânevî mertebelere ulaşabilmek için çetin bir riyâzet uygulamıştır. Bütün bunlar, müşâhede sahibi bir sûfî olmasını sağlamış, tasavvuf çevreleri de onu Nîşâbur’da yetişen ünlü şeyhler arasında saymışlardır.
Zehebî, onun Hakîm et-Tirmizî’nin sohbetlerine katıldığını ve kendisinden Hâkim ile Sülemî’nin hadis rivayet ettiğini belirtmektedir. Nisbe, künye ve adlarındaki benzerlik sebebiyle ekseriya Abdullah el-Harrâz (ö. 310/922) ile karıştırılmıştır.