Abbâsî Devleti'nde nâiplik hizmeti de olan bir aileye mensup, Hz. Hüseyin soyundan bir seyyittir. Bağdat'ın güneyinde Vâsıt ile Basra arasında Ümmüabîde köyünde doğdu. Dedelerinden Rifâa isimli zattan dolayı ailesi Rifâî diye anıldı. Günümüzde Rufâî, Rüfâî gibi şekillerde de ifade edilmektedir.
Tasavvuf eğitimini ve öğrenimini, hocası ve şeyhi Ali Ebü'l-Fazl Vâsıtî'nin (ö. 1144) yanında yaptı, din ilimlerinden icazet aldı ve şeyhinin vefatı üzerine dayısı Şeyh Mansûr Batâihî'nin irşat halkasına girdi. Şeyh Mansûr, onu 1145'te kendine bağlı bütün tekkelerin şeyhliğine tayin etti ve Ümmüabîde'deki tekkeye yerleşmesini istedi. Ahmed Rifâî adına nispetle anılan Rifâiye veya Rifâîlik tarikatı, başlangıçta Ahmediye ve Batâihiye gibi adlarla da anıldı. Rifâîlik İslam dünyasının ilk tarikatlarından biri olup pîrinin sağlığında kuruluşunu tamamladı.
Ahmed Rifâî 1160 yılında hacca gitti. İsmi, menkıbeler vasıtasıyla İslam dünyasında duyuldu ve günümüze kadar büyük bir saygıyla anıldı. Ahmed Rifâî, 1182 yılında vefat etti ve dedesi Yahyâ Neccârî'nin türbesine defnedildi.
Abbâsî Devleti'nin son asrında yaşanan çöküş sürecinde Irak bölgesinde yetişen Abdülkadir Geylânî (ö. 1165), Ahmed Rifâî (ö. 1182), Şehâbeddin Sühreverdî (ö. 1234) gibi isimler irfanî bir eğitim öğretim yöntemi ve kurumu ortaya çıkarmışlar ve müslüman toplumun birlik dayanışmasına katkı sağlamışlardır.
Tarikat silsilesi ve soy şeceresi bakımından Hz. Ali'ye ulaşan Ahmed Rifâî, "Gitmediğim zor bir yol, hakikatine vâkıf olmadığım bir süluk yöntemi kalmadı. Hepsini çok kalabalık buldum. Tevazu, inkisar ve alçak gönüllülük kapısına vardım, onu boş gördüm ve oradan girdim. Diğer kapıların talipleri hâlâ yerlerinde idiler" sözleriyle manevi yolculuğunu tarif etmiştir. Onun bu yaklaşımı sonraki dönemlerde, mensupları tarafından bir örnek olarak benimsendi. Eğitimde usulü, eğitim öğretime küçük yaşlarda başlanması, kabiliyete göre Kur'an-ı Kerim'in kısmen veya tamamının ezberlenmesi, hadîs-i şeriflerin okunması ile Kur'an-ı Kerim ve hadîs-i şerifleri anlayabilmek için Arap dili tahsil edilmesini ihtiva ediyordu. Bu temel eğitim öğretimden sonra, İslam kültür ve medeniyetinde "zâhir ilimleri" denilen fıkıh, tefsir, hadis ve benzeri ilimlerin, yine talebenin kabiliyetine göre öğretimine geçilirdi.
Tasavvuf eğitimi ise önce bir manevi eğitim, ahlak, görgü ve edep olarak başlar, tarikata intisap sonrası ise "bâtın ilimleri"nin eğitim öğretimi, yine kabiliyetine göre verilmeye devam edilirdi. Bu seyrüsülûk sonunda kazanılan marifet ve tasavvufî bilgi de yine kabiliyete göre esere dönüşürdü.
"Havârık" veya "burhan" denilen ve Rifâî âyinleri ile âdeta özdeşleşen çıplak elle ateş parçası tutmak, vücudun çeşitli yerlerine bazı aletleri saplamak gibi davranışların, tarikatın özelliklerinden olduğu kabul edilir. Rifâîlik, başlangıç dönemlerinde Suriye, Mısır, Doğu ve Güneydoğu Anadolu, Yemen ve öteki İslam ülkelerinde yayılmış, yayıldığı bölgelerde ve her devirde muhtelif şeyhler tarafından temsil edilmiş ve tarihî süreçte bunlar Sayyâdiye, Dîriniye, Harîriye, Keyyâliye, Fazliye ve Maârifiye gibi daha birçok kol ve adla anılmıştır.
XIII. yüzyılın sonunda Anadolu'daki önemli tarikatlardan biri haline gelmiş, XVI. yüzyılın sonlarında İstanbul'a gelmiştir. 1925 yılında tekke ve zaviyelerin kapatılmasından önceki yıllarda İstanbul'da kırk kadar Rifâî tekkesinin olduğu bilinmektedir.
Torunu Ahmed İzzeddin Sayyâd (1178-1271) günümüze kadar devam eden Sayyâdiye kolunun kurucusu oldu. Sultan II. Abdülhamid'in danışmanlarından Ebü'l-Hüdâ Efendi de (ö. 1909) hem soy hem de tarikat bakımından Rifâî-Sayyâdî olan bir zat olup Halep nakîbüleşrafı ve Beşiktaş'taki Rifâî Dergâhı şeyhi idi. Rifâîliğin XIX. yüzyılın sonu ve XX. yüzyılın başlarında bütün Osmanlı topraklarında yaygın olduğu görülmektedir. Rifâîlik günümüzde de dünyanın pek çok yerinde faaliyetleri olan bir tarikattır.
Ahmed Rifâî'nin eserleri: 1. el-Hikemü'r-Rifâiyye. 2. el-Burhânü'l-Müeyyed. 3. el-Mecâlisü's-Seniyye. 4. Erbaûne Hadîsen. 5. Hâletü Ehli'l-Hakîka Maallâh. 6. en-Nizâmü'l-Hâs li-Ehli'l-İhtisas. 7. el-Eş'âr (derlenmiş şiirler). 8. el-Ahzâb ve'l-Evrâd. Bu eserlerin hemen hepsi Türkçe'ye çevrilmiştir. Şâfiî fıkhı ile ilgili yazdığı bir şerh ve bazı eserleri Moğol istilası sonrası kaybolmuştur.