Hemedan'ın Bûzenecird köyünde dünyaya geldi. Babasının adı Eyüb'dür. İlk eğitimini ailesinden aldıktan sonra on sekiz yaşına geldiğinde tahsilini ilerletmek için Bağdat'a gitti. Orada Nizamiye Medresesi'nin müderrisi Ebû İshak Şîrâzî'nin ders halkasına katıldı. Ayrıca Abdüssamed b. Me'mûn, Ebû Ca'fer Müslime, İbn Hezârmerd, Hatîb Bağdâdî gibi hocalardan istifade etti. Medrese ilimlerinde ileri bir seviyeye geldikten sonra tasavvufa yöneldi.
Yûsuf Hemedânî tasavvuf bilgi ve tecrübesini arttırdıktan sonra Merv'de "Horasan kâbesi" diye de adlandırılan bir tekke açıp burada irşat faaliyetlerine devam etti. 1112 yılında Bağdat'a geri döndü, Nizamiye Medresesi'nde vaazlar verdi, hayatının son dönemlerini Merv ve Herat'ta geçirdi. Herat'tan Merv'e dönerken Bağşûr yakınlarındaki Bâmeîn'de vefat etti (5 Kasım 1140) ve buraya defnedildi; fakat daha sonra kabri günümüzde Türkmenistan sınırları içinde yer alan Merv civarındaki Bayramali'ye nakledildi.
Yûsuf Hemedânî meşhur şair Senâî, Radıyyüddin Ali Lala'nın babası Şeyh Said Lala ve Ebû Sâlih Rûmî gibi birçok mürit yetiştirmiştir. Şir'atü'l-İslâm kitabının müellifi İmamzâde Muhammed de (ö. 1177) ondan tasavvufî eğitim almıştır. Hâce Abdullah-ı Barakî, Hasan-ı Endakî, Ahmed Yesevî ve Abdülhâlik-ı Gucdüvânî en meşhur halifeleridir. Bu mürit ve halifelerden Ahmed Yesevî ile devam eden tasavvuf yolu Yeseviye adıyla anılmış ve yüksek sesle yapılan cehrî zikri (zikr-i erre), kırk günlük inzivayı (halvet, erbaîn) eğitim usulü olarak kabul etmişken, diğer halifesi Abdülhâlik-ı Gucdüvânî ile devam eden tasavvuf yolu Hâcegân tarikatı adıyla anılmış ve sessiz (hafî) zikri esas almış, halvet uygulamasından da uzak durmuştur.
Yûsuf Hemedânî tasavvufî eğitim esnasında aşırı vecd ve cezbe tesiriyle taşkın sözler söylenmesini doğru bulmamış, dinî-şer'î kurallara sıkıca bağlı bir manevi eğitimi benimsemiştir. Hallâc-ı Mansûr'u "Eğer Hallâc-ı Mansûr marifeti hakkıyla bilseydi 'enelhak' yerine 'ene't-türâb' (Ben toprağım) derdi" sözüyle eleştirmiştir.
Hemedânî'nin sözleri pek çok kişiye ilham vermiştir. Ferîdüddin Attâr'ın Tezkiretü'l-Evliyâ'yı yazmasında onun, "Gerçek şeyhler ahirete göçerse selamete ulaşmak için onların eserlerinden her gün sekiz varak okuyun" sözü etkili olmuştur. Ayrıca Yûsuf Hemedânî bu sözü ile manevi ve ahlakî eğitimde salih insanlarla beraber olup sohbet etmenin önemli olduğunu, bu sohbet imkânının bulunmadığı durumlarda onların yazılı eserlerinden her gün bir miktar okumanın da bir nevi sohbet gibi olacağını ifade etmekte, böylece alternatif bir eğitim yöntemi sunmaktadır.
Sultan Sencer toplumda bâtınî eğilimleri olan kararsız sufiler yerine, ilim-irfan sahibi, Kur'an ve sünnet yolunda Yûsuf Hemedânî gibi mutasavvıfların çoğalmasını istediği için onun tekkesine 50.000 dinar göndererek desteğini göstermiştir. Sonraki dönem Nakşibendî şeylerinden Ahmed Kâsânî Risâle-i İlmiyye isimli eserinde Yûsuf Hemedânî'nin İslam'ı tebliğ edip öğretmeye çok önem verdiğini ve onun sayesinde 8000 putperestin müslüman olduğunu kaydetmiştir. Bu bilgi, Abdülhâlik-ı Gucdüvânî'ye nispet edilen Risâle-i Sâhibiye (Makâmât-ı Yûsuf Hemedânî) isimli eserde de geçer. Bağdat'ta Abdülkâdir Geylânî'yi vaaz meclisi kurmaya teşvik eden kişinin de Yûsuf Hemedânî olduğu belirtilir. Bu bilgiler Hemedânî'nin dinî eğitime ve toplumun irşadına büyük önem verdiğini göstermektedir.
Risâle-i Sâhibiyye'de Yûsuf Hemedânî'nin şahsiyeti ve ahlakıyla ilgili bilgiler yer almakta, dağlara, köylere, mahallelere, mescitlere çok gittiğinden, buralarda yaşayan Türk, Tacik, Arap, efendi, derviş, köle, tüccar, ağa, çoban, deveci, tanıdık ve tanımadık herkese, İslamiyet'i ve şeriatı anlattığından bahsedilmektedir.
Hemedânî Rütbetü'l-Hayât isimli eserinde bedenle birlikte aklı ve duyguları da geliştirip eğitmenin, nefsi terbiye etmenin önemi konusunda bedenin, din yolunda gazinin atından ve hacının devesinden üstün değilse de aşağı da olmadığını, savaş yolundaki gazinin atına ve hac yolundaki hacının devesine ot vermesinin Hakk'a itaat ve dinî bir iş olması gibi, dinî hükümleri ve emirleri taşıyan bedene yemek vermenin de daha evla olarak Hakk'a itaat ve O'na yaklaşmak olduğunu, aksi durumun haram olarak görüleceğini ifade etmiştir.
Müridin manevi ilerlemesinde pîre bağlanmasının gerekliliği düşüncesini, "Mürit, tek başına on senede alamayacağı yolu, bir pîr ile olunca bir senede alabilir" sözleriyle dile getirmiştir.
Rütbetü'l-Hayât isimli eserinde kişinin yaratılıştan gelen özelliğinde öfkenin olabileceğini, eğer öfke kişinin karakterine hâkim olursa akıl ve kalbin bu duruma karşı gelemeyeceğini, neticede şeytanın öfke ve şehveti kullanarak kişiye kendi iradesi dışında işler yaptırabileceğini söylemiş, öfkeli biriyle karşılaşınca Hz. Peygamber gibi "Eûzü billâhi mineşşeytânirracîm" (Kovulmuş şeytandan Allah'a sığınırım) denilmesini öğütlemekte, öfkeyi giderme yolu olarak da Hz. Peygamber'in "Eğer ayakta isen otur, oturuyorsan yat, uykulu isen abdest al ya da yıkan. Çünkü öfke ateştir, ateşi de su söndürür" (Ebû Dâvûd, "Edeb", 3)" sözünü telkin etmiştir.
Eserleri:
1. Rütbetü'l-Hayât. Eserde bir sufi gözüyle hayatın iman, İslam ve ihsanla yaşamak şeklinde üç dereceye ayrıldığı anlatılmaktadır. Farsça kaleme alınan eserin tek yazma nüshası Süleymaniye Kütüphanesi'nde olup (Ayasofya, nr. 2910, vr. 257a-289b) Muhammed Emîn Riyâhî tarafından neşredilmiştir (Tahran 1362 hş./1983). Necdet Tosun eseri Hayat Nedir adıyla Türkçe'ye çevirmiştir. (İstanbul 1998).
2. Risâle. Eser kâinatın insanın hizmetine ve emrine verildiğinden bahsetmekte olup bilinen tek nüshası bulunmaktadır (Köprülü Ktp., Fâzıl Ahmed Paşa, nr. 853, vr. 209a-212b). Tercümesi Hayat Nedir içinde (s. 99-101) basılmıştır.
3. Risâle. Tarikat adabından bahsetmektedir. Bu risale Millet Kütüphanesi'ndedir (Ali Emîrî Efendi, Farsça, nr. 1028, vr. 13a-14b). Tercümesi de Hayat Nedir içinde (s. 91-95) yer almaktadır.
4. Risâle. Tevhidi anlatan eserin yazma nüshası Tahran Üniversitesi Merkez Kütüphanesi'nde bulunmaktadır (nr. 2114/18). Celîl-i Misgernejâd tarafından neşredilmiştir.
5. Safâvetü't-Tevhîd li-Tasfiyeti'l-Mürîd. Sabır, sâlikin kalp temizliğine nasıl ulaşabileceği gibi konuların yer aldığı bu eser de Celîl-i Misgernejâd tarafından neşredilmiştir (bk. bibl.).
6. Kitâb-ı Keşf. Câmî'nin Nefehâtü'l-Üns'ünde anılmaktadır. Yûsuf Hemedânî Keşf isimli bu eserinde, "Beden, kalp, can ve sır işlenen günahtan dolayı tövbe etmelidir" demiş, Şemseddin Muhammed-i Deylemî ise Risâle-i İsfahân isimli eserinde bunu eleştirip, "Günahı işleyen candır, Arapça'da ona nefis derler, tövbeyi de sadece o yapmalıdır" demiştir. Ebû Ca'fer Sümeyremî de ona karşı Redd-i Risâle-i İsfahân'ı yazarak cevap vermiştir. Süleymaniye Kütüphanesi'nde (Nâfiz Paşa, nr. 438) Kitâbü'l-Keşf an Menâzili's-Sâirîn adıyla kayıtlı olup baş kısmındaki eksiklik sebebiyle kimin yazdığı bilinmeyen yazma eserin Kitâb-ı Keşf'in II. cildi olabileceği kuvvetle muhtemeldir.
7. Mecâlis-i Hâce Yûsuf-i Hemedânî. Yûsuf Hemedânî'nin sohbetlerinden derlenmiştir. Ekber Râşidîniyâ tarafından başka eserlerle birlikte Mecâlis-i Ârifân isimli kitabın içinde yayımlanmıştır (Tahran 1394 hş./2015, s. 131-161).
Yûsuf Hemedânî'nin bazı kaynaklarda Menâzilü's-Sâirîn, Menâzilü's-Sâlikîn, Vâridât adlı risaleleri zikredilmişse de bunların günümüze ulaşmadığı anlaşılmaktadır. Ancak bir kısmı günümüze ulaşmış olan Kitâbü'l-Keşf an Menâzili's-Sâirîn isimli eser ile Menâzilü's-Sâirîn adıyla kaydedilen eserin aynı kitap olması muhtemeldir. Öte yandan Muhammed Pârsâ Faslü'l-Hitâb isimli Farsça eserinde Yûsuf Hemedânî'nin adı bilinmeyen bir eserinden uzunca nakiller yapmıştır. Hemedânî'nin halifelerinden Abdülhâlik-ı Gucdüvânî'ye nispet edilen Yûsuf Hemedânî'nin sözlerini, ahlakını ve yaşayışını anlatan Makâmât-ı Yûsuf-i Hemedânî (Risâle-i Sâhibiyye) risalesinin (nşr. Saîd-i Nefîsî, Ferheng-i Îrân-zemîn, 1/1, 1332 hş./1953, s. 70-101) Türkçe tercümesi Hayat Nedir içinde neşredilmiştir (s. 37-50). Ancak bu eser, muhtemelen sonraki bazı müstensihlerin ilaveleri sebebiyle tarihen tartışmalı cümleler de ihtiva etmektedir.