Bursa'da doğdu. Babası Rifat Bey önce asker, bir ara tüccar ve sonra da memur olarak görev yapmış; tarih, biyografi, tasavvuf ve şiirle uğraşmıştır. Annesi, Rahime Hanım'dır. Mehmed Tâhir Bursa'daki mahalle mektebinde eğitime başladı, Mülkiye Rüştiyesi'ne ve bir yandan da Haraçcıoğlu Medresesi'ne devam ederek Niğdeli Hoca Ali Efendi'den Arapça ve dinî konularda özel dersler aldı. 1875 yılında Bursa Askerî İdâdîsi'ne girdi, 1880'de Harbiye Mektebi'ne başladı. Burada mutasavvıf Harîrîzâde Seyyid Mehmed Kemâleddin Efendi ile tanışarak Melâmîliği seçti.
1883 yılında piyade teğmeni olarak Harbiye Mektebi'nden mezun olduktan sonra Manastır Askerî Rüştiyesi, Mülkiye Rüştiyesi, Mülkiye İdâdîsi ve Manastır Askerî İdâdîsi'nde coğrafya, tarih ve Türkçe dersleri verdi. Ezberden uzak, anlamaya dayalı, harita ve görsellerle desteklediği dersleri o dönem için yeni olan bir eğitim metodu ile dikkatleri çekti.
Manastır ve çevresinde dinî öğretim faaliyetlerinde de bulunmuş, bu sırada bölgede yaşamış mutasavvıf, şair ve âlimlerle ilgili çalışmalar yapmış ve elde ettiği bilgileri bazı gazete ve dergilerde yayımlamıştır. Çalışmaları için bölgenin ileri gelen kişileri ve kütüphanelerinden bilgi topladığı gibi yöredeki mezar taşlarını da araştırmıştır. 1897 yılında başlayan Türk-Yunan savaşı ile Avrupa'da Türkler'e karşı çeşitli karalama faaliyetlere başlayınca Mehmed Tâhir, bir cevap olarak Türkler'in İslam medeniyetinde oynadıkları rolü ortaya koymak için Türklerin Ulûm ve Fünûna Hizmetleri adlı ilk eserini yayımlamıştır. 1898 yılında Manastır Askerî Rüştiyesi'ne müdür olmuştur. Burada Muhyiddin İbnü'l-Arabî'ye duyduğu hayranlıkla Terceme-i Hâl ve Fezâil-i Şeyh-i Ekber Muhyiddîn-i Arabî'yi kaleme almıştır.
Selanik'te görev yaptığı sırada Osmanlı Hürriyet Cemiyeti ile Mustafa Kemal'in mensubu olduğu Vatan ve Hürriyet Cemiyeti Selanik Şubesi'ne üye olmuştur. Selanik'ten Manisa Alaşehir'e, beş altı ay sonra İzmir'e tayin edilmiş, burada Dîvânı harp üyeliği ve tahkik memurluğu yapmıştır. 1908 yılında II. Meşrutiyet'in ilk meclisine Bursa mebusu olarak girmiş ve aktif roller üstlenmiştir. 1908'de Türk Derneği'nin kurucu üyeleri arasında yer almıştır. 1910 yılında kurulan Târîh-i Osmânî Encümeni'nin muavin aza heyetine alınmış, 1914'te Türk Bilgi Derneği'nin Türkiyat koluna üye seçilmiş, 1915'te Tetebbuât-ı İslâmiye ve Milliye Encümeni'nin fahrî üyelerinden biri olmuştur. Bu arada Sırât-ı Müstakîm, Sebîlürreşâd, Cerîde-i Sûfiye, Kelime-i Tayibe, Türk Derneği, Türk Yurdu, Bilgi Mecmuası, İslâm Mecmuası ve Kırım Mecmuası gibi dergilerde yazmıştır.
1911 yılında mebusluğu sona ermiş, 1912'de Harp Dairesi Dîvânı harp ve daha sonra Muhâkemât Dairesi üyeliklerine getirilmiş, 24 Ocak 1914 tarihinde yarbaylıktan emekli olmuştur. Evkaf Nezareti'nin ona 1913'te İstanbul kütüphanelerini teftiş komisyonunda görev vermesiyle ana hedefine ulaşmıştır. Başkanlığını yaptığı bu komisyon çalışmaları sırasında İstanbul kütüphanelerindeki yazma eserleri tasnif etmiştir. Ardından Topkapı Sarayı Kütüphanesi müdürü olmuştur. Osmanlı Müellifleri'nin ilk cildini 1915'te, II ve III. cildini de 1922 sonrasında zor şartlar altında yayımlamıştır. 28 Ekim 1925 tarihinde vefat etmiş, Aziz Mahmud Hüdâyî Dergâhı haziresinde defnedilmiştir.
Bursalı Mehmed Tâhir, askerî ve mülkî okullardaki öğretmenliği yanında yayımladığı kitaplarla eğitim sahasına büyük katkı yapmıştır. Bibliyografya çalışmasında Bağdatlı İsmâil Paşa, Ali Emirî Efendi gibi pek çok kişiye öncülük etmiştir. Mehmed Süreyyâ Bey'den sonra en tanınmış biyografi ve bibliyografya araştırmacısı olmuştur. Ona göre özelde bir şahsın, genelde ise bir milletin gelişmişlik seviyesini gösterecek olan şey kitaplardır ve ileri seviyede ilmî araştırmalara ancak disiplinli bir bibliyografya bilgisiyle ulaşılabilir. Biyografi çalışmalarında, başka kaynaklardan nakil yerine araştırdığı kişilerin kendi eserlerini görmeyi önceleyen bir bakış açısı getirmiştir. Eski kaynaklarda yazarların daha çok hayatlarına yer verilip eserlerine çok az değinilirken kendisi hal tercümelerini (biyografiler) kısa tutup yazarın eserlerini ön plana çıkarmıştır. Temel amacı müelliflerin Türklüğe ve İslam medeniyetine kazandırdıklarını göstermek, Arapça ve Farsça yazdığı için Türk olmadıkları düşünülen âlimlerin Türklüğünü ortaya koymak, isimleri unutulmuş ya da bilinmeyen ilim ehlini unutulmaktan kurtarıp millî bir bibliyografya oluşturmaktır. Bu çalışmalarından dolayı ona "Türkler'in en büyük kitabiyat âlimi" denildiği de olmuştur.
Osmanlı Müellifleri adlı eserinde 1299 yılından 1915'e kadar Osmanlı Devleti'nde yetişen mutasavvıflar, âlimler, kadılar, müderrisler, edipler, tarihçiler, tabipler, matematikçiler ve coğrafyacıların eserleri ve biyografileri yer almıştır. Üç ciltte 2000'e yakın isim tanıtılmıştır. Kitabının önsözünde, "Kim bir müminin tarihini yazarsa sanki ona hayat vermiş gibidir" hadisine uyarak eserlerini kaleme aldığını ifade etmiştir. Bursalı Tâhir'in on dokuzu basılmış, altısı basılmamış yirmi beş eseri mevcuttur. Bunlar içerisinde bibliyografya ve biyografi alanlarından başka Türk edebiyatı, tasavvuf, tefsir, hadis ve ahlaka dair eserler de bulunmaktadır. Türklerin Ulûm ve Fünûna Hizmetleri ile Osmanlı Müellifleri maarif açısından en önde gelen eseridir.