İbnülemin mahlasıyla bilinen Mahmud Kemal İnal İstanbul Beyazıt'ta Mercan Ağa mahallesinde doğdu. Babası Buharalı Seyyid Mehmed Emin Paşa, annesi Hamide Nergis Hanım'dır. İlk eğitimini Mercan Ağa Sıbyan Mektebi'nde aldıktan sonra Şehzade Mekteb-i Rüştiyesi'nden mezun oldu (6 Haziran 1885). Mekteb-i Mülkiye'ye kaydoldu fakat hastalığı sebebiyle mezun olamadan ayrılmak zorunda kaldı. Mekteb-i Hukuk ile medrese derslerine dinleyici olarak devam etti. İlmî kimliğini besleyen ilk âlimlerden biri İpekli Hoca Mehmed Tâhir Efendi (şair Mehmet Akif'in babası) oldu. Daha sonra Beyazıt Kütüphanesi müdürü hattat Hasan Tahsin Efendi'den sülüs ve nesih dersleri gördü ve icazet aldı. Trabzonlu Hoca Hüsnü Efendi'den tefsir ve hadis ile Fars edebiyatı okudu. Bu dönemlerde Leon Efendi'nin Fransızca derslerine katıldı.
17 Kasım 1889 tarihinde Bâbıâli Vilâyât-ı Mümtâze Kalemi'nde kâtip olarak çalışmaya başlayan İbnülemin, Sadaret Mektûbî Kalemi (1892), Teftîş-i Islahat Komisyonu başkâtipliği (1895) gibi önemli vazifeleri icra etmiş ve Osmanlı Devleti'nin son dönemlerinde getirildiği Dîvân-ı Hümâyun beylikçiliği ile (1922) Bâbıâli'deki görevi sonrasında yıllarca hizmet verdiği devlet mesaisi nihayete ermiştir.
Osmanlı kültür ve siyasî hayatındaki önemli şahsiyetlerin hayatlarına tanıklık etmiştir. Bu önemli tanıklığın kıymetinin farkındadır. Kişisel gayretiyle oluşturduğu belge ve arşiv birikiminin kendisinden sonra yok olacağı düşüncesindedir, çünkü gelecek kuşaklar ne kadar uğraşsalar bu ayrıntılara ulaşamayacaktır. Millî ve manevi bir vazife olarak gördüğü biyografi yazımına yıllardır biriktirdiği belgelerle birlikte başlamıştır. Kaleme aldığı ve aralarında kendi hocalarının da bulunduğu biyografilerde bu seçkin insanları kendi benzersiz üslubuyla en küçük ayrıntıları ile tanıtırken, dönemin eğitim öğretim faaliyetlerine dair en hassas ipuçlarının görülmesini sağlamıştır. Bunlar hoca-talebe arasında yatan bir maarif medeniyetinin izleridir. Modern eğitim kurumları ön plana çıkarken, kadim eğitim sistemimizde "Hangi üstattan ders aldın?" sorusu da ön planda olmuştur (Şeker, 2011: 79). İbnülemin bu dönemin son temsilcilerindendir. O, şahsı ve ortaya koyduğu eserlerle Osmanlı ve Cumhuriyet dönemlerini birbirine bağlayan bir köprü vazifesi görür. 1930 yılında yayımladığı Son Asır Türk Şairleri adlı eseri biyografik bir eser olmanın yanında ilim adamlarının yetiştiği ortamı ve bu süreci göstermesi bakımından eşsiz bir kaynaktır. Dönemin ilim dünyasına dair zenginliği, biyografisini yazdığı şahıslar üzerinden maharetle ifade etmektedir. Biyografisini yazdığı ilim adamlarının medrese dışındaki ilmî faaliyetleri, modern zamanlardaki medreseye yönelik eleştirilere bir cevap niteliği taşımaktadır. İbnülemin daha sonra Son Sadrazamlar (1953) ve Son Hattatlar (1955) isimleriyle yayımlanan biyografilerle birlikte tezkire geleneğine yeni bir üslup getirmiştir. Bu büyük kültür hizmeti aşılamayacak değeri sebebiyle ilim çevrelerince mütemadiyen takdir görmüştür.
Kendisiyle denk gelenler onun için şunu söyledi; "Yürürken tarihimizin bir parçası, edebiyatımızın bir hulasası geçiyor sanırdınız" (Kâzım İsmail Gürkan). "Dârü'l-Kemâl" ismiyle meşhur olan İbnülemin'e ait konak, kendisi tarafından şekillendirilen bir münevverler ocağına dönüşmüştü. Konak, döneminin seçkin misafirlerini ağırlarken onlardan bir protokol usulü gibi belirli şartları taşımalarını ve usulü İbnülemin tarafından belirlenmiş merasimleri icra etmelerini beklemekteydi. Usul odur ki; konağın kapısından girdiğinizde kandilli selam verilir ve İbnülemin kalkıp bu selama mukabele eder. Mûtat bir şekilde her pazartesi devam eden bu sohbetler kültür ve irfan dünyasının bütün konularına açık idi. Bu sohbet meclisinin saygın konukları arasına, ilim ve irfan heveslisi gençler de belirli ölçülerde dahil olurlardı.
İbnülemin kendi kendini yetiştirmiştir. Talebe kavramını tam mânasıyla karşılayan bu öğrenim süreci, gelecek nesillere iyi bir örneklik sunar. Yûsuf Kâmil Paşa'nın sohbet meclislerinde bulunmuş ve bu meclislerin öğrenme hevesi olan kişiye ilim ve hikmetin kapılarını sonuna kadar açtığını farketmiştir. Kendi döneminde devam ettirmek istediği ve bozmadan yeni kuşaklara aktarmaya çalıştığı bu geleneksel eğitim üslubu onun kişiliğinde vücut bulan eğitimci yönünü yansıtmaktadır. Bunun idrakinde olan aydınlar ise bu meclisi şöyle tanımlar: "İbnülemin'in meclisleri hem bir akademi mahiyetinde idi, hem de yüksek sohbet, zevk ve eğlencelerle geçerdi" (Hüseyin Vassâf, 2017).
Modernleşme fikrinin geleneksel Türk-İslam öğretilerini kuşattığı bir dönemde buna itiraz ederek sesini yükseltmiştir. Tercümân-ı Hakîkat'te kaleme aldığı düşünce yazılarında maarif konusundaki sorunların çözümü için İslamî öğretiyi esas kabul etmektedir. Medeniyet icabı diye gösteriş vesilesi olarak bir moda halini aldığını düşündüğü yabancı mürebbiye tutma meselesini etraflı bir tahlilden geçirerek müslüman çocukların terbiyesinin hıristiyan ülkelerinden gelmiş kadınların eline bırakılmasındaki mahzurları belirtir. İbnülemin'e göre bilgiyi, aydınlanmayı ve çalışmayı emreden İslam hem ferdin hem toplumun refah, saadet ve yükselme şartlarını sağlama yolunu da açık tutmuştur. İbnülemin'in yetiştiği ilim çevresi, maarif meselesine bakışını şekillendiren esas unsur olmuştur.
İbnülemin çok genç yaşta ve farklı alanlarda eserlerini vermeye başlamıştır. Bu eserler arasında Ahlâk, Ravzatü'l-Kemâl, Hülâsa-i Zirâat, Hülâsa-i Ticâret, Menâfiu's-Savm, Sabîh, Kemâlü'l-Hikme gibi dinî, ahlakî, edebî, hikmet muhtevalı eserlerle Rahşân ve Bir Yetimin Sergüzeşti adlı hikâye kitapları, Asır ve Mütâlaa gazetelerine neşrolunan makaleleri ve Kemâlü'l-Kâmil, Gazâü'l-Kemâl, Nûrü'l-Kemâl, Ma'şerü'l-Meşâhir, Kemâlü'l-Kiyâse fî Keşfi's-Siyâse isimli eserleri yayımlanmıştır. Hayatın ayrıntılarına olan hakimiyeti eserlerinde okuyucuya sunduğu portrelerde canlı bir izlenime dönüşür. Kelimelere ve kaleme olan hakimiyeti bunu perçinlemektedir. Yaşadığı medeniyet ve dönemin zihnî ihtiyaçlarını yakalamaktaki hüneri düşünce yazılarında ifade bulmaktadır. Farklı mecralarda kaleme aldığı yazılarını dönemin ihtiyaçlarına göre derinleştirmeye özen göstermiştir.
İbnülemin, devlet kademelerinde yaptığı otuz üç yıllık hizmetler ve edindiği tecrübe ile farklı çevrelerin saygı ve hayranlık duyduğu bir kişiliktir. Bu husus kendisine önemli işlerin aranan ismi özelliğini kazandırdı. Meşrutiyet sonrası Yıldız Evrakı Tasnif Heyeti'nin başında yer aldı. Süleymaniye Camii İmareti'nde Evkaf-ı İslâmiye Müzesi'ni kurdu (27 Nisan 1914). Hat sanatını yaşatmak amacıyla Medresetü'l-hattâtîn'in kurulmasına ön ayak oldu. Âsâr-ı Müfîde Kütüphanesi Heyeti'nde görev aldı. Bu eşsiz hizmetleri birçok madalya ve nişan ile ödüllendirildi. dönemin Millî Eğitim Müsteşarı Mehmet Fuat Köprülü tarafından kendisine teklif edilen Vesâik-i Târîhiye Tasnif Heyeti başkanlığını 1924 yılında kabul etti. Osmanlı dünyasına ait evrakın büyük zahmetle ve usta bir titizlikle geleceğe intikalini sağlayarak Türk arşivciliğine çok kıymetli bir katkı sundu. Kütüphanesini ve hat koleksiyonunu 1953 yılında İstanbul Üniversitesi'ne bağışladı. Tarihî konağını ise öğrenci yurdu olarak kullanılmak üzere İbnülemin Mahmud Kemal İnal Vakfı'na bağışladı. Geçirdiği rahatsızlıklar ve ameliyat sonrasında 24 Mayıs 1957 tarihinde vefat etti.