İstanbul'da doğdu. 1908'de Galatasaray Mekteb-i Sultânîsi'ni bitirdi. 1909 yılında girdiği Mekteb-i Mülkiye'de öğrenciyken Mekteb-i Sultânî'de öğretmen yardımcılığına başladı. Kısa süre sonra buradan istifa ederek Düyûn-ı Umûmiye'ye kâtip olarak girdi. Kasım 1911'de Robert Kolej'de Türkçe ve edebiyat muallimliğine başladı. 1914 yılında Fransa, İsviçre, İtalya, Almanya ve Norveç'te bulundu. 1915'te Kadıköy Sultânîsi'nde Türkçe ve edebiyat öğretmenliği ile ikinci müdürlük görevlerini yürüttü. Ancak 1920'den sonra yalnızca Fransızca öğretmenliği yaptı. Ertesi yıl öğretmenlikten Hariciye Nezareti Matbuat Umum Müdürlüğü Tetkik ve Telhis mümeyyizliğine geçti. Nisan 1923'te Azerbaycan'ın talebiyle Maarif Vekâleti tarafından Bakü'ye gönderildi. Bakü Üniversitesi Âlî Pedagoji Enstitüsü'nde Batı edebiyatı tarihi ve sanat tarihi; Bakü Tiyatro Mektebi'nde Türk edebiyatı tarihi hocalığı yaptı. Aynı üniversitenin Edebiyat Fakültesi dekanlığına atandı (Eylül 1924). Üniversite senatosunun kararıyla profesörlük unvanı verildi (1927). Bu yıllarda Azerbaycan, Türkmenistan, Özbekistan, Dağıstan, Kırım ve Kazan'a giderek çeşitli kütüphanelerde incelemeler yaptı. Döndükten sonra Ankara Kız Lisesi müdürlüğü ve edebiyat öğretmenliğine, ardından Gazi Orta Muallim Mektebi ve Terbiye Enstitüsü edebiyat öğretmenliğine atandı (1927). Ayrıca Türk edebiyatı tarihi, Batı edebiyatı ve sanat tarihi derslerini de verdi. Aynı dönemde Dil Encümeni üyeliğine seçildi. 1933'te Kıbrıs Türk Lisesi müdürlüğüne tayin edildi; ilaveten Türkçe ve Türk dili ve edebiyatı derslerini yürüttü. O dönemde ilkokullar için Kıbrıs Türk Alfabesi adlı bir okuma kitabı yazdı. 1934'te Maarif Vekâleti müfettişi ve Ankara Musiki Muallim Mektebi müdürü oldu. 1935'te İstanbul Güzel Sanatlar Akademisi müdürlüğüne atandı. 1939'da Afganistan Maarif Nezareti müşavirliği görevi ile gittiği Kâbil'de bir gece üniversitesi açtırdı ve bütün eğitim kademelerinin programlarını hazırladı. Bu sırada Hindistan'daki kütüphanelerde araştırmalar yaptı. 1942'de yurda dönen Ertaylan 1943'te ordinaryüs profesör olarak İstanbul Üniversitesi Edebiyat Fakültesi Türk Dili ve Edebiyatı Kürsüsü'ne geçti ve emekli olduğu 1960 yılına kadar orada görev yaptı.
Genelde edebiyat tarihi araştırmalarıyla tanınan İsmail Hikmet Ertaylan'ın yukarıda özetlendiği gibi aslında uzun süreli bir eğitimcilik hayatı olmuştur. Eğitimci kişiliğinin oluşmasında görüştüğü ve etkilendiği Tevfik Fikret'in önemli bir yeri vardır (bk. Tevfik Fikret).
Tanin gazetesinde yazılar yayımlayıp Düşünce adında bir edebiyat sanat dergisi çıkaran Ertaylan'ın yazı hayatının ilk dönemine ait eserlerinin daha çok ilköğretim ve ortaöğretime yönelik olduğu görülmektedir: Vuslat-ı Memnûa (çocuk hikâyesi, 1324/1908), Kır Çiçekleri (çocuk şiirleri, 1334/1915), Hesap İmtihanı (manzum okul piyesi, 1917); Bînamazın Otuz Üç Gecesi (hikâye, 1921), Kıraat Dersleri (sultânîlere yönelik okuma kitabı, 1919), Ateş Olur da Yakmaz mı (hikâye, 1924), Kıraat Dersleri (ilkokullara yönelik okuma kitabı, 1933-1934) bunlardan bazılarıdır. Ayrıca İki Çocuğun Devr-i Âlemi üst başlığı ile J. de la Hire'den çocuklara yönelik pek çok hikâye çevirisi de vardır (1923-1924). "Öğretmen Marşı" olarak bilinen ve Cevat Memduh Altar tarafından bestelenen marşın sözleri de Ertaylan'a aittir. Gazi Eğitim Enstitüsü'nde görevli olduğu dönemde yazdığı anlaşılmaktadır. Orta ve ileri yaşlarındaki eserleri daha çok edebiyat tarihi, biyografi ve eser incelemesi içeriklidir. Bu dönemde yaptığı tıpkıbasımlar özellikle Türkoloji öğrencilerinin eski metinlerin asıllarına ulaşmasında büyük kolaylık sağlamıştır.