Bingöl'ün Genç ilçesinde doğdu. Annesi Bedriye Hanım, babası Hacı Yasin Vehbi Efendi'dir. Hayatının ilk yılları Osmanlı Devleti'nin zor zamanlarında geçti. Bitlis Rüştiyesi mezunu olan babasının düzenli olarak gazete ve kitap okuması zihin dünyasının şekillenmesinde etkili oldu. Genç ilçesinde başladığı ilkokulu Birecik'te bitirdi. On dört yaşındayken Urfa Sultânîsi'ne kaydoldu ve 1924 yılında mezun oldu. Bu yıllarda aynı zamanda Farsça'ya da ilgi duydu ve Fars edebiyatının önemli klasiklerini okudu.
Aynı yıl İstanbul Erkek Muallim Mektebi'ne başladı. Sultânî mezunu olduğu için bu okulda bir yıllık bir eğitimin ardından 1925 senesinde mezun oldu. İstanbul Muallim Mektebi'nde İbrahim Alaeddin Gövsa, İhsan Sungu, Selim Sırrı Tarcan, Ali Canip Yöntem, Muallim Cevdet İnançalp, Rüştü Uzel gibi dönemin seçkin eğitimcilerinden dersler aldı.
İlk olarak Kayseri Zincidere Öksüz Yurdu'na ilkokul öğretmeni olarak atandı. Savaşın getirdiği yoksulluk ve yıkılmışlık içinde Kayseri'nin bir köyünde 700 öksüzün kaldığı bu okulda çalışmaya başlayan Rauf İnan, Erkek Muallim Mektebi'nde okuduğu modern pedagojiyi hayata geçirmeye çalıştı. Okulda gördüğü olumsuzlukları yenmeye çalıştı.
Öğretmenlik görevini etkili bir şekilde icra ederken pedagoji alanındaki bilgi birikimini de geliştirmeye çalıştı. Maarif Vekâleti'nin yayımladığı Terbiye Mecmuası, İstanbul Erkek Muallim Mektebi tarafından yayımlanan Tedrisat Mecmuası ile Hayat mecmuası sürekli olarak takip ettiği yayınlar içinde yer aldı. Bu dönemini, "İçimde dinmeyen bir öğrenme, kendimi geliştirme, dünyayı, gerçekleri, değerleri tanıma susuzluğu vardı" cümleleri ile ifade etmiştir.
1927 yılında Sivas'ta İlk Tedrisat Müfettişleri Kursu'na katıldı. Kursta dönemin eğitim bürokrasisinde görev yapan Rıdvan Nafiz Edgüer, Reşat Şemsettin Sirer, Kadri Yörükoğlu ve İsmail Hakkı Tonguç gibi önemli isimleri tanıma imkânı buldu. Eylül 1928 tarihinde Maarif Vekâleti'nin yurt dışına öğrenci göndermek için açtığı sınavı kazanarak Viyana'da ilkokul müfettişliği eğitimi alma hakkı kazandı. 1929 yılının sonbaharında Viyana Eğitim Bilimi Enstitüsü'nde derslere başladı. Aynı zamanda kültür ve sanat ortamlarında da bulunarak Berlin, Münih, Prag ve Paris'e seyahatleri oldu. Ekim 1931 tarihinde eğitimini tamamlayarak Türkiye'ye döndü.
27 Ekim 1931'de İstanbul'da ilköğretim müfettişi olarak atandı. Müfettişlik döneminde öğretmenlere rehberlik yapmayı ve öğretmenlerin meslekî anlamda gelişmesini her zaman ön planda tuttu. Teftiş çalışmaları sırasında öğretmenler için nitelikli meslekî yayınların yetersizliğini gördü, telif ve tercümeler yaparak öğretmenler için meslekî kaynaklar sağlamaya çalıştı. Askerlik vazifesini yerine getirdikten sonra 1934 yılında İzmir'e müfettiş olarak atandı. 1935 yılında İzmir Millî Eğitim müdür yardımcılığına atandı. Ardından Ankara'ya bakanlığa çağrıldı.
1935 senesinde askerliğini çavuş olarak yapan gençlerin kısa süreli bir kursa tâbi tutularak köy okullarında görevlendirilmesine yönelik bir eğitmen projesinde görev aldı. 1940 senesinde Eskişehir Çifteler Köy Enstitüsü'ne müdür olarak atandı. 1942 yılında da Hasanoğlan Köy Enstitüsü müdürlüğüne getirildi. 1946 seçimlerini takip eden günlerde bakanlık müfettişi olarak Ankara'ya döndü. 1949 yılında ortaokul programlarının geliştirilmesi komisyonunda matematik dalında çalışmalara katılan Rauf İnan 1950-1960 yılları arası dönemde farklı okullarda öğretmenlik görevlerinde bulundu. 1960 darbesini takiben Türkiye Öğretmen Dernekleri Millî Federasyonu başkan vekilliğine seçildi. 1970 yılında Namık Kemal Ortaokulu müdürlüğünden emekliye ayrılmıştır. Kırk beş yıllık meslek hayatından sonra emeklilik onun için yeni bir dönemin başlangıcı oldu, konferans ve toplantılara katılmasının yanı sıra gazete ve dergilerde yazdığı yazılarla da çalışmalarına devam etti. Bu dönemde UNESCO ile ilişkiler kapsamında UNESCO Millî Komisyonu'nda görev aldı ve bu görevi 1985 yılına kadar sürdürdü. 29 Şubat 1996 tarihinde vefat etti.
Kayseri Zincidere'de bir ilkokul öğretmeni olarak başlayan meslekî kariyerinde oldukça farklı görevler üstlenen İnan aynı zamanda oldukça üretken bir yazardır. Eğitim, bilim ve öğretim üzerine yazdığı müstakil eserlerin yanı sıra gazete ve dergilerde yazdığı makaleler ile de eğitime ilişkin sorunlara çözüm önerilerinde bulunmuş ve mevcut sorunların kökenlerine ilişkin izahlar yapmıştır. Kaleme aldığı başlıca eserler şu şekilde sıralanabilir: Birinci Sınıfta Çocuğa Göre Mektep (İstanbul 1932); Hayat İçin ve Çocuğa Göre Mektep (İstanbul 1946); Katlamayı, Kerratı, Çarpmayı, Bölmeyi Öğrenelim (Ankara 1949); Ölçmeyi Öğrenelim, Öğrenci Çalışma Kılavuzu (İstanbul 1951); Kesirleri Deneyelim Öğrenelim (İstanbul 1951); Çocuğa Göre Okulda Okuma ve Yazmaya Başlama Temrinleri (Ankara 1949); Hayat İçin ve Çocuğa Göre Hesap (İstanbul 1946); Çocuğa Göre Okulda Eğitim ve Erdirim (İstanbul 1952); Çocuğa Göre Okul ve İlk Sınıf (İstanbul 1952); Dünyada Türklerde ve İslâm'da İnsan Hakları Eğitim ve Kültür-Çocuk Hakları (Ankara 1970); Orta Avrupa'da Gelişmenin ve Demokrasinin Temeli Eğitim (Ankara 1971); Mustafa Necati: Kişiliği, Ulusal Eğitime Bakışı, Konuşma ve Anıları (Ankara 1980); Atatürk'ün Evrenselliği, Önder Kişiliği, Eğitimci Kişiliği ve Amaçları (Ankara 1983); Atatürk ve Türk Kadını: Tarihte Türk Kadını (İstanbul 1991).