Rus Çarlığı'na bağlı günümüzdeki Başkırt Özerk Cumhuriyeti'nin İşimbay (İsterlitamak) ilçesinin Küzen köyünde dünyaya geldi. Babası Ahmedşah Bey ile annesi Ümmülhayat Hanım'dır. Ailesi köklü bir ilim ve eğitim geleneğine sahiptir. Özel hocalardan riyaziyat, coğrafya, matematik, Rusça dersleri aldı. Bu arada Türk kültürüne ve edebiyatına dair bilgiler edindi. Türkçe ve Farsça şiirler ezberlerken Çağatay ve Fars edebiyatlarıyla Yesevîliğin Türk kültüründeki öneminden haberdar oldu.
1902-1908 yılları arasında Ütek'teki medreseye devam etti. 1907-1908 kışında hacca giden babasının medresesinde onun bir halifesiyle birlikte eğitim öğretimi üstlenmesiyle muallimlik hayatı başladı. Hz. Peygamber'in hayatı ve Arapça dersleri okuttu ve yaşadığı çevrenin etnografyası hakkında bilgi topladı. Medresenin bir köşesine kütüphane oluşturarak İstanbul ve Mısır'dan da kitap ve gazeteler getirtmeye başladı.
29 Haziran 1908 tarihinde önemli bir bilim ve kültür merkezi olan Kazan'a giderek buradaki Kasımiye Medresesi'ne devam etti. Başta Şehâbeddin Mercânî olmak üzere dönemin meşhur hocalarından ders aldı. Bir yandan İbn Haldun, İbn Teymiyye, İbn Rüşd, Gazzâlî ve Bîrûnî gibi klasik İslam bilginlerinin eserlerini okurken, E. Renan, R. Dozy, W.R. Draper, A. Schopenhaure gibi oryantalistlerin çalışmalarını incelemeye başladı; Kazan'daki Abdullah Tokay, Mısır'da Muhammed Abduh, Reşid Rızâ, Ferid Vecdi gibi İslam dünyasındaki yenilik taraftarlarını takip etti. Fikirlerinden etkilendiği ve derslerine devam ettiği Mûsâ Cârullah'ın Rusya'da kalarak Arap dili ve edebiyatı alanında derinleşmesi ve Rusça'sını ilerletmesi tavsiyesine uydu. 1909-1910 eğitim öğretim döneminden itibaren Kasımiye Medresesi'nde daha önce okutulmayan Türk tarihi ve Arap edebiyatı tarihi dersleri vermeye başladı, Türk ve İslam kültürüne dair yazmaları takip etti. Bu çalışmalarıyla Türk ve Moğol kültürüne dair bilgileri tetkikleri neticesinde Türk Kavimlerinde Dört Mısralı Halk Şarkıları başlıklı ilk araştırma eserini hazırladı.
1912 yılında yayımladığı, Nikolay Katanov, Wilhelm Barthold, Yusuf Akçura, Arminus Vambery gibi Türkologlar'ın övgüsüne mazhar olan Türk ve Tatar Tarihi isimli kitabı, Kazan Üniversitesi Arkeoloji ve Tarih Cemiyeti üyeliğine seçilmesini sağladı. Burada gerçekleştirdiği arkeoloji, etnografya ve tarih araştırmalarıyla adı daha geniş ilim muhitlerinde ilgi gördü. Bütün bunlar Türk tarihine bağlanmasını getirirken siyasî hayatın içinde daha yoğun bir şekilde yer almasını da sağladı. Bir yandan da Başkırt toplumunun yerel ve spesifik sorunlarıyla ilgilenmeye başladı. Türklük anlayışını "Tatarlık ve Müslümanlık" ile tanımlamak yerine tarih görüşünü "Türk dünyası tarihi" çerçevesinde kavramlaştırarak uluslararası bilim literatürüne dahil olmasını sağladı. Türk dünyasını Batı Türkleri, Altay-Sibirya Türkleri, Türkistan Türkleri ve Doğu Avrupa Türkleri olmak üzere dört bölgeye ayırarak Sibirya'dan Akdeniz'e, Macaristan'dan Çin Seddi'ne kadar uzanan geniş coğrafyaya yayılan ve bir aile olarak gördüğü Türkler'in tarihinin ve kültürünün bilimsel zeminde tartışılmasına öncülük etti. Türkistan'a araştırma gezileri düzenleyerek yoğun etnografik gözlemler yaptı. 1913 yılında Fergana, 1914'te Buhara'da bilimsel araştırmalar yaparak birçok bilinmeyen eser ve tarihî vesikayı ortaya çıkardı. Türk kültürünün ve medeniyetinin en önemli kaynaklarından biri olan Kutadgu Bilig'in yeni bir yazmasını keşfederken araştırmalarının sonuçlarını da ihtiva eden raporları, Kazan, Taşkent ve Petersburg arkeoloji cemiyetleri dergilerinde yayımladı. Yaşanan ağır hayat şartları tanınmış Rus Türkolog Katanov'un yaklaşık 9000 cilt kitabını satışa çıkarmasına sebep olmuştu. 1914 yılında bu kitapların büyük kısmını İstanbul'dan talep ettiği heyet tarafından satın alınmasını sağladı. Civardan ve Petersburg'dan satın aldırdığı diğer kitaplarla birlikte İstanbul'a ulaşan bu kitaplar 1924'te kurulacak olan İstanbul Üniversitesi Türkiyat Araştırmaları Enstitüsü'nün kütüphanesinin omurgasını oluşturmuştur.
1916 yılından itibaren siyasal çalışmalara yoğunlaşarak Başkırt temsilcisi sıfatıyla Petersburg'a gitti; Çarlık Rusya Yasama Meclisi Duma'da Ufa müslümanlarının resmî temsilcisi sıfatıyla görev aldı. Ekim 1917 tarihinde gerçekleşen Bolşevik Devrimi'nden sonra Başkırt halkının bağımsızlık mücadelelerini desteklemek amacıyla siyasî hayata dahil olarak Başkırdistan'ın tam bağımsızlığını savundu. 29 Kasım 1917 tarihinde Sultan Galiyev, Mollanur Vahidov ve İlyas Alkin ile bağımsız Başkırdistan Cumhuriyeti'nin kurulmasına öncülük etti. 18 Şubat 1918'de Orengburg'un Bolşevik orduları tarafından işgal edilmesiyle tutuklandıysa da 7 Haziran 1918'de hapisten kaçtı. Başkırdistan Millî Hükümeti tekrar kurulduğunda İçişleri ve Harbiye nazırı unvanıyla iş birliği yanlısı Sovyet yönetiminin önde gelen liderleri Lenin, Stalin ve Troçki ile müzakereler yürüttü. Başkırdistan'ın özerklik ve federasyon taleplerini ısrarlı bir şekilde dile getirmeyi sürdürürdü. İşgale karşı gerçekleştirilen siyasî ve askerî direniş hareketlerinin Türkistan'da millî bir kuvvet şeklinde birleştirilmesi için yoğun çaba harcadı. Rusya'da Türkistan'ın istiklali için faaliyet gösteren Basmacı Hareketi'nin Türkistan Millî Birliği'ne dönüştürülmesinde başkan olarak görev aldı; Ruslar'a karşı Türkistan'da otuz ay süren mücadelenin siyasal ve askerî liderliğini üstlendi. Bu sırada bir yandan Enver Paşa gibi Türkistan'a dışarıdan gelen kişilerle irtibat kurarken bir yandan da bulunduğu çevredeki mimari anıtlar ve kitabeler üzerinde ilmî çalışmalar ve incelemeler yaptı. Siyasal mücadelesine yeni açılımlar sağlamak amacıyla Abdülkadir İnan'la birlikte 21 Şubat 1923 tarihinde İran'a gitti ve Meşhed'deki ilmî çalışmaları sırasında İmam Rızâ Kütüphanesi'nde o güne kadar bilinmeyen bir coğrafya mecmuası buldu. İbnü'l Fakîh ile Ebû Dülef Hazrecî'nin eserlerini de içeren tanıtımını yaptığı bu mecmuanın en önemli kısmını o zamana kadar bilinmeyen İbn Fadlân seyahatnamesi ile İbnü'l-Fakîh'in eserinin bilinmeyen ikinci bölümü oluşturuyordu. Aynı yıl Afganistan'a giderek Kâbil ve Herat'ta bilimsel çalışmalarını sürdürdü. Herat'ta Ali Şîr Nevâyî'nin kabrini tespit ederken Kâbil Saray Kütüphanesi'ndeki yazma eserlerin katalogunu yayımladı. Daha sonra Peşâver ve Lahor'a uğradıktan sonra Bombay'a gitti. Bombay'dan deniz yoluyla geldiği İstanbul'a vizesiz olduğu için kabul edilmedi ve gittiği 1924 yılında Paris oradan da Berlin'e geçti. Maarif Vekili Hamdullah Suphi'nin teklifini kabul ederek Türkiye'ye gelmeye karar verdi. Bu kararında Dârülfünun Edebiyat Fakültesi Dekanı Köprülüzâde Fuad Bey'in Türkiye'ye davet için gönderdiği mektubun da tesiri olmuştu. 20 Mayıs 1925 tarihinde Türkiye Cumhuriyeti'nin resmî davetlisi olarak İstanbul'a geldikten bir süre sonra Ankara'ya geçti. 3 Haziran 1925 tarihinde Türk vatandaşı oldu ve Maarif Vekâleti Telif ve Tercüme Heyeti üyeliğine tayin edildi. Hamdullah Suphi'nin teklifiyle Türk Ocağı'nda Türk kavimlerinin mukadderatına dair konferanslar vermeye başladı; İlimler Akademisi ile Tarih Araştırma Enstitüsü kurulması hususunda projeler sundu. Çağatay edebiyatı tarihine ait Neng'ler ve Reşîdüddin'in Câmiu't-Tevârîh'i ile Topkapı Sarayı'nda bulunan Hafız Ebrû tarihinin Farsça metinlerinin tercüme edilerek neşrine dair teklifler verdi ve tercümelerini tamamladığı bir kısmını da teslim etti. Ancak Hamdullah Suphi görevinden ayrılınca Togan'ın çalışmaları yarım kaldı ve Çağatay edebiyatına ait hazırladığı eser Maarif Matbaası'nda kayboldu. Ankara'daki hayata akademik anlamda çok ısınamadığından kendisine gelen "umumi Türk tarihi tedrisi" teklifini kabul ederek İstanbul Dârülfünun Edebiyat Fakültesi'ne Türk tarihi muallimi oldu (26 Ocak 1927). Bir yandan genel Türk tarihi dersleri verirken bir yandan da bilimsel araştırmalarını sürdürdü. Türkiye'ye gelmeden önceki çalışmalarını Türkçe'ye çevirmeye başladı; Rus şarkiyatçı V.V. Barthold'un Türkiye'ye davet ettirip seminerler ve konferanslar vermesine öncülük etti. Abdülkadir İnan'la birlikte Yeni Türkistan isimli mecmuayı çıkardı ve ders kitabı olarak okutulan Türk Tarihinin Ana Hatları isimli kitabını yayımladı (1930). Türkiye'ye gelişinden itibaren İstanbul'daki kütüphaneler başta olmak üzere Türkiye'deki bütün yazmalarla ilgilendi; Türk tarihinin ve kültürünün o zamana kadar bilinmeyen konularında akademik yayımlar yaptı. Bîrûnî'nin eserlerinin yanında Hârizm dili kaynaklarını İstanbul kütüphanelerinden tespit ederken Konya'daki İlhanlı dönemi maliye kaynaklarını ortaya çıkarmış ve Altın Orda tarihi için mühim bir kaynak olan Ötemiş Hacı Tarihi'ni de ilk defa ilim dünyasına tanıtmıştır.
Ankara'da 1930 yılında kurulan Türk Tarihi Tedkik Heyeti'ne ve cemiyetin üyelerinin hazırladıkları tarih kitabına tenkitlerde bulundu. 1932 yılında gerçekleştirilen 1. Türk Tarih Kongresi'nde eleştirilerini sürdürüp resmî "Türk tarih tezi"ne karşı görüşler ileri sürünce aleyhinde akademik bir kamuoyu oluşturularak ithamlara maruz kaldı. Bunun üzerine Dârülfunun'daki kürsüsünden istifa etmeye mecbur bırakılınca Türkiye'yi terkederek Viyana'ya gitti (8 Temmuz 1932). Viyana Üniversitesi bünyesinde bilimsel çalışmalarını sürdürerek 1935 yılında İbn Fadlan'ın Seyahatnâme'si başlıklı doktora tezini tamamladı. 1935-1937 yılları arasında Bonn Üniversitesi'nde, 1938-1939 yılları arasında Göttingen Üniversitesi'nde Türk tarihi ve İslam tarihi dersleri verdi. 1938'de Almanya'da "tedris ettiği bütün Alman üniversitelerinin honorar profesörü" unvanı ile onurlandırıldı. Avrupa'daki başarılı çalışmaları ve kendisine sunulan geniş imkân ve gösterilen saygıya rağmen Millî Eğitim Bakanlığı'nın davetini geri çevirmedi ve 1 Eylül 1939 tarihinde İstanbul Üniversitesi'nde yeniden göreve başladı. Aynı yıl daha sonra "Genel Türk Tarihi" adını alacak "Umumi Türk ve Asya Tarihi Kürsüsü"nü kurdu.
Başkırtlar için Rusya'dan kurtulup bağımsız olma imkânı yaratacağı düşüncesiyle II. Dünya Savaşı sırasında Almanlar'ın galip gelmesini istemesinden Türkiye'deki Sovyet elçiliği rahatsız oldu. Mayıs 1944 tarihinde Turancılık hareketinde etkin rol oynadığı iddiasıyla Sovyet yönetimi aleyhine faaliyet göstermekle itham edilerek tutuklandı. On beş ay kadar mahkûm kaldığı hapishanede bilimsel çalışmalarına devam etti; Türkiye'deki tarih bölümleri ve dünyadaki birçok Türkoloji bölümünde ders kitabı olarak okutulan Umumi Türk Tarihine Giriş kitabını yazdı. Sıkıyönetim mahkemesinin on yıllık mahkûmiyet kararı Askerî Yargıtay tarafından bozulunca 1945 yılında serbest kaldı ve hakkındaki kovuşturmanın tamamlanmasından (31 Mart 1947) sonra 1948'de üniversitedeki görevine geri döndü. Türk tarihini, kültürünü ve sanatını ilgilendiren konularda Batı'daki üniversiteler, enstitüler ve bölümlerin araştırmalarına bağımlı kalmamak ve onları aşmak için Türkiye'de benzer kurumların oluşması için çaba gösterdi. 1949 yılında Umumi Türk ve Orta Asya Tarihi Enstitüsü, İslam Tetkikleri Enstitüsü ve Rus Filolojisi Enstitüsü kurulması için İstanbul Üniversitesi Edebiyat Fakültesi'ne başvurdu. 1953 yılında kurulmasına öncü olduğu İslam Tetkikleri Enstitüsü'nün müdürlüğünü üstlendi. Diğer enstitü teklifleri yerine getirilmedi ve 1957 yılında kurduğu Türk Şarkiyat Derneği ilgisizlikten kapandı.
1951 yılında İstanbul'da toplanan XXI. Müsteşrikler Kongresi'nin başkanlığını üstlendi. Kongrede M. Fuat Köprülü ile birlikte Türk dili ve lehçelerinin gramer, edebiyat ve tarihini içeren kapsamlı bir temel eserin yazılması fikrini dile getirerek bir komite kurdu. Bu komite tarafından iki cilt olarak hazırlanan Philologiae Turcica Fundamenta (1959) kitabını beğenmeyerek tenkitler kaleme aldı ve ansiklopedik bir "Türk Kültürü El Kitabı" yayımlanması için bir heyet kurarak harekete geçti (1967). Ancak taslak programı hazırlanan bu proje ekonomik sebepler başta olmak üzere gerekli ilgiyi göremediği için ilerlemedi.
1957 yılında Pakistan Lahor Üniversitesi'nde misafir öğretim üyesi olarak bir süre bulunduktan sonra Amerika Birleşik Devletleri'ne giderek Stanford ve Berkeley üniversitelerinde akademik çalışmalar yaptı. Amerika'da Rusya meselelerine dair araştırma yapmak amacıyla kurulan Sovyet Sosyalist Cumhuriyetleri Birliği Öğrenme Enstitüsü tarafından 24-25 Temmuz 1959 yılında düzenlenen ve Türk tarihine dair bazı sonuçlara ulaşılan Rusya ve Türk dünyası ile ilgilenen önemli âlimlerin katıldığı kongreye katıldı ve toplantıdan sonra "Sovyetler'in Umumi ve Asya Siyasetleri" başlıklı bir değerlendirme yazısı yayımladı. Almanya'daki Deutsche Morgenlândische Gessellschaft ile Finlandiya'daki Finnö-Ougrien Society'e fahrî üye olarak seçilirken kütüphanesinde XI veya XII. yüzyıla ait bir Türkçe Kur'an tercümesi bulduğu Manchester Üniversitesi tarafından "onur doktorası" verildi ve İran Maarif Vekâleti'nin birinci derece "Ferheng" altın nişanı ile taltif edildi. Ömrünün son anına kadar bilimsel çalışmalarını bırakmadı ve hasta yatağında Oğuz Destanı başlıklı son çalışmasının provalarını okuyordu. 26 Temmuz 1970 tarihinde İstanbul'da vefat etti ve Karacaahmet Mezarlığı'na defnedildi.
Türkiye'de tarih usulü alanında ilk kitabın müellifi olarak ortaya koyduğu özgün terkiplerinin yer aldığı eserleriyle akademik tarihçiliğin öncüsü olan ve Türkler ile Türk tarihinin saptırmalardan, peşin hüküm ve ön yargılardan arınmış gerçek bir tablosunu ortaya koymayı hedefleyen Togan'ın doğumunun 120. sene-yi devriyesi "2010 Ahmet Zeki Velidi Togan Yılı" ilan edildi. Kazan ve Türkistan'da özümsediği geleneksel kültürü bir yandan Rus ve Avrupa diğer yandan da İstanbul merkezli Osmanlı kültürüyle hayat boyu kazandığı geniş birikimi bilimsel metodoloji çerçevesinde mezcetti ve uluslararası akademik çevrelerin takdirine mazhar oldu. Kolektif bir bilgi ve bilinç olarak gördüğü tarih biliminin ilke ve yöntemleriyle tarihsel araştırmalarda izlenecek bilgi üretme usulleri konusunda rehber oldu. Karanlıkta kalmış birçok soruyu aydınlığa çıkardığı Türk tarihine ve kültürüne dair çalışmalar için tarihî malzemeyi ulaşılabilir hale getirdi. Verdiği dersler ve akademik literatüre kazandırdığı eserler sadece Türkiye'deki değil bütün dünyada özellikle de Türk dünyası ülkelerindeki Türkoloji çalışmalarında standart bir başvuru kaynağı sayılarak örnek alındı.
Tarihçilikte kullandığı yöntemlerle bilim dünyasının dikkatini çekti ve tarihsel anlatıyı büyük adamlar merkezli olarak kuran yaklaşımlara daima mesafeli durdu. Asya ve hatta dünya tarihinde belirgin izler bırakan Cengiz ve Timur gibi büyük şahsiyetleri incelerken siyasal ve mantıksal bir bağlam içinde inceledi. Tarihçiler açısından önemli olanın söz konusu büyük insanların gücü, karizması ve otoritesi olmadığını, asıl incelenmesi gerekenin onları destekleyenler, birlikte güç mücadelesi yürütenler ve çevresindekilerle özellikle de ait oldukları millet ve kültür olduğunu vurguladı.
Siyaseti gözetmeyen fikrî ve vicdanî salabeti olması gereken tarihçi ana kaynaklara inebilecek derecede filolojiye hâkim olmalı, farklı kaynak dillerini bilmeli ve tercüme edebilmeli, alanda incelemeler gerçekleştirmeli, tarih felsefesi ve metodolojik bakış açılarına aşina olmalı, sentez ve yorum yapabilme kabiliyetine sahip olunmalıdır. Kendisinden istifade eden bilim insanları ve yetiştirdiği öğrencileri arasında Çin'den T'ang Ch'i, Huang Chi-huei, Celaleddin Wang, Pakistan'dan Muhammet Sabir, Ahmet Ensar, Japonya'dan Masao Mori, Türkiye'den Orhan Şaik Gökyay, Tahsin Banguoğlu, Halil İnalcık, Emel Esin, Z. Fahri Fındıkoğlu, Salih Tuğ, İbrahim Kafesoğlu, Fahreddin Kırzıoğlu, Mustafa Kafalı, Enver Konukçu, Tuncer Baykara, Gülçin Çandarlıoğlu sayılabilir. Kızı İsenbike Togan Orta Asya, Moğol ve Çin tarihi üzerinde çalışarak babasının yolunu takip ederken oğlu Sübidey iktisat alanında uzmanlaştı.
İlk bilimsel çalışmaları 1908 yılından itibaren yayımlanan Togan, hayatının sonuna kadar araştırmalarını sürdürdü. Atsız Mecmua, Orhun Dergisi, Çınaraltı, Tanrıdağ gibi Türkçü fikir ve sanat dergilerinde makaleler yayımladı. Saygın ilmî dergilerde yayımlanan ve sayıları 100'e yaklaşan Türk tarihi ve Türk medeniyeti üzerine olan makalelerini Türkçe'nin yanında Rusça ve Farsça, İngilizce, Almanca ve Fransızca kaleme aldı. Bunlar geleneksel Türk inancı, halk mimarisi, halk hekimliği, giyim kuşam örnekleri, kutlamalar, halk ekonomisi, geçim kaynakları, halk edebiyatı ve maniler gibi konuları içeriyordu. Tercüme edilerek ve yeni madde ilaveleriyle yayımlanan MEB İslâm Ansiklopedisi'ne çok sayıda madde yazdığı gibi Arap harfleriyle Türkçe basılan Bugünkü Türkistan ve Yakın Mazisi adlı eseri yeniden yayıma hazırladı (1940). Hazırladığı ders notları akademik bakımdan çok değerli olan Togan'ın yayımlanmış eserlerinin başlıcaları şunlardır: Türk Tarihi-İslamiyet'ten Evvelki Devirlere Ait Dersler (İstanbul 1928). Bugünkü Türkistan ve Yakın Mazisi (Kahire 1928-40). Die gegenwärtige Lage der Mohammedaner Russlands (Budapest 1930). Onyedi Kumaltı Şehri ve Sadri Maksudi Bey (İstanbul 1934). Ibn Fadlans Reisebericht (Leipzig 1939). Umumi Türk Tarihine Methal (İstanbul 1940). Biruni's Picture of the World (Yeni Delhi 1940). 1929-1940 Seneleri Arasında Türkistan'ın Vaziyeti (İstanbul 1940). Moğollar Cengiz ve Türklük (İstanbul 1941). Tarihte Usul (İstanbul 1941). 10-15. Asır Asya Tarihi Haritası (İstanbul 1941-42). Bugünkü Türkili (Türkistan) ve Yakın Tarihi (İstanbul 1942). Umumi Türk Tarihine Giriş (İstanbul 1946). Horezmce Tercümeli Muqaddemat al-Adab (İstanbul 1951). Türk-Türkistan (İstanbul 1960). Hatıralar (İstanbul 1969). Türklüğün Mukadderatı Üzerine (İstanbul 1970). Kur'an ve Türkler (İstanbul 1971). Oğuz Destanı (İstanbul 1972).