Bugün Bulgaristan sınırları içinde kalan Vidin'de doğdu. Babası Hasan Tahsin Efendi, annesi Ayşe Sıdıka Hanım'dır. Memleketinde rüştiyeyi bitirdikten sonra tahsil için İstanbul'a geldi. Resim yapma merakı ve bu alanda ilerleme isteğiyle Mühendishâne-yi Berrî-yi Hümâyun'un o sıralarda yeni açılmış olan resim sınıfına kaydoldu. Ardından askeri idâdîye geçti ve buradan mezun oldu. Daha sonra Mekteb-i Harbiye'ye girerek özellikle matematik sahasına yoğunlaştı. Bu gayret ve yeteneğini farkeden riyaziye hocası 1835 yılında Cambridge Üniversitesi'ne gönderilen önemli matematikçilerden olan Küçük Tâhir Paşa onun yetişmesine emek ve destek verdi. 1859 yılında Erkân-ı Harbiye mülazımı (teğmen) olan Hüseyin Tevfik 1860'ta erkân-ı harbiye yüzbaşısı rütbesiyle mezun oldu. 1863'te kolağası rütbesiyle Harbiye'nin cebir muallimliğine ve Erkân-ı Harbiye'de Tâhir Paşa'nın muavinliğine tayin edildi. Birkaç yıl süren bu dönemde onun kitabına muhtasaran müştekkat (türev) ve mütevâlî (ardışık) kesir bahislerini ekleyerek Zeyl-i Usûl-i Cebir adlı eserini yayımladı (1871). Çeşitli eğitim kurumlarında idarecilik ve muallimlik yaptı. 1863'te kolağası rütbesiyle askerî ataşe olarak balistik ve tüfek imalatı sahalarında araştırma yapmak için iki yıllığına Paris'e gönderildi. Amerikan Providence Tool şirketiyle Osmanlı Devleti'nin 600.000 Henry-Martini tüfeğinin alım kontratını imzalaması üzerine silahların üretim sürecini denetlemek, imalatına nezaret etmek ve teslim şartlarına uyup uymadıklarını kontrol amacıyla 1872 yılında Amerika Birleşik Devletleri'ne gönderildi. 5 Şubat 1878 tarihinde Rhode Island Tarih Cemiyeti'nde sunduğu ve The History and Conquests of the Saracens adlı kitabı eleştirdiği "A Few Facts on Mohammedanism" başlıklı tebliğiyle dönemin tartışmalarına uzak kalmadığını göstermiş oldu. Bunun üzerine cemiyete üye seçildi. Bu görevi münasebetiyle Fransızca verdiği "Memâlîk-i Osmâniye ve İslâmiyet" başlıklı nutku ile ayrıca meşhur oldu.
Ağustos 1878 tarihinde Mühendishâne-yi Berrî-yi Hümâyun nazırlığına (müdürlük) atandı. 1880 yılında Tophâne-yi Âmire Meclisi riyasetine getirilmesi yanında Umûr-ı Nâfia Komisyonu'na üye oldu. 1882 yılında Tophâne-yi Âmire fabrikalarına müfettiş tayin edildi. Silahlar meselesiyle ilgilenmek üzere ortaelçi sıfatıyla 1883'te Washington'a gönderildi. 1886'ya kadar orada kaldı. Dönüşünde Teftîş-i Askerî Komisyonu üyeliğine seçildi ve bu görevi vefatına kadar devam etti. 1887 yılında mavzer tüfeklerinin muayenesi için Almanya'ya giden komisyona başkanlık etti ve vazifesi iki yıl sürdü. 1891-1895 yılları arasında Ticaret ve Nâfia nazırlığı yaptı. 1896 yılında Dîvân-ı Muhâsebat reisliğine atandı. 1897 yılında başladığı Maliye nazırlığı bir yıl sürdü. O sırada bir süre Rüsûmat Emaneti'ne vekâlet etti. 1900 yılında Hicaz Şimendiferi Komisyonu'nda görev aldı. 1901'de İstanbul'da vefat etti, Eyüp'te Beybaba sokağındaki aile kabristanında medfundur.
Hüseyin Tevfik Paşa devlet işlerinin yanı sıra ilmî çalışmalarını ve muallimlik mesleğini hiç bırakmadı. Harbiye'de muallimliğe ilk başladığı yıl haftada iki gün de Kasımpaşa Rüştiyesi'nde fenn-i hesap derslerine girdi. Paris'te bulunduğu sırada Mekteb-i Osmânî müdürü Miralay Esad Bey'in yardımcılığını yaptı. Dönüşünde Harbiye'de fenn-i makine (1863-1871) ve ilm-i hikmet (1863), ulâm-ı âliye (1870), ulûm-ı riyâziye (1872) derslerine girdi. Daha sonraki yıllarda aynı kurumda cebr-i âlâ, hendese-yi tahlîliye (analitik geometri), hesab-ı tefâzulî ve temâmî (diferansiyel ve integral hesap), mihanik (mekanik), heyet (astronomi) dersleri de verdi. 1867 yılında Dârülfünun'da hesap ve heyet derslerini okuttu.
Türk eğitim tarihine büyük katkılarından biri kuşkusuz 1863 yılında Yûsuf Ziya Bey, Ahmed Muhtar Paşa, Sakızlı Ahmed Esad Paşa ve Ali Naki Efendi ile beraber Cem'iyet-i Tedrîsiye-yi İslâmiye'yi kurarak Darüşşafaka'ya giden yolu açmasıdır (bk. Darüşşafaka). Cemiyetin ilk faaliyetleri dahilinde Simkeşhane'deki esnaf çıraklarına hesap konularını anlattı (1867). Ayrıca Darüşşafaka'da matematik dersleri verdiği gibi kütüphanesinin büyük kısmını oraya bağışladı.
Büyük bir matematik bilgini olan Tevfik Paşa, döneminin bu alandaki gelişmelerini de yakında takip etmiştir. Fransa'da çıkan Nouvelles Annales de Mathématiques adlı süreli yayında sorulan üç soruyu çözmesi, bu çözümlerin derginin 1860, 1861 ve 1862 tarihli ciltlerinde yayımlanması onun matematik yeteneğinin örneklerinden kabul edilir. Bu derginin şahsî kütüphanesindeki elli dokuz ciltlik külliyatı vefatı sonrası Dârülfünun'a geçmiştir. Fransa'da görevli bulunduğu dönemde Sorbonne Üniversitesi ve College de France'taki derslere girerek matematik bilgisini derinleştiren Tevfik Paşa 1887'de Fransa Matematik Cemiyeti'ne üye olmuştur. Hüseyin Tevfik Paşa matematik sahasına yaptığı katkılarından dolayı Fransa, Almanya ve Belçika tarafından çeşitli nişanlarla taltif edilmiştir.
Matematik ve balistik konularıyla ilgili en önemli eseri olan Linear Algebra'yı Amerika'da yazmış ve 1882 yılında bastırmıştır. İngilizce olan bu eserinde Agrant cebrinin eksiklerini ve uygulamalarını ele almıştır. Konusunda ilk eserlerden olan bu çalışma büyük yankı uyandırmıştır. Tevfik Paşa eserini 1892 yılında yine İngilizce olarak ve ilkinin üç misli bir hacimle yeniden neşretmiştir. Yıllar sonra bu eseri İstanbul Teknik Üniversitesi hocalarından Kâzım Çeçen yeniden gün yüzüne çıkartmış; Sâlih Zeki, Cahit Arf ve Celal Şengör'ün değerlendirme yazılarıyla birlikte bastırılmıştır (1988).
Harbiye'nin Erkân-ı Harbiye sınıflarında okutulmak üzere hazırladığı Fenn-i Makine (1874) dışında matematik konularını ele aldığı diğer eserleri Yeni Ölçülerin Menâfii ve İsti'mâline Dair Bir Risâle (1881), Cebr-i A'lâ, Fenn-i Hisâb, Hesâb-ı Tamâmî ve Tefazulî, Hey'et Kitabı, Rubu Tahtası İ'mâl ve İsti'mâline Dair Risâle, "hesâb-ı nazarî ve amelî" dersi için hazırladığı notlarından oluşan Usûl-i İlm-i Hisâb'dır. Ayrıca Cem'iyet-i Tedrîsiye-yi İslâmiye'nin çıkardığı ve matematik bilimleriyle ilgili bir dergi olan Mebâhis-i İlmiye'de pek çok makalesi yayımlanmıştır. Yetiştirdiği en meşhur matematik bilginlerinden biri Sâlih Zeki Bey'dir.