Osmanlı Devleti'nin Batı karşısında aldığı yenilgiler askerî alanda bir dizi yenileşme fikrini gündeme getirmiştir. Ordunun ihtiyaç duyduğu nitelikli kişileri yetiştirmek için Mühendishâne-yi Bahrî-yi Hümâyun, Mühendishâne-yi Berrî-yi Hümâyun, Mekteb-i Harbiye, Askerî Tıbbiye ve Muzıka-yı Hümâyun gibi çeşitli okullar kurulmuştur. Bu mektepler kendi ihtiyacı olan talebeyi yetiştirmek için 1845'ten itibaren askerî idâdî sınıfları açmışlardır. Askerî idâdîlere kayıt yaptırmak isteyen öğrencilerin bilgi ve beceri yönünden niteliğini arttırabilmek amacıyla da 1864'te Mahrec-i Mekâtib-i Askeriye kurulmuştur. Bu mektep aslen bir hazırlık sınıfı hususiyetindedir. Ancak yine de istenilen sonuç ve verim yeterli görülmeyince yeni bir yol aranmaya başlanmış ve Mekâtib-i Askeriye Nazırı Süleyman Hüsnü Paşa'nın da çalışmaları neticesinde Mahrec-i Mekâtib-i Askeriye adlı eğitim kurumu kaldırılarak yerine 9 Ocak 1875'te askerî rüştiyeler açılmıştır.
26 Ağustos 1875 tarihli Takvîm-i Vekâyi' gazetesinde askerî eğitim kurumlarına mensup vatan evladının nitelikli bir şekilde eğitim alarak kendini geliştirmesi amacıyla 27 Eylül 1875'ten sonra derslere başlamak üzere İstanbul'da eş zamanlı olarak dokuz askerî rüştiye mektebi yapılmakta olduğu belirtilmiştir. Çok geçmeden eğitime başlayan askerî rüştiyeler kısa sürede Osmanlı Devleti'nin sahip olduğu bütün bölgelere yayıldı. II. Abdülhamid döneminde askerî rüştiyeler, İstanbul dışında da açıldı, birçoğu için yeni bina inşa edildi (bk. Abdülhamid II). Rumeli'de beş (Edirne, Manastır, Selanik, Üsküp, İşkodra), İstanbul'da on (Beşiktaş, Fatih, Eyüp, Gülhane, Kocamustafapaşa, Soğukçeşme, Üsküdar Toptaşı, Üsküdar Paşakapısı, Kasımpaşa Bahriye, Baytar), Anadolu'da on bir (Diyarbakır, Erzincan, Erzurum, Ma'mûretülaziz, Bursa, Trabzon, Sivas, Kastamonu, Bitlis, Van, Konya), Arap vilayetlerinde on (Eski Bağdat [Birinci], Yeni Bağdat [İkinci], Beyrut, Şam, Halep, Trablusgarp, San'a, Süleymaniye, Taiz, Abha) olmak üzere toplam otuz altı askerî rüştiye mektebi faaliyete geçti. Askerî okullar, sivil okullardan farklı olarak ulemanın denetiminden uzak bir eğitim öğretim yaptıklarından Mekâtib-i Umûmiye Nezareti kurulduğunda askerî mektepler bu nezarete bağlanmamış, seraskerlik bünyesinde kalmıştır. Dolayısıyla askerî rüştiyeler Mekâtib-i Askeriye Nezareti'ne bağlanmıştır.
Mektebe, ibtidâî diplomasına sahip olup belirlenen şartları taşıyan bütün Osmanlı vatandaşları kayıt yaptırabilmektedir. Kayıt yaptıracak müslüman öğrencilerden temel düzeyde Kur'an-ı Kerim tilaveti, harekesiz yazıları okuyabilme ve sülüs hattı ile yazı yazabilme becerisine sahip olmalarına yönelik şartlar aranmıştır. Gayrimüslim öğrencilerde ise yalnız Türkçe cümle okuyabilme ve sülüs ile yazı yazabilme şartı aranmıştır. Bu şartları taşıyanlar müslüman ve gayrimüslim ahalinin bir arada eğitim gördüğü Kocamustafapaşa, Selamsız ve Gülhane Askerî rüştiyelerine kabul edilmiştir. Mektebe kayıt yaptıran öğrenciler ilk yıllarda "coğrafya, Gülistan, hüsn-i hatt-ı rik'a, ilmihal, imla, Îsâgûcî ve tatbikat ve kavâid-i Arabiye, kavâid-i Fârisî, kırâat-i ibâre-yi Türkiye, mükemmel ilm-i hesap, nahv-ı Arabî, nasîhatü'l-hükemâ, resim, sarf-ı Arabî, sarf-ı Osmânî, ta'lim-i Fârisî, usûl-i terkip" derslerini almışlardır. Fakat süreç içerisinde askerî rüştiyelerin öğretim süresi ve ders programı birçok defa değişikliğe uğramıştır. Sonraki yıllarda usûl-i defterî ve jimnastik gibi dersler de eklenmiştir. Çok geçmeden öğretim süresi ve programında yeni düzenlemeler yapılarak öğretim süresi dört yıla; ders sayısı ise sırasıyla 1875-1876'da yirmi üçe, 1877-1878'de yirmi dörde, 1881'de ise otuz ikiye, 1891'de kırk ikiye çıkarılmıştır. 1898 yılında yeni bir düzenleme ile öğretim süresi tekrar üç yıla düşürülerek ders sayısı da otuz ile sınırlandırılmıştır. 1905 yılında yapılan bir ıslahatla öğretim süresi beş yıla, ders sayısı ise elli ikiye çıkarılmıştır. 1909 yılında programa iki ders daha eklenerek toplam elli dört ders ile beş yıllık eğitim veren askerî rüştiyeler, 1913 yılına kadar bu şekilde eğitim öğretime devam etmiştir. Bu süreçte öğretim programlarındaki dersler sözel ağırlıklı olmuştur. Öğretim süresi ve ders sayısındaki dalgalanmalar, kuşkusuz dönemin şartları gereği hep daha iyiye ulaşma çabasının bir neticesi olmuştur.
Öğrencinin başarısını ölçmek amacıyla öğretmenler üç ayda bir hususi sınavlar yapmışlardır. Bu sınavlarda yeterli düzeyde başarı sağlayamayan öğrencilere müeyyideler uygulanmış, sonrasında ise yeni bir değerlendirmeye tâbi tutularak tasdik sınavı yapılmıştır. Öğrenciler bu sınavda sergiledikleri performansın ardından dönem sonunda yapılan umumi sınava girerek başarılı oldukları takdirde bir üst sınıfa geçmiş, son sınıfta ise mezun olmuştur. Öte yandan umumi sınavda asgari şartları tamamlayıp tek dersten başarısız olanlar, ikmal sınavına benzeyen; fakat puanlaması farklı olan tekrar sınavına tâbi tutulmuştur. Mezun olduktan sonra eğitimine devam etmek isteyenlerin idâdî sınıflarına kayıt yaptırabilmeleri için müsabaka sınavına girerek başarılı olmaları gerekiyordu. Öğrencilere ölçme ve değerlendirme sürecinde oldukça hassas davranılmıştır. Öyle ki mektep dışında görevli öğretmenlerden meydana gelen bir sınav heyeti kurularak objektif bir değerlendirme yapılmak istenmiştir. Mekteplere kayıtlı öğrencilerin devam/devamsızlık durumları öğrenci sicil dosyalarına kaydedilmekle beraber öğrencilerin devamsızlık yapmalarına engel olunmaya çalışılmıştır.
Askerî üniformaya benzer bir kıyafet giyen askerî rüştiye öğrencileri askerî disipline tâbi tutulmuşlardır. Askerî rüştiyelerde öğrenciler için gerek mektep içinde gerekse mektep dışındaki davranışlarına yönelik olarak birtakım kurallar belirlenmiştir. Bu çerçevede olumlu davranışlara ilişkin "aferin, tahsin, takdir, taltif" şeklinde ödüllerin yanı sıra olumsuz tavır ve davranışlara karşı ise "ihtar, tembih, tekdir ve tevbih" gibi cezalar verilmiştir.
Askeri rüştiyelerdeki faaliyetlerden birinci derecede mesul kişi kolağası rütbesinde bir subay olan mektep müdürüydü. Müdüre, dahiliye zabiti olarak adlandırılan bir yüzbaşı ile üç üsteğmen veya teğmen yönetim, idarî işler ve disiplin konularında yardımcı olmaktaydı. Öğretmenlerin ilk ve en önemli sorumluluk alanı dersleriydi. Bu açıdan öğretmenlerden derslerine zamanında girmeleri ve derslerini zamanında bitirmeleri beklenmiştir. Bunun yanı sıra öğrencilerin akademik başarılarından da bizzat öğretmenler sorumlu tutulmuş ve ihtiyaç halinde öğretmenlere ilişkin performans değerlendirmesi yapılabilmiştir. Hatta değerlendirmenin sonucuna göre ilgili öğretmenlere ödül veya ceza verilebilmiştir. Öğrencilerin dersliklere yönlendirilmesi, sıralarına düzgün bir şekilde oturtulması, öğretmen gelene kadar sınıf düzenini sağlaması ve öğrencilerin dersleriyle ilgilenmesi için dahiliye subayları da görevlendirilmiştir. Dahiliye subayları da birer öğretmen olup öğrencilere rehberlik etmekle yükümlüydü. Bir mektepte öğretmen sayısı, istisnalar bulunmakla birlikte, genellikle on, dahiliye subayı sayısı ise dörttü. Ancak birtakım yetersizliklerden olsa gerek bazı öğretmenler aynı okulda iki farklı derse girebilmiş veya birbirine yakın iki farklı okulda görev yapabilmiştir.
Öğrencilerin derslerde kullanacağı yazılı materyaller Osmanlı Harbiye Mektebi Matbaası tarafından basılarak ücret karşılığında dağıtılmıştır. Söz konusu materyaller arasında yer alan ders kitapları çoğunlukla askerî rüştiye öğretmenleri tarafından kaleme alınmıştır. Yazılı materyallerin dışında, öğretim araç gereçleri arasında bulunan ve modern eğitimin bir parçası olan kara tahta ve tebeşir de kullanılmıştır. Derslerin içeriğine göre harita, cetvel, pergel ve gönye gibi araç gereçlerden de yararlanılmıştır.
Askerî rüştiyelerde insan kaynakları bakımından hassas davranılmış ve mekteplerde öğretmenliğe memur edilecek kişiler özenle seçilmiştir. Bu hususta liyakatten kesinlikle ödün verilmemesi askerî rüştiyelerde eğitimin kalitesini yükselten etmenlerden biri olmuştur. Askerî rüştiyelerden mezun olanlar askerî idâdîlere girmek mecburiyetinde olmadıklarından bazıları mektebi bitirir bitirmez hayata atılıyor, bazıları mülkî idâdîlere; bazıları da memuriyete giriyorlardı. Yatılı olanlar hariç isteyenler askerî okulların yanı sıra sivil okullara gidebiliyorlarsa da büyük bir kısmı askerlik mesleğini seçiyordu.
Askerî rüştiyeler, kuruluş yıllarında seraskerlik makamına bağlıyken 1877'de aynı yıl kurulan Mekâtib-i Askeriye Nezareti'ne daha sonra ise Harbiye Nezareti'ne bağlanmıştır. Henüz ilk yıllardan itibaren Maarif Nezareti bünyesinde bulunan sivil rüştiyeleri geride bırakan askerî rüştiyeler halkın ilgi odağı olmuş ve sivil rüştiyelere olan rağbeti azaltmıştır.
6 Ekim 1913 tarihinde kabul edilen Tedrîsât-ı İbtidâiye Kanûn-ı Muvakkati'nce ilköğretimin en yüksek kısmı olarak nitelendirilen rüştiyelerle ibtidâî mektepleri "Mekâtib-i İbtidâiye-yi Umûmiye" adıyla tek çatı altında birleştirilmiş ve ibtidâî mekteplerin eğitim süresi altı yıla çıkarılmıştır. Bunun üzerine askerî rüştiyelerin durumu da yeniden ele alınmış ve Maarif Nezareti'ne bağlanmasına karar verilmiştir. Söz konusu kararın uygulanmaya başlaması yaklaşık olarak bir yıl kadar sürmüştür. Bu süreçte mekteplerin devir işlemleri esnasında birtakım sorunlar yaşanmıştır. Kimi zaman mekteplere ait materyaller askeriye tarafından teslim edilmemiş, kimi zaman ise askeriye ve maarif arasında bir seçim yapması istenen öğretmenlerin masrafları karşılanmamıştır. Bu gibi çatışmalar esasen askerî rüştiyelerin kuruluşundan itibaren var olduğundan öteden beri kapatılmasına yönelik faaliyetler yürütülmüştür. Nitekim Tedrîsât-ı İbtidâiye Kanûn-ı Muvakkati'nin ardından 1914 yılından itibaren Mekâtib-i İbtidâiye-yi Umûmiye bünyesinde bulunan numune mekteplerine dönüştürülmeye, mevcut öğrencileri ise bu mekteplere nakledilmeye başlanmıştır. I. Dünya Savaşı sırasında şehit olan askerlerin çocuklarının yetiştirilmesi amacıyla "İhtiyat Küçük Zâbit mektepleri" kurulmuştur. Daha sonra bunlar Leylî Rüşdiye-yi Askerî haline dönüştürülmüştür. Fakat İhtiyat Küçük Zâbit Müdüriyet-i Umûmîsi 1 Temmuz 1919 tarihinde kaldırılınca emrindeki Leylî İhtiyat Rüşdiye-yi Askerî mektepleri de Piyade Mekâtib-i Müfettişliği'ne bağlanmıştır. Bu husus askerî rüştiyelerin Millî Mücadele döneminde dahi devam ettiğini göstermektedir.
Dönemin şartları göz önünde tutulduğunda, askerî rüştiye öğrencilerinin nitelikli bir eğitim almış olduklarını söylemek yanlış olmaz. Nitekim Cumhuriyet'e giden süreçte özellikle XIX. yüzyılın sonlarında Osmanlı Devleti'nin içinde bulunduğu durumdan Türk toplumunun asgari düzeyde hasarla çıkmasını sağlayan askerî kadronun mesleğe yönelik ilk eğitimlerini askerî rüştiyelerde almaları, bu mekteplerin önemini bir defa daha ortaya koymaktadır. Zira Mustafa Kemal Atatürk, Fevzi Çakmak, İsmet İnönü, Kâzım Karabekir, Ali Fuat Cebesoy, Ziya Gökalp ve Mehmet Emin Yurdakul gibi önemli birçok isim, özellikle Millî Mücadele döneminde savaşın seyrini ve dolayısıyla toplumun kaderini önemli ölçüde değiştirmiştir (bk. Atatürk, Mustafa Kemal; İnönü, İsmet; Karabekir, Kâzım; Ziya Gökalp).