Abdülmelik b. Mervân devrinde (685-705) Kûfe’de doğdu. Kûfe dil mektebinin birinci tabakasına mensup olup Kûfe nahvinin kurucusu sayılan Ebû Ca‘fer er-Ruâsî’nin amcasıdır. Herat yapımı elbise ticaretiyle meşgul olduğundan “Herrâ” lakabıyla anılmıştır. Muâz ilk Kûfeli dilciler gibi Basra’ya gitti ve buranın önde gelen âlimlerinin derslerine devam etti; ardından Kûfe’ye döndü. Yeğeni Ruâsî ile birlikte uzun bir süre burada ders verdi. Kûfe dil mektebinin en tanınmış iki dilcisi olan Ali b. Hamza el-Kisâî ile Yahyâ b. Ziyâd el-Ferrâ onun öğrencilerindendir.
Sarf ilmiyle çok meşgul olan Muâz özellikle kelimelerin kalıpları üzerinde çağdaşlarıyla tartışmalar yapmıştır. Bundan dolayı onu sarfın kurucusu sayanlar olmuş, Şiîliğe temayülü sebebiyle bilhassa Şiî çevreleri bu görüş üzerinde ısrar etmiştir. Ancak son dönemlerde yapılan bazı çalışmalarda bunun doğru olmadığı ileri sürülmüştür. Sarf ilminin -sistematik bir şekilde olmasa da- daha önce Basra’da Sîbeveyhi’nin el-Kitâb’ında nahiv içinde toplanmış olması, ayrıca sarfa dair eserlerde Muâz b. Müslim el-Herrâ’ya nisbet edilmiş önemli bir görüşünün bulunmaması onun sarf ilminin kurucusu olduğu yolundaki iddiaları zayıflatmaktadır. Bu ilmin kurucusu sayılmasa da Muâz’ın nahivden ziyade sarf ilminde uzman olduğu ve bu ilmin gelişmesinde önemli hizmetler yaptığı bir gerçektir.
Muâz’a ait şiirlerin bir kısmı zamanımıza ulaşmıştır. Ca‘fer es-Sâdık’tan hadis rivayetinde bulunmuşsa da bu hususta güvenilir olmadığı ifade edilmiştir. Nahiv ilmine dair yazdığı söylenen eserlerin hiçbiri günümüze kadar gelmemiştir. Muammerûn arasında yer alan Muâz ömrünün sonlarına doğru gittiği Bağdat’ta vefat etti. Onun uzun ömrü şiirlere konu olmuştur.