Küçük yaşta Hz. Peygamber’i gören sahâbîlerdendir. On sekiz yaşında iken Yermük Savaşı’na katıldı ve 30-40 kişilik bir süvari birliğinin başında büyük başarı kazandı. Hz. Ömer ve Osman döneminde, Suriye Valisi Muâviye tarafından Bizans’a karşı düzenlenen seferde İslâm ordusuna kumanda etti. Bu savaşlardaki başarısından dolayı Suriye’de büyük bir şöhrete ulaştı ve Muâviye’ye bağlı kalarak Humus valiliği yaptı. Sıffîn Savaşı’nda onun safında yer alan Abdurrahman, 664 ve 665 yıllarında, Bizans’a karşı Anadolu içlerine kış seferleri düzenlemekle görevlendirildi. Oğlu Yezîd’i veliaht tayin eden Muâviye’nin, hilâfet meselesinde oğluna rakip olmasından korktuğu ve şöhretinden çekindiği için, Humus haracı karşılığında Abdurrahman’ı İbn Usâl adlı bir hıristiyan doktora zehirlettiği rivayet edilir.