Sahabat Abu Rafi' masuk islam sebelum peristiwa Pertempuran Badar tahun ke-2 Hijriyyah namun Ia tidak ikut serta di dalamnya, karena beliau ketika itu berada di Makkah sembari menyembunyikan keislamannya. Kisahnya bertemu dengan Abu Lahab yang mendengar berita kekalahan kaum musyrikin dalam perang badar sudah sangat terkenal. Beliau kemudian ikut serta dalam Pertempuran Uhud dan berbagai pertempuran setelahnya, termasuk perjuangan dalam membebaskan dan menaklukkan Mesir. Beliau juga dikenal memiliki tingkat keilmuan yang cukup dan berbagai keutamaan. Abu Rafi' dinikahkan oleh Nabi dengan pelayan perempuan beliau yang bernama Salma dan melahirkan anak yang bernama Ubaidullah bin Abi Rafi' yang nantinya akan menjadi salah satu sekretaris pribadi Ali bin Abi Thalib semasa menjadi khalifah.