Приняв ислам, Абу Зарр вернулся к своему племени, и стал проповедовать среди своих соплеменников новую религию. После этого, многие из гифарцев приняли ислам, а остальные приняли веру после переселения мусульман из Мекки в Медину (хиджры). Абу Зарр принял активное участие в жизни мусульманской общины, участвовал в сражениях при Бадре, Ухуде, Хандаке и других битвах. При взятии мусульманами Мекки, он был знаменосцем своего племени.