হযরত আলীর রা. শাহাদাতের সময় আবু আইউব মদীনায়। তারপর হযরত মুয়াবিয়া রা. খিলাফতের দায়িত্বভার গ্রহণ করলেন। আবূ আইউব চাওয়া-পাওয়ার লোক ছিলেন না। তাঁর একমাত্র বাসনা ছিল জিহাদের ময়দানে ও মুজাহিদদের সারিতে একটুখানি স্থান। হিজরী ৪২ সনে বাইজেন্টাইন রোমানদের বিরুদ্ধে মুসলমানদের অভিযান বৃদ্ধি পায়। তিনি এ সময় খালিদ ইবনুল ওয়ালিদের পুত্র আবদুর রহমানের নেতৃত্বে জিহাদে শরিক হন। তখন তাঁর বয়স ৭৫ বছর। হিঃ ৪২ সনে সামুদ্রিক যুদ্ধে যোগদানের জন্য মিসর গমন করেন।