Hudeybiye Antlaşması'nın taraflarından biri oldu ve daha sonra Hayber'in fethine katıldı. İslam peygamberi Muhammed'in ölümünden sonra Ebû Bekir ve Ömer tarafından halife olarak biat edilmek istense de bu göreve Ebû Bekir’in lâyık olduğunu söyleyerek teklifi kabul etmedi. Yermük Muharebesi'ne katılan ve savaş esnasında Halife Ömer tarafından Halid bin Velid'in yerine başkomutan tayin edilen Ebu Ubeyde, Şam'ın ele geçirilmesiyle görevine başladı. Daha sonra da ele geçirilen yerlerin bulunduğu bölgenin valisi oldu. Görevi başındayken yakalandığı veba hastalığından dolayı 638 yılında hayatını kaybetti.