Debido a sus dotes militares, Alfonso XI le envió a luchar contra los musulmanes en Andalucía, donde se libró la Batalla del Salado en 1340, donde la tradición refiere que Pedro Fernández de Castro le arrebató sus espuelas de oro al sultán de Marruecos Abu al-Hasan ben Uthman.