Su vocación militar y sus dotes de mando acaso le llegasen por genética, pues su padre, Gaspar de Eslava y Berrio, natural de Enériz, llegó a sargento mayor y ocupó cargos de responsabilidad como gobernador de Amalfi y de Casale en los reinos de Nápoles y Sicilia.