Segundo hijo de Juan Ponce de León y Ayala, II conde de Arcos y I marqués de Cádiz, y Leonor Núñez, comenzó pronto su carrera militar siguiendo a su padre y apoyando a Enrique IV de Castilla contra quien se había rebelado la nobleza.