Bailén pasó a ser una más de las posesiones del patrimonio de la familia Ponce de León, que llegaría a su apogeo en 1440 cuando Juan II de Castilla otorgó a uno de sus descendientes el condado de Arcos.En esta época, el castillo fue modificado hasta convertirse en Palacio Ducal, cuya fachada aún se conserva junto a la Ermita de Nuestro Padre Jesús.