A finales del siglo XV y principios del XVI, Pedro López de Padilla, hijo de Sancho de Padilla, habitó el Castillo por temporadas, ya que sus casas principales las tenía en Toledo, ciudad de la que fue Corregidor.