Incluso un palacio particular, la Torre de los Lujanes (en el entorno de la Plaza de la Villa, junto a la Casa de Cisneros), fue escogido como residencia-prisión de Francisco I de Francia, capturado en la batalla de Pavía.