Carlos I en 1528 hizo guardar en el castillo al Delfín de Francia y a su hermano el duque de Orleans, como rehenes hasta que su padre Francisco I de Francia cumpliera el tratado suscrito después de la batalla de Pavía.