Pero el hijo de ambos ("Philibert") se niega a la muerte de su padre (1502) a rendir homenaje al rey de Francia eligiendo a Carlos I de España, lo que provoca que Francisco I de Francia embargue el castillo en 1521.