Por contrato matrimonial, el castillo pasó a propiedad de la familia Vienne, pero de 1434 a 1439, durante la Guerra de los Cien Años, fue incautado y donado a Rodrigo de Villandrando, mercenario español a sueldo del rey Carlos VII de Francia, que realizó importantes cambios.