À la suite des guerres de Bourgogne (1474-1477), le château est très endommagé. En effet, Jacques de Savoie fait cause commune avec Charles le Téméraire. Les Suisses lui déclarent la guerre et envahissent le pays de Vaud. Rue tombe en leur pouvoir en octobre 1475, est ensuite repris en février 1476, puis de nouveau conquis par les Suisses après la Bataille de Morat. Le château est finalement restitué à la Savoie par le traité de Fribourg du 12 août 1476, bien que la remise effective n'ait lieu qu'en mai 1478.