Más tarde fue devuelta a la familia Canossa y durante los dos siglos siguientes, el castillo cambió de manos varias veces: Después de la muerte de Giberto da Correggio en 1321, el castillo pasó de nuevo a ser posesión de Reggio hasta 1402, cuando Simón, Guido y Alberto de Canossa lo recuperaron de nuevo; sin embargo, en 1409, cedieron el castillo a la Casa de Este, soberanos de Ferrara, Módena y Reggio, quienes lo mantuvieron en su poder hasta la época napoleónica (1796), salvo un corto período en el que el castillo estuvo en manos de Octavio Farnesio, duque de Parma en 1557.