En el siglo XI, el término del castillo, que abarcaba los municipios de Sant Feliu de Torelló (actual Torelló), San Vicente de Torelló, parte de San Pedro de Torelló y el sector de Saderra, hoy en el municipio de Orís, que pertenecía a la casa condal y real, pasa a depender de los condes de Besalú, aunque su dominio fue cedido a los condes de Montcada (1086-1309), de los cuales pasó a los Vilademany (1324) y a los Milany (1347) y de éstos a los Cabrera en 1351, condes de Osona desde 1356, de quienes pasa a sus sucesores, los marqueses de Aitona en 1577 y los de Medinaceli hasta principios del siglo XIX.