Citation: 1C_708/2020 E. I

Par acte du 16 décembre 2020, B.________ et A.________ forment un recours en matière de droit public au Tribunal fédéral contre l'arrêt précité, dont ils demandent l'annulation en ce sens que les décisions du 20 janvier 2020 sont annulées, respectivement que la décision du 20 janvier 2020 prononçant le classement du Château et de la parcelle no 85 est réformée, dans le sens notamment d'un classement partiel s'étendant " aux faces et toits du bâtiment ECA 175 " mentionné au Registre foncier sous la désignation " Monument historique ". A titre subsidiaire, les recourants demandent l'annulation de l'arrêt attaqué et le renvoi du dossier au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Invité à se déterminer, le Tribunal cantonal y renonce, se référant à son arrêt; la Municipalité ne se détermine pas non plus et s'en remet à justice. Le Chef du DFIRE conclut au rejet du recours. Les recourants s'expriment dans une seconde écriture et confirment leurs conclusions. Par ordonnance du 22 janvier 2021, le Président de la Ire Cour de droit public du Tribunal fédéral a admis la requête d'effet suspensif présentée par les recourants.