Faits :
A.
La parcelle n o 85 du cadastre de la commune d'Etoy présente une surface totale de 4'646 m2, soit 4'070 m2 de jardin et 576 m2 de bâtiments, dont le Château d'Etoy (bâtiment ECA n o 175, de 528 m2 au sol; ci-après: le Château). Le bâtiment ECA n o 176 est une serre de 48 m2 au sol.
Etoy figure à l'inventaire fédéral des sites construits d'importance nationale (ISOS). La parcelle n o 85 se situe dans le périmètre 2 pour lequel un objectif de protection maximum (A) a été émis. Le Château y est mentionné et l'objectif de sauvegarde " A " est préconisé pour cet élément individuel, soit la sauvegarde intégrale de la substance.
L'ensemble formé par le Château, le parc, le jardin et les murs de clôture, a en outre été inscrit à l'inventaire du canton de Vaud. La parcelle n o 85, dans son entier, a fait l'objet d'une fiche établie en 1983 dans le cadre du recensement architectural du canton: la note *2* a été attribuée au Château, son parc et son jardin, ce qui en fait " un monument d'importance régionale ", la fontaine du parc recevant la note *4*, soit celle d'un " objet bien intégré ", tandis que la serre a obtenu la note *5*, qui désigne un objet " présentant des qualités et des défauts ". Enfin, depuis 2011, le jardin du Château figure au nombre des parcs et jardins historiques de la Suisse recensés par le Conseil international des monuments et des sites (ICOMOS); la serre y est également mentionnée.
B.
La parcelle no 85 est constituée en propriété par étage. B._ - qui habite le Château - est propriétaire d'un appartement situé au rez-de-chaussée, d'un jardin d'hiver et d'un dépôt de jardin (lot no 2). A._ est quant à lui propriétaire d'un appartement au rez-de-chaussée (lot no 1) et de deux appartements sis au premier étage (lots nos 3 et 4). La famille de A._ et B._ possède le Château depuis le début du XIXe siècle. Les actuels propriétaires en ont hérité de leur père, qui avait fait procéder aux aménagements des quatre appartements existants en 1992. La toiture (tuiles et charpente) a en outre été intégralement rénovée en 1994.
C.
Divers échanges ont eu lieu dans le courant de l'année 2015, jusqu'en janvier 2017, entre B._ et A._ et leur architecte ainsi que les collaborateurs du Service Immeubles, Patrimoine et Logistique de l'Etat de Vaud (SIPaL); ils portaient sur un projet de rénovation des quatre appartements existants, la création de deux appartements supplémentaires dans les combles et la construction d'une maison à l'ouest du Château.
D.
En septembre 2017, C._, historienne de l'architecture mandatée par le SIPaL, Division Monuments et sites (MS), a réalisé une " Brève étude historique et architecturale " du Château.
Aux termes de son rapport, C._ relève que le Château est intéressant à plus d'un titre:
" [...] Au niveau des caves, une série de poutres, de solives, de poteaux et d'aisseliers moulurés remontent au début du XVe siècle et il est probable que les murs et les arcades soient contemporains. Au rez-de-chaussée, les pièces qui s'ouvrent au sud-est, [...] présentent divers éléments de qualité remontant aux années 1790 à 1830. Les pièces au nord-ouest ont été en revanche modifiées, seule celle située dans l'annexe nord ayant conservé un parquet, un poêle en faïence et une menuiserie de porte des années 1820-1830. L'escalier actuel, qui date de la seconde moitié du XIXe siècle, mérite d'être conservé avec son garde-corps en fonte.
A l'étage, les pièces qui s'ouvrent côté jardin sont également fort intéressantes; elles possèdent des lambris, des parquets, des cheminées et des menuiseries de portes des années 1790 à 1830, avec quelques éléments antérieurs. Ces aménagements doivent être maintenus, de même que les cloisons qui séparent ces pièces. Au nord-ouest, l'une des chambres [...] possède une cheminée ancienne surmontée d'un trumeau, tandis que quelques lambris et menuiseries de portes des XVIIIe-XIXe subsistent ici et là. Cette partie arrière a cependant été, comme au rez-de-chaussée, passablement modifiée, des cloisons ayant été déplacées et des planchers refaits.
Les couloirs qui flanquent les trois pièces principales côté jardin, au rez-de-chaussée comme au premier étage, relèvent d'une typologie extrêmement rare dans le canton de Vaud et méritent d'être maintenus. Quant à la charpente des années 1763-1765 qui couvre l'ensemble, elle n'a été que peu modifiée et demeure dans un relativement bon état de conservation [...]. "
E.
Le 1 er mai 2018, une demande de permis de construire a été déposée par l'architecte de B._ et A._ pour des " travaux de rénovation et transformations intérieures du Château d'Etoy ".
F.
Par courrier du 31 juillet 2018, l'architecte des propriétaires a été informé par le SIPaL-MS que le Département des finances et des relations extérieures (DFIRE) engageait une procédure de classement du Château. Ce projet de décision de classement a été mis à l'enquête publique du 29 août au 27 septembre 2018. Il a fait l'objet de l'opposition de la Municipalité de la Commune d'Etoy (Municipalité) et de B._ et A._.
Une séance de conciliation s'est tenue le 10 janvier 2019 au Château, sans aboutir toutefois à un accord entre les parties, la Municipalité et les propriétaires ayant maintenu leur opposition.
G.
Le 14 février 2019, la Municipalité a autorisé les travaux selon une nouvelle demande déposée le 20 décembre 2018; ces travaux ont débuté durant la seconde moitié de février 2019.
H.
Le 20 janvier 2020, le Chef du DFIRE a pris la décision de classement, qui précise que celui-ci s'étend " à l'ensemble du bâtiment ECA 175, intérieur et extérieur, gros oeuvre et second oeuvre, ainsi que la parcelle 85 le supportant ". Le même jour, le prénommé a levé les oppositions au projet de classement.
Après avoir procédé à une inspection locale le 9 septembre 2020, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (Tribunal cantonal) a, dans un arrêt du 13 novembre 2020, rejeté le recours formé par B._ et A._ contre les décisions précitées, qu'il a confirmées.
I.
Par acte du 16 décembre 2020, B._ et A._ forment un recours en matière de droit public au Tribunal fédéral contre l'arrêt précité, dont ils demandent l'annulation en ce sens que les décisions du 20 janvier 2020 sont annulées, respectivement que la décision du 20 janvier 2020 prononçant le classement du Château et de la parcelle no 85 est réformée, dans le sens notamment d'un classement partiel s'étendant " aux faces et toits du bâtiment ECA 175 " mentionné au Registre foncier sous la désignation " Monument historique ". A titre subsidiaire, les recourants demandent l'annulation de l'arrêt attaqué et le renvoi du dossier au Tribunal cantonal pour nouvelle décision dans le sens des considérants.
Invité à se déterminer, le Tribunal cantonal y renonce, se référant à son arrêt; la Municipalité ne se détermine pas non plus et s'en remet à justice. Le Chef du DFIRE conclut au rejet du recours. Les recourants s'expriment dans une seconde écriture et confirment leurs conclusions.
Par ordonnance du 22 janvier 2021, le Président de la Ire Cour de droit public du Tribunal fédéral a admis la requête d'effet suspensif présentée par les recourants.
Considérant en droit :
1.
Dirigé contre une décision rendue dans le domaine du droit public de l'aménagement du territoire et des constructions, le recours est en principe recevable comme recours en matière de droit public conformément aux art. 82 ss LTF, aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée. En tant que propriétaires du Château et de la parcelle no 85 sur laquelle il se trouve, lesquels sont concernés par la mesure de classement litigieux, B._ et A._ sont particulièrement touchés par l'arrêt attaqué et peuvent ainsi se prévaloir d'un intérêt personnel et digne de protection à son annulation ou à sa modification. Les recourants ont pris part à la procédure devant l'instance précédente. Ils ont dès lors qualité pour agir au sens de l'art. 89 al. 1 LTF.
Les autres conditions de recevabilité du recours sont réunies, si bien qu'il y a lieu d'entrer en matière sur le fond.
2.
Les recourants dénoncent une interprétation et une application non soutenables de la loi vaudoise du 10 décembre 1969 sur la protection de la nature, des monuments et des sites (LPNMS; BLV 450.11) et de son règlement d'application du 22 mars 1989 (RLPNMS; BLV 450.11.1) ainsi qu'une atteinte grave à la garantie de la propriété (art. 26 Cst.). Se prévalant en outre des art. 5 al. 2 et 36 al. 1 et 2 Cst., ils avancent que la mesure de classement ne reposerait sur aucun intérêt public (consid. 3) et qu'elle serait de surcroît contraire au principe de la proportionnalité (consid. 4).
2.1. Il est indéniable que le classement du Château et de la parcelle sur laquelle il est érigé porte une atteinte importante au droit de la propriété (art. 26 Cst.). En effet, cette mesure implique qu'aucune atteinte ne peut être portée à l'objet classé sans autorisation préalable du département cantonal compétent (art. 23 et 54 LPNMS) et entraîne une obligation d'entretien pour ses propriétaires (art. 55 LPNMS). Pour être admissible, une telle mesure doit reposer sur une base légale, être justifiée par un intérêt public et être proportionnée (cf. art. 36 al. 1 à 3 Cst.).
2.2. Les recourants ne contestent pas que le classement repose sur la LPNMS, dont notamment l'art. 46 al. 1 LPNMS, qui dispose que sont protégés tous les monuments de la préhistoire, de l'histoire, de l'art et de l'architecture et les antiquités immobilières situés dans le canton, qui présentent un intérêt archéologique, historique, artistique, scientifique ou éducatif (al. 1). Sont également protégés les terrains contenant ces objets et leurs abords (al. 2). Pour assurer la protection d'un monument historique ou d'une antiquité au sens de l'art. 46, il peut être procédé à son classement par voie de décision assorti au besoin d'un plan de classement (art. 52 al. 1 LPNMS). La décision de classement définit l'objet classé, le cas échéant ses abords et l'intérêt qu'il présente, les mesures de protection déjà prises ainsi que les mesures de conservation ou de restauration nécessaires (art. 53 al. 1 LPNMS).
2.3. Dans un tel contexte, il convient de rappeler que le Tribunal fédéral ne vérifie pas d'office le respect du droit cantonal et des droits constitutionnels (art. 106 al. 2 LTF), de sorte qu'il appartient à la partie recourante de soulever le grief de leur violation et de motiver celui-ci d'une manière suffisante (cf. ATF 140 II 141 consid. 1.1). Dans le cadre de la juridiction constitutionnelle, le Tribunal fédéral examine en principe librement si les mesures d'aménagement du territoire répondent à un intérêt public et respectent le principe de la proportionnalité; il s'impose toutefois une certaine retenue lorsqu'il s'agit de trancher de pures questions d'appréciation ou de tenir compte de circonstances locales (ATF 142 I 162 consid. 3.2.2; 132 II 408 consid. 4.3), dont les autorités cantonales ont une meilleure connaissance que lui, notamment en matière de protection des monuments ou des sites (ATF 135 I 176 consid. 6.1; arrêts 1C_72/2017 du 14 septembre 2017 consid. 5.2; 1C_32/2012 du 7 septembre 2012 consid. 6.1). Il appartient en effet de façon prioritaire aux autorités des cantons de définir les objets méritant protection (ATF 135 I 176 consid. 6.1; arrêt 1C_266/2015 du 20 juin 2016 consid. 3.2.3).
3.
D'après la jurisprudence, les restrictions de la propriété ordonnées pour protéger les monuments et sites naturels ou bâtis sont en principe d'intérêt public (ATF 135 I 176 consid. 6.1; arrêt 1C_266/2015 du 20 juin 2016 consid. 3.1.3). Tout objet ne méritant pas une protection, il faut procéder à un examen global, objectif et basé sur des critères scientifiques, qui prenne en compte le contexte culturel, historique, artistique et urbanistique du bâtiment concerné. Les constructions qui sont les témoins et l'expression d'une situation historique, sociale, économique et technique particulière, doivent être conservés. De plus, la mesure ne doit pas être destinée à satisfaire uniquement un cercle restreint de spécialistes; elle doit au contraire apparaître légitime aux yeux du public ou d'une grande partie de la population, pour avoir en quelque sorte une valeur générale (ATF 135 I 176 consid. 6.2; arrêts 1C_485/2020 du 28 juin 2021 consid. 4.1; 1C_545/2014 du 22 mai 2015 consid. 5.5).
3.1. En l'espèce, le Tribunal cantonal a jugé, en substance, que le site présentait, dans son ensemble, un intérêt public certain, suffisant pour envisager une mesure de protection au sens de la LPNMS. Pour parvenir à cette conclusion, il s'est fondé sur l'intégration de la parcelle no 85, du Château ainsi que ses abords à divers recensements, sur le rapport établi par l'historienne de l'architecture C._ ainsi que sur ses propres constatations effectuées sur place.
3.2. Contestant cet avis, les recourants s'en prennent au caractère global de la mesure de classement. Ils font valoir que les " espaces intérieurs et extérieurs tardifs, remodelés à une époque récente, tels que les pièces du rez-de-chaussée et de l'étage, la serre et la fontaine extérieures " ne constitueraient pas " des composantes du caractère du site contribuant à donner à celui-ci sa valeur "; il n'y aurait aucun intérêt public à la conservation et à la protection des parties privatives, non visibles et non accessibles du public.
Ce faisant, les recourants s'obstinent à faire valoir l'absence d'intérêt qualitatif de certains espaces intérieurs et extérieurs du Château, déniant de façon appellatoire l'intérêt d'ensemble du domaine reconnu par le Tribunal cantonal.
Le seul fait qu'il s'agisse d'un bien d'habitation et d'une parcelle privés ne bénéficiant pas à une grande partie de la population n'apparaît pas décisif en l'espèce au vu des considérations de l'instance précédente. L'autorité précédente a mis en avant l'importance de certains éléments situés à l'intérieur du bâtiment, à protéger, même si certaines pièces ont été passablement transformées au fur et à mesure du temps (cf. arrêt entrepris p. 23). Le grief des recourants s'avère sous cet angle d'autant moins fondé que l'appréciation de la cour cantonale procède d'une instruction complète, comprenant en particulier des constatations opérées à l'occasion d'un transport sur place, au cours duquel elle a observé que les travaux réalisés récemment n'avaient pas dénaturé l'intérieur du bâtiment. Le Tribunal cantonal a en particulier observé que de nombreuses boiseries et menuiseries, plaisantes à l'oeil, donnaient du cachet à la demeure et que les parquets étaient notablement dignes d'intérêt. Il a ainsi pu se convaincre du bien-fondé des conclusions du rapport établi par C._ à propos du Château retenant qu'un grand nombre d'éléments de son intérieur méritaient une protection particulière. Sur cette base et quoi qu'en disent les recourants, l'appréciation de l'autorité précédente consistant à dire que le Château mérite d'être conservé et protégé dans son intégralité au sens de la LPNMS n'apparaît pas discutable.
Par ailleurs, le Tribunal cantonal, avec le DFIRE, ont clairement souligné l'intérêt de préserver l'ensemble du site intégré à divers recensements et non pas - selon une pratique passée - certaines parties de celui-ci. S'agissant en particulier du jardin, il est inclus dans la fiche de l'inventaire avec la note *2* ainsi que dans le recensement ICOMOS; il a en outre fait l'objet d'une révision en 2005 ainsi que d'une mise à jour le 13 août 2020 confirmant son importance. L'arrêt attaqué relève de plus que la fontaine, qui se situe au milieu du jardin, est intégrée à un " environnement digne de protection dans son ensemble ", de même que la serre, également mentionnée dans le recensement ICOMOS. Là encore, les recourants n'exposent pas clairement et on ne distingue pas ce qui justifierait de s'écarter de l'appréciation des instances précédentes considérant que le jardin, la fontaine et la serre sont associés au Château et qu'ils forment un tout méritant protection.
3.3. En définitive, aucun élément allégué par les recourants ne permet de mettre en cause l'intérêt patrimonial du Château et de ses abords et la nécessité de leur protection retenus par les autorités précédentes. La position de ces dernières reposent non seulement sur l'intégration de l'ensemble à divers recensements, mais également sur une étude historique et architecturale menée sur mandat du SIPaL-MS ainsi que sur des constatations effectuées sur place. Dans ces circonstances, il n'y a pas lieu de se départir de leur appréciation quant à l'intérêt public de procéder à un classement d'ensemble du site, dans un souci de le protéger de manière globale.
4.
Il reste dès lors à examiner si la mesure de protection envisagée au nom de l'intérêt public à la préservation du patrimoine est conforme au principe de la proportionnalité, ce que contestent les recourants. Selon eux, la mesure litigieuse ne serait pas apte ni nécessaire pour préserver le domaine; les mesures déjà existantes (mise à l'inventaire cantonal et recensements) seraient de plus suffisantes pour assurer sa protection. Ils reprochent enfin à l'autorité précédente d'avoir procédé à un classement quasi automatique de leur bien sans avoir effectué une sérieuse pesée des intérêts en présence.
4.1. Le principe de la proportionnalité exige que la mesure envisagée soit apte à produire les résultats d'intérêt public escomptés (règle de l'aptitude) et que ceux-ci ne puissent être atteints par une mesure moins incisive (règle de la nécessité). En outre, il interdit toute limitation allant au-delà du but visé et postule un rapport raisonnable entre celui-ci et les intérêts publics ou privés compromis (principe de la proportionnalité au sens étroit, impliquant une pesée des intérêts; cf. ATF 146 I 157 consid. 5.4; 141 I 20 consid. 6.2.1; 140 I 168 consid. 4.2.1). Sous ce dernier aspect, une mesure de protection des monuments est incompatible avec la Constitution si elle produit des effets insupportables pour le propriétaire ou ne lui assure pas un rendement acceptable. Savoir ce qu'il en est dépend notamment de l'appréciation des conséquences financières de la mesure critiquée; il incombe à l'autorité d'établir les faits de telle manière qu'apparaissent clairement toutes les conséquences de la mesure, des points de vue de l'utilisation future du bâtiment et des possibilités de rendement pour son propriétaire (cf. ATF 126 I 219 consid. 2c in fine et consid. 2h; arrêts 1C_72/2017 du 14 septembre 2017 consid. 7.1; 1C_52/2016 du 7 septembre 2016 consid. 2).
4.2. En l'espèce, on comprend des intentions des autorités cantonales qu'elles entendent protéger le Château et ses abords au vu de l'intérêt particulier qu'ils représentent, dans leur ensemble, au niveau architectural et historique. Or, le classement, en tant qu'il concerne ces biens à sauvegarder, permet aux autorités cantonales responsables de la protection du patrimoine d'intervenir sur les choix de traitement architecturaux d'éventuels futurs travaux, ce pour une durée illimitée (cf. art. 27 et 54 LPNMS) et quels que soient les propriétaires ou les circonstances. En l'occurrence, comme l'a indiqué le Tribunal cantonal, l'intérêt à la sauvegarde du patrimoine pourrait se trouver en contradiction avec les intérêts architecturaux et économiques des recourants ou futurs propriétaires. C'est d'ailleurs ce qui s'est produit dans le cadre des projets de transformations du Château soumis par les recourants, alors que le bien est inscrit à l'inventaire cantonal. Sans discussion entre les parties, ni le règlement communal sur le plan général d'affectation et la police des constructions (en particulier son art. 8.4) ni les autres mesures de protection prévues par la réglementation cantonale ne permettaient d'empêcher la réalisation de travaux portant atteinte aux biens protégés. Dans ces circonstances, l'appréciation de l'autorité précédente consistant à dire que seul le classement global est apte à atteindre le but de protection nécessaire à garantir la préservation du domaine n'apparaît pas critiquable.
Par ailleurs, le Chef du DFIRE relève dans sa décision du 20 janvier 2020 levant les oppositions au projet de classement que la mesure de protection litigieuse n'empêchera pas que des travaux de rénovation soient effectués sur le bâtiment. L'arrêt attaqué souligne en outre que la collaboration mise en place concrètement pour les travaux intérieurs donnant lieu à la procédure de classement s'est apparentée à celle qui devrait s'opérer en cas de classement. On ne distingue dès lors pas, avec l'autorité précédente, en quoi la situation des recourants serait dans les faits péjorée par la décision entreprise. Quant aux futures restrictions de police des constructions, respectivement mesures de protection qui découleront du classement, leur légitimité pourra toujours faire l'objet d'un contrôle dans le cadre de la délivrance - cas échéant d'un refus - d'une autorisation de construire.
S'agissant enfin de l'incidence du classement sur " la valeur vénale et l'aliénabilité de l'objet " qui serait " objectivement difficilement contestable ", les recourants ne fournissent guère d'explications précises à l'appui de leur propos, se limitant à des déclarations générales. Contrairement à ce qu'ils allèguent, l'instance précédente a pris le soin d'opposer la mesure litigieuse à leurs intérêts économiques, relevant que le classement ouvrira la voie à des subventions et qu'il sera donc potentiellement favorable. Elle a en outre noté qu'il ne ressortait ni du dossier ni des déclarations des recourants que les travaux récemment effectués auraient fait l'objet de coûts supplémentaires si le bâtiment avait été classé. Quant à la perte de rendement, elle n'était aucunement objectivée, les recourants n'ayant pas allégué que le rendement actuel ou en cas de classement serait insuffisant à en assurer l'entretien régulier ou à en tirer un revenu raisonnable.
Les recourants ne fournissent ainsi aucun élément qui commanderait de remettre en cause la pondération des intérêts opérée par le Tribunal cantonal. Ils n'allèguent pas non plus que les coûts de rénovation ou encore la réduction du nombre de logements de leur projet initial les empêcherait d'obtenir un rendement suffisant de leur investissement; quoi qu'il en soit, la seule diminution des expectatives de rendement que pourrait entraîner le classement n'est en elle-même pas suffisante à empêcher la mesure de protection litigieuse, l'intérêt privé à une utilisation financière optimale de l'immeuble devant en principe céder le pas devant l'intérêt public lié à la protection des monuments et des sites bâtis (cf. ATF 126 I 219 consid. 2c; arrêt 1C_72/2017 du 14 septembre 2017 consid. 7.3.2).
4.3. C'est en définitive au terme d'une appréciation complète des circonstances que l'instance précédente a confirmé la mesure de classement du Château ainsi que de la parcelle no 85 sur laquelle il se trouve. Même si elle est de nature à restreindre les possibilités de construire et de rénover et à diminuer les expectatives de rendement des propriétaires, la mesure querellée, qui répond à un intérêt public important (cf. consid. 3), ne porte pas atteinte au principe de la proportionnalité. Le grief doit partant être rejeté.
5.
Il résulte de ce qui précède que le recours doit être rejeté, aux frais de ses auteurs, solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'y a pas lieu d'allouer de dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais de justice, arrêtés à 4'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Le présent arrêt est communiqué aux mandataires des recourants, au Département des finances et des relations extérieures du canton de Vaud, Secrétariat général, à la Municipalité d'Etoy et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Lausanne, le 27 janvier 2022
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Kneubühler
La Greffière : Nasel