Faits :
A.
A.a. A._, B._, C._ et D._ sont propriétaires des parcelles nos 3060 et 3061 de la commune de Pully. D._ a hérité sa part de G._, décédée au cours de la procédure devant la cour cantonale dont l'arrêt est recours.
Les parcelles nos 3060 et 3061 sont situées dans un quartier résidentiel et s'inscrivent dans une pente orientée vers le Lac Léman. La parcelle n° 3060 s'étend sur une surface de 8'250 m2. En nature de pré-champ pour 7'979 m2, elle supporte la "Villa Eupalinos" de 153 m2 et deux autres constructions. La parcelle n° 3061, dont l'intégralité des 14'119 m2 est cadastrée en nature de pré-champ, est occupée par un parc, des allées et une place, ainsi qu'un court de tennis dans sa partie nord-ouest, le tout complété par une importante arborisation. Elle présente une forme en "L", du fait d'un important décrochement en sa partie sud-est. Contiguës, les parcelles sont délimitées au nord-ouest par un cours d'eau, au nord-est (soit le long de la parcelle n° 3060) par un bien-fonds construit, au sud-est par le chemin de la Bruyère et au sud-ouest (soit le long de la parcelle n° 3061) par le boulevard de la Forêt pour la partie constituant le décrochement et par des biens-fonds construits (situés entre la parcelle n° 3061 et le boulevard de la Forêt) pour le reste.
Selon le plan général d'affectation de la commune et le règlement communal sur l'aménagement du territoire et les constructions (RCATC), entrés en vigueur le 18 juin 2012 et modifiés le 3 novembre 2017, les parcelles litigieuses sont colloquées en zone de forte densité et identifiées comme secteur stratégique j ("A la Perreyre"). Les secteurs stratégiques impliquent une concertation entre la municipalité et les propriétaires préalablement à toute construction ou aménagement, voire l'élaboration d'un plan spécial (art. 4 al. 3 RCATC) et, pour le secteur j, une reconsidération de son affectation lors de tout projet d'aménagement (art. 4 al. 5 RCATC).
Au bénéfice d'un droit de préemption sur les parcelles nos 3060 et 3061 depuis 2016, Entreprise générale F._ SA, a fait réaliser une étude préliminaire de faisabilité, puis un plan spécial correspondant à un plan d'affectation. Quatre variantes d'implantations de bâtiments d'habitation sur la parcelle no 3061 ont été élaborées. La variante la plus modeste prévoit l'implantation de bâtiments dans le décrochement sud-est de la parcelle seulement, soit une surface de plancher déterminante de 6'230 m2 pouvant accueillir 125 habitants. La variante la plus conséquente prévoit l'implantation de bâtiments sur l'entier de la parcelle, à savoir 13'950 m2 de surface de plancher déterminante pour 279 nouveaux habitants.
A.b. Entre le 24 mai et le 22 juin 2017, le Département des finances et des relations extérieures (DFIRE) a mis à l'enquête publique un projet de décision de classement protégeant la villa, l'une des dépendances, le parc aménagé ainsi que la parcelle n° 3060 et la majeure partie de la parcelle n° 3061 à l'exception du décrochement en sa partie sud-est.
La Municipalité de Pully, d'une part, et les copropriétaires précités, ainsi que l'exécuteur testamentaire E._ et les autres membres de l'hoirie de feu H._, propriétaire des parcelles avant partage en 2016, d'autre part, ont formé opposition au projet. Une séance de conciliation s'est tenue sur les parcelles en cause le 27 septembre 2017 en présence des propriétaires, des représentants de la municipalité, du Service immeuble, patrimoine et logistique, section Monuments et sites (devenu le 1er janvier 2019, la Direction générale des immeubles et du patrimoine), du directeur des Archives de la construction moderne de l'Ecole polytechnique fédérale de Lausanne, auteur d'un rapport historique concernant la villa établi en juin 2017 à la demande de l'État de Vaud, ainsi que d'un représentant de la promettante-acquéreuse. La municipalité et les propriétaires ont ensuite maintenu et complété leurs oppositions. Les propriétaires ont en outre formellement sollicité la suspension de la procédure afin qu'une planification locale respectueuse des éléments à protéger sur les parcelles no s 3060 et 3061 puisse être élaborée d'entente avec la municipalité.
B.
Par décisions du 26 février 2018, le Chef du DFIRE a classé les constructions et terrains conformément au plan mis à l'enquête publique et levé les oppositions formées contre ce classement.
La commune, d'une part et les autres opposants, d'autre part, ont recouru contre ces décisions auprès de la Cour de droit administratif et public du Tribunal cantonal. Celle-ci, après avoir ordonné une expertise confiée à la Commission fédérale des monuments historiques (CFMH) - qui a procédé à une visite des lieux en présence des parties et autorités concernées, mais non de la section de la cour cantonale -, a rejeté les recours et confirmé les décisions attaquées par arrêt du 10 juillet 2020.
C.
Agissant en un seul acte par la voie du recours en matière de droit public et du recours constitutionnel subsidiaire, A._, B._, C._, D._ et E._ demandent au Tribunal fédéral, le tout sous suite de frais et dépens, de réformer les décisions du 26 février 2018 en ce sens que la demande de classement est rejetée et leur opposition est admise. Subsidiairement, les recourants concluent à la réforme de ces décisions en ce sens que la demande de classement est rejetée dans la mesure où elle porte sur la partie ouest de la parcelle n° 3061 (court de tennis et ses abords), selon nouveau plan de classement à établir par le DFIRE, et en ce sens que leur opposition est admise dans la même mesure.
La cour cantonale renonce à se déterminer et se réfère aux considérants de son arrêt. Le Chef du DFIRE dépose des déterminations et conclut au rejet du recours. La commune, qui confirme expressément ne pas recourir contre l'arrêt attaqué, renonce à se déterminer. Les recourants s'expriment dans une seconde écriture et confirment leurs conclusions.

Considérant en droit :
1.
Dirigé contre une décision rendue dans le domaine du droit public de la protection du patrimoine, le recours est en principe recevable comme recours en matière de droit public conformément aux <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. En tant que propriétaires des deux parcelles concernées par la mesure de classement litigieux, A._, B._, C._ et D._ sont particulièrement touchés par cette décision, et peuvent ainsi se prévaloir d'un intérêt personnel et digne de protection à son annulation ou à sa modification. La question de savoir si tel est le cas de l'exécuteur testamentaire - dont la mandat semble avoir pris fin, le partage ayant eu lieu - peut demeurer indécise, les recourants ne donnant aucune information à ce sujet. Les recourants ont pris part à la procédure devant l'instance précédente, y compris D._, dont la cour cantonale a considéré qu'il avait qualité de partie en tant qu'héritier de la recourante copropriétaire décédée en cours de procédure cantonale. Les recourants ont dès lors qualité pour agir au sens de l'<ref-law>.
Les autres conditions de recevabilité du recours sont réunies, si bien qu'il y a lieu d'entrer en matière sur le fond.
Le recours en matière de droit public étant recevable, le recours constitutionnel subsidiaire est irrecevable.
2.
Les recourants se plaignent d'arbitraire dans l'établissement des faits.
2.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Selon l'<ref-law>, la partie recourante ne peut critiquer la constatation de faits que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte - en particulier en violation de l'interdiction constitutionnelle de l'arbitraire - et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause. Conformément à l'<ref-law>, la partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 6.3).
2.2. En premier lieu, les recourants reprochent à la cour cantonale d'avoir constaté de manière arbitraire que le parc formait un tout indissociable, alors que celui-ci devait être considéré comme étant composé de parties distinctes présentant des intérêts variables. Ils se réfèrent au rapport de la CFMH qui analyse les différentes parties du jardin, séparément identifiées selon eux. Ils relèvent en particulier les constatations relatives à l'axe décalé autour duquel le jardin est articulé. Ils entendent déduire de ce qui précède que le court de tennis rompt la symétrie du jardin et correspond à un aménagement satellite sans intérêt particulier.
Au contraire de ce qu'affirment les recourants, la cour cantonale n'a pas omis de constater les caractéristiques variables et distinctes des différents éléments du parc. Elle n'a pas non plus dénié au court de tennis une faible valeur paysagère intrinsèque. Elle a en effet souligné que, prise isolément, la valeur patrimoniale du court de tennis ne suffirait certainement pas à justifier son classement (arrêt attaqué consid. 6d/cc p. 41). Les premiers juges ont en revanche souligné la signification historique de l'installation (arrêt attaqué consid. 6d/cc p. 40). Alors qu'ils ont relevé que le parc dans son ensemble reflétait le climat social, politique et culturel de l'époque, ils citaient l'expertise de la CFMH à teneur de laquelle le court de tennis, en tant qu'élément fonctionnel, remplace le jardin potager fréquent dans des constructions plus anciennes dans ce type de jardin (arrêt attaqué consid. 6b p. 38). De ce point de vue, et toujours selon l'expertise de la CFMH reprise dans la partie droit de l'arrêt attaqué, le tennis en terre battue, en vogue auprès de la bourgeoisie de l'époque, fait partie intégrante de l'aménagement du parc; il constituait par ailleurs un élément important pour les différents acteurs du projet (arrêt attaqué consid. 2c/bb p. 27). En d'autres termes, alors que les recourants, se référant à des critères tels que les essences d'arbres, la composition géométrique ou le caractère élaboré du court de tennis et de ses abords, s'obstinent à en relever l'absence d'intérêt paysager ou esthétique, ils omettent de discuter les critères véritablement retenus dans l'arrêt attaqué pour reconnaître à cette partie un intérêt digne de protection. Il s'agit en particulier de l'aspect fonctionnel du court de tennis, de sa signification historique en tant qu'élément représentatif des rares constructions bourgeoises de l'entre-deux guerre, et de son importance pour les différents acteurs de l'élaboration du projet de la villa et de ses abords. En ce sens, les premiers juges, à l'instar de l'expertise CFMH, ont considéré que cet élément du parc, pour des raisons qui lui sont propres, non seulement en faisait partie intégrante, mais, également, en était une composante caractéristique dont l'éventuelle amputation affecterait sa valeur. Or, les recourants n'apportent aucun argument qui justifierait de s'écarter de cette appréciation des faits.
Quant à savoir si cet intérêt est tel qu'il justifie le classement de cette partie du domaine, cette question se confond largement avec celle du fond, dès lors qu'elle consiste à confronter les différents intérêts en présence.
Les recourants critiquent également l'absence de reproduction du procès-verbal de la séance de conciliation. Ils n'exposent toutefois pas les éléments de ce procès-verbal qu'ils auraient souhaité voir repris dans l'état de fait ni ce qu'ils entendent en déduire.
2.3. Il s'ensuit que le grief doit être rejeté, l'établissement des faits par la cour cantonale n'ayant pas à être modifié.
3.
Les recourants se plaignent d'une violation du droit d'être entendus à différents titres.
3.1. Le droit d'être entendu garanti à l'art. 29 al. 2 Cst. comprend notamment le droit de faire administrer les preuves, pour autant que celles-ci soient requises dans les formes prévues par le droit cantonal et qu'elles apparaissent utiles à l'établissement des faits pertinents (<ref-ruling> consid. 3.3; <ref-ruling> consid. 2.2). Cette garantie constitutionnelle n'empêche pas l'autorité de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, l'autorité a la certitude que celles-ci ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 6.3.1 et les références).
Dans ce contexte, le droit d'être entendu se rapporte surtout à la constatation des faits. Le droit des parties d'être interpellées sur des questions juridiques n'est reconnu que de manière restreinte, lorsque l'autorité concernée entend se fonder sur des normes légales dont la prise en compte ne pouvait pas être raisonnablement prévue par les parties, lorsque la situation juridique a changé ou lorsqu'il existe un pouvoir d'appréciation particulièrement large (<ref-ruling> consid. 4.1). Le droit d'être entendu ne porte en principe pas sur la décision projetée (<ref-ruling> consid. 4.1; <ref-ruling> consid. 4.2; arrêts 2C_21/2013 du 5 juillet 2013 consid. 3.1; 2P.33/2006 du 18 avril 2007 consid. 2.1). L'autorité n'a donc pas à soumettre par avance aux parties, pour prise de position, le raisonnement qu'elle entend tenir (<ref-ruling> consid. 5.4.1; <ref-ruling> consid. 5b/bb; arrêt 2C_356/2017 du 10 novembre 2017 consid. 4.3 et les références). Le droit d'être entendu doit en principe être accordé si une autorité entend fonder sa décision sur une norme juridique ou un motif juridique qui n'a pas été invoqué dans la procédure jusqu'alors, qui n'a pas été invoqué par les parties concernées et à l'application de laquelle celles-ci ne pouvaient s'attendre dans le cas d'espèce (<ref-ruling> consid. 3.1; <ref-ruling> consid. 5b/bb; <ref-ruling> consid. 4a).
3.2.
3.2.1. Les recourants reprochent à la cour cantonale de ne pas avoir ordonné un complément d'expertise à réaliser par la CFMH pour que celle-ci "échelonne" les différents secteurs du parc et leur attribue des besoins de protection distincts.
A cet égard, la cour cantonale a exposé dans le détail les raisons pour lesquelles, conformément aux constatations des experts de la CFMH, en dépit de l'existence de parties distinctes le composant, la villa et son parc devaient être considérés comme un monument à part entière formant une unité indissociable. Elle a ainsi estimé que les questions que les recourants souhaitaient voir examinées - en particulier la valeur intrinsèque des différents éléments du parc (cf. consid. 6d/cc p. 40), pris isolément - avaient en réalité déjà été traitées dans l'expertise. Elle a surtout considéré que ces questions n'étaient pas déterminantes, jugeant à l'instar des experts que l'unité formée par ces éléments méritait en soi une protection.
Les recourants persistent à faire valoir que les différentes parties du parc présentent des degrés d'intérêt différents. Or, comme on l'a vu ci-dessus - et l'on peut ici largement renvoyer au considérant qui précède -, ceci n'a été dénié ni par la CFMH ni par les premiers juges, qui ont examiné chaque élément séparément, mais ont jugé non décisives leurs éventuelles valeurs individuelles au vu de la valeur d'ensemble du parc. Les recourants ne discutent ainsi pas les véritables motifs qui ont conduit les premiers juges à rejeter la demande de complément d'expertise. Ils font en effet abstraction des constatations de la cour cantonale selon lesquelles la CFMH a sciemment refusé d'échelonner et d'attribuer des degrés de protection distincts à chacune des parties du parc, considérant que toutes participent de l'oeuvre d'art totale du point de vue patrimonial que, du point de vue de la CFMH, c'est l'ensemble qui exigerait un besoin de protection maximum. Ils se contentent d'affirmer de façon appellatoire que les différentes parties du parc devaient se voir attribuer des besoins de protection distincts.
De façon paradoxale, les recourants exposent que le parc, "même considéré comme une oeuvre d'art totale formant un tout inséparable, peut être composé de plusieurs parties dont l'intérêt est variable". Or ce faisant, ils renversent sans le dire le raisonnement de la CFMH repris par la cour cantonale, savoir que, même composé de plusieurs parties dont l'intérêt est variable, le parc doit être considéré comme une oeuvre d'art totale formant un tout inséparable. En d'autres termes, l'expertise, comme l'a constaté la cour cantonale, examinait déjà les intérêts et valeurs des différentes parties du parc, ce qui ne l'a pas empêchée de conclure que l'ensemble lui-même, considéré comme un tout, comportait une valeur patrimoniale exceptionnelle. En cela, les recourants entendent simplement substituer leurs vues à celles des experts et des premiers juges, sans démontrer une violation de leur droit d'être entendus dans le fait que l'expertise dont les conclusions leur déplaisent n'ait pas été approfondie.
Que la cour cantonale ait au surplus abordé la question sous d'autres angles, notamment le fait qu'il ne fallait pas examiner la valeur du parc en le considérant comme de simples abords de la villa, mais bien comme un monument à part entière, ne saurait remettre en cause ce qui précède.
Quant à la nécessité, alléguée par les recourants, de fractionner l'étendue de la protection en vertu du principe de la proportionnalité, il s'agit d'une question de droit qui relève de l'appréciation du juge, qui peut statuer sur cette question indépendamment des conclusions de l'expertise.
3.2.2. Les recourants déplorent ensuite le fait que la cour cantonale n'a pas procédé à une inspection locale, en dépit de leur requête en ce sens. Ils font valoir que les premiers juges auraient alors pu constater que le court de tennis ne fait pas partie de la composition du parc, qu'il est largement excentré, dans un état de délabrement et invisible puisque caché par des arbres. Ce faisant, les recourants se réfèrent en bonne partie à des passages relevant de l'état de fait de l'arrêt attaqué, ce qui signifie que la cour cantonale n'a pas omis ces éléments. Quant à leur appréciation par la réalité du terrain, elle n'est pas décisive en l'espèce. Ainsi qu'on l'a déjà relevé, c'est la caractéristique fonctionnelle du court de tennis et sa signification historique qui ont été retenues pour en justifier l'intégration à l'ensemble jugé digne de protection que constitue le parc, et non des aspects paysagers ou esthétiques. A cela s'ajoute que l'arrêt attaqué retient expressément la dissymétrie créée par le court de tennis. Les recourants ne démontrent ainsi pas en quoi une vision des lieux par les juges cantonaux eux-mêmes s'imposait.
Avec la cour cantonale, on peut au contraire constater que le dossier est particulièrement complet au vu des nombreuses expertises et photographies qu'il comporte, y compris les expertises réalisées en 2003 et 2017 que les recourants jugent "neutres", dont l'état de fait de l'arrêt attaqué retranscrit de longs passages. On relèvera au demeurant qu'au contraire de ce que laissent entendre les recourants, la neutralité de la CFMH ne saurait être mise en cause, son intervention comme commission spécialisée signifiant que ses membres disposent des compétences spécifiques requises, et non qu'ils présenteraient un quelconque parti pris. La mission de préservation du patrimoine de la CFMH ne remet en effet pas en question sa neutralité, puisqu'il est précisément attendu de sa part qu'elle évalue la valeur du patrimoine dont elle doit définir s'il est digne de protection, au même titre que les experts privés mentionnés par les recourants, et non à tout prix faire protéger un maximum d'objets quelle que soit leur valeur. La pesée des intérêts en revanche relève en tout état de la compétence du juge, qui dispose alors d'informations complètes quant à l'importance du patrimoine qu'il est question de protéger ou non.
3.2.3. Enfin, les recourants se plaignent de ne pas avoir pu se prononcer sur le refus de donner suite aux mesures d'instruction ni se déterminer une nouvelle fois sur le fond, au vu de ce refus. Or le droit d'être entendu ne s'étend pas à la possibilité, pour les parties, de se voir soumettre chaque aspect de la décision à rendre pour déterminations. S'agissant des mesures d'instructions elles-mêmes, on peut attendre des recourants qu'ils en motivent la nécessité lorsqu'ils en font la demande. Le ou les magistrats en charge de l'instruction ont alors pleine connaissance des buts poursuivis par la demande. Un éventuel refus de telles mesures peut utilement être contesté par un recours auprès du Tribunal fédéral avec la décision au fond, refus qui ne pourrait quoi qu'il en soit pas être formé contre une éventuelle décision séparée rendue incidemment (cf. <ref-law>), de sorte que les parties ne tireraient à ce stade aucun bénéfice d'une telle décision incidente. Quant à de nouvelles déterminations sur le fond, les recourants ne démontrent pas qu'ils n'ont pas pu faire valoir leurs arguments en suffisance. En particulier, les garanties minimales de l'art. 29 al. 2 Cst. en matière de droit d'être entendu ne conférant pas le droit d'être entendu oralement par l'autorité (cf. <ref-ruling> consid. 5.3; <ref-ruling> consid. 2.1; <ref-ruling> consid. 9), les recourants ne pouvaient présumer avoir l'occasion de faire valoir, lors d'une inspection locale, respectivement d'une audience, plus d'arguments qu'ils ne l'avaient déjà fait par écrit.
Il s'ensuit que le droit d'être entendus des recourants a été respecté en l'espèce.
4.
Sur le fond, les recourants contestent que la mesure de classement, qui constitue une importante restriction de leur droit de propriété, respecte le principe de la proportionnalité. Ils considèrent que la partie ouest de la parcelle n° 3061 supportant le terrain de tennis ne devrait pas être touchée par la mesure de classement.
4.1. La garantie de la propriété est ancrée à l'art. 26 al. 1 Cst. Elle n'est toutefois pas absolue. Comme tout droit fondamental, elle peut être restreinte aux conditions fixées à l'art. 36 Cst. La restriction doit ainsi reposer sur une base légale (al. 1), être justifiée par un intérêt public (al. 2) et respecter le principe de la proportionnalité (al. 3). Ce principe exige qu'une mesure restrictive soit apte à produire les résultats escomptés - règle de l'aptitude - que ceux-ci ne puissent être atteints par une mesure moins incisive - règle de la nécessité -, et qu'il existe un rapport raisonnable entre le but visé et les intérêts publics ou privés compromis - règle de la proportionnalité au sens étroit - (cf. <ref-ruling> consid. 5.4; <ref-ruling> consid. 6.4; <ref-ruling> consid. 5.6.3).
Les restrictions de la propriété ordonnées pour protéger les monuments et sites naturels ou bâtis sont en principe d'intérêt public (<ref-ruling> consid. 6.1; arrêts 1C_545/2014 du 22 mai 2015 consid. 5.5; 1C_266/2015 du 20 juin 2016 consid. 3.1.3). Tout objet ne méritant pas une protection, il faut procéder à un examen global, objectif et basé sur des critères scientifiques, qui prenne en compte le contexte culturel, historique, artistique et urbanistique du bâtiment concerné. Les constructions qui sont les témoins et l'expression d'une situation historique, sociale, économique et technique particulière, justifient une mesure de conservation. Le critère esthétique n'est pas le seul à être appliqué; peut également être digne de protection ce qui est typique d'une époque ou représentatif d'un style, même relativement récent, de façon à sauvegarder des bâtiments industriels ou commerciaux qui ne sont pas nécessairement des oeuvres d'art (cf. <ref-ruling> consid. 6.2 et les références doctrinales citées; <ref-ruling> consid. 5a; arrêt 1C_285/2017 du 27 octobre 2017 consid. 2.4). La mesure ne doit en revanche pas être destinée à satisfaire uniquement un cercle restreint de spécialistes; elle doit au contraire apparaître légitime aux yeux du public ou d'une grande partie de la population, pour avoir en quelque sorte une valeur générale (<ref-ruling> consid. 6.2; <ref-ruling> consid. 4a; <ref-ruling> consid. 5a; arrêts 1P.79/2005 du 3 septembre 2005, in ZBl 2007 p. 83; 1C_296/2016 du 22 novembre 2016 consid. 7).
Les griefs de violation des droits fondamentaux sont soumis à des exigences de motivation accrues (<ref-law>). La partie recourante doit alors mentionner les principes constitutionnels qui n'auraient pas été respectés et expliquer de manière claire et précise en quoi ces principes auraient été violés; de même, elle doit citer les dispositions du droit cantonal ou communal dont elle se prévaut et démontrer en quoi ces dispositions auraient été appliquées arbitrairement ou d'une autre manière contraire au droit (<ref-ruling> consid. 6.3; <ref-ruling> consid. 2.8). Sous cette réserve, le Tribunal fédéral examine en principe librement si une restriction de la propriété répond à un intérêt public et respecte le principe de la proportionnalité; il s'impose toutefois une certaine retenue lorsqu'il s'agit de tenir compte de circonstances locales dont les autorités cantonales ont une meilleure connaissance que lui, ou de trancher de pures questions d'appréciation (cf. <ref-ruling> consid. 4.2.1; <ref-ruling> consid. 6.1; <ref-ruling> consid. 4.3). Le Tribunal fédéral doit alors examiner, dans le cadre des griefs soulevés (<ref-law>), si la décision attaquée se prononce de façon complète sur les motifs d'intérêt public invoqués pour justifier l'atteinte au droit de propriété et si, dans la pesée des intérêts, les intérêts privés ont été pris en considération de manière adéquate (cf. 118 Ia 394 consid. 2b; arrêts 1C_503/2019 du 7 avril 2021 consid. 5.1; 1C_104/2019 du 21 avril 2020 consid. 3.1.1).
4.2. Les recourants précisent ne contester ni l'existence d'une base légale ni l'intérêt public à la mesure. Ils estiment en revanche que celle-ci ne respecte ni la maxime de la nécessité ni celle de la proportionnalité au sens étroit.
4.2.1. Sous l'angle de la nécessité, les recourants font valoir que l'établissement d'un plan spécial aurait permis une analyse plus fine de la situation, qui aurait permis de mieux tenir compte de tous les intérêts en cause.
Lorsqu'ils suggèrent l'élaboration d'une planification de détail, plus fine selon eux, les recourants ne donnent pas plus de précisions sur ce qu'il pourrait en être escompté. Or, s'il fallait privilégier cette procédure, la même question - conserver le terrain de tennis ou non - subsisterait. Il apparaît à cet égard douteux que des solutions intermédiaires, ouvrant des possibilités de construire que ne permet pas le classement, puissent garantir une quelconque protection du secteur supportant le terrain de tennis, et les recourants n'en esquissent aucune. En revanche, comme l'a relevé la cour cantonale, au contraire de la planification, la mesure de classement permet d'exiger le maintien et l'entretien des bâtiments (art. 55 de la loi du 10 décembre 1969 sur la protection de la nature, des monuments et des sites (LPNMS; RSV 450.11). Pour ces deux motifs, la planification en lieu et place de la mesure de classement ne serait pas "adéquate", au sens du principe de la proportionnalité, dès lors qu'elle ne permettrait plus d'atteindre le but visé. Aussi est-ce en réalité sous l'angle de la proportionnalité au sens étroit qu'une éventuelle planification pourrait être envisagée, puisqu'il s'agirait en réalité de renoncer à protéger le secteur précité.
4.2.2. En ce qui concerne la proportionnalité au sens étroit, outre ce qui précède, les recourants font valoir que leur intérêt à construire à tout le moins à l'emplacement du court de tennis est prépondérant. A cela s'ajouterait qu'il existerait un intérêt public majeur en faveur de la densification du secteur, de sorte qu'aucun des intérêts qu'il pourrait y avoir au classement de cette portion du terrain ne ferait véritablement le poids.
Par cette argumentation, les recourants persistent à minimiser la valeur, tant intrinsèque qu'associée à l'ensemble du parc, du terrain de tennis. Or, comme on l'a constaté dans le cadre de l'examen de l'établissement et l'appréciation des faits ainsi que dans celui du respect du droit d'être entendus des recourants, le terrain de tennis, en tant que spécificité des parcs des villas bourgeoises des années trente, apporte à l'ensemble, par sa seule fonction, un témoignage historique d'importance considérable. En ce sens, la nature, la qualité ou l'état de la végétation dans ce secteur ne saurait relativiser l'intérêt à sa conservation. Tant les experts que les juges cantonaux ont considéré que l'ensemble perdrait de sa valeur s'il devait être amputé de cet aménagement sportif, représentatif du contexte social de l'époque. Pour ces motifs au demeurant, l'emprise du classement, fondée sur des critères objectifs, n'est, au contraire de ce qu'en disent les recourants, pas choquante.
Les recourants contestent également l'importance du classement au yeux de la population: le site ne serait pas librement accessible au public, non visible depuis l'extérieur, et réalisé par des architectes sans notoriété auprès grand public. La cour cantonale a toutefois souligné le caractère unique du monument en Suisse, dont elle a déduit un intérêt particulièrement important. Dans ce contexte, il y a lieu de relativiser l'intérêt moindre que représente le classement pour le grand public. La rareté de ce bien patrimonial suffit à s'affranchir de tels critères dans le cas d'espèce.
A cela s'ajoute que la mesure est déjà le fruit d'un compromis, puisqu'une partie non négligeable de la parcelle n° 3061 (pouvant équivaloir jusqu'à 13'950 m2 de surface de plancher) est exclue du classement et pourra ainsi être bâtie. La cour cantonale a encore relevé l'éventuel rendement locatif qui pourrait être retiré de la villa - rendement dont on peut présumer qu'il puisse être augmenté en conséquence du fait de l'existence d'un court de tennis.
Enfin, s'agissant de l'appréciation de circonstances locales par des autorités spécialisées et/ou locales, dont il convient de respecter la marge de manoeuvre, le Tribunal fédéral s'impose une certaine retenue, ce d'autant qu'il s'agit au demeurant d'une mesure fondée sur le droit cantonal. Compte tenu de tous ces éléments, il apparaît ainsi que le classement en cause, en particulier son emprise comprenant le court de tennis du domaine, ne contrevient pas au principe de la proportionnalité au sens étroit.
5.
Il s'ensuit que le recours doit être rejeté, aux frais de ses auteurs, qui succombent (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière de droit public est rejeté.
3.
Les frais de justice, arrêtés à 4'000 fr., sont mis à la charge des recourants, solidairement entre eux.
4.
Le présent arrêt est communiqué aux mandataires des recourants et de la Municipalité de Pully, au Département des finances et des relations extérieures du canton de Vaud, Secrétariat général, et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 28 juin 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Kneubühler
La Greffière : Sidi-Ali