Faits :
A.
A._ et B._ ont acquis la parcelle n° 972 de la commune de La Sarraz le 2 octobre 2009. Cette parcelle, d'une surface de 2'746 mètres carrés, sise en zone agricole et en aire forestière, a été détachée de la parcelle n° 286, le 20 juin 2008. Elle comporte une ancienne villa de maître de 127 mètres carrés construite en 1927 et totalement rénovée en 2005-2006. Le long des façades sud et est du bâtiment, une terrasse surélevée, d'une hauteur variant entre 0,90 et 1,74 mètre, a été aménagée sans autorisation par l'ancienne propriétaire des lieux, à laquelle on accède depuis le rez-de-chaussée au sud par deux portes-fenêtres et à l'est par une porte-fenêtre. Cette terrasse, de 58,5 mètres carrés, s'avance de 3,3 mètres depuis la façade est et de 2,5 mètres depuis une terrasse préexistante au sud. Elle permet d'accéder au jardin par deux volées de marches à l'est et au nord. La parcelle n° 972 accueille également à l'est de la villa une piscine enterrée de 35 mètres carrés, entourée d'un dallage de 62,5 mètres carrés, que la Municipalité de La Sarraz a autorisée sans permis de construire le 29 novembre 2005.
Le 22 février 2011, A._ et B._ ont déposé, par l'intermédiaire de leur architecte, un dossier de demande de permis de construire concernant l'aménagement d'une véranda " style art déco 1930 ", partiellement sur la terrasse existante en façade est, d'une nouvelle terrasse en bois en prolongement de la véranda et d'un jacuzzi extérieur. Ce projet a été mis à l'enquête publique du 6 avril au 5 mai 2011.
Par courriel du 21 juillet 2011 adressé à l'architecte des propriétaires, le Service du développement territorial du canton du Vaud a indiqué que la surface de la véranda projetée entrait dans le cadre potentiel d'extension de la maison. La terrasse surélevée construite en agrandissement du bâtiment (façades sud et est), la piscine et le dallage qui l'entoure avaient été réalisés sans l'autorisation cantonale spéciale requise. Ces travaux modifiaient de manière importante l'identité du bâtiment et de ses abords et ne pouvaient dès lors pas être considérés comme une transformation partielle. Le Service du développement territorial précisait encore qu'une mesure de remise en état devrait être ordonnée et qu'il serait toutefois en mesure de régulariser la pose des châssis rampants sur le pan ouest de la toiture, la piscine et un rang de dalles sur son pourtour. Il admettait enfin d'entrer en matière pour le projet de véranda et pour la réalisation d'une terrasse en bois redimensionnée et du jacuzzi dans l'emprise de la terrasse. Dans ce contexte, la partie de la terrasse existante, servant de soubassement à la véranda, pourrait être maintenue. L'architecte des propriétaires était en conséquence invité à l'informer de la suite de la procédure, soit de l'élaboration d'un projet susceptible d'être autorisé et comprenant les objets à démolir, soit du maintien du projet soumis à l'enquête, qui entraînera une décision de refus de délivrance de l'autorisation spéciale requise.
Le 14 juin 2018, le Service du développement territorial s'est adressé aux propriétaires de la parcelle n° 972en se référant au projet concernant la construction d'une véranda et d'une terrasse avec jacuzzi extérieur. Il revenait sur les travaux réalisés sur le pan ouest de la toiture, sur la terrasse surélevée, sur la piscine et sur le dallage en précisant que ces travaux modifiaient de manière importante l'identité du bâtiment et de ses abords et ne pouvaient dès lors pas être considérés comme transformation partielle. Il évoquait à nouveau la régularisation des châssis rampants, de la piscine et d'un rang de dalles sur son pourtour. En revanche, la terrasse réalisée en agrandissement du bâtiment et le solde du dallage autour de la piscine devaient être démolis et les lieux remis en état par une surface enherbée. Dans ce contexte, le Service du développement territorial indiquait qu'il pourrait entrer en matière pour le projet de véranda souhaité et pour la réalisation d'une terrasse en bois redimensionnée, que le jacuzzi pourrait être admis mais dans l'emprise de la terrasse admissible et que la partie de la terrasse existante servant de soubassement à la véranda pourrait être maintenue. En se référant aux possibilités évoquées dans son courriel du 21 juillet 2011, il a donné aux propriétaires un délai au 31 juillet 2018 pour se déterminer en indiquant que sans nouvelle de leur part, il partirait du principe qu'ils renonçaient à leur projet de construction et qu'une décision formelle de remise en état portant sur les objets litigieux serait rendue.
Le 29 juillet 2018, A._ et B._ ont informé le Service du développement territorial avoir abandonné leurs projets de transformation.
Le 7 novembre 2018, le Service du développement territorial indiquait que selon lui les travaux réalisés en 2005-2006 l'avaient été sans l'autorisation cantonale requise et que seuls les châssis rampants, la piscine et un rang de dalles pourraient être régularisés. Il informait les propriétaires qu'il envisageait de rendre une décision de remise en état des lieux par la suppression de la terrasse réalisée en agrandissement du bâtiment, la suppression du dallage autour de la piscine et la remise en herbe de l'ensemble de la surface. Un délai au 15 décembre 2018 leur était imparti pour faire valoir leurs observations éventuelles.
Le 15 décembre 2018, les propriétaires ont fait part de leur incompréhension et de leur désarroi, indiquant avoir pensé que la transaction d'achat de leur maison était régulière et ne pas comprendre comment ils pourraient devoir répondre des actes faits hors leur connaissance et antérieurement à l'achat.
Une séance a eu lieu le 8 octobre 2019, dans les bureaux du Service du développement territorial, lors de laquelle les propriétaires ont indiqué qu'ils avaient acheté la maison après la réalisation des travaux litigieux et qu'ils ne comptaient pas remettre en état la parcelle.
Par décision du 25 juin 2020, la Direction générale du territoire et du logement, qui a succédé au Service du développement territorial, a régularisé la piscine et un rang de margelles sur le pourtour. A titre de mesures de remise en état des lieux, elle a ordonné la suppression de la terrasse réalisée en agrandissement du bâtiment (façades sud et est) et la remise du terrain en herbe, ainsi que la suppression du dallage autour de la piscine, à l'exception d'un rang. Elle a imparti aux propriétaires un délai au 31 octobre 2020 pour s'exécuter faute de quoi elle procéderait à l'exécution de la décision par substitution.
Par arrêt du 1er juin 2021 rendu sur recours des propriétaires, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud a réformé cette décision en ce sens que les deux châssis rampants sur le pan ouest de la toiture sont autorisés et l'a confirmée pour le surplus.
B.
Agissant par la voie du recours en matière de droit public, A._ et B._ demandent au Tribunal fédéral d'annuler cet arrêt, respectivement de le réformer en ce sens que la décision de la Direction générale du territoire et du logement du 25 juin 2020 est modifiée, l'ordre de remise en état étant annulé et les travaux pouvant être maintenus, de même que la piscine et les deux châssis rampants sur le pan ouest d'ores et déjà autorisés. A titre subsidiaire, ils concluent à l'annulation de la décision attaquée et au renvoi de la cause à la Cour de droit administratif et public pour une nouvelle décision.
Le Tribunal cantonal a renoncé à se déterminer sur le recours et se réfère aux considérants de l'arrêt attaqué. La Direction générale du territoire et du logement et l'Office fédéral du développement territorial concluent au rejet du recours. La Municipalité de La Sarraz s'en remet à justice. Invités à déposer d'éventuelles observations, les recourants n'ont pas répliqué.

Considérant en droit :
1.
Dirigé contre une décision rendue en dernière instance cantonale dans le domaine du droit public de la police des constructions, le recours est recevable comme recours en matière de droit public conformément aux <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Les recourants ont pris part à la procédure de recours devant l'autorité cantonale et sont particulièrement touchés par l'arrêt attaqué qui confirme l'ordre qui leur a été adressé de supprimer la terrasse aménagée en façades sud et est de leur maison ainsi que le dallage autour de la piscine, à l'exception d'un rang. Ils ont donc un intérêt digne de protection à obtenir l'annulation de cet arrêt en tant qu'il porte sur ces aménagements et ont qualité pour recourir selon l'<ref-law>. Les autres conditions de recevabilité en matière de droit public étant remplies, il convient d'entrer en matière.
2.
La Cour de droit administratif et public a retenu qu'il n'y avait pas matière à procéder à un contrôle incident ou préjudiciel du plan d'affectation en vigueur. Elle a par ailleurs refusé de suspendre la procédure jusqu'à droit connu sur l'élaboration d'une planification dans le secteur en cause. Les recourants n'élèvent aucune objection sur ces points qui doivent ainsi être tenus pour non contestés. Ils s'en prennent en revanche à l'appréciation de la juridiction cantonale de recours, selon laquelle la terrasse et le dallage entourant la piscine aménagés sans autorisation modifieraient les abords de la villa de maître édifiée sur leur parcelle et ne pourraient ainsi pas bénéficier de la protection de la situation acquise de l'art. 24c LAT.
2.1. Selon la jurisprudence relative au droit applicable en matière d'ordre de remise en état ou de procédure de régularisation, la légalité des ouvrages litigieux s'examine en principe au moment où les travaux ont été effectués. Toutefois, le droit en vigueur au moment où l'autorité statue s'applique s'il est plus favorable à la partie recourante et permet, contrairement à l'ancien, la délivrance de l'autorisation (cf. <ref-law>; <ref-ruling> consid. 2.1.1; <ref-ruling> consid. 6). Les recourants ne contestent pas que les modifications de la législation fédérale en matière d'aménagement du territoire entrées en vigueur postérieurement à l'exécution des travaux n'instaurent pas un régime qui leur serait plus favorable et que leur admissibilité doit être examinée au regard de la législation applicable à cette date.
2.2. L'art. 24c de la loi fédérale sur l'aménagement du territoire, dans sa version en vigueur lors de l'exécution de la terrasse, de la piscine et de ses abords (aLAT), prévoit que les constructions et installations, sises hors de la zone à bâtir, qui peuvent être utilisées conformément à leur destination, mais qui ne sont plus conformes à l'affectation de la zone, bénéficient en principe de la garantie de la situation acquise (al. 1). L'autorité compétente peut autoriser la rénovation de telles constructions et installations, leur transformation partielle, leur agrandissement mesuré ou leur reconstruction, pour autant que les bâtiments aient été érigés ou transformés légalement. Dans tous les cas, les exigences majeures de l'aménagement du territoire doivent être satisfaites (al. 2).
Selon l'art. 42 de l'ordonnance sur l'aménagement du territoire, dans sa teneur en vigueur en 2005 (aOAT), les constructions et installations, pour lesquelles l'art. 24c aLAT est applicable, peuvent faire l'objet de modifications si l'identité de la construction ou de l'installation et de ses abords est respectée pour l'essentiel. Sont admises les améliorations de nature esthétique (al. 1). Le moment déterminant pour l'appréciation du respect de l'identité est l'état de la construction ou de l'installation au moment de la modification de la législation ou des plans d'aménagement (al. 2), soit celle du 1er juillet 1972, date de l'entrée en vigueur de la loi fédérale du 8 octobre 1971 sur la protection des eaux contre la pollution, qui a introduit expressément le principe de la séparation du territoire bâti et non bâti (<ref-ruling> consid. 4.2.1).
La question de savoir si l'identité de la construction ou de l'installation est respectée pour l'essentiel doit être examinée en fonction de l'ensemble des circonstances (art. 42 al. 3, première phrase, aOAT). D'après la jurisprudence, tel est le cas lorsque les modifications projetées sauvegardent pour l'essentiel le volume et l'apparence de la construction et n'ont pas d'effets sensiblement nouveaux du point de vue de l'occupation du sol, de l'équipement et de l'environnement; les transformations doivent être d'importance réduite par rapport à l'état existant de la construction (<ref-ruling> consid. 3a et 3b; <ref-ruling> consid. 4).
Le Tribunal fédéral s'impose une certaine retenue lorsqu'il doit se prononcer sur de pures questions d'appréciation ou tenir compte de circonstances locales, dont les autorités locales ont une meilleure connaissance que lui (<ref-ruling> consid. 5.3.2; <ref-ruling> consid. 3.2.2). Tel est notamment le cas lorsqu'il s'agit d'apprécier la question du respect de l'identité d'un bâtiment et de son esthétique (arrêt 1C_617/2019 du 27 mai 2020 consid. 5.2 et les arrêts cités).
2.3. La Cour de droit administratif et public a retenu que la terrasse en cause, érigée sur deux côtés de la maison et surélevée, n'était pas une construction d'importance mineure. Il importait que l'aspect général du bâtiment ne soit que peu modifié par cet ouvrage et que celui-ci n'ait qu'un impact limité sur l'affectation du sol et l'environnement. Or, la terrasse constituait un promontoire et une intervention bien visible sur le terrain naturel et sur le bâtiment. Elle avait un impact considérable sur les abords du bâtiment et sa dimension, examiné pour elle-même et par rapport au reste du bâtiment, était conséquente. Si cet ouvrage n'était pas inesthétique et avait été construit avec des matériaux de qualité, il ne relevait pas de l'architecture traditionnelle de la villa du 19ème siècle et modifiait l'identité de la construction. La terrasse avait de toute évidence été créée, avec ses escaliers, pour accéder facilement à la piscine et au jardin depuis le rez-de-chaussée de la villa de maître. Or, celle-ci pouvait continuer d'être occupée sans qu'il soit nécessaire d'y adjoindre une terrasse d'une telle grandeur, manifestement supérieure à ce qui correspond aux besoins d'un logement. L'aménagement de la terrasse d'une telle importance renforçait visuellement le caractère construit et résidentiel de la parcelle, qui demeure sur ses côtés sud et ouest entourée d'un environnement rural. Il contribuait à une artificialisation des espaces extérieurs et portait atteinte au principe cardinal de la séparation du territoire bâti et non bâti, qui tend à diminuer le nombre et les dimensions des constructions en zone agricole. La terrasse ne pouvait de ce fait pas être régularisée.
2.4. Les recourants contestent cette appréciation, relevant notamment que la villa avait été construite en 1927 et ne remontait ainsi pas au 19ème siècle, comme indiqué à tort par la cour cantonale. Si l'on peut concéder sur ce point une erreur, celle-ci ne porte pas à conséquence au vu des autres éléments retenus dans l'appréciation de l'identité de la villa et de ses abords, qui échappent à la critique. Les recourants ne prétendent pas que la Cour de droit administratif et public serait partie d'une conception erronée de la notion fédérale d'identité en admettant que seule une construction d'importance mineure aurait permis de satisfaire à la condition de l'art. 24c aLAT. Il n'est pas contestable, au vu de la photographie versée au dossier, que la terrasse aménagée sur deux cotés de la maison et surélevée est de dimension imposante par rapport au bâtiment principal, qu'elle renforce visuellement le caractère construit et résidentiel de la parcelle et qu'elle modifie de manière importante les abords de l'ancienne maison de maître. Sur ce point, l'appréciation de l'autorité précédente ne procède pas d'un excès du pouvoir d'appréciation. La Cour de céans n'a en effet pas considéré une terrasse formée de dalles posées sur une surface d'environ 10 à 15 mètres carrés comme étant de minime importance et ne modifiant pas l'identité du chalet de vacances qu'elle desservait (arrêt 1C_162/2019 du 25 novembre 2019 consid. 3.5).
Les recourants ne prétendent pas que l'aménagement d'une terrasse de l'ampleur de celle réalisée sans autorisation répondait à une nécessité architecturale ou qu'elle visait à assurer une meilleure intégration de l'ancienne villa de maître dans le paysage ou à une amélioration esthétique du construit. Elle devait permettre un accès direct, jusqu'alors inexistant, à la piscine depuis la cuisine et répondait essentiellement à des raisons de convenance personnelle et de commodité. La Cour de droit administratif et public pouvait à juste titre et sans excéder sa marge d'appréciation qui lui est reconnue et que le Tribunal fédéral doit respecter, retenir que cet ouvrage, en raison de ses dimensions, modifiait l'identité du bâtiment existant et de ses abords, et n'était de ce fait pas admissible. Il importe à cet égard peu que le Service du développement territorial ait été enclin à autoriser la construction d'une véranda de style " Art déco " dans le prolongement de l'ancienne maison de maître, sur une partie de la terrasse, s'agissant d'un projet auquel les recourants ont finalement renoncé ou que la maison n'a jamais eu une vocation agricole et qu'elle était liée structurellement et historiquement au site industriel du U._ en zone artisanale.
Par conséquent, c'est sans violer le droit fédéral que les instances précédentes ont jugé que la terrasse, en raison de ses dimensions et de ses caractéristiques, portait une atteinte inadmissible à l'identité du bâtiment en cause et à ses abords et qu'elle ne pouvait dès lors être autorisée sur la base des art. 24c al. 2 aLAT et 42 a OAT.
La Cour de droit administratif et public a au surplus constaté que la zone de dallage entourant la piscine couvrait une surface au sol elle aussi loin d'être négligeable et que, tout comme la terrasse, elle contribuait à conférer de manière significative un caractère résidentiel aux abords du bâtiment, relevant que la demande d'autorisation de construire la piscine formulée auprès de la Municipalité de La Sarraz par l'ancienne propriétaire des lieux ne mentionnait aucune installation d'un pourtour de ce type et de cette importance.
Sur ce point également, l'appréciation de l'autorité précédente n'est pas critiquable. Comme celle-ci le relève, le dallage occupe une surface de près du double de celle de la piscine sans qu'elle soit nécessitée par l'usage de cet ouvrage. Son emprise au sol et son impact visuel sont importants et contribuent à aggraver l'altération des abords de la villa de maître consacrée par la terrasse. Il importe peu que la Municipalité de La Sarraz avait toléré une double rangée de dalles autour de la piscine dès lors qu'elle n'avait aucune compétence décisionnelle en la matière s'agissant d'un projet de construction situé hors de la zone à bâtir (cf. art. 25 al. 2 aLAT).
3.
Les recourants s'en prennent à la démolition des aménagements litigieux et à la remise en état des lieux ordonnées en instance cantonale qu'ils tiennent pour disproportionnées. La Cour de droit administratif et public aurait nié à tort leur bonne foi qui aurait dû être protégée en vertu de l'art. 9 Cst.
3.1. Lorsque des constructions ou des installations illicites sont réalisées en dehors de la zone à bâtir, le droit fédéral exige en principe que soit rétabli un état conforme au droit. Le principe de la séparation de l'espace bâti et non bâti, qui préserve différents intérêts publics, est de rang constitutionnel; il fait partie intégrante de la notion d'utilisation mesurée du sol de l'art. 75 al. 1 Cst. (<ref-ruling> consid. 5.5; cf. Message du Conseil fédéral du 20 janvier 2010 relatif à une révision partielle de la LAT, FF 2010 964 ch. 1.2.1 et 973 ch. 2.1). Cette séparation doit par conséquent, en dehors des exceptions prévues par la loi, demeurer d'application stricte. Si des constructions illégales, contraires au droit de l'aménagement du territoire, sont indéfiniment tolérées en dehors de la zone constructible, le principe de la séparation du bâti et du non-bâti est remis en question et un comportement contraire au droit s'en trouve récompensé. S'ajoute à cela que du nombre et des dimensions des constructions en zone agricole (<ref-ruling> consid. 6.4) ainsi que le respect du principe de l'égalité devant la loi (arrêt 1C_224/2021 du 28 octobre 2021 consid. 5).
Selon la jurisprudence, l'autorité peut renoncer à un ordre de démolition, conformément au principe de la proportionnalité, si les dérogations à la règle sont mineures, si l'intérêt public lésé n'est pas de nature à justifier le dommage que la démolition causerait au maître de l'ouvrage, si celui-ci pouvait de bonne foi se croire autorisé à construire ou encore s'il y a des chances sérieuses de faire reconnaître la construction comme conforme au droit (<ref-ruling> consid. 6; <ref-ruling> consid. 3a/bb). Celui qui place l'autorité devant un fait accompli doit s'attendre à ce que celle-ci se préoccupe plus de rétablir une situation conforme au droit que d'éviter les inconvénients qui en découlent pour lui (ATF <ref-ruling> consid. 4a).
Découlant directement de l'art. 9 Cst. et valant pour l'ensemble de l'activité étatique, le principe de la bonne foi protège le citoyen dans la confiance légitime qu'il met dans les assurances reçues des autorités, lorsqu'il a réglé sa conduite d'après des décisions, des déclarations ou un comportement déterminé de l'administration. Selon la jurisprudence, un renseignement ou une décision erronés de l'administration peuvent obliger celle-ci à consentir à un administré un avantage contraire à la réglementation en vigueur, à condition que l'autorité soit intervenue dans une situation concrète à l'égard de personnes déterminées, qu'elle ait agi ou soit censée avoir agi dans les limites de ses compétences et que l'administré n'ait pas pu se rendre compte immédiatement de l'inexactitude du renseignement obtenu. Il faut encore qu'il se soit fondé sur les assurances ou le comportement dont il se prévaut pour prendre des dispositions auxquelles il ne saurait renoncer sans subir de préjudice, que la réglementation n'ait pas changé depuis le moment où l'assurance a été donnée et que l'intérêt à l'application correcte du droit n'apparaisse pas prépondérant (<ref-ruling> consid. 3.6.2). Dans le cadre de la jurisprudence relative aux comportements contradictoires de l'administration, autre aspect du principe de la bonne foi, le respect des règles de la bonne foi par l'administration doit être examiné selon des critères objectifs, indépendamment de la personne des agents en cause; aussi l'administration peut-elle être rendue responsable d'un comportement contradictoire, même si celui-ci est dû à des personnes différentes, au besoin à l'insu des unes et des autres (<ref-ruling> consid. 2a; arrêt 1C_60/2021 du 27 juillet 2021 consid. 3.3.1).
En règle générale, le Tribunal fédéral examine librement si un ordre de remise en état, qui constitue une restriction du droit de propriété garanti par l'art. 26 al. 1 Cst., est justifié par un intérêt public suffisant et respecte le principe de la proportionnalité (arrêt 1C_197/2021 du 12 novembre 2021 consid. 2.1.3).
3.2. La Cour de droit administratif et public a retenu que les recourants ne pouvaient pas être considérés comme étant de bonne foi alors même qu'ils n'étaient pas à l'origine des travaux litigieux. Ils devaient, conformément à la jurisprudence du Tribunal fédéral, se laisser opposer la mauvaise foi de l'ancienne propriétaire des lieux qui avait procédé à l'aménagement de la terrasse et au dallage de la piscine sans autorisation. Les recourants reprochaient également à tort au Service du développement territorial d'avoir attendu près de sept ans avant de rendre la décision attaquée. C'est à l'occasion de la mise à l'enquête de la véranda et du jacuzzi, en 2011, que cette autorité avait pris connaissance des installations réalisées sans autorisation. Les recourants se prévalaient en vain d'une tolérance du Service du développement territorial puisque la renonciation à leur projet de véranda et de jacuzzi ne lui avait jamais été communiquée et qu'il ne leur avait jamais indiqué que leurs constructions étaient tolérées, voire régularisées. Ils ne pouvaient rien déduire quant à la licéité des aménagements ou à la renonciation de l'autorité intimée à exiger leur démantèlement du fait que le désassujettissement de la parcelle au droit foncier rural a été accepté en 2008. Les travaux réalisés en 2006 n'avaient pas été signalés au Service du développement territorial. Il était vraisemblable qu'il n'en avait pas eu connaissance à l'occasion de la procédure d'autorisation coordonnée au désassujettissement en 2008. Il était probable que la personne en charge de la procédure ne se soit pas déplacée sur la parcelle n° 972 avant de délivrer son approbation à la division. Si tel avait été le cas et si l'instruction avait révélé l'existence de travaux effectués sans son autorisation, il lui aurait incombé d'examiner s'ils pouvaient être régularisés, ce qui n'a pas été fait.
Les recourants échouent à démontrer que les constatations de faits retenues s'agissant de la date à laquelle le Service du développement territorial a eu connaissance des travaux litigieux seraient inexactes ou en contradiction avec des éléments du dossier. Ils affirment, sans l'étayer, qu'il en aurait nécessairement eu connaissance lors de la procédure de désassujettissement de l'immeuble à la loi fédérale sur le droit foncier rural intervenue en 2008 alors que la représentante dudit service a déclaré lors de la vision locale tenue par la cour cantonale qu'il avait pour principe de ne pas se déplacer sur place en pareil cas et de statuer sur dossier. Aucun élément ne permet de retenir que le Service du développement territorial aurait été consulté avant la division de la parcelle n° 286 ayant donné lieu à la création de la parcelle n° 972, ni que le dossier, sur la base duquel il se serait prononcé, mentionnait les aménagements litigieux. Il ne ressort pas davantage du dossier cantonal qu'il aurait rendu une décision formelle dans le cadre de la procédure ayant abouti au désassujettissement de la parcelle n° 972 à la LDFR, comme elle aurait en principe dû le faire (cf. arrêt 2C_458/2021 du 2 décembre 2021 consid. 4.4.1), à laquelle contreviendrait l'ordre de remise en état prononcé le 25 juin 2020. Les recourants ne le prétendent pas ni ne le démontrent. Si le Service du développement territorial avait eu connaissance des aménagements litigieux à cette occasion, il aurait dû inviter la propriétaire des lieux à déposer une demande d'autorisation de construire a posteriori, respectivement engager une procédure de remise en état des lieux s'il considérait que l'octroi d'une telle autorisation était d'emblée inconcevable (cf. OFFICE FÉDÉRAL DU DÉVELOPPEMENT TERRITORIAL, Nouveau droit de l'aménagement du territoire, Explications relatives à l'OAT, et recommandations pour la mise en oeuvre, 2001, p. 51 ad art. 51). Aucun élément au dossier ne permet ainsi de retenir qu'il aurait eu connaissance de cause avant d'avoir été saisi en 2011 de la demande d'autorisation de construire la véranda et le jacuzzi.
3.3. Les recourants affirment avoir compris de la position du Service du développement territorial exprimée dans le courriel adressé à leur architecte le 21 juillet 2011 dans le cadre du projet de véranda et de jacuzzi que s'ils renonçaient à tous nouveaux travaux, la terrasse et le dallage autour de la piscine seraient tolérés et qu'il serait renoncé à toute remise en état. Ils auraient été confortés dans cette appréciation par le fait que sept ans se sont écoulés avant que ledit service ne reprenne le dossier et les invite à se déterminer sur une éventuelle remise en état.
Le courriel en question, accompagné de planches illustratives, était clair. Le Service du développement territorial y laissait entendre sans ambiguïté que " la terrasse réalisée en agrandissement du bâtiment ainsi que le solde du dallage autour de la piscine doivent être démolis et les lieux remis en état par une surface enherbée ", mais il s'est dit prêt à entrer en matière pour le projet de véranda souhaité et pour la réalisation d'une terrasse en bois redimensionnée, relevant que " dans ce contexte, la partie de la terrasse existante, servant de soubassement à la véranda, pourrait être maintenue ". Les recourants ne pouvaient ainsi de bonne foi croire que le Service du développement territorial renoncerait à exiger le démantèlement des aménagements réalisés sans autorisation s'ils ne donnaient pas suite à leur projet de véranda et de jacuzzi.
On ne saurait enfin dire que le Service du développement territorial aurait toléré les aménagements litigieux et renoncé à ordonner leur suppression parce qu'il n'aurait pas réagi pendant sept ans. Il ne ressort pas du dossier dudit service produit devant la cour cantonale que les recourants, respectivement leur architecte, auraient répondu au courriel qui leur avait été envoyé en juillet 2011. Les recourants l'affirment certes, mais ils n'ont produit aucune pièce qui viendrait le confirmer. Peu importe car même si tel avait été le cas, le Service du développement territorial n'en était pas moins autorisé, en l'absence de tout délai de prescription (<ref-ruling> consid. 5.5), à requérir la démolition des ouvrages. La reprise en juin 2018 de la procédure laissée en l'état depuis l'envoi du courriel du 21 juillet 2011 exclut au demeurant que l'on puisse prêter une quelconque volonté de sa part d'accepter une situation non conforme au droit (cf. arrêt 1C_302/2016 du 18 janvier 2017 consid. 5.4); par ailleurs, seule une tolérance de longue durée d'un état contraire au droit pourrait conduire à considérer que l'autorité serait déchue du droit d'ordonner l'exécution de l'ordre de démolition en vertu des règles de la bonne foi (<ref-ruling> consid. 6.3; <ref-ruling> consid. 1c). Or, dans un arrêt 1P.379/1988 du 3 janvier 1989, la Cour de céans a jugé que l'écoulement d'un délai de quelque sept ans avant que l'autorité n'entreprenne des démarches en vue de procéder à l'exécution par substitution d'un ordre de démolition d'une écurie implantée trop proche de la lisière forestière était insuffisant pour conclure de bonne foi qu'elle aurait toléré la situation et renoncé à exiger son exécution (consid. 4b). Il en va de même dans le cas présent. Les recourants ne prétendent d'ailleurs pas avoir pris, en se fondant sur la passivité présumée de l'autorité, des dispositions auxquelles ils ne pourraient renoncer sans subir de préjudice et qui pourraient faire obstacle à l'exécution de l'ordre de remise en état (<ref-ruling> consid. 3.6.2, 341 consid. 5.2.1). Le laps de temps d'un peu moins de sept ans écoulé entre les interventions du Service du développement territorial ne constitue ainsi pas un motif susceptible de remettre en cause l'ordre de démolition et de remise en état (voir aussi, arrêt 1C_224/2021 du 28 octobre 2021 consid. 7). Enfin, le fait que les intervenants à l'acte de vente de la parcelle n° 972 n'auraient pas attiré l'attention des recourants sur l'illégalité des aménagements réalisés par l'ancienne propriétaire des lieux ne saurait être opposé au Service du développement territorial qui n'était pas partie à cette transaction.
3.4. Dans ces conditions, les recourants ne peuvent se prévaloir de leur bonne foi ou du comportement de l'autorité intimée pour s'opposer à la démolition des ouvrages. Ils doivent se laisser imputer la mauvaise foi de la précédente propriétaire des lieux et ne peuvent pas s'opposer à la remise en état des lieux aux motifs qu'ils ne sont pas à l'origine des travaux litigieux et qu'ils ont acquis la parcelle de bonne foi, sans avoir été informés de cette situation (cf. <ref-ruling> consid. 2b; arrêt 1C_381/2020 du 27 juillet 2021 consid. 3.4.2).
3.5. Les recourants se réfèrent enfin en vain à l'art. 5 al. 1 Cst. Ils ne peuvent se prévaloir d'aucune autorisation dérogatoire fondée sur l'art. 24 LAT qui aurait valablement été délivrée en lien avec les aménagements litigieux et sur laquelle le Service du développement territorial ne saurait revenir sauf à violer le principe de la sécurité du droit garanti par cette disposition.
4.
Les recourants contestent enfin la proportionnalité de l'ordre de démolition et de remise en état.
La Cour de droit administratif et public a relevé à ce propos que l'aménagement de la terrasse et son maintien relevaient d'une pure question de convenance. L'intérêt privé des recourants à l'annulation de l'ordre de remise en état se limitait à conserver l'usage de la terrasse et consistait, s'agissant des dalles, à une utilisation accrue de la piscine, installation d'agrément qui ne serait au demeurant certainement plus autorisée en application du droit actuel, hors zone à bâtir. La dérogation à la règle n'était pas mineure; en tenant compte de la piscine nouvellement régularisée, les aménagements litigieux dépassaient largement la mesure d'un agrandissement respectant l'identité du bâtiment et de ses abords. Les recourants n'évoquaient pas le coût de l'éventuelle démolition. Les remises en état ordonnées ne devraient pas entraîner de frais excessifs, étant rappelé, s'agissant du dallage, que sa pose s'est faite sans terrassement ou bétonnage, sans jointoyage, à même le terrain naturel. En tout état de cause, au vu de la jurisprudence du Tribunal fédéral, qui a confirmé des ordres de démolition portant sur des montants de 100'000 francs, les frais de remise en état n'étaient pas disproportionnés eu égard à l'importance des intérêts publics en cause. Enfin, il n'était pas déterminant que la surface de terrain ainsi libérée ne soit pas vouée à l'agriculture proprement dite, que les bâtiments soient masqués à la vue ou qu'ils soient d'une surface minime par rapport à la parcelle. Sur ce point également, l'arrêt attaqué est conforme au droit fédéral.
Au vu des dimensions de la terrasse et du dallage et de leur impact sur l'identité du bâtiment et de ses abords, l'atteinte portée à l'intérêt public au respect du principe de la séparation entre territoire bâti et non bâti et du principe d'une transformation mesurée ancré aux art. 24c al. 2 aLAT et 42 aOAT ne saurait être qualifiée de mineure. L'intérêt public au rétablissement d'une situation conforme au droit l'emporte sur l'intérêt privé des recourants à continuer à pouvoir faire usage de la terrasse et du dallage entourant la piscine réalisés sans autorisation et à conserver la valeur vénale de leur bien. L'absence de toute vocation agricole de la parcelle et de l'ancienne maison de maître ne permet pas de renoncer à la démolition de ces ouvrages. Bien que regrettable, le fait que les recourants ne semblent plus pouvoir agir par une action civile contre la précédente propriétaire qui a procédé aux aménagements litigieux sans autorisation ne constitue pas un motif suffisant pour renoncer à exiger une remise en état des lieux en application du principe de la proportionnalité. Le Service du développement territorial n'a jamais laissé entrevoir qu'il tolérerait la terrasse et le dallage entourant la piscine au-delà d'un rang depuis qu'il a eu connaissance des travaux litigieux. Il n'y a pas de mesures moins graves que la démolition des ouvrages et la remise en état des lieux. On ne saurait suivre les recourants, lorsqu'ils prétendent que compte tenu de leur bonne foi et de la prescription de toute action contre l'ancienne propriétaire des lieux en raison du comportement de l'autorité, cette dernière aurait dû tolérer les aménagements construits sans autorisation et conditionner leur maintien à l'inscription d'une mention de précarité au registre foncier marquant qu'ils ont épuisé leur droit d'agrandissement; pour autant qu'une telle solution puisse être conforme au droit fédéral, elle ne s'imposait nullement. L'objectif visé à l'art. 75 Cst. tendant à une utilisation mesurée du sol ne peut en effet pas être atteint si les constructions illicites en dehors des zones constructibles ne sont pas supprimées, mais sont tolérées pour une durée indéterminée (<ref-ruling> consid. 5.5).
A titre plus subsidiaire, les recourants requièrent le maintien du muret de la terrasse, tout en remettant en herbe les abords de la piscine et le sol de la terrasse débarrassée de ses dalles. Ils perdent ce faisant de vue que le mur servant de soutènement à la terrasse litigieuse participe à l'altération de l'identité de l'ancienne villa de maître et de ses abords, de sorte que son maintien ne serait pas de nature à remédier à l'atteinte portée aux art. 24c al. 2 aLAT et 42 aOAT et à rétablir une situation conforme au droit.
Sur ce point également, l'arrêt attaqué échappe à la critique.
5.
Le recours doit par conséquent être rejeté aux frais des recourants qui succombent (art. 65 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge des recourants.
3.
Il n'est pas alloué de dépens.
4.
Le présent arrêt est communiqué aux recourants, à la Direction générale du territoire et du logement du canton de Vaud, à la Municipalité de La Sarraz, à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud et à l'Office fédéral du développement territorial.
Lausanne, le 10 mars 2022
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Kneubühler
Le Greffier : Parmelin