Faits :
A.
A._ est propriétaire de la parcelle n° 169 du registre foncier de Rougemont, au lieu-dit "Les Herbelans". Ce bien-fonds de 27'326 mètres carrés, sis en zone agricole et alpestre, accueille un bâtiment agricole, construit au XVIII ème siècle (ECA n° 619), d'une surface de 53 mètres carrés, ainsi qu'une maison d'habitation édifiée en 1885 (ECA n° 620), d'une surface de 134 mètres carrés.
B.
Agissant en qualité de promettants-acquéreurs de la parcelle n° 169, A._ et son épouse ont déposé le 22 novembre 1990 une demande de permis de construire portant sur la rénovation totale du bâtiment ECA n° 620. Le projet visait, d'une part, à agrandir le logement de quatre pièces existant en créant une cuisine au rez-de-chaussée et deux chambres supplémentaires à l'étage et, d'autre part, à aménager une lucarne sur le pan est de la toiture pour éclairer les combles. Le Service de l'aménagement du territoire du canton de Vaud a délivré l'autorisation spéciale requise hors des zones à bâtir s'agissant de travaux de transformation qui pouvaient être admis comme " d'importance réduite " suivant l'art. 81 al. 4 de la loi vaudoise sur l'aménagement du territoire et les constructions. La Municipalité de Rougemont a délivré le permis de construire sollicité le 19 mars 1991 et le permis d'habiter le 5 octobre 2000.
C.
Le 14 avril 2003, A._ a déposé auprès de la Municipalité de Rougemont une demande préalable visant à déplacer le bâtiment ECA n° 619, sis à soixante mètres à l'ouest du bâtiment d'habitation, à une vingtaine de mètres à l'est de celui-ci et à procéder à des réparations urgentes. Le 21 juillet 2003, le Service de l'aménagement du territoire a relevé que si un changement d'affectation sans travaux au sens de l'art. 24a de la loi fédérale sur l'aménagement du territoire (LAT; RS 170) était possible, il ne pouvait s'étendre ni au déplacement ni à la reconstruction du bâtiment. Le 21 août 2003, la Municipalité lui a demandé de reconsidérer sa position. Cette intervention est restée sans réponse. Le 7 août 2008, la Municipalité est revenue à la charge en précisant que A._ avait effectué les travaux pendant l'automne 2003 et qu'elle soutenait cette démarche qui permettait de sauver un élément de son patrimoine. Le 4 juin 2009, elle a à nouveau demandé au Service du développement territorial, qui a succédé au Service de l'aménagement du territoire, de se prononcer. Le 11 juin 2009, elle l'a invité à se déterminer sur les possibilités d'agrandir le bâtiment ECA n° 620.
Le 12 août 2009, le Service du développement territorial a informé la Municipalité que, s'agissant des travaux effectués sur le bâtiment ECA n° 619, qui n'avait plus d'usage agricole, seule une démolition du bâtiment, avec remise en état naturel du site, était à même de rétablir une situation conforme au droit. Il a accordé au propriétaire un délai au 15 septembre 2009 pour se déterminer. Il a également pris position sur les possibilités de transformation du bâtiment ECA n° 620 et prié la Municipalité de bien vouloir lui transmettre différentes informations.
Le 28 avril 2010, A._ a demandé le fractionnement de la parcelle n° 169 pour une surface de 1'600 mètres carrés environ " afin de soustraire la maison qui n'a plus aucune affectation agricole du solde du terrain ". Le 17 novembre 2010, le Service du développement territorial a subordonné le prononcé de sa décision sur ce point à la suppression des travaux exécutés sans autorisation sur le bâtiment ECA n° 620 et à la remise en état des lieux. Le 14 janvier 2011, A._ a donné les informations en sa possession relatives à ce bâtiment. Il a prié le Service du développement territorial d'accepter le volume du bâtiment tel quel, sachant que sa surface habitable n'excédait apparemment pas ce qui pouvait être autorisé, de venir sur place pour tâcher de trouver un accord et de donner suite au fractionnement requis.
D.
Le 15 février 2011, le Service du développement territorial a imparti à A._ un délai au 31 octobre 2011 pour supprimer la grange-écurie ECA n° 619 et remettre en état le terrain (réensemencement), pour démolir les extensions est et ouest et supprimer la lucarne ouest du bâtiment ECA n° 620, ainsi que pour démolir et évacuer les constructions indépendantes se trouvant aux abords de ce bâtiment.
A._ a recouru contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud. En cours de procédure, le Service du développement territorial a renoncé à exiger la démolition de l'extension est du bâtiment ECA n° 620 et la remise en état des aménagements extérieurs; il a aussi offert au recourant la possibilité de supprimer la lucarne est de ce bâtiment en lieu et place de la lucarne ouest aménagée sans autorisation.
Statuant par arrêt du 17 décembre 2013, la Cour de droit administratif et public a annulé la décision du Service du développement territorial du 15 février 2011.
E.
Agissant par la voie du recours en matière de droit public, l'Etat de Vaud demande au Tribunal fédéral de signifier à A._ l'ordre de démolir, dans un délai de six mois suivant la notification de l'arrêt à intervenir, les travaux illicites qu'il a effectués d'autorité sur la parcelle n° 169, soit la démolition de l'agrandissement construit le long de la façade ouest du bâtiment ECA n° 620 et la remise en état du terrain naturel, la suppression de la lucarne réalisée sur le pan ouest de la toiture de ce bâtiment ou, alternativement, de la lucarne existante sur le pan est de la toiture, ainsi que la suppression du bâtiment ECA n° 619 et la remise en état du terrain naturel avec réensemencement du sol. Il conclut à titre subsidiaire au renvoi de la cause à l'instance cantonale précédente pour nouvelle décision dans le sens des considérants.
La Cour de droit administratif et public se réfère à son arrêt. La Municipalité de Rougemont s'en remet à justice. A._ conclut au rejet du recours dans la mesure où il est recevable.
Invité à se déterminer, l'Office fédéral du développement territorial propose d'admettre le recours et d'annuler l'arrêt attaqué dans la mesure où il déclare disproportionnées les démolitions et remises en état des lieux exigées par le Service du développement territorial.
L'intimé et l'Etat de Vaud ont répliqué.
Par ordonnance présidentielle du 24 février 2014, la requête d'effet suspensif a été rejetée.

Considérant en droit :
1.
La contestation porte sur un ordre de démolition et de remise en état en zone agricole. Selon l'art. 34 al. 1 let. b et c LAT, le recours en matière de droit public est alors recevable si la décision attaquée, prise en dernière instance cantonale, porte sur la reconnaissance de la conformité à l'affectation de la zone de constructions sises hors de la zone à bâtir ou encore sur des demandes de dérogation en vertu des art. 24 à 24d LAT. Ces conditions sont réunies en l'occurrence. La légitimation de l'Etat de Vaud résulte de l'art. 89 al. 2 let. d LTF en relation avec l'art. 34 al. 2 let. b et c LAT. Point n'est besoin qu'il justifie en plus d'un intérêt digne de protection au sens de l'art. 89 al. 1 let. c LTF (<ref-ruling> consid. 2.2.2 p. 57). Il suffit en effet que l'autorité qui recourt soulève, comme en l'espèce, des questions juridiques concrètes, relatives à un cas particulier (arrêt 1C_497/2010 du 30 mai 2011 consid. 1.2). Formé en temps utile contre un arrêt rendu en dernière instance cantonale, le recours est recevable au regard des art. 86 al. 1 let. d et 100 al. 1 LTF.
2.
L'intimé a requis la tenue d'une inspection locale afin de permettre au Tribunal fédéral de constater " l'inconsistance de l'attitude de l'Etat de Vaud face aux circonstances concrètes " et la parfaite intégration des éléments bâtis qui justifient leur maintien. Le dossier cantonal contient des photographies du bâtiment ECA n° 619 dans l'état qui précédait son déplacement et dans son état actuel ainsi que des plans et des photographies du bâtiment ECA n° 620, qui sont suffisants pour statuer en connaissance de cause. Par ailleurs, l'arrêt attaqué a constaté la bonne intégration de ces bâtiments dans le paysage qui n'est pas remise en cause par le recourant. Dans ces conditions, il ne se justifie pas de procéder à une inspection des lieux.
3.
Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (art. 95 let. a et 106 al. 1 LTF). Il y procède en se fondant sur les faits constatés par l'autorité précédente (<ref-law>), à moins que ceux-ci n'aient été établis de façon manifestement inexacte, soit arbitraire, ou en violation du droit au sens de l'<ref-law> (<ref-law>). En revanche, il n'apprécie la violation des droits fondamentaux ou des dispositions de droit cantonal que si ce grief a été invoqué et motivé conformément au principe d'allégation (<ref-law>; <ref-ruling> consid. 3 p. 351).
Le Tribunal fédéral s'impose une certaine retenue lorsqu'il doit se prononcer sur de pures questions d'appréciation ou tenir compte de circonstances locales, dont les autorités locales ont une meilleure connaissance que lui (<ref-ruling> consid. 6.1 p. 181; <ref-ruling> consid. 4.1 p. 344). C'est notamment le cas lorsqu'il s'agit d'apprécier les questions du respect de l'identité d'un bâtiment et de son esthétique (cf. arrêts 1C_660/2012 du 16 octobre 2013 consid. 6.2 et 1C_559/2010 du 18 mai 2011 consid. 3.4.1).
4.
L'intimé reproche à la Cour de droit administratif et public d'avoir nié à tort sa qualité d'agriculteur et, par conséquent, la destination agricole du bâtiment ECA n° 620, lorsque les travaux de rénovation ont été mis à l'enquête publique en 1990. Il se serait installé avec son épouse aux Herbelans dans les années 1970 pour y exercer une activité de berger et de gardien de génisses d'abord à plein temps, puis à mi-temps à partir de 1980 jusqu'à sa séparation avec son épouse qui a continué cette activité.
La cour cantonale n'a pas ignoré ces faits qui avaient été allégués dans les dernières écritures de l'intimé. Elle a nié que ce dernier exerçait l'activité d'agriculteur à quelque moment que ce soit, relevant qu'il ne faisait qu'affirmer avoir travaillé à ce titre mais n'établissait d'aucune manière que tel a été le cas, en particulier que son activité, même en y ajoutant l'aide occasionnelle de l'un ou l'autre membre de sa famille, atteignait le niveau de 2'100 heures de travail par année requis par la jurisprudence (<ref-ruling> consid. 5c p. 313) pour qualifier une entreprise d'agricole au sens de la loi fédérale sur le droit foncier rural en vigueur jusqu'au 31 décembre 2003 (<ref-ruling> consid. 2d p. 276). Il ne démontrait pas que cette activité se caractérisait par un engagement durable, structuré et rentable de capitaux et de force de travail dans une mesure économiquement significative, comme l'exigeait la jurisprudence (arrêt 1A.256/2005 du 10 mars 2006 consid. 2.1). Il avait d'ailleurs lui-même relevé que l'agriculture n'était plus exercée à cet endroit depuis des décennies et que la parcelle en elle-même ne se prêtait pas à l'agriculture en raison de sa configuration et de sa géométrie. L'ancien régisseur du bâtiment ECA n° 620 avant son acquisition par les époux A._ avait au surplus précisé à l'audience que l'intimé avait acquis quelques bêtes, mais que cette activité avait toujours été très accessoire.
L'intimé se borne à rappeler les éléments qui fonderaient selon lui sa qualité d'exploitant d'agricole sans chercher à établir en quoi la motivation retenue dans l'arrêt attaqué pour conclure qu'ils n'étaient pas suffisants pour l'admettre serait arbitraire ou d'une autre manière non conforme au droit. Il ne prétend en particulier pas que la cour cantonale serait partie d'une fausse conception de la notion d'entreprise agricole ou qu'elle se serait fondée sur une jurisprudence erronée. Il n'a fourni aucune indication sur les activités déployées parallèlement à l'élevage et à la garde de bétail et de chevaux et sur les revenus qu'il en tirait pour admettre que cette activité revêtait un caractère prépondérant et n'était pas très accessoire comme l'a retenu la cour cantonale en se fondant sur les propos de l'ancien régisseur du bâtiment ECA n° 620. Il n'a pas davantage produit de documents qui auraient permis d'établir que l'activité déployée avec son épouse lorsqu'il résidait aux Herbelans répondait aux exigences d'une entreprise agricole ni que les revenus qu'il a pu en tirer suffisaient à couvrir ses besoins et ceux de sa famille et que l'existence de l'exploitation pouvait être assurée à long terme (cf. <ref-ruling> consid. 2b p. 112, pour l'ancien droit; art. 34 al. 4 let. c OAT, pour le nouveau droit).
Cela étant, sur la base des éléments dont elle disposait à l'issue de l'instruction, la cour cantonale a à juste titre refusé de considérer l'intimé comme un exploitant agricole et de retenir que les travaux de rénovation réalisés sans droit dans le bâtiment ECA n° 620 étaient de ce fait conformes à la zone agricole et pouvaient être régularisés par le biais d'une autorisation ordinaire au sens de l'art. 22 LAT. Pour la même raison, la grange litigieuse ne pouvait être tenue pour conforme à l'affectation agricole de la zone en tant que construction servant à l'exploitation agricole.
5.
L'Etat de Vaud considère qu'en annulant l'ordre de remise en état qu'il avait prononcé, la Cour de droit administratif et public a violé le droit fédéral et, en particulier, le principe de la proportionnalité.
5.1. Selon une jurisprudence bien établie, lorsque des constructions ou des installations illicites sont réalisées en dehors de la zone à bâtir, le droit fédéral exige en principe que soit rétabli un état conforme au droit. L'autorité renonce à une telle mesure, conformément au principe de la proportionnalité, si les dérogations à la règle sont mineures, si l'intérêt public lésé n'est pas de nature à justifier le dommage que la démolition causerait au maître de l'ouvrage, si celui-ci pouvait de bonne foi se croire autorisé à construire ou encore s'il y a des chances sérieuses de faire reconnaître la construction comme conforme au droit (<ref-ruling> consid. 6 p. 35; <ref-ruling> consid. 3a/bb p. 252). Celui qui place l'autorité devant un fait accompli doit s'attendre à ce que celle-ci se préoccupe plus de rétablir une situation conforme au droit que d'éviter les inconvénients qui en découlent pour lui (ATF <ref-ruling> consid. 4a p. 255; <ref-ruling> consid. 6b p. 224).
5.2. Le recourant requiert la suppression de l'agrandissement réalisé le long de la façade ouest du bâtiment ECA n° 620, la remise en état du terrain correspondant ainsi que la suppression de la lucarne érigée sur le pan ouest de la toiture du bâtiment ou sur le pan est, au choix de l'intimé.
La Cour de droit administratif et public a retenu que A._ ne pouvait pas se prévaloir de sa bonne foi s'agissant tant des travaux d'agrandissement effectués sur la partie ouest du bâtiment ECA n° 620 que de la lucarne ouest. Elle a cependant relevé que cette extension, d'une surface de moins de 20 mètres carrés, ne faisait que reprendre la place occupée auparavant par un ancien boiton et qu'elle ne modifiait de ce fait pas fondamentalement l'aspect du bâtiment d'habitation. L'intérêt public en cause n'était en outre pas tel qu'il s'opposait au maintien de l'extension et de la lucarne ouest, sachant que leur démolition nécessiterait des travaux importants et coûteux, estimés à plus de 200'000 fr., dont en particulier la démolition de la façade ouest, l'ouverture du carrelage au sol et la modification des serpentins du chauffage au sol, ainsi que des travaux de charpente, de couverture et de sous-couverture. A cela s'ajoute que l'entier des éléments de façade devrait être reconstruit et que le raccordement à la toiture serait à reprendre intégralement. Il était ainsi disproportionné d'exiger de l'intimé la démolition de l'extension ouest et la suppression de la lucarne ouest, ou alternativement de la lucarne est, du bâtiment ECA n° 620.
5.3. L'intimé considère à tort que l'extension ouest du bâtiment ECA n° 620 serait couverte par le permis de construire délivré le 19 mars 1991. Les plans soumis au Service de l'aménagement du territoire et autorisés par la Municipalité de Rougemont ne mentionnaient en effet pas cet élément. L'intimé ne saurait davantage se prévaloir de la présence d'un ancien boiton plus important à l'emplacement actuel de l'extension comme l'a retenu la cour cantonale. Cet ouvrage ne figurait pas comme élément existant à démolir que ce soit sur les plans déposés à l'appui de la demande de permis de construire ou sur les plans modifiés qui ont été soumis ultérieurement à la Municipalité de Rougemont. Il n'est ainsi pas établi que l'ancien boiton existait encore et n'avait pas été démoli quand l'intimé a déposé sa demande de rénovation totale du bâtiment ECA n° 620. Quoi qu'il en soit, même si tel avait été le cas, il n'était pas voué à l'habitation de sorte que l'extension litigieuse, qui fait partie intégrante du salon, a entraîné un changement d'affectation qui ne pouvait être autorisé qu'aux conditions fixées à l'art. 24 al. 2 aLAT, respectivement à l'<ref-law>, selon que l'on admet qu'elle a été réalisée peu après la délivrance du permis de construire, comme le prétend l'intimé, ou après l'octroi du permis d'habiter ainsi que l'a retenu la cour cantonale. Rien ne permet d'affirmer que le Service de l'aménagement du territoire aurait autorisé cette extension au titre de transformation partielle si elle lui avait été soumise. Au contraire, les travaux de rénovation autorisés en mars 1991 ont permis d'affecter au logement la moitié de la surface du bâtiment qui n'était jusqu'alors pas habitable et ont ainsi épuisé les possibilités d'extension et de transformation du bâtiment ECA n° 620 que ce soit en vertu du droit fédéral alors en vigueur (cf. <ref-ruling> consid. 3a p. 219 et les arrêts cités) ou du droit actuel (cf. <ref-law>). L'intimé s'écarte au surplus des faits retenus dans l'arrêt attaqué, sans que les conditions pour ce faire posées à l'<ref-law> soient réunies, lorsqu'il affirme que le bâtiment était déjà habitable dans son entier lors du dépôt de la demande de rénovation. Les plans d'enquête et le questionnaire particulier pour autorisation spéciale qu'il a signés avec son épouse en qualité de futurs acquéreurs indiquaient expressément que seule la partie ouest était habitable au rez et à l'étage, les combles étant utilisés comme galetas, ce que l'ancien régisseur du bâtiment a confirmé à l'audience. Aucune extension supplémentaire ultérieure de la surface bâtie n'était dès lors possible. Cela étant, il importe peu que l'extension litigieuse ait été réalisée avant le 1 er septembre 2000, date de l'entrée en vigueur de l'<ref-law>, comme le prétend l'intimé, car elle n'aurait pas pu être autorisée en application de l'art. 24 al. 2 aLAT.
Les dérogations au droit fédéral ne sont pas mineures puisque les possibilités de transformation et d'agrandissement disponibles selon le droit applicable étaient en toute hypothèse épuisées lorsque l'intimé a procédé à l'extension litigieuse. Il existe un intérêt public important, maintes fois rappelé par la jurisprudence, à ce que le principe de la séparation de l'espace bâti et non bâti, déduit aujourd'hui de l'art. 75 al. 1 Cst., soit respecté et à limiter le nombre et les dimensions des constructions en zone agricole (cf. <ref-ruling> consid. 6.4 p. 40; <ref-ruling> consid. 6b p. 225; arrêt 1A.301/2000 du 28 mai 2001 consid. 6c in ZBl 103/2002 p. 364). Il n'y a pas de chances sérieuses de faire reconnaître l'extension litigieuse comme conforme au droit en vigueur. De plus, l'intimé ne peut pas se prévaloir de sa bonne foi puisqu'il a procédé à cette extension sans être au bénéfice d'une autorisation de construire. Il importe à cet égard peu qu'elle était déjà réalisée lorsque le permis d'habiter a été délivré par la Municipalité de Rougemont. Cette décision ne saurait en effet lier le Service du développement territorial. Même si le permis d'habiter lui a été communiqué, ce qui ne ressort pas du dossier, il n'avait aucune raison de penser que ce permis couvrait des éléments qui n'étaient pas mentionnés dans les plans qui lui avaient été soumis et sur la base desquels il avait délivré son autorisation spéciale. Certes, l'intérêt privé de l'intimé est évident puisque le chalet est occupé à l'année par une famille qui pourrait devoir se loger ailleurs si la démolition de l'extension ouest devait être confirmée. La remise en état implique en outre des travaux importants et une somme conséquente de l'ordre de 160'000 fr. pour ce qui concerne cette extension selon le devis versé au dossier cantonal. Toutefois, il n'est pas à lui seul décisif, un ordre de démolition et de remise en état ayant été confirmé pour des montants bien plus importants (cf. entre autres, arrêt 1C_136/2009 du 4 novembre 2009, qui concernait la démolition d'une ancienne ferme rénovée sans autorisation et vouée à l'habitation d'un non-agriculteur pour un montant estimé à 300'000 francs). L'intimé se borne au surplus à affirmer sans chercher à le démontrer, pièces à l'appui, qu'il ne serait pas en mesure de supporter les frais de remise en état des lieux vu sa situation familiale et financière.
Dans ces conditions, l'arrêt attaqué s'écarte de manière injustifiée de la jurisprudence rendue en la matière et viole le droit fédéral en tant qu'il confirme le maintien de l'extension ouest du bâtiment ECA n° 620. L'ordre de démolition signifié à l'intimé par le Service du développement territorial doit être rétabli en ce qui concerne cet élément de construction.
5.4. S'agissant de la lucarne ouest, la Cour de droit administratif et public a relevé qu'elle figurait sur le second jeu de plans soumis à la Municipalité de Rougemont en juillet 1991 et qu'elle était réalisée lors de la délivrance du permis d'habiter en octobre 2000. Toutefois, la tolérance dont la Commune a fait preuve sur ce point à l'égard de l'intimé ne saurait lier l'autorité cantonale compétente en matière de constructions sises hors de la zone à bâtir, dont aucun élément au dossier ne permet de retenir qu'elle aurait eu connaissance de la création d'une seconde lucarne non autorisée et qu'elle l'aurait tolérée de manière à engager sa bonne foi. A l'audience, le Service du développement territorial a précisé que A._ pouvait choisir laquelle des deux lucarnes il entendait démolir. La Cour de droit administratif et public a déduit d'une telle proposition, qualifiée de surprenante, que la suppression de la lucarne ouest n'était pas indispensable. Cette argumentation n'est pas plus convaincante. Le Service du développement territorial n'a jamais entendu formellement renoncer à la suppression de la lucarne ouest. Cependant, dans un esprit de conciliation et dans le souci de porter l'atteinte la moins grave aux intérêts du propriétaire, elle lui a permis d'opter pour la suppression de la lucarne est étant donné que cette mesure impliquait une intervention moins conséquente que celle de la lucarne ouest. Ce faisant, elle s'est bornée à prendre la mesure la plus apte à rétablir la situation conforme au droit. Pour le surplus, l'atteinte portée au droit fédéral n'est pas mineure puisque la réalisation d'une seconde lucarne a permis d'augmenter le volume habitable dans les combles alors que les travaux autorisés avaient épuisé le potentiel de transformation ou d'agrandissement du bâtiment. Les frais de démolition de la lucarne et de remise en état de la toiture estimés à 40'000 fr. sont plus modestes que les frais de suppression de l'extension selon le devis versé au dossier. Il n'est pas exclu qu'ils puissent être moins importants si l'intimé choisissait de supprimer la lucarne est. La suppression de l'une des deux lucarnes éclairant les combles du bâtiment ECA n° 620 ne porte ainsi pas une atteinte disproportionnée aux intérêts de l'intimé.
Sur ce point également, l'arrêt attaqué viole le droit fédéral et doit être réformé dans le sens des conclusions du Service du développement territorial visant à ce que soit supprimée la lucarne réalisée sur le pan ouest de la toiture de ce bâtiment ou, alternativement, la lucarne existante sur le pan est de la toiture.
5.5. L'Etat de Vaud conclut enfin à la suppression du bâtiment ECA n° 619 ainsi qu'à la remise en état du terrain avec le réensemencement du sol et la restitution de sa vocation antérieure.
La Cour de droit administratif et public a retenu à cet égard que si l'intimé ne pouvait pas se prévaloir de sa bonne foi et si le fenil-écurie n'était pas conforme à la zone agricole, celui-ci était toutefois utilisé par un agriculteur pour y ranger son foin et du matériel agricole. Erigé dans le respect des caractéristiques de l'ancien bâtiment, datant du XVIII ème siècle, il pouvait par ailleurs être assimilé à l'une des constructions agricoles typiques de Rougemont, réparties de manière dispersée sur le territoire. L'intérêt public à la protection d'un bâtiment que l'on peut considérer comme faisant partie du patrimoine bâti de la commune devait ainsi l'emporter sur l'intérêt public à une stricte application de la séparation entre zones à bâtir et zones inconstructibles, sachant en particulier que l'affectation de la grange s'apparente à une affectation agricole. Il serait ainsi disproportionné d'exiger de la part de l'intimé la suppression de la grange-écurie et la remise en état du terrain.
L'Etat de Vaud relève avoir déjà consenti d'importantes concessions en vertu du principe de la proportionnalité en renonçant à exiger la démolition du volume sis en sous-sol et de l'extension est du bâtiment ECA n° 620 ainsi que la remise en état des aménagements extérieurs. La violation établie du droit matériel dérogatoire fédéral et le principe d'égalité de traitement consacré à l'art. 8 Cst. exigeraient de se montrer strict dans l'application de ce principe, ce d'autant que l'intimé ne peut se prévaloir de sa bonne foi. Le Service de l'aménagement du territoire avait en effet informé A._ qu'il ne tolérerait que l'entretien de la grange à son emplacement actuel. L'intimé n'ignorait ainsi pas que l'autorité compétente en avait refusé le déplacement. Il l'a malgré tout démontée et l'a remontée à son emplacement actuel sans attendre de savoir si le Service de l'aménagement du territoire allait ou non revenir sur sa position à la suite de l'intervention de la Commune de Rougemont. Aucun élément probant ne vient corroborer son affirmation suivant laquelle le représentant du Service de l'aménagement du territoire aurait admis qu'il réalise une planie à l'emplacement actuel du bâtiment ECA n° 619 en vue d'un éventuel transfert auquel il s'était opposé quelques mois auparavant. Quoi qu'il en soit, c'est à juste titre que la cour cantonale a considéré que l'intimé ne pouvait pas se contenter de garanties données oralement à cet égard compte tenu du courrier du 21 juillet 2013 qui tolérait uniquement un changement d'affectation sans travaux de l'ancienne grange à l'exclusion de son déplacement et de sa reconstruction et qu'il n'était ainsi pas de bonne foi.
Comme l'a relevé la cour cantonale, le rural n'était plus utilisable conformément à sa destination au moment où l'intimé a procédé aux travaux litigieux de sorte que sa reconstruction n'était pas possible selon la jurisprudence alors en vigueur (<ref-ruling> consid. 3a p. 212) et toujours actuelle. Au demeurant, la jurisprudence alors en vigueur n'admettait la reconstruction d'un bâtiment à vocation agricole au titre de transformation partielle que pour autant qu'elle se fasse au même endroit (<ref-ruling> consid. 3a précité; <ref-ruling> consid. 3b p. 143; arrêt 1A.58/1991 du 19 décembre 1991 consid. 3c, qui confirmait un ordre de démolition d'un bâtiment démonté et reconstruit à 80 mètres de son emplacement originel). L'<ref-law> a codifié cette jurisprudence tout en admettant que l'implantation de la construction ou de l'installation de remplacement puisse légèrement différer de celle de la construction ou de l'installation antérieure si des raisons objectives l'exigent. Tel n'est pas le cas en l'occurrence où le déplacement de l'ancienne grange relève de la convenance personnelle de l'intimé qui ne pouvait accéder au bâtiment au moyen d'un véhicule automobile. Ainsi le bâtiment ECA n° 619 ne pouvait bénéficier de la garantie de la situation acquise du fait qu'il n'était plus utilisable conformément à son affectation et qu'il a été déplacé de plus de huitante mètres. Il ne pouvait être autorisé en tant que construction nouvelle sur la base des art. 24 ss LAT ce que l'intimé ne conteste pas. Enfin, comme l'a relevé le représentant de l'Etat de Vaud à l'audience, le bâtiment actuel est démontable et réutilisable ailleurs par un agriculteur.
Cela étant, la Cour de droit administratif et public a fait une appréciation erronée du principe de la proportionnalité en considérant que l'intérêt public à la protection et à la sauvegarde du patrimoine bâti l'emportait sur l'intérêt public à éviter l'édification de nouvelles constructions hors de la zone à bâtir et qu'il s'opposait à la démolition de l'ancienne grange.
6.
Le recours doit par conséquent être admis. Il convient d'annuler l'arrêt attaqué et d'impartir à A._ un nouveau délai de six mois à partir de la notification du présent arrêt pour procéder à la remise en état des lieux dans le sens des conclusions prises par l'Etat de Vaud. La Cour de céans renoncera à faire usage de la faculté prévue aux art. 67 et 68 al. 5 LTF et renverra la cause à l'autorité précédente pour qu'elle statue sur les frais et dépens de la procédure menée devant elle.
Vu l'issue du recours, les frais judiciaires seront mis à la charge de l'intimé, qui succombe (art. 65 al. 1 et 66 al. 2 et 3 LTF). L'Etat de Vaud ne saurait prétendre à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. L'arrêt attaqué est annulé. Un délai de six mois suivant la notification du présent arrêt est imparti à A._ pour démolir l'extension réalisée le long de la façade ouest du bâtiment ECA n° 620 et remettre en état le terrain naturel, pour supprimer la lucarne réalisée sur le pan ouest de la toiture de ce bâtiment ou, alternativement, la lucarne existante sur le pan est de la toiture, ainsi que pour supprimer le bâtiment ECA n° 619 et remettre en état le terrain naturel et réensemencer le sol.
2.
La cause est renvoyée à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud pour qu'elle statue sur le sort des frais et dépens de la procédure de recours cantonale.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de l'intimé.
4.
Il n'est pas alloué de dépens.
5.
Le présent arrêt est communiqué aux parties, au mandataire de la Municipalité de Rougemont, à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud et à l'Office fédéral du développement territorial.
Lausanne, le 30 juin 2015
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Fonjallaz
Le Greffier : Parmelin