Faits : A. A._ est propriétaire de la parcelle n° 169 du registre foncier de Rougemont, au lieu-dit "Les Herbelans". Ce bien-fonds de 27'326 mètres carrés, sis en zone agricole et alpestre, accueille un bâtiment agricole, construit au XVIII ème siècle (ECA n° 619), d'une surface de 53 mètres carrés, ainsi qu'une maison d'habitation édifiée en 1885 (ECA n° 620), d'une surface de 134 mètres carrés. B. Agissant en qualité de promettants-acquéreurs de la parcelle n° 169, A._ et son épouse ont déposé le 22 novembre 1990 une demande de permis de construire portant sur la rénovation totale du bâtiment ECA n° 620. Le projet visait, d'une part, à agrandir le logement de quatre pièces existant en créant une cuisine au rez-de-chaussée et deux chambres supplémentaires à l'étage et, d'autre part, à aménager une lucarne sur le pan est de la toiture pour éclairer les combles. Le Service de l'aménagement du territoire du canton de Vaud a délivré l'autorisation spéciale requise hors des zones à bâtir s'agissant de travaux de transformation qui pouvaient être admis comme " d'importance réduite " suivant l'art. 81 al. 4 de la loi vaudoise sur l'aménagement du territoire et les constructions. La Municipalité de Rougemont a délivré le permis de construire sollicité le 19 mars 1991 et le permis d'habiter le 5 octobre 2000. C. Le 14 avril 2003, A._ a déposé auprès de la Municipalité de Rougemont une demande préalable visant à déplacer le bâtiment ECA n° 619, sis à soixante mètres à l'ouest du bâtiment d'habitation, à une vingtaine de mètres à l'est de celui-ci et à procéder à des réparations urgentes. Le 21 juillet 2003, le Service de l'aménagement du territoire a relevé que si un changement d'affectation sans travaux au sens de l'art. 24a de la loi fédérale sur l'aménagement du territoire (LAT; RS 170) était possible, il ne pouvait s'étendre ni au déplacement ni à la reconstruction du bâtiment. Le 21 août 2003, la Municipalité lui a demandé de reconsidérer sa position. Cette intervention est restée sans réponse. Le 7 août 2008, la Municipalité est revenue à la charge en précisant que A._ avait effectué les travaux pendant l'automne 2003 et qu'elle soutenait cette démarche qui permettait de sauver un élément de son patrimoine. Le 4 juin 2009, elle a à nouveau demandé au Service du développement territorial, qui a succédé au Service de l'aménagement du territoire, de se prononcer. Le 11 juin 2009, elle l'a invité à se déterminer sur les possibilités d'agrandir le bâtiment ECA n° 620. Le 12 août 2009, le Service du développement territorial a informé la Municipalité que, s'agissant des travaux effectués sur le bâtiment ECA n° 619, qui n'avait plus d'usage agricole, seule une démolition du bâtiment, avec remise en état naturel du site, était à même de rétablir une situation conforme au droit. Il a accordé au propriétaire un délai au 15 septembre 2009 pour se déterminer. Il a également pris position sur les possibilités de transformation du bâtiment ECA n° 620 et prié la Municipalité de bien vouloir lui transmettre différentes informations. Le 28 avril 2010, A._ a demandé le fractionnement de la parcelle n° 169 pour une surface de 1'600 mètres carrés environ " afin de soustraire la maison qui n'a plus aucune affectation agricole du solde du terrain ". Le 17 novembre 2010, le Service du développement territorial a subordonné le prononcé de sa décision sur ce point à la suppression des travaux exécutés sans autorisation sur le bâtiment ECA n° 620 et à la remise en état des lieux. Le 14 janvier 2011, A._ a donné les informations en sa possession relatives à ce bâtiment. Il a prié le Service du développement territorial d'accepter le volume du bâtiment tel quel, sachant que sa surface habitable n'excédait apparemment pas ce qui pouvait être autorisé, de venir sur place pour tâcher de trouver un accord et de donner suite au fractionnement requis. D. Le 15 février 2011, le Service du développement territorial a imparti à A._ un délai au 31 octobre 2011 pour supprimer la grange-écurie ECA n° 619 et remettre en état le terrain (réensemencement), pour démolir les extensions est et ouest et supprimer la lucarne ouest du bâtiment ECA n° 620, ainsi que pour démolir et évacuer les constructions indépendantes se trouvant aux abords de ce bâtiment. A._ a recouru contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud. En cours de procédure, le Service du développement territorial a renoncé à exiger la démolition de l'extension est du bâtiment ECA n° 620 et la remise en état des aménagements extérieurs; il a aussi offert au recourant la possibilité de supprimer la lucarne est de ce bâtiment en lieu et place de la lucarne ouest aménagée sans autorisation. Statuant par arrêt du 17 décembre 2013, la Cour de droit administratif et public a annulé la décision du Service du développement territorial du 15 février 2011. E. Agissant par la voie du recours en matière de droit public, l'Etat de Vaud demande au Tribunal fédéral de signifier à A._ l'ordre de démolir, dans un délai de six mois suivant la notification de l'arrêt à intervenir, les travaux illicites qu'il a effectués d'autorité sur la parcelle n° 169, soit la démolition de l'agrandissement construit le long de la façade ouest du bâtiment ECA n° 620 et la remise en état du terrain naturel, la suppression de la lucarne réalisée sur le pan ouest de la toiture de ce bâtiment ou, alternativement, de la lucarne existante sur le pan est de la toiture, ainsi que la suppression du bâtiment ECA n° 619 et la remise en état du terrain naturel avec réensemencement du sol. Il conclut à titre subsidiaire au renvoi de la cause à l'instance cantonale précédente pour nouvelle décision dans le sens des considérants. La Cour de droit administratif et public se réfère à son arrêt. La Municipalité de Rougemont s'en remet à justice. A._ conclut au rejet du recours dans la mesure où il est recevable. Invité à se déterminer, l'Office fédéral du développement territorial propose d'admettre le recours et d'annuler l'arrêt attaqué dans la mesure où il déclare disproportionnées les démolitions et remises en état des lieux exigées par le Service du développement territorial. L'intimé et l'Etat de Vaud ont répliqué. Par ordonnance présidentielle du 24 février 2014, la requête d'effet suspensif a été rejetée.