Faits :
A.
A._ est propriétaire de la parcelle n° 4439, sise route du Vallon 71-73 à Chamby, sur la commune de Montreux, depuis le 26 juin 1987. Il l'a acquise par donation de sa mère B._. Classée en zone agricole, cette parcelle de 20'814 m 2 supporte un bâtiment construit en 1886 (ECA 2920), auquel est rattaché un "cabanon" ainsi qu'un bâtiment construit en 1983 (ECA 6926).
Le bâtiment ECA 2920 était initialement composé, au rez-de-chaussée, d'une partie située à l'est (côté route) destinée à une écurie. Au nord de l'écurie, était construit un réduit (couvert), ainsi qu'un poulailler. La partie ouest de ce bâtiment était destinée au logement. En 1951, B._ a obtenu l'autorisation d'agrandir la partie nord du bâtiment ECA 2920 pour y aménager des constructions liées à l'exploitation agricole (côté route) et un couvert. En 1976, la prénommée a reçu l'autorisation de la Municipalité de Montreux d'agrandir la partie habitable du bâtiment en réaménageant les espaces intérieurs du 1 er étage, ainsi qu'en aménageant les combles.
Après l'abandon de l'exploitation agricole de son père en 1985, A._ a démoli un poulailler et une remise construits en 1969. A une dizaine de mètres plus au nord, il a reconstruit, avec l'accord de la Municipalité de Montreux, un pavillon servant de modèle d'exposition pour sa clientèle, dans le cadre de l'activité professionnelle (maçon) qu'il exerçait. Le pavillon dispose d'un poêle et d'une alimentation en électricité pour la lumière et le réfrigérateur, mais n'est pas raccordé au réseau d'égouts et d'eau potable; il dispose en outre d'une petite isolation en toiture. L'emprise, la volumétrie et l'inclinaison de la toiture sont différentes de celles du bâtiment démoli.
Le 30 janvier 1992, A._ a obtenu l'autorisation de la Municipalité de Montreux, ainsi que celle des services cantonaux consultés (cf. synthèse CAMAC n°5843 du 19 novembre 1991), de réaliser un appartement de 4 pièces avec deux lucarnes en utilisant les volumes vides laissés par la grange non utilisée.
Toujours en 1992, A._ aurait créé, sans autorisation, un studio de 26 m2 comprenant des sanitaires et une cuisine au rez-de-chaussée à l'emplacement de l'ancien couvert en façade sud, ainsi qu'une chambre au 1e r étage. En 2003, le prénommé aurait encore entrepris, sans autorisation, les travaux de fermeture du couvert de la façade ouest, ce qui aurait permis d'agrandir l'appartement du rez-de-chaussée de 15,66 m 2.
Le 28 septembre 1983, B._ a obtenu l'autorisation de la Municipalité de Montreux, ainsi que celle notamment du Service de l'aménagement du territoire, pour la construction d'un garage pour deux voitures et d'un bureau de poste au rez-de-chaussée (ECA 6926); les combles de la construction sont mentionnées comme remise et sont accessibles par un trappon intérieur. Entre 1984 et 1985, des travaux portant sur la façade ouest auraient été réalisés; un escalier et un wc auraient été ainsi créés et la fenêtre des combles aurait été transformée en porte. En 1986, une remise pour un chasse- neige aurait été créée au nord. A._ aurait entrepris des travaux visant à rendre les combles habitables en 1998, à la suite de la fermeture du bureau de poste en 1997. L'intéressé aurait alors créé un logement dans les combles d'une surface d'environ 40 m 2 (cuisine-séjour, chambre et sanitaires) avec percement de deux fenêtres en façade ouest et d'un velux en toiture.
Le 20 mars 2009, A._ a demandé au Service du développement territorial (SDT) une autorisation de morcellement du sol, visant à fractionner la parcelle n° 4439. Lors de l'examen du dossier, le SDT a constaté que plusieurs travaux avaient été réalisés sans son autorisation. A._ s'est déterminé à ce sujet.
B.
Par décision du 20 décembre 2010, le SDT a ordonné plusieurs mesures en lien avec le bâtiment ECA 6926 (démolition de la remise nord; démolition en élévation ouest de l'escalier, de la terrasse et du local sous-jacent; réaffectation des combles en remise par la suppression des isolations en façade et en toiture, du chauffage, des amenées d'eau courante et des sanitaires et bouchage des fenêtres) et le bâtiment ECA 2920 et ses abords (désaffectation du studio par la suppression des isolations, du chauffage, des fenêtres, des amenées d'eau courante et des sanitaires; démolition du pavillon et remise en état du site, étant relevé que le SDT pourrait accepter un cabanon de jardin de 8 m 2 au maximum; places de parc ramenées à un maximum de six unités pour 3 appartements licites). En substance, le SDT a notamment considéré que le potentiel d'agrandissement sur le bâtiment ECA 2920 avait été dépassé lors des travaux effectués en 1991 (solde négatif de 83.3 m2), de sorte que le studio réalisé sans autorisation ne pouvait pas être régularisé. Par ailleurs, la transformation d'une simple remise en un pavillon d'exposition, ainsi que celle de l'ancienne remise (bâtiment ECA 6926) en local d'habitation ne pouvaient pas non plus être régularisées.
C.
Par arrêt du 13 février 2014, la Cour de droit administratif et public du Tribunal cantonal - après avoir procédé à une inspection locale en présence des parties le 12 juin 2013 - a très partiellement admis le recours formé par A._ contre la décision du SDT. En substance, l'instance précédente a confirmé sur le principe la suppression de l'appartement réalisé dans les combles du bâtiment de la poste (ECA 6926) et la réaffectation des combles en remise; en application du principe de la proportionnalité, elle a toutefois estimé qu'il suffisait de supprimer les arrivées d'eau courante et d'évacuer les appareils sanitaires pour garantir que les locaux ne seront pas utilisés à des fins d'habitation; le chauffage, les isolations en façade et toiture, les petites ouvertures créées en façade ouest et le velux pouvaient aussi être conservés, de même que l'escalier extérieur, la terrasse et le local sous-jacent (cf. ch. II du dispositif de l'arrêt cantonal). Pour le surplus, elle a confirmé la décision du SDT concernant l'immeuble ECA 2920 et ses abords. La cour cantonale a enfin reporté au 31 octobre 2014 le délai d'exécution pour procéder à la remise en état.
D.
Par acte du 17 mars 2014, A._ forme un recours en matière de droit public par lequel il conclut à la réforme de l'arrêt entrepris en ce sens qu'il est renoncé à exiger la réaffectation des combles de l'immeuble ECA 6926 en remise par la suppression des amenées d'eau courante et des sanitaires (1), l'enlèvement du pavillon de jardin (2) et la suppression des isolations et du chauffage du studio dans le bâtiment ECA 2920 (3). Subsidiairement, il conclut au renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants.
Le Tribunal cantonal et la Municipalité ont renoncé à formuler des déterminations. Le SDT et l'Office fédéral du développement territorial (OFDT) ont déposé des observations; l'OFDT s'interrogeait notamment sur l'efficacité des mesures réduites de remise en état ordonnées par le Tribunal cantonal en relation avec l'appartement construit au-dessus de l'ancienne poste, jugeant que les surfaces habitables pourrait être aisément recréées; le SDT estimait, quant à lui, ces mesures insuffisantes.
Par ordonnance du 8 avril 2014, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif, formulée par le recourant.

Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public de l'aménagement du territoire et des constructions (<ref-law>), le recours est en principe recevable comme recours en matière de droit public selon les <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Le recourant a pris part à la procédure de recours devant le Tribunal cantonal. Il est particulièrement touché par l'arrêt attaqué confirmant l'ordre de démolition et de remise en état concernant certains aménagements réalisés sur ses bâtiments. Il peut ainsi se prévaloir d'un intérêt personnel et digne de protection à l'annulation de l'arrêt attaqué. Il a dès lors qualité pour agir au sens de l'<ref-law>. Les autres conditions de recevabilité sont par ailleurs réunies, si bien qu'il y a lieu d'entrer en matière.
2.
Dans un premier moyen, le recourant fait grief à la cour cantonale de ne pas avoir examiné le droit applicable au bâtiment de l'ancienne poste (ECA 6926). Il soutient en substance que les travaux effectués en lien avec l'aménagement d'un appartement dans les combles de ce bâtiment auraient pu être autorisés en application de l'art. 24 al. 2 de la loi fédérale sur l'aménagement du territoire dans sa teneur en vigueur jusqu'au 31 août 2000 (art. 24 al. 2 aLAT); à ses yeux, ces travaux devaient être admis à titre de transformation partielle au sens de cette disposition. La cour cantonale aurait à tort examiné l'admissibilité de ces travaux à la lumière de l'art. 24c LAT.
2.1. Dans une procédure de régularisation, l'autorisation ne peut être accordée que si la construction n'est pas matériellement illégale, cette question s'examinant en principe selon le droit applicable au moment où les travaux ont été effectués. On applique toutefois le droit en vigueur au moment où l'autorité statue si celui-ci est plus favorable au recourant (<ref-ruling> consid. 2b p. 211; <ref-ruling> consid. 3a/bb p. 252; <ref-ruling> consid. 4 p. 69).
2.1.1. Selon l'art. 24c LAT, les constructions et installations, sises hors de la zone à bâtir, qui peuvent être utilisées conformément à leur destination mais qui ne sont plus conformes à l'affectation de la zone bénéficient en principe de la garantie de la situation acquise (al. 1). L'autorité compétente peut autoriser la rénovation de telles constructions et installations, leur transformation partielle, leur agrandissement mesuré ou leur reconstruction, pour autant que les bâtiments aient été érigés ou transformés légalement (al. 2).
Le champ d'application de l'art. 24c LAT est restreint aux constructions et aux installations sises hors de la zone à bâtir, qui ne sont plus conformes à l'affectation de la zone à la suite d'un changement de réglementation. La garantie de la situation acquise ne profite ainsi qu'aux constructions érigées ou transformées de manière conforme au droit matériel en vigueur à l'époque (art. 41 de l'ordonnance du 28 juin 2000 sur l'aménagement du territoire [OAT; RS 700.1]; <ref-ruling> consid. 4.2.1 p. 398; <ref-ruling> consid. 2c p. 212), soit avant le 1 er juillet 1972, date de l'entrée en vigueur de la loi fédérale du 8 octobre 1971 sur la protection des eaux contre la pollution qui a introduit expressément le principe de la séparation du territoire bâti et non bâti (<ref-ruling> consid. 4.2.1 p. 398).
2.1.2. Quant à l'art. 24 al. 2 aLAT, dans sa teneur en vigueur jusqu'au 31 août 2000, il dispose que le droit cantonal peut autoriser, hors des zones à bâtir, la rénovation de constructions ou d'installations, leur transformation partielle ou leur reconstruction pour autant que ces travaux soient compatibles avec les exigences majeures de l'aménagement du territoire. Selon la jurisprudence rendue en application de l'art. 24 al. 2 aLAT, la transformation d'une construction existante peut consister aussi bien en un agrandissement ou en une transformation intérieure qu'en un changement d'affectation. Elle est partielle lorsque la modification apportée à l'ouvrage est mineure, en comparaison avec l'état de celui-ci avant les travaux, qu'elle respecte l'identité du bâtiment et qu'elle n'entraîne pas d'effets notables sur l'affectation du sol, l'équipement ou l'environnement. Par ailleurs, la nouvelle utilisation ne doit pas diverger fondamentalement de l'ancienne, ni impliquer une destination économique entièrement nouvelle (arrêt 1A.247/1997 du 15 janvier 1998 consid. 2 in RDAF 1998 I 158 et les arrêts cités; cf. également DFJP/OFAT, Etude relative à la loi fédérale sur l'aménagement du territoire, Berne 1981, n°s 35 à 42 ad art. 24 LAT).
Contrairement à l'art. 24c LAT, l'art. 24 al. 2 aLAT n'est pas limité aux constructions qui ne sont plus conformes à l'affectation de la zone à la suite d'un changement de réglementation. Cette disposition vise également les constructions édifiées à l'origine en vertu d'un permis ordinaires ou spécial qui doivent être modifiées, alors même que ces modifications ne sont pas conformes à l'affectation de la zone et que le droit reste inchangé (cf. DFJP/OFAT, op. cit. n° 29 let. a ad art. 24 LAT).
2.2. Selon l'arrêt entrepris, le bâtiment postal a été autorisé en 1983. Les travaux visant à rendre les combles habitables auraient, quant à eux, été entrepris en 1998 à la suite de la fermeture de la poste en 1997. En l'occurrence, que l'on applique l'ancien ou le nouveau droit, la réalisation d'un logement dans les combles du bâtiment de l'ancienne poste ne peut être régularisée. En effet, la cour cantonale a, à juste titre, relevé que le recourant ne pouvait pas se prévaloir de la garantie de la situation acquise découlant de l'art. 24c LAT dès lors que le bâtiment de l'ancienne poste avait été construit après 1972. De plus, l'art. 24c LAT ne s'applique que pour les constructions transformées légalement (cf. 1C_318/2013 du 10 décembre 2013 consid 4.2 in SJ 2014 I 280 et la référence citée), ce qui n'est manifestement pas le cas de la transformation des combles (remise) en habitation. Par ailleurs, sous l'angle de l'ancien droit, la transformation de la remise en habitation ne saurait constituer une "transformation partielle" au sens de l'art. 24 al. 2 aLAT. Ce changement total d'affectation de l'ouvrage existant n'est pas admissible au regard de cette disposition (cf. DFJP/ OFAT, op. cit., n°s 38 et 41 ad art. 24 LAT).
Enfin, le recourant ne prétend pas, à juste titre, que l'implantation du logement hors de la zone à bâtir soit imposée par sa destination (cf. art. 24 let. a LAT qui correspond à l'ancien art. 24 al. 1 let. a LAT en vigueur jusqu'au 31 août 2000). Le recours est donc mal fondé sur ce point.
3.
Invoquant le principe de la proportionnalité et de la garantie constitutionnelle de la propriété, le recourant reproche à l'instance précédente de ne pas avoir renoncé à la réaffectation des combles du bâtiment ECA 6926 en remise.
3.1. Selon la jurisprudence, l'ordre de démolir une construction édifiée sans droit et pour laquelle une autorisation ne peut être accordée n'est en soi pas contraire au principe de la proportionnalité. L'autorité renonce à une telle mesure si les dérogations à la règle sont mineures, si l'intérêt public lésé n'est pas de nature à justifier le dommage que la démolition causerait au maître de l'ouvrage, si celui-ci pouvait de bonne foi se croire autorisé à construire ou encore s'il y a des chances sérieuses de faire reconnaître la construction comme conforme au droit (<ref-ruling> consid. 6 p. 35 ; <ref-ruling> consid. 3a/bb p. 252; <ref-ruling> consid. 6b p. 224 s.; <ref-ruling> consid. 4 p. 69). Celui qui place l'autorité devant un fait accompli doit s'attendre à ce que celle-ci se préoccupe plus de rétablir une situation conforme au droit que d'éviter les inconvénients qui en découlent pour lui (ATF <ref-ruling> consid. 4a p. 255; <ref-ruling> consid. 6b p. 224).
3.2. En l'espèce, l'ordre de réaffectation des combles du bâtiment ECA en remise poursuit des intérêts publics évidents, à savoir le respect de la séparation de l'espace bâti et non bâti. Cette séparation doit, en dehors des exceptions prévues par la loi, demeurer d'application stricte (<ref-ruling> consid. 6.4 p. 40; arrêt 1A.301/2000 du 28 mai 2001 consid. 6c publié in ZBl 103/2002 p. 364). Quoi qu'en pense le recourant, la transformation en zone agricole d'une ancienne remise en local d'habitation de 40 m 2, avec percement de deux fenêtres en façade et d'un velux en toiture, ne peut être qualifiée de dérogation mineure au sens de la jurisprudence précitée. Par ailleurs, le bâtiment principal (ECA 2920) édifié sur la même parcelle excède déjà - en raison des travaux effectué en 1976 et 1991 - le potentiel maximal d'agrandissement des surfaces habitables. L'intérêt public au rétablissement d'un état licite l'emporte sur les intérêts privés financiers invoqués par le recourant. Le fait que celui-ci soit privé d'un revenu locatif après le départ de la poste ne lui permet pas de s'affranchir des règles prévalant en matière d'aménagement du territoire. Il ne saurait en particulier être question de compenser la surface initialement destinée à l'activité postale par la création d'une habitation dans les combles. Comme indiqué par la cour cantonale, le départ de la poste ne saurait justifier une atteinte au principe selon lequel la zone agricole n'est pas destinée à l'habitation. A cet égard, il convient de relever, avec l'instance précédente, que le recourant conserve la possibilité d'exploiter le rez-de-chaussé du bâtiment puisqu'il l'utilise comme atelier et comme garage. L'intéressé ne saurait enfin se prévaloir de la pénurie de logements frappant la région lémanique pour justifier une dérogation à l'intérêt public précité.
L'ordre de réaffectation des combles en remise n'est dès lors pas disproportionné, étant relevé que la cour cantonale a appliqué de façon généreuse le principe de la proportionnalité en renonçant notamment à exiger la suppression du velux et des petites ouvertures créées en façade, de même que celle du chauffage, des isolations en façade et en toiture et de l'escalier extérieur.
3.3. Enfin, le recourant ne peut pas se prévaloir de la garantie constitutionnelle de la propriété. Celle-ci ne protège en effet que l'exercice légal de la propriété privée (ATF <ref-ruling> consid. 6c p. 225; <ref-ruling> consid. 2a p. 264; <ref-ruling> consid. 3c p. 336). Or, l'habitation litigieuse a été construite sans autorisation valable, de sorte qu'elle est utilisée en violation du droit de propriété et ne peut donc bénéficier de cette garantie constitutionnelle.
4.
Le recourant invoque également une violation du principe de la proportionnalité en lien avec l'ordre de désaffectation du studio réalisé dans le bâtiment ECA 2920. Il ne conteste pas que ce studio ne peut pas être régularisé. Il estime en revanche que les mesures ordonnées sont disproportionnées: il suffirait d'exiger la remise en état des fenêtres et la suppression des amenées d'eau. Comme elle l'a fait s'agissant de l'appartement réalisé dans les combles du bâtiment ECA 6926, la cour cantonale devrait renoncer à exiger la suppression du chauffage et des isolations; il serait inutile et onéreux de le contraindre à refaire une nouvelle isolation entre le studio et le bâtiment attenant.
En l'occurrence, les mesures contestées ordonnées par le SDT (suppression du chauffage et des isolations) et confirmées par la cour cantonale constituent des mesures préventives tendant à empêcher que l'appartement litigieux soit à nouveau rendu habitable. De telles mesures sont admissibles s'il est à craindre que, compte tenu des circonstances du cas d'espèce, une récidive soit possible. Tel est le cas en l'espèce dès lors que l'appartement litigieux, sis en zone agricole, est attenant au bâtiment principal. En l'état du dossier, il est correct d'exiger de celui qui a enfreint la loi qu'il rétablisse l'état antérieur, de telle façon que l'autorité ne soit pas contrainte de vérifier si cette interdiction est respectée. Dans la mesure où le recourant n'était pas de bonne foi, l'instance précédente pouvait accorder une importance accrue au rétablissement d'une situation conforme au droit sans se préoccuper outre mesure des inconvénients liés à la suppression des aménagements réalisés sans autorisation. Le recourant ne saurait en particulier se prévaloir des mesures moins incisives, finalement prononcées par la cour cantonale, portant sur le logement situé dans les combles du bâtiment de l'ancienne poste. Enfin, si l'intéressé affirme qu'il serait onéreux de refaire une isolation entre le studio et les appartements attenants, il ne prétend pas que cela le mettrait en difficulté financièrement. Les mesures de remise en état ordonnées en lien avec la désaffectation du studio litigieux apparaissent dès lors conformes au principe de la proportionnalité. Ce moyen doit également être rejeté.
5.
Le recourant s'oppose enfin à l'ordre de démolition du cabanon érigé en 1985, invoquant le délai de péremption de 30 ans.
5.1. Selon la jurisprudence, la compétence d'exiger la démolition d'une installation pour rétablir une situation conforme au droit est soumise en principe à un délai de péremption de trente ans; exceptionnellement, cette compétence peut être exercée au-delà du délai en question si des motifs de police au sens strict imposent une telle mesure et, inversement, l'autorité peut en être déchue avant l'écoulement des trente ans lorsque le principe de la bonne foi le commande (cf. arrêts 1C_726/2013 du 24 novembre 2014 consid. 4 et 1C_318/2013 du 10 décembre 2013 consid. 4.1.2 in: SJ 2014 I 280 et les références citées).
5.2. Selon l'arrêt entrepris, la construction réalisée en 1985, en remplacement de celle qui avait été démolie, a été agrandie et déplacée et elle dispose d'une cuisinette (poêle, évier et réfrigérateur); l'affectation actuelle du pavillon - carnotzet pour les locataires - n'a par ailleurs plus rien à voir avec celle de la construction originale. Le Tribunal cantonal a en outre constaté, lors de l'inspection locale, que la typologie de cette construction dénaturait les lieux, en raison de ses caractéristiques ne correspondant à aucune construction du secteur, soit en particulier la toiture à quatre pans et la forme des fenêtres.
Pour s'opposer à l'ordre de démolition du pavillon, le recourant se contente d'affirmer que le cabanon a été érigé en 1985 (soit il y a près de 30 ans), qu'il s'agirait d'une dépendance de peu d'importance au regard du bâtiment principal, qui ne serait pas habitable et qui serait implantée en retrait par rapport à la route. En l'occurrence, le droit de l'autorité d'exiger la démolition du cabanon non approuvé par le SDT n'était pas périmé lorsque celui-ci a statué en 2010. Le recourant ne se prévaut d'aucun élément qui permettrait de considérer que l'autorité cantonale était déchue du droit d'exiger la démolition du pavillon. L'intéressé ne soutient en particulier pas qu'il ignorait que cette construction aurait dû faire l'objet d'une autorisation de l'autorité cantonale compétente, ni que cette dernière connaissait son existence. Le recours doit dès lors également être rejeté sur ce point.
6.
Sur le vu de ce qui précède, le recours doit être rejeté. L'ordre de remise en état prononcé par le Tribunal cantonal est maintenu, sous réserve du délai d'exécution qui sera reporté. Le recourant, qui succombe, doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Le délai d'exécution fixé au ch. III du dispositif de l'arrêt attaqué est reporté au 30 novembre 2015.
3.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux mandataires du recourant et du Service du développement territorial du canton de Vaud, à la Municipalité de Montreux, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Office fédéral du développement territorial.
Lausanne, le 17 mars 2015
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant : Merkli
La Greffière : Arn