Faits : A. A._ est propriétaire de la parcelle n° 4439, sise route du Vallon 71-73 à Chamby, sur la commune de Montreux, depuis le 26 juin 1987. Il l'a acquise par donation de sa mère B._. Classée en zone agricole, cette parcelle de 20'814 m 2 supporte un bâtiment construit en 1886 (ECA 2920), auquel est rattaché un "cabanon" ainsi qu'un bâtiment construit en 1983 (ECA 6926). Le bâtiment ECA 2920 était initialement composé, au rez-de-chaussée, d'une partie située à l'est (côté route) destinée à une écurie. Au nord de l'écurie, était construit un réduit (couvert), ainsi qu'un poulailler. La partie ouest de ce bâtiment était destinée au logement. En 1951, B._ a obtenu l'autorisation d'agrandir la partie nord du bâtiment ECA 2920 pour y aménager des constructions liées à l'exploitation agricole (côté route) et un couvert. En 1976, la prénommée a reçu l'autorisation de la Municipalité de Montreux d'agrandir la partie habitable du bâtiment en réaménageant les espaces intérieurs du 1 er étage, ainsi qu'en aménageant les combles. Après l'abandon de l'exploitation agricole de son père en 1985, A._ a démoli un poulailler et une remise construits en 1969. A une dizaine de mètres plus au nord, il a reconstruit, avec l'accord de la Municipalité de Montreux, un pavillon servant de modèle d'exposition pour sa clientèle, dans le cadre de l'activité professionnelle (maçon) qu'il exerçait. Le pavillon dispose d'un poêle et d'une alimentation en électricité pour la lumière et le réfrigérateur, mais n'est pas raccordé au réseau d'égouts et d'eau potable; il dispose en outre d'une petite isolation en toiture. L'emprise, la volumétrie et l'inclinaison de la toiture sont différentes de celles du bâtiment démoli. Le 30 janvier 1992, A._ a obtenu l'autorisation de la Municipalité de Montreux, ainsi que celle des services cantonaux consultés (cf. synthèse CAMAC n°5843 du 19 novembre 1991), de réaliser un appartement de 4 pièces avec deux lucarnes en utilisant les volumes vides laissés par la grange non utilisée. Toujours en 1992, A._ aurait créé, sans autorisation, un studio de 26 m2 comprenant des sanitaires et une cuisine au rez-de-chaussée à l'emplacement de l'ancien couvert en façade sud, ainsi qu'une chambre au 1e r étage. En 2003, le prénommé aurait encore entrepris, sans autorisation, les travaux de fermeture du couvert de la façade ouest, ce qui aurait permis d'agrandir l'appartement du rez-de-chaussée de 15,66 m 2. Le 28 septembre 1983, B._ a obtenu l'autorisation de la Municipalité de Montreux, ainsi que celle notamment du Service de l'aménagement du territoire, pour la construction d'un garage pour deux voitures et d'un bureau de poste au rez-de-chaussée (ECA 6926); les combles de la construction sont mentionnées comme remise et sont accessibles par un trappon intérieur. Entre 1984 et 1985, des travaux portant sur la façade ouest auraient été réalisés; un escalier et un wc auraient été ainsi créés et la fenêtre des combles aurait été transformée en porte. En 1986, une remise pour un chasse- neige aurait été créée au nord. A._ aurait entrepris des travaux visant à rendre les combles habitables en 1998, à la suite de la fermeture du bureau de poste en 1997. L'intéressé aurait alors créé un logement dans les combles d'une surface d'environ 40 m 2 (cuisine-séjour, chambre et sanitaires) avec percement de deux fenêtres en façade ouest et d'un velux en toiture. Le 20 mars 2009, A._ a demandé au Service du développement territorial (SDT) une autorisation de morcellement du sol, visant à fractionner la parcelle n° 4439. Lors de l'examen du dossier, le SDT a constaté que plusieurs travaux avaient été réalisés sans son autorisation. A._ s'est déterminé à ce sujet. B. Par décision du 20 décembre 2010, le SDT a ordonné plusieurs mesures en lien avec le bâtiment ECA 6926 (démolition de la remise nord; démolition en élévation ouest de l'escalier, de la terrasse et du local sous-jacent; réaffectation des combles en remise par la suppression des isolations en façade et en toiture, du chauffage, des amenées d'eau courante et des sanitaires et bouchage des fenêtres) et le bâtiment ECA 2920 et ses abords (désaffectation du studio par la suppression des isolations, du chauffage, des fenêtres, des amenées d'eau courante et des sanitaires; démolition du pavillon et remise en état du site, étant relevé que le SDT pourrait accepter un cabanon de jardin de 8 m 2 au maximum; places de parc ramenées à un maximum de six unités pour 3 appartements licites). En substance, le SDT a notamment considéré que le potentiel d'agrandissement sur le bâtiment ECA 2920 avait été dépassé lors des travaux effectués en 1991 (solde négatif de 83.3 m2), de sorte que le studio réalisé sans autorisation ne pouvait pas être régularisé. Par ailleurs, la transformation d'une simple remise en un pavillon d'exposition, ainsi que celle de l'ancienne remise (bâtiment ECA 6926) en local d'habitation ne pouvaient pas non plus être régularisées. C. Par arrêt du 13 février 2014, la Cour de droit administratif et public du Tribunal cantonal - après avoir procédé à une inspection locale en présence des parties le 12 juin 2013 - a très partiellement admis le recours formé par A._ contre la décision du SDT. En substance, l'instance précédente a confirmé sur le principe la suppression de l'appartement réalisé dans les combles du bâtiment de la poste (ECA 6926) et la réaffectation des combles en remise; en application du principe de la proportionnalité, elle a toutefois estimé qu'il suffisait de supprimer les arrivées d'eau courante et d'évacuer les appareils sanitaires pour garantir que les locaux ne seront pas utilisés à des fins d'habitation; le chauffage, les isolations en façade et toiture, les petites ouvertures créées en façade ouest et le velux pouvaient aussi être conservés, de même que l'escalier extérieur, la terrasse et le local sous-jacent (cf. ch. II du dispositif de l'arrêt cantonal). Pour le surplus, elle a confirmé la décision du SDT concernant l'immeuble ECA 2920 et ses abords. La cour cantonale a enfin reporté au 31 octobre 2014 le délai d'exécution pour procéder à la remise en état. D. Par acte du 17 mars 2014, A._ forme un recours en matière de droit public par lequel il conclut à la réforme de l'arrêt entrepris en ce sens qu'il est renoncé à exiger la réaffectation des combles de l'immeuble ECA 6926 en remise par la suppression des amenées d'eau courante et des sanitaires (1), l'enlèvement du pavillon de jardin (2) et la suppression des isolations et du chauffage du studio dans le bâtiment ECA 2920 (3). Subsidiairement, il conclut au renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Le Tribunal cantonal et la Municipalité ont renoncé à formuler des déterminations. Le SDT et l'Office fédéral du développement territorial (OFDT) ont déposé des observations; l'OFDT s'interrogeait notamment sur l'efficacité des mesures réduites de remise en état ordonnées par le Tribunal cantonal en relation avec l'appartement construit au-dessus de l'ancienne poste, jugeant que les surfaces habitables pourrait être aisément recréées; le SDT estimait, quant à lui, ces mesures insuffisantes. Par ordonnance du 8 avril 2014, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif, formulée par le recourant.