Faits: A. A._ est propriétaire des parcelles n° 2'623 et 420 du registre foncier de la commune d'Yvorne, sises en zone agricole, sur lesquelles sont érigés respectivement une maison d'habitation ainsi que deux hangars ou ruraux. Le bien-fonds n° 2'623 a été détaché de la parcelle de base n° 420 suite à une autorisation de morcellement délivrée à la demande de l'intéressé en septembre 2002. Le 21 décembre 1992, A._ a déposé une demande de permis de construire pour le bâtiment d'habitation et décrivait ainsi les travaux envisagés: "Il s'agit notamment de transformations comprenant l'agrandissement du rez-de-chaussée avec création de locaux sanitaires. Au premier étage, il est envisagé l'aménagement d'un appartement supplémentaire nécessitant une surélévation du bâtiment existant. Cette extension des locaux d'habitation est indispensable aux besoins de logement des enfants de la famille, à savoir deux filles et un garçon". Les plans produits à l'appui de cette demande explicitaient ce projet et prévoyaient une surélévation du bâtiment, avec la création de combles et de lucarnes pour éclairer ces combles. Le Service de l'aménagement du territoire du canton de Vaud (SAT), dans une décision reproduite dans la synthèse de la Centrale des autorisations (CAMAC) du 25 mai 1993, a délivré l'autorisation spéciale requise pour ces transformations. Le 4 juin 1993, le permis de construire a été octroyé par la Municipalité d'Yvorne. Les murs et le rehaussement du toit ont été réalisés peu après l'obtention du permis. En revanche, l'aménagement intérieur a duré de nombreuses années. Le 31 juillet 1996, la municipalité a accordé le permis d'utiliser le local créé dans le rural existant qui avait été mis à l'enquête également en 1993; ce permis précisait qu'une demande de prolongation de l'autorisation de construire devait être déposée pour l'agrandissement de l'habitation. Dans le cadre de la procédure de morcellement du domaine de A._ engagée par celui-ci en 2002 afin de pouvoir développer un projet d'accueil pour personnes en pension complète, le SAT a exposé, dans sa prise de position du 25 juillet 2002, que "pour ce qui concerne le projet du requérant, il y a lieu de constater que les surfaces existantes ne pourront d'aucune manière être agrandies, tous droits dérogatoires étant à cet égard plus qu'épuisés. Les éventuelles modifications devront donc se faire dans les surfaces habitables autorisées. Le résultat de l'enquête publique est réservé. Par ailleurs, il est précisé que seul un hébergement de type familial, comparable en tous points à de l'habitation, pourrait être admis le cas échéant. Un changement de destination du bâtiment à des fins autres que l'habitation (EMS, home médicalisé, hôtel etc.) est exclu". L'autorisation de morcellement a été délivrée en 2002. B. Par la suite, la municipalité a constaté, lors d'une visite des lieux, que deux appartements avaient été aménagés sans autorisation dans les combles de l'habitation. Ces logements avaient été réalisés à une date qui reste indéterminée. L'un fait l'objet d'un bail du 15 janvier 2004 pour un loyer mensuel de 1'400 fr. Le second fait, pour un loyer mensuel de 1'600 fr., l'objet d'un bail du 7 février 2004 passé avec le fils de A._. Par lettre du 27 février 2004, la municipalité a indiqué à A._ qu'elle délivrait un permis d'habiter uniquement pour le rez-de-chaussée et le premier étage conformément aux plans présentés en 1993; elle ajoutait que, jusqu'à décision finale, les combles ne pouvaient pas être habitables pour l'instant. Par lettres des 15 novembre 2004 et 17 février 2005, elle a invité l'intéressé à fournir un dossier d'enquête pour les modifications apportées sans autorisation au bâtiment d'habitation. A._ a donc transmis une demande de permis de construire pour les transformation réalisées. Les plans, mis à l'enquête publique du 24 mai au 16 juin 2005, montrent que l'immeuble est doté d'une cage d'escalier et d'un ascenseur avec deux appartements au rez et un appartement à l'étage, ainsi que deux appartements dans les combles où sont également aménagés des mezzanines. Le volume du bâtiment correspond à celui présenté à l'enquête publique de 1993. En revanche, des fenêtres supplémentaires ont été réalisées sur les façades pignons Est et Ouest, ainsi qu'une lucarne supplémentaire en toiture. Le 26 juin 2007, le SAT a refusé de délivrer l'autorisation spéciale requise. A._ a déposé une demande de révision. Le 3 septembre 2008, le Service du développement territoriale (SDT, qui a succédé au SAT) a rendu une nouvelle décision de refus de l'autorisation. Le SDT précisait que le projet autorisé en 1993 dépassait largement le potentiel d'agrandissement et de transformation du bâtiment autorisé selon la législation et qu'il ne pouvait donc entrer en matière sur le projet de régularisation présenté par l'intéressé. Il a également ordonné des mesures de remise en état, tout en accordant un délai relativement long pour l'exécution (notamment, démolition et évacuation des murs intérieurs [sauf cage d'escalier et ascenseur] et de la galerie sur l'ensemble du niveau des combles; surpression et évacuation des installations ainsi que des appareils sanitaires et de cuisine des deux appartements; les conduites d'amenée d'eau et d'évacuation étant ensuite bouchées; suppression et murage des fenêtres supplémentaires réalisées en façade). C. Par acte du 24 septembre 2008, A._ a recouru contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: la CDAP) en concluant à son annulation et à ce que les aménagements dans les combles soient autorisés. Le 1er avril 2009, la CDAP a tenu audience à Yvorne. Elle a entendu des témoins et a procédé à une inspection locale en présence des parties. Selon ces témoins, A._ - qui rencontrait régulièrement le Syndic de l'époque (en fonction jusqu'à son décès en 2001) dans le cadre de son travail - avait évoqué avec celui-ci de nouveaux aménagements d'habitation dans sa maison, probablement en 1999-2000; apparemment, le Syndic avait rassuré l'intéressé quant à l'obtention des autorisations nécessaires et mentionné qu'on ne lui ferrait pas d'ennuis. Par arrêt du 26 janvier 2011, la CDAP a rejeté le recours formulé par l'intéressé contre la décision du SDT. En bref, elle a retenu que l'aménagement des combles ne pouvait être autorisé de façon subséquente dans la mesure où les conditions d'une transformation au sens de l'art. 24d LAT n'étaient pas réunies. Elle a donc maintenu l'ordre de démolition fondé sur l'art. 105 de la loi vaudoise sur l'aménagement du territoire et des constructions (LATC, RSV 700.11) en considérant que le requérant savait qu'il devait requérir une autorisation pour les travaux effectués dans les combles, qu'il ne pouvait prétendre avoir reçu des assurances du Syndic de l'époque qui n'était de toute façon pas l'autorité compétente, qu'il ne chiffrait pas le coût de la remise en l'état et qu'enfin l'intérêt public à refuser les constructions hors zone à bâtir était prépondérant. D. Le 28 février 2011, A._ a recouru contre ce jugement en concluant principalement à son annulation, subsidiairement à l'octroi de l'autorisation de construire et très subsidiairement au maintien des murs intérieurs et de la galerie au niveau des combles ainsi que des fenêtres supplémentaires en façade Est et Ouest. Il soutient que l'ordre de démolition et de remise en état viole le principe de la proportionnalité. Le recourant a également requis l'octroi de l'effet suspensif qui a été accordé par ordonnance présidentielle du 25 mars 2011. Invités à se déterminer, la CDAP ainsi que le SDT concluent au rejet du recours. La Municipalité d'Yvorne s'en remet à justice en précisant qu'elle ne peut se déterminer sur les conversations tenues avec l'ancien Syndic, ce dernier étant aujourd'hui décédé; elle se réfère donc aux pièces du dossier en vertu desquelles aucune assurance n'a été donnée au recourant. L'Office fédéral du développement territorial indique que l'affaire ne soulève pas, au regard du droit fédéral de l'aménagement du territoire, des questions de principe nécessitant des observations de sa part.