Faits:
A. A._ est propriétaire des parcelles n° 2'623 et 420 du registre foncier de la commune d'Yvorne, sises en zone agricole, sur lesquelles sont érigés respectivement une maison d'habitation ainsi que deux hangars ou ruraux. Le bien-fonds n° 2'623 a été détaché de la parcelle de base n° 420 suite à une autorisation de morcellement délivrée à la demande de l'intéressé en septembre 2002.
Le 21 décembre 1992, A._ a déposé une demande de permis de construire pour le bâtiment d'habitation et décrivait ainsi les travaux envisagés: "Il s'agit notamment de transformations comprenant l'agrandissement du rez-de-chaussée avec création de locaux sanitaires. Au premier étage, il est envisagé l'aménagement d'un appartement supplémentaire nécessitant une surélévation du bâtiment existant. Cette extension des locaux d'habitation est indispensable aux besoins de logement des enfants de la famille, à savoir deux filles et un garçon". Les plans produits à l'appui de cette demande explicitaient ce projet et prévoyaient une surélévation du bâtiment, avec la création de combles et de lucarnes pour éclairer ces combles. Le Service de l'aménagement du territoire du canton de Vaud (SAT), dans une décision reproduite dans la synthèse de la Centrale des autorisations (CAMAC) du 25 mai 1993, a délivré l'autorisation spéciale requise pour ces transformations. Le 4 juin 1993, le permis de construire a été octroyé par la Municipalité d'Yvorne.
Les murs et le rehaussement du toit ont été réalisés peu après l'obtention du permis. En revanche, l'aménagement intérieur a duré de nombreuses années. Le 31 juillet 1996, la municipalité a accordé le permis d'utiliser le local créé dans le rural existant qui avait été mis à l'enquête également en 1993; ce permis précisait qu'une demande de prolongation de l'autorisation de construire devait être déposée pour l'agrandissement de l'habitation.
Dans le cadre de la procédure de morcellement du domaine de A._ engagée par celui-ci en 2002 afin de pouvoir développer un projet d'accueil pour personnes en pension complète, le SAT a exposé, dans sa prise de position du 25 juillet 2002, que "pour ce qui concerne le projet du requérant, il y a lieu de constater que les surfaces existantes ne pourront d'aucune manière être agrandies, tous droits dérogatoires étant à cet égard plus qu'épuisés. Les éventuelles modifications devront donc se faire dans les surfaces habitables autorisées. Le résultat de l'enquête publique est réservé. Par ailleurs, il est précisé que seul un hébergement de type familial, comparable en tous points à de l'habitation, pourrait être admis le cas échéant. Un changement de destination du bâtiment à des fins autres que l'habitation (EMS, home médicalisé, hôtel etc.) est exclu". L'autorisation de morcellement a été délivrée en 2002.
B. Par la suite, la municipalité a constaté, lors d'une visite des lieux, que deux appartements avaient été aménagés sans autorisation dans les combles de l'habitation. Ces logements avaient été réalisés à une date qui reste indéterminée. L'un fait l'objet d'un bail du 15 janvier 2004 pour un loyer mensuel de 1'400 fr. Le second fait, pour un loyer mensuel de 1'600 fr., l'objet d'un bail du 7 février 2004 passé avec le fils de A._.
Par lettre du 27 février 2004, la municipalité a indiqué à A._ qu'elle délivrait un permis d'habiter uniquement pour le rez-de-chaussée et le premier étage conformément aux plans présentés en 1993; elle ajoutait que, jusqu'à décision finale, les combles ne pouvaient pas être habitables pour l'instant. Par lettres des 15 novembre 2004 et 17 février 2005, elle a invité l'intéressé à fournir un dossier d'enquête pour les modifications apportées sans autorisation au bâtiment d'habitation. A._ a donc transmis une demande de permis de construire pour les transformation réalisées.
Les plans, mis à l'enquête publique du 24 mai au 16 juin 2005, montrent que l'immeuble est doté d'une cage d'escalier et d'un ascenseur avec deux appartements au rez et un appartement à l'étage, ainsi que deux appartements dans les combles où sont également aménagés des mezzanines. Le volume du bâtiment correspond à celui présenté à l'enquête publique de 1993. En revanche, des fenêtres supplémentaires ont été réalisées sur les façades pignons Est et Ouest, ainsi qu'une lucarne supplémentaire en toiture.
Le 26 juin 2007, le SAT a refusé de délivrer l'autorisation spéciale requise. A._ a déposé une demande de révision. Le 3 septembre 2008, le Service du développement territoriale (SDT, qui a succédé au SAT) a rendu une nouvelle décision de refus de l'autorisation. Le SDT précisait que le projet autorisé en 1993 dépassait largement le potentiel d'agrandissement et de transformation du bâtiment autorisé selon la législation et qu'il ne pouvait donc entrer en matière sur le projet de régularisation présenté par l'intéressé. Il a également ordonné des mesures de remise en état, tout en accordant un délai relativement long pour l'exécution (notamment, démolition et évacuation des murs intérieurs [sauf cage d'escalier et ascenseur] et de la galerie sur l'ensemble du niveau des combles; surpression et évacuation des installations ainsi que des appareils sanitaires et de cuisine des deux appartements; les conduites d'amenée d'eau et d'évacuation étant ensuite bouchées; suppression et murage des fenêtres supplémentaires réalisées en façade).
C. Par acte du 24 septembre 2008, A._ a recouru contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: la CDAP) en concluant à son annulation et à ce que les aménagements dans les combles soient autorisés.
Le 1er avril 2009, la CDAP a tenu audience à Yvorne. Elle a entendu des témoins et a procédé à une inspection locale en présence des parties. Selon ces témoins, A._ - qui rencontrait régulièrement le Syndic de l'époque (en fonction jusqu'à son décès en 2001) dans le cadre de son travail - avait évoqué avec celui-ci de nouveaux aménagements d'habitation dans sa maison, probablement en 1999-2000; apparemment, le Syndic avait rassuré l'intéressé quant à l'obtention des autorisations nécessaires et mentionné qu'on ne lui ferrait pas d'ennuis. Par arrêt du 26 janvier 2011, la CDAP a rejeté le recours formulé par l'intéressé contre la décision du SDT. En bref, elle a retenu que l'aménagement des combles ne pouvait être autorisé de façon subséquente dans la mesure où les conditions d'une transformation au sens de l'art. 24d LAT n'étaient pas réunies. Elle a donc maintenu l'ordre de démolition fondé sur l'art. 105 de la loi vaudoise sur l'aménagement du territoire et des constructions (LATC, RSV 700.11) en considérant que le requérant savait qu'il devait requérir une autorisation pour les travaux effectués dans les combles, qu'il ne pouvait prétendre avoir reçu des assurances du Syndic de l'époque qui n'était de toute façon pas l'autorité compétente, qu'il ne chiffrait pas le coût de la remise en l'état et qu'enfin l'intérêt public à refuser les constructions hors zone à bâtir était prépondérant.
D. Le 28 février 2011, A._ a recouru contre ce jugement en concluant principalement à son annulation, subsidiairement à l'octroi de l'autorisation de construire et très subsidiairement au maintien des murs intérieurs et de la galerie au niveau des combles ainsi que des fenêtres supplémentaires en façade Est et Ouest. Il soutient que l'ordre de démolition et de remise en état viole le principe de la proportionnalité. Le recourant a également requis l'octroi de l'effet suspensif qui a été accordé par ordonnance présidentielle du 25 mars 2011.
Invités à se déterminer, la CDAP ainsi que le SDT concluent au rejet du recours. La Municipalité d'Yvorne s'en remet à justice en précisant qu'elle ne peut se déterminer sur les conversations tenues avec l'ancien Syndic, ce dernier étant aujourd'hui décédé; elle se réfère donc aux pièces du dossier en vertu desquelles aucune assurance n'a été donnée au recourant. L'Office fédéral du développement territorial indique que l'affaire ne soulève pas, au regard du droit fédéral de l'aménagement du territoire, des questions de principe nécessitant des observations de sa part.

Considérant en droit:
1. Dirigé contre une décision prise en dernière instance cantonale dans le domaine du droit public de l'aménagement du territoire et des constructions, le recours est recevable comme recours en matière de droit public selon les <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Le recourant a manifestement qualité pour recourir au sens de l'<ref-law> contre l'arrêt attaqué qui confirme l'ordre de remise en état de son bâtiment. Les autres conditions de recevabilité étant par ailleurs remplies, il convient d'entrer en matière.
2. Le recourant ne remet pas en cause le fait que les constructions litigieuses ne peuvent pas être régularisées. Il estime en revanche que l'ordre de démolition et de remise en état des lieux viole le principe de la proportionnalité. A l'appui de son grief, il invoque notamment sa bonne foi en lien avec les assurances reçues de l'ancien Syndic ainsi que sa situation personnelle en particulier financière; il se prévaut également des incertitudes quant à l'état de fait ainsi que de la non-modification de l'aspect extérieur du bâtiment.
2.1 Selon la jurisprudence, l'ordre de démolir une construction édifiée sans droit et pour laquelle une autorisation ne pouvait être accordée n'est en soi pas contraire au principe de la proportionnalité. L'autorité renonce toutefois à ordonner une telle mesure si les dérogations à la règle sont mineures, si l'intérêt public lésé n'est pas de nature à justifier le dommage que la démolition causerait au maître de l'ouvrage, si celui-ci pouvait de bonne foi se croire autorisé à construire ou encore s'il y a des chances sérieuses de faire reconnaître la construction comme conforme au droit (<ref-ruling> consid. 6 p. 35 ; <ref-ruling> consid. 3a/bb p. 252; <ref-ruling> consid. 6b p. 224 s.; <ref-ruling> consid. 4 p. 69). Même un constructeur qui n'est pas de bonne foi peut invoquer le principe de proportionnalité. Toutefois, celui qui place l'autorité devant un fait accompli doit s'attendre à ce qu'elle se préoccupe plus de rétablir une situation conforme au droit que d'éviter les inconvénients qui en découlent pour lui (ATF <ref-ruling> consid. 4a p. 255; <ref-ruling> consid. 6b p. 224 et la jurisprudence citée).
2.2 En l'espèce, les dérogations à la règle ne sauraient être qualifiées de mineures. En effet, selon le SDT et la CDAP, l'agrandissement que l'art. 24d LAT autoriserait à l'intérieur du volume bâti existant s'élèverait à 104,5 m2 (la surface brut de plancher habitable avant le projet de 1993 atteignait alors 175 m2). Or, les travaux autorisés en 1993 ont permis d'agrandir la surface d'environ 200 m2, ceci en outre à l'extérieur du volume existant. Dès lors, il n'est pas possible d'autoriser une nouvelle augmentation de la surface brute de plancher utile d'environ 228 m2 par l'aménagement des combles. Le fait que l'aspect extérieur et le volume du bâtiment restent inchangés ne permet pas de qualifier la dérogation à la règle de mineure, compte tenu de l'ampleur du dépassement de l'agrandissement autorisé. Il n'y a dès lors, comme l'a relevé l'autorité inférieure, aucune possibilité de faire reconnaître les travaux d'aménagement des combles comme conformes au droit.
2.3 Se prévalant de sa bonne foi, le recourant allègue qu'il est un homme de la terre et que pour lui la parole donnée vaut toutes les conventions écrites. Cet argument ne résiste pas à l'examen. En effet, le dossier n'a nullement permis d'établir que le Syndic aurait fait une promesse au recourant relative à l'obtention d'un permis de construire portant sur l'aménagement de deux appartements dans les combles. Il ressort plus exactement du dossier que le recourant ayant évoqué avec le Syndic de nouveaux aménagements dans sa maison, ce dernier l'aurait rassuré quant à l'obtention des autorisations nécessaires. Le recourant devait donc à tout le moins en conclure qu'une procédure d'autorisation était nécessaire et ne pouvait se contenter d'effectuer les travaux sans adresser une quelconque requête à la municipalité ou au canton. Ce d'autant plus qu'il n'était pas sans ignorer ni la nécessité d'une telle procédure ni son déroulement puisqu'il l'avait initiée pour les travaux autorisés en 1993. Il savait donc en particulier qu'une autorisation cantonale délivrée par le SDT (qui a succédé au SAT) était nécessaire pour tout nouvel aménagement réalisé en zone agricole. Or, le SAT n'a en l'espèce jamais donné d'assurances au recourant sur le fait que l'aménagement des combles en habitation serait autorisé. Le fait qu'en 1993, le SAT n'ait pas exigé de l'intéressé qu'il annonce l'affectation des combles n'a pas pu lui donner de faux espoirs et créer une situation génératrice de bonne foi. En effet, dans le cadre de la procédure de morcellement du domaine, l'autorité cantonale avait alors clairement attiré l'attention du recourant quant au fait qu'il avait utilisé toutes les facultés que lui octroyait le droit et que d'éventuelles modifications n'étaient possibles que dans les surfaces habitables autorisées. L'intéressé ne peut donc se prévaloir de sa bonne foi.
2.4 Le recourant soutient par ailleurs que sa situation financière est actuellement précaire, que la suppression des revenus locatifs mettrait en péril l'équilibre financier de sa famille et que les travaux de remise en l'état entraîneraient la perte de l'investissement initial de probablement plusieurs centaines de milliers de francs. Le recourant ne prétend toutefois pas que les frais de remise en état - à savoir ceux occasionnés par l'enlèvement des appareils sanitaires et cuisines, de même que par la destruction des cloisons intérieures et l'obturation de certaines fenêtres - seraient excessifs. Il se plaint davantage de la perte de son investissement et des revenus provenant de la location des deux appartements dans les combles. La perte des revenus locatifs affectera d'autant plus la situation financière du recourant qu'il tire un revenu négligeable voire déficitaire de son exploitation agricole. Cet argument doit être mis en balance avec les intérêts publics évidents poursuivis par l'ordre de remise en état, à savoir le respect de la séparation de l'espace bâti et non bâti ainsi que la limitation des constructions en zone agricole. La séparation entre zone à bâtir et zones inconstructibles est un principe essentiel d'aménagement qui, en dehors des exceptions prévues par la loi, doit demeurer d'application stricte (<ref-ruling> consid. 6.4 p. 40; <ref-ruling> consid. 6b p. 225; arrêt 1A.301/2000 du 28 mai 2001 consid. 6c publié in ZBl 103/2002 p. 364).
Le recourant ne peut en l'occurrence prétendre s'affranchir des restrictions imposées à l'agrandissement des bâtiments situés en dehors de la zone à bâtir pour le seul motif que son activité agricole n'est pas rentable. A cet égard, il faut observer qu'en 2002 déjà, le SAT avait précisé, lors de la procédure de fractionnement, que les possibilités d'agrandissement étaient épuisées. Il indiquait en effet que "les surfaces existantes ne pourront d'aucune manière être agrandies, tous droits dérogatoires étant à cet égard plus qu'épuisés". Le recourant ne saurait donc se prévaloir aujourd'hui des difficultés financières qu'il rencontre dans son exploitation agricole pour justifier l'aménagement des combles alors qu'il avait été expressément informé par les autorités que ses possibilités d'agrandissement de l'habitation étaient épuisées. Il ne saurait pour la même raison tirer parti du coût élevé de l'investissement initial consenti.
Les règles relatives à la délimitation de la zone à bâtir, respectivement à la prohibition de construire hors des zones à bâtir, répondent à une préoccupation centrale de l'aménagement du territoire; l'intérêt public sur lequel elles sont fondées ne peut qu'être qualifié d'important (<ref-ruling> consid. 5c p. 151). Il l'emporte sur l'intérêt privé purement financier du recourant à s'opposer au rétablissement d'une situation conforme au droit.
2.5 Dans une argumentation subsidiaire, le recourant allègue que les mesures préventives exigées lors de la remise en état portent atteinte au principe de la proportionnalité. Il s'oppose en particulier à la destruction des murs intérieurs ainsi qu'à la suppression des fenêtres supplémentaires réalisées en façade Est et Ouest et du balcon en façade Ouest.
S'agissant de la suppression des fenêtres et du balcon non autorisés, il se justifie pleinement de les ordonner afin de rétablir l'état antérieur du bâtiment. S'agissant des murs intérieurs, il s'agit, comme l'a relevé la CDAP, de mesures préventives tendant à empêcher que les combles soient à nouveau rendues habitables. De telles mesures sont admissibles s'il est à craindre que, compte tenu des circonstances du cas d'espèce, une récidive soit possible. Tel est manifestement le cas en l'espèce, compte tenu de l'isolement de la construction du recourant. A cet égard, le recourant se contente d'alléguer, mais sans en apporter la preuve, que la démolition des murs pourrait poser des problèmes de sécurité. En l'état du dossier, il est correct d'exiger de celui qui a enfreint la loi qu'il rétablisse l'état antérieur, de telle façon que l'autorité ne soit pas contrainte de vérifier si cette interdiction est respectée. Dans la mesure où le recourant n'était pas de bonne foi, la CDAP pouvait accorder une importance accrue au rétablissement d'une situation conforme au droit sans se préoccuper outre mesure des inconvénients liés à la suppression des aménagements réalisés sans autorisation. Il résulte de ce qui précède que l'intérêt public à rétablir une situation conforme au droit l'emporte ainsi manifestement sur les intérêts privés du recourant, de sorte que les mesures litigieuses de remise en état doivent être considérées comme proportionnées.
3. Il s'ensuit que le recours doit être rejeté. Il appartient au SDT de fixer un nouveau délai d'exécution des mesures énumérées sous lettre d de la décision du 3 septembre 2008, aux chiffres 2 à 8. Le recourant, qui succombe, doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Le Service du développement territorial fixera un nouveau délai d'exécution des mesures énumérées sous lettre d de la décision du 3 septembre 2008, aux chiffres 2 à 8.
3. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux mandataires du recourant, de la Municipalité d'Yvorne et du Service du développement territorial, ainsi qu'au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Office fédéral du développement territorial.
Lausanne, le 26 octobre 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Arn