Faits:
A. La ferme de la "Prise Zacharie" a été construite aux environs de 1800 sur le territoire de la commune de Concise. Elle comporte une partie rurale (grange) à l'arrière et une partie habitation à l'avant. Le domaine agricole de la "Prise Zacharie" a été exploité par B._ jusqu'en 1979; il a alors vendu l'essentiel de ses terres cultivables à A._ en conservant la propriété de la ferme où il a continué à vivre. C'est ainsi que la nouvelle parcelle 656, d'une surface de 2'948 m2, sur laquelle la ferme a été construite, a été détachée de la parcelle agricole 653 entourant la ferme, qui a été vendue le 9 janvier 1973 à A._. Les parcelles 653 et 656 ont ensuite été classées en zone agricole selon le plan des zones communales approuvé le 3 septembre 1980 par le Conseil d'Etat vaudois. A._ a acquis la parcelle 656 de B._ en 1989.
B. A la suite d'une inondation de la ferme en 1987, d'importants travaux de réfection de deux chambres habitables ont été réalisés, à savoir notamment le remplacement de certaines poutres et la remise à neuf de l'ensemble des planchers, plafonds et fenêtres.
Entre 1996 et 2000, la ferme a été mise, dans son état, à disposition des ouvriers travaillant sur les chantiers de "Rail 2000". Pendant la période d'utilisation, le toit d'une partie de la grange s'est effondré, faute d'entretien, mais sans dommage pour les personnes qui logeaient dans la partie habitation de la ferme.
Lors des travaux de constructions de l'autoroute N5, entre 2000 et 2005, la ferme a été englobée dans les travaux d'équipement du secteur, comprenant le raccordement au réseau d'eau et à l'évacuation des eaux usées en système séparatif. Elle a bénéficié aussi d'une nouvelle alimentation en électricité.
Par ailleurs, la ferme de la "Prise Zacharie" a fait l'objet d'un recensement architectural en 1976, puis lors d'une révision en 2000. Selon la fiche du recensement, le bâtiment est colloqué en note 4 et il se trouve dans un état de conservation moyenne.
C. A._ est agriculteur et il est propriétaire de 17 hectares de terres cultivables. Il travaille en association avec son frère C._, propriétaire de 13 hectares. Ils ont chacun un fils intéressé à reprendre le domaine.
A._ a été fermier de D._ à Concise pendant plusieurs années. Le 20 février 2002, ce dernier lui a signifié la résiliation du bail à ferme pour le 1er mars 2005. A la suite d'un accord intervenu devant la Commission de conciliation préfectorale en matière de baux à ferme, la résiliation a été annulée pour l'exploitation des terres agricoles et viticoles, mais maintenue pour les bâtiments du centre d'exploitation, avec une échéance reportée au 1er mars 2006.
En 2003, A._ et C._ ont obtenu une autorisation de construire de nouveaux bâtiments d'exploitation comprenant des écuries et un hangar à machines, sur une parcelle située à la sortie du village de Concise, sur la route de Mutrux.
D. A l'occasion d'une visite sur place, le Service cantonal de l'aménagement du territoire du canton de Vaud (actuellement: le Service cantonal du développement territorial; ci-après: le Service cantonal) a constaté que des travaux étaient en cours sur la ferme de la parcelle 656. Par courrier du 12 septembre 2006, il a ordonné à A._ l'arrêt des travaux. Il a également informé la municipalité de Concise (ci-après: la municipalité) de cette mesure.
Le 23 septembre 2006, A._ a admis avoir entrepris des fouilles les 11 et 12 septembre, afin de retrouver le captage de la source située sur sa parcelle et de changer les conduites d'eau. Il a précisé avoir remis le terrain en état et n'avoir entrepris aucune démolition de l'ancien bâtiment agricole. Dans sa réponse du 27 septembre 2006, la municipalité a constaté que les travaux étaient terminés, tout en précisant qu'elle n'avait reçu aucune demande ni délivré aucune autorisation communale dans cette affaire.
Le 3 octobre 2006, le Service cantonal, en possession d'éléments démontrant que des travaux portant sur un ancien bâtiment agricole avaient effectivement eu lieu, a réitéré son ordre d'arrêt des travaux.
Le 20 octobre 2006, la municipalité a informé le Service cantonal que, lors du début des travaux, il ne s'agissait, selon A._, que de la réfection du toit. Par la suite, elle avait constaté que des travaux plus importants de transformations étaient en cours. Durant la période de début avril à fin juin 2006, il avait été demandé oralement plusieurs fois à l'intéressé d'interrompre ses travaux et de fournir un dossier d'enquête complet à la municipalité. A._ n'avait pas obtempéré et avait continué ses travaux sans autorisation.
Le 10 novembre 2006, le Service cantonal a requis de l'intéressé qu'il fournisse un jeu de plans complet et un dossier de photos du bâtiment, avant et après les travaux illicites, une justification des travaux ainsi que le questionnaire cantonal relatif à une construction ou installation hors zone à bâtir.
Sur requête du Service cantonal, la municipalité a précisé que A._ avait procédé à la réfection et à la transformation de son bâtiment sis à la "Prise Zacharie" afin de rendre ce dernier habitable. Elle constatait que ledit bâtiment était inoccupé depuis plusieurs années et qu'il méritait, pour être habitable, une rénovation complète.
Dans le dossier constitué à la demande du Service cantonal, A._ justifie et décrit les travaux de la manière suivante: "La construction se trouvant à certains endroits dans un état vétuste, il s'avère alors urgent d'entreprendre des travaux d'assainissement et de rénovation. Tout d'abord, la partie arrière de la ferme (écuries) ainsi que la remise au sud sont en partie en ruine et nécessitent une intervention pour éviter tout danger (la porcherie quant à elle s'est effondrée en 1998). Ensuite, le bâtiment composé alors de deux appartements, ne répond plus aux normes et exigences en vigueur et méritaient un assainissement. Avant les travaux, le rez inférieur abrite un appartement de deux pièces très peu lumineux (les surfaces de jour et la hauteur d'étage ne répondaient plus aux normes actuelles) et vétuste, une grange, une buanderie et une porcherie. Au rez supérieur on trouve un logement de 3 pièces mal distribué et également peu lumineux, un fenil et les écuries en partie effondrées [...]. Aujourd'hui, après travaux, la ferme n'a pas augmenté de volume mais au contraire diminué celui-ci (partie arrière). L'aspect esthétique du bâtiment a été conservé et les façades ont gardé leur caractère rural."
Sur dénonciation du Service cantonal, le Préfet du district de Granson a condamné A._, le 16 janvier 2007, à une amende de 15'000 fr. et une créance compensatrice de 18'000 fr. pour violation des art. 103 et 120 let. a de la loi cantonale vaudoise du 4 décembre 1985 sur l'aménagement du territoire et les constructions (ci-après: LATC; RSV 700.11).
Le 29 janvier 2007, la municipalité a délivré un préavis dans lequel elle entérinait les travaux effectués, considérant que le propriétaire des lieux avait ainsi évité que le bâtiment, qui gardait son aspect initial et était bien intégré dans le paysage, ne tombe en ruine.
Le 3 décembre 2007, le Service cantonal a ordonné à A._ de démolir entièrement le bâtiment d'habitation et d'éliminer les déchets issus du chantier par des filières respectueuses de l'environnement.
E. Par arrêt du 26 février 2009, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours de l'intéressé contre la décision du Service cantonal du 3 décembre 2007, qu'il a confirmée, et lui a imparti un nouveau délai au 31 octobre 2009 pour exécuter la décision précitée. Le Tribunal cantonal a considéré en substance que la ferme litigieuse ne pouvait pas constituer un logement pour la génération qui prend sa retraite ni bénéficier de la garantie de la situation acquise. L'ordre de démolition était en outre justifié par un intérêt public suffisant et respectait le principe de la proportionnalité.
F. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral de réformer l'arrêt du Tribunal cantonal du 26 février 2009 en ce sens qu'une autorisation spéciale de construire lui soit délivrée. Subsidiairement, il conclut à l'annulation de l'arrêt entrepris. Le recourant se plaint en substance d'une constatation incomplète des faits et d'une mauvaise application du droit fédéral. Il allègue en outre une violation de son droit d'être entendu.
Le Tribunal cantonal a renoncé à déposer une réponse. Le Service cantonal ainsi que l'Office fédéral du développement territorial proposent le rejet du recours alors que la municipalité de Concise conclut à son admission.
Par ordonnance du 23 avril 2009, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif du recourant.
Dans sa réplique du 31 août 2009, le recourant a confirmé les conclusions de son recours.

Considérant en droit:
1. 1.1 La voie du recours en matière de droit public (<ref-law>) est ouverte contre une décision prise par une autorité cantonale de dernière instance dans une contestation portant sur l'application du droit de l'aménagement du territoire. Le recourant est propriétaire de la ferme de la "Prise Zacharie", sise sur la parcelle 656 de la commune de Concise. Il a donc manifestement qualité pour recourir au sens de l'<ref-law> contre l'arrêt attaqué qui confirme l'ordre de démolir la construction litigieuse. Au surplus, le recours ayant été déposé en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>), il y a lieu d'entrer en matière.
1.2 Selon l'<ref-law>, le recours doit être déposé devant le Tribunal fédéral dans les 30 jours qui suivent la notification la décision attaquée. L'<ref-law> prévoit que le mémoire de recours doit notamment contenir les conclusions et les motifs à l'appui de celles-ci. Seul l'<ref-law> permet au Tribunal fédéral, à certaines conditions, d'accorder au recourant un délai approprié pour compléter la motivation de son recours, et ce en matière d'entraide pénale internationale uniquement.
Dans son mémoire de recours, le recourant ne soulève pas de grief à l'encontre de la partie de l'arrêt attaqué relative à l'application de l'art. 24d de la loi fédérale du 22 juin 1979 sur l'aménagement du territoire (LAT; RS 700). Ce n'est que dans sa réplique du 31 août 2009 qu'il émet des critiques à ce sujet. Il n'est toutefois pas légitimé à compléter la motivation de son mémoire après l'échéance du délai de recours. Tardif, son grief est irrecevable.
2. Le recourant se plaint d'une violation de son droit d'être entendu. Il reproche au Tribunal cantonal de n'avoir pas procédé à l'inspection locale qu'il avait expressément requise et de n'avoir pas motivé ce refus.
2.1 Le droit d'être entendu garanti à l'art. 29 al. 2 Cst. comprend notamment celui de faire administrer les preuves pour autant que celles-ci soient requises dans les formes prévues par le droit cantonal et qu'elles apparaissent utiles à l'établissement des faits pertinents (<ref-ruling> consid. 2.2 p. 504; <ref-ruling> consid. 2b p. 56; <ref-ruling> consid. 2b p. 102). L'autorité de décision peut donc se livrer à une appréciation anticipée de la pertinence du fait à prouver et de l'utilité du moyen de preuve offert et, sur cette base, refuser de l'administrer. Ce refus ne viole le droit d'être entendu que si l'appréciation à laquelle elle a ainsi procédé est entachée d'arbitraire (<ref-ruling> consid. 3 p. 157 et les arrêts cités; sur la notion d'arbitraire, voir <ref-ruling> consid. 5.1 p. 17). Ces principes s'appliquent également à la tenue d'une inspection locale en l'absence d'une disposition cantonale qui imposerait une telle mesure d'instruction (<ref-ruling> consid. 2b p. 229; <ref-ruling> consid. 2b p. 202); le recourant ne prétend à juste titre pas que tel serait le cas de l'art. 48 al. 1 let. d de la loi vaudoise sur la juridiction et la procédure administratives (cf. arrêt 2P.323/2006 du 27 mars 2007 consid. 3.2).
Le droit d'être entendu implique également pour l'autorité l'obligation de motiver sa décision. Selon la jurisprudence, la motivation d'une décision est suffisante lorsque l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. L'autorité ne doit toutefois pas se prononcer sur tous les moyens des parties; elle peut se limiter aux questions décisives (<ref-ruling> consid. 4.3 p. 540 et les arrêts cités).
2.2 Le recourant estime que l'inspection locale aurait permis au Tribunal cantonal de compléter son information sur des éléments manifestement très importants pour le jugement de la cause; la Cour cantonale a en effet constaté à plusieurs reprises que le dossier n'était pas complet et qu'il lui manquait notamment des renseignements sur la structure et l'organisation de l'exploitation ainsi que sur la procédure de permis d'autorisation de construire des bâtiments d'exploitation en 2003. De même, le recourant souligne que l'arrêt emploie le conditionnel au sujet de l'état de la construction, des modifications apportées et du mode de construction utilisé lors de la rénovation.
Il sied de relever ici que, si la procédure administrative est régie essentiellement par la maxime inquisitoire, les parties ont le devoir de collaborer à l'établissement des faits (<ref-ruling> consid. 2b p. 142 s.). Dans le cas particulier, le recourant avait un devoir de collaboration spécialement élevé pour tout ce qui avait trait à son exploitation et à la construction litigieuse, puisqu'il s'agit de faits qu'il connaît mieux que quiconque (cf. <ref-ruling> consid. 3.2 non publié et les références). Il est donc malvenu de se plaindre que le Tribunal cantonal n'était pas suffisamment renseigné sur ces questions, alors qu'il avait tout le loisir de fournir les documents nécessaires en cours de procédure. On ne voit au demeurant pas comment une inspection locale aurait permis à la Cour cantonale de compléter son dossier quant aux points sus-évoqués, qui n'étaient au demeurant pas déterminants pour l'issue du litige. Au surplus, les juges cantonaux disposaient de plans, de divers documents photographiques ainsi que du dossier de mise en conformité produit par le recourant et pouvaient donc s'abstenir de se rendre sur les lieux.
Selon le recourant, une inspection locale était également indispensable pour instruire "sur les questions soulevées par la municipalité de Concise en relation avec les constructions affectées à autre chose que l'habitation et qui sont situées sur la parcelle 656 du registre foncier de Concise et dans ses environs immédiats." Le recourant ne précise toutefois pas de quelles questions il s'agit ni ne montre en quoi la mesure d'instruction proposée aurait permis de les élucider. La motivation insuffisante du grief sur ce point le rend irrecevable (cf. art. 42 al. 2 en relation avec l'<ref-law>).
Dans l'arrêt attaqué, le Tribunal cantonal n'a certes pas indiqué formellement qu'il renonçait à organiser une inspection locale et n'a donc pas motivé son refus. Le fait que cette mesure d'instruction n'a pas été ordonnée montre néanmoins implicitement que les juges cantonaux ont considéré qu'elle n'était pas nécessaire. L'absence de motivation n'a par ailleurs pas empêché l'intéressé de recourir sur ce point et d'exposer les raisons pour lesquelles il estimait, pour sa part, qu'une vision locale était indispensable.
Dans ces conditions, le recourant dénonce à tort une violation de son droit d'être entendu en relation avec le refus de la cour cantonale de mettre en oeuvre une inspection locale.
2.3 Le recourant soutient également que le Tribunal cantonal n'a pas respecté son droit d'être entendu en ne l'invitant pas à se prononcer sur l'application de l'art. 24d LAT. Le droit d'être entendu porte avant tout sur les questions de fait. Les parties doivent éventuellement aussi être entendues sur les questions de droit lorsque l'autorité concernée entend se fonder sur des normes légales dont la prise en compte ne pouvait pas être raisonnablement prévue par les parties (<ref-ruling> consid. 2.2 p. 505). En l'occurrence, après avoir examiné les griefs du recourant, la Cour cantonale a encore vérifié si les travaux pouvaient être autorisés dans le cadre fixé par le nouvel art. 24d LAT. Le recourant ne saurait se plaindre de ce que le Tribunal cantonal a examiné d'office une norme qui lui était favorable et invoque dès lors en vain son droit d'être entendu, qui confère à toute personne le droit de s'expliquer avant qu'une décision ne soit prise à son détriment. Le grief doit ainsi également être rejeté sous cet angle.
3. Le recourant reproche ensuite au Tribunal cantonal d'avoir procédé à une constatation incomplète des faits.
3.1 Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus par l'<ref-law>. Quant au recourant, il ne peut critiquer la constatation de faits, susceptibles d'avoir une influence déterminante sur l'issue de la procédure, que si ceux-ci ont été établis de manière manifestement inexacte ou en violation du droit au sens de l'<ref-law>, en particulier en violation de l'interdiction constitutionnelle de l'arbitraire (<ref-law>; <ref-ruling> consid. 4.3 p. 62; Message concernant la révision totale de l'organisation judiciaire fédérale du 28 février 2001, FF 2001 p. 4135).
3.2 Selon le recourant, l'arrêt attaqué passe sous silence plusieurs éléments qu'il a indiqués dans son mémoire de recours et qui ont été prouvés par pièces, à savoir notamment la mise en séparatif du bâtiment réalisée entre 2000 et 2005 et le fait que des infrastructures liées à l'exploitation agricole, en particulier un hangar, se trouvent également dans le secteur de la "Prise Zacharie". Ces faits n'ont toutefois pas été omis par le Tribunal cantonal, puisqu'ils sont mentionnés à la page 2, lettre C.b), respectivement aux pages 1 et 2, lettres A.a) et C.a), de l'arrêt entrepris. Quant au fait qu'une cédule hypothécaire de 295'000 fr. a été constituée sur la parcelle litigieuse en 1999, il n'est pas pertinent pour l'issue du litige. La Cour cantonale s'est en effet fondée sur une série d'éléments pour considérer que le bâtiment en cause était une ruine à cette époque, et la constitution de la cédule hypothécaire ne permet pas, à elle seule, de modifier le résultat de la pesée des intérêts. Il s'ensuit que les faits n'ont pas été établis de manière incomplète par la Cour cantonale et qu'ils lient dès lors le Tribunal fédéral (<ref-law>).
4. Le recourant fait valoir qu'en application de l'art. 34 al. 3 de l'ordonnance du 28 juin 2000 sur l'aménagement du territoire (OAT; RS 700.0) et de la jurisprudence relative au "Stöckli", la pesée des intérêts en présence devait amener à constater que rien ne s'opposait à la délivrance d'un permis de construire.
4.1 En vertu de l'art. 16a al. 1 LAT, sont conformes à l'affectation de la zone agricole les constructions qui sont nécessaires à l'exploitation agricole. A cet égard, l'<ref-law> précise que les constructions qui servent au logement indispensable à l'entreprise agricole, y compris le logement destiné à la génération qui prend sa retraite, sont réputés conformes à l'affectation de la zone. Cette réglementation reprend les principes dégagés par la jurisprudence de l'ancien art. 16 LAT en vigueur jusqu'au 31 août 2000 (cf. arrêt 1A.205/2004 du 11 février 2005, RDAF 2005 I 365, consid. 3.3). Un logement n'est réputé conforme à la zone que si la présence permanente sur le domaine des personnes concernée est indispensable. Cette question est examinée notamment en fonction de la distance à la zone à bâtir et des tâches de surveillances nécessitées par l'exploitation (cf. <ref-ruling> consid. 3a p. 69, 307 consid. 5 p. 312 ss). De plus, on considère en principe comme indispensables pour l'exploitation les besoins de locaux d'habitation pour la génération qui prend sa retraite après avoir travaillé, sa vie durant, dans l'agriculture et habité en zone agricole. Le cas échéant, trois générations peuvent ainsi élire domicile sur le même domaine (Explications relatives à l'ordonnance sur l'aménagement du territoire, Office fédéral du développement territorial, Berne 2001, p. 30 s.). Selon la jurisprudence, on ne saurait en effet exiger qu'un paysan doive quitter le domaine lorsque, à l'âge de la retraite, il en remet l'exploitation à ses enfants. Le maintien sur le domaine favorise aussi la structure sociale de l'agriculture. Les parents retraités peuvent continuer à rendre de précieux services dans l'exploitation du domaine: s'occuper des achats, donner des conseils, apporter une aide dans les périodes très chargées, en cas de maladie, de service militaire, etc. (arrêt 1A.19/2001 du 22 août 2001, in RDAF 2003 I 506, consid. 3a; <ref-ruling> consid. 3a p. 233; <ref-ruling> consid. 2a p. 262). Dans tous les cas, les conditions générales permettant d'admettre la conformité à la zone agricole de logements d'habitation, notamment l'existence d'un lien fonctionnel direct entre le logement et l'exploitation, doivent être remplies (Explications relatives à l'ordonnance sur l'aménagement du territoire, op. cit., p. 31; <ref-ruling> consid. 3b p. 310 s.; <ref-ruling> 2a p. 262).
4.2 Dans le cas particulier, le recourant allègue qu'il a 62 ans et qu'il va prochainement remettre le domaine à son fils. Il ressort toutefois du dossier qu'il ne s'est pas installé à la "Prise Zacharie" dans le but de laisser son ancien logement à son fils qui reprenait l'exploitation mais plutôt parce qu'il devait se constituer une nouvelle habitation, dès lors que le bail de la ferme dans laquelle il vivait était échu au 1er mars 2006. Auparavant, ni le recourant ni sa famille n'avait jamais utilisé la ferme litigieuse comme logement lié à l'exploitation agricole. Il ne s'agit dès lors pas d'un cas d'une famille d'exploitants constituée de plusieurs générations, dont l'une à la retraite, qui vivraient réunies sur le même domaine agricole familial. Or, l'un des buts de l'<ref-law> est de permettre à l'agriculteur qui a dirigé l'exploitation et a vécu sur la ferme de ne pas devoir la quitter à la retraite, une fois qu'il transmet le flambeau à la génération suivante. Il importe dès lors peu que la ferme litigieuse existe depuis plus de deux cent ans et que la parcelle comprenne aussi des infrastructures agricoles, comme le soulève le recourant. Par ailleurs, le centre d'exploitation du domaine ne se situe pas à la "Prise Zacharie" mais à la sortie du village de Concise, sur la route de Mutrux, et on ignore où vit le fils qui reprendrait l'exploitation. L'éloignement du recourant par rapport au centre d'exploitation et à l'habitation de son fils ne permet pas non plus de réaliser l'objectif social visé par le maintien de l'agriculteur retraité sur le domaine; n'étant pas sur place, le recourant n'est pas plus disponible pour rendre des services que s'il habitait dans la zone à bâtir. En outre, le recourant n'a jamais allégué que sa présence sur la ferme de la "Prise Zacharie" était indispensable et tel ne semble pas être le cas, en l'absence notamment de bétail détenu sur ce site. Dans ces circonstances, il n'existe pas de lien fonctionnel direct entre l'exploitation et le logement, et la Cour cantonale a considéré à juste titre que l'<ref-law> ne pouvait pas s'appliquer au cas d'espèce. Infondé, le grief doit être écarté.
5. Selon le recourant, l'art. 24c LAT est applicable au cas d'espèce et les conditions d'une reconstruction au sens de l'<ref-law> sont remplies. Il estime qu'avant les travaux sa ferme n'était pas une ruine et que rien ne s'oppose à ce qu'elle puisse bénéficier de la situation acquise.
5.1 L'art. 24c LAT a la teneur suivante:
1 Hors de la zone à bâtir, les constructions et installations qui peuvent être utilisées conformément à leur destination mais qui ne sont plus conformes à l'affectation de la zone bénéficient en principe de la garantie de la situation acquise.
2 L'autorité compétente peut autoriser la rénovation de telles constructions et installations, leur transformation partielle, leur agrandissement mesuré ou leur reconstruction, pour autant que les bâtiments aient été érigés ou transformés légalement. Dans tous les cas, les exigences majeures de l'aménagement du territoire doivent être satisfaites.
Intitulé "champ d'application de l'art. 24c LAT", l'<ref-law> précise que cette disposition est applicable aux constructions et installations qui ont été érigées ou transformées conformément au droit matériel en vigueur à l'époque, mais qui sont devenues contraires à l'affectation de la zone à la suite d'une modification de la législation ou des plans d'aménagement. La date déterminante est en principe l'entrée en vigueur le 1er juillet 1972 de la loi fédérale du 8 octobre 1971 sur la protection des eaux contre la pollution (RO 1972 958 et les modifications ultérieures), qui a introduit expressément le principe de la séparation du territoire bâti et non bâti (<ref-ruling> consid. 4.2.1 p. 398). L'art. 24c LAT n'est pas applicable à toutes les constructions ou installations qui existaient au moment de la modification du droit: la garantie de la situation acquise ne s'étend en effet pas aux bâtiments qui ont été construits conformément au droit matériel en vigueur à l'époque et qui sont devenus contraires à l'affectation de la zone non point à cause d'une modification du droit mais par l'effet de changements factuels, comme par exemple l'abandon de l'exploitation agricole (<ref-ruling> consid. 4.2.1 p. 398). Ainsi, n'entrent pas dans le champ d'application de l'art. 24c LAT les constructions et installations servant à un usage agricole au moment de la modification du droit; elles ne sont pas devenues contraires à l'affectation de la zone au sens de la loi et de l'ordonnance, ceci même si elles ont par la suite été formellement attribuées à la zone agricole. De même, l'abandon ultérieur de l'affectation conforme à la zone n'entraîne pas l'application de l'art. 24c LAT. La possibilité de transformer des constructions et installations qui étaient utilisées à des fins agricoles au moment de la modification du droit et dont la destination agricole a été abandonnée ensuite doit être appréciée à la lumière des art. 24, 24a, 24b et 24d LAT (Explications relatives à l'ordonnance sur l'aménagement du territoire, op. cit., p. 43).
De plus, en vertu de l'<ref-law>, ne peut être reconstruite que la construction ou l'installation qui pouvait être utilisée conformément à sa destination au moment de sa destruction ou de sa démolition et dont l'utilisation répond toujours à un besoin. Cette disposition reprend la jurisprudence rendue en application de l'art. 24 al. 2 aLAT (arrêt 1A.250/2002 du 16 mai 2003 consid. 3.1; <ref-ruling> consid. 3a p. 212). La protection de la situation acquise ne s'étend en effet pas aux bâtiments abandonnés depuis longtemps, en ruine, inutilisables et prêts à s'écrouler; il ne faut en effet pas que les ruines puissent être transformées en constructions nouvelles (cf. Explications relatives à l'ordonnance sur l'aménagement du territoire, op. cit., p. 46; cf. également PIERMARCO ZEN-RUFFINEN/CHRISTINE GUY-ECABERT, Aménagement du territoire, construction, expropriation, Berne 2001, ch. 595 p. 279 et ch. 608 p. 284).
5.2 En l'espèce, il n'est pas contesté que la ferme de la "Prise Zacharie" a été construite conformément au droit matériel en vigueur à l'époque et que le domaine agricole a été exploité jusqu'en 1979. A cette date, l'ancien propriétaire a vendu les terrains entourant les bâtiments d'exploitation et conservé la propriété de la ferme, moyennant la création d'une nouvelle parcelle de 2'948 m2 détachée de toute exploitation agricole. C'est donc en 1979 que la ferme a cessé d'être agricole, par la volonté de son propriétaire. On se trouve ainsi dans un cas où la construction était encore consacrée à l'agriculture en 1972 et n'est pas devenue contraire à l'affectation de la zone au moment de la modification du droit. Au contraire, c'est l'abandon ultérieur de l'exploitation, en 1979, qui a entraîné une situation non conforme à la zone, même si les parcelles n'étaient pas encore formellement attribuées à la zone agricole. Par conséquent, l'art. 24c LAT n'est pas applicable au cas particulier. Le recourant fait certes valoir que, selon la jurisprudence, l'art. 24c LAT s'applique aux constructions érigées entre le 1er juillet 1972 et l'entrée en vigueur de la LAT, pour autant qu'elles aient été construites dans un secteur qui se trouvait compris dans le périmètre du plan directeur des égouts (cf. <ref-ruling> consid. 4.2.1 p. 398 s.); par analogie, une habitation qui a perdu sa vocation agricole entre 1972 et 1980, et qui se trouverait dans la même situation, devrait être soumise au même régime. On ne voit cependant pas pourquoi un bâtiment qui existait déjà en 1972 devrait être assimilé à une construction érigée après cette date déterminante: le contexte juridique est fondamentalement différent dans les deux situations, puisqu'en 1972 la loi sur la protection des eaux a introduit pour la première fois une séparation stricte des territoires constructibles et non constructibles, ce qui a justement entraîné une modification du droit au sens de l'<ref-law>.
Par surabondance, le Tribunal cantonal a considéré que les conditions d'une reconstruction au sens de l'<ref-law> n'étaient de toute façon pas remplies, la ferme litigieuse étant dans un état d'abandon avancé avant sa reconstruction. Il ressort de l'arrêt attaqué que la partie rurale à l'arrière de la ferme était dans un état de ruine avec un effondrement de la toiture intervenu en 1997. La partie habitable semblait être maintenue dans sa structure et il n'était pas exclu que les sols et les murs aient été conservés. L'habitation devait probablement présenter des conditions de confort très sommaires dans lesquelles l'ancien exploitant avait vécu et le recourant n'avait vraisemblablement plus réalisé aucuns travaux d'entretien depuis l'achat du bâtiment en 1989. La municipalité a précisé en cours de procédure que le recourant avait procédé à la réfection et à la transformation de la ferme afin de la rendre habitable; celle-ci était inoccupée depuis plusieurs années et méritait, pour être habitable, une rénovation complète. Dans le dossier constitué à la demande du Service cantonal, le recourant a lui-même affirmé que la construction se trouvait à certains endroits dans un état vétuste et qu'il s'avérait alors urgent d'entreprendre des travaux d'assainissement et de rénovation. Dans ces conditions, il semble effectivement que la ferme, abandonnée depuis longtemps, n'était plus habitable au moment où le recourant a procédé à sa démolition. Il importe dès lors peu que la parcelle ait été équipée entre 2000 et 2005 et qu'une banque ait consenti à constituer une cédule hypothécaire. On peut en outre relever, avec l'Office fédéral de développement territorial, qu'un éventuel doute sur cette question ne saurait profiter au recourant, celui-ci ayant lui-même détruit les moyens de preuve en procédant sans autorisation à une démolition reconstruction.
Par conséquent, le recours doit également être rejeté sur ce point.
6. Il reste à examiner si l'ordre de démolition de la construction litigieuse porte atteinte au principe de la proportionnalité, comme le soutient le recourant.
6.1 Selon la jurisprudence, l'ordre de démolir une construction édifiée sans droit et pour laquelle une autorisation ne pouvait être accordée n'est en soi pas contraire au principe de la proportionnalité. Celui qui place l'autorité devant un fait accompli doit s'attendre à ce que celle-ci se préoccupe davantage de rétablir une situation conforme au droit que des inconvénients qui en découlent pour le constructeur (<ref-ruling> consid. 4a p. 255; <ref-ruling> consid. 4b p. 218). L'autorité renonce à une telle mesure si les dérogations à la règle sont mineures, si l'intérêt public lésé n'est pas de nature à justifier le dommage que la démolition causerait au maître de l'ouvrage, si celui-ci pouvait de bonne foi se croire autorisé à construire ou encore s'il y a des chances sérieuses de faire reconnaître la construction comme conforme au droit qui aurait changé dans l'intervalle (<ref-ruling> consid. 3bb p. 252; <ref-ruling> consid. 6b p. 224 s.; <ref-ruling> consid. 4 p. 69).
6.2 Le recourant admet qu'il ne "pouvait évidemment ignorer que les travaux entrepris en 2006 devaient être soumis à autorisation préalable, [et qu']il ne pouvait pas savoir d'avance quel aurait été le sort d'une demande de permis de rénover le bâtiment en cause"; il ne peut donc manifestement pas se prévaloir de sa bonne foi. La Cour cantonale relève par ailleurs qu'il a persisté dans l'avancement des travaux litigieux, au mépris des multiples demandes orales de la municipalité de les interrompre et de fournir un dossier complet d'enquête. De plus, il exerçait encore au moment des faits la fonction de municipal, qu'il avait occupée pendant plus de trente ans, et se devait donc d'adopter un comportement exemplaire dans la procédure à suivre. Il apparaît ainsi que la mauvaise foi du recourant est manifestement établie. Du point de vue de l'intérêt public, la dérogation à la règle ne saurait être qualifiée de mineure. La construction litigieuse est implantée dans la zone agricole sans qu'il n'existe toutefois de lien fonctionnel direct avec l'exploitation. Or, la séparation en zone à bâtir et zones inconstructibles est un principe essentiel d'aménagement qui, en dehors des exceptions prévues par la loi, doit demeurer d'application stricte. L'intérêt privé du recourant au maintien de cette construction est de nature purement économique; il fait valoir que l'ordre de démolition le condamnerait à réduire à néant, du jour au lendemain, un investissement de plus de 300'000 fr. Les intérêts patrimoniaux du recourant, même conséquents, doivent cependant céder le pas face à une violation fondamentale de règles de l'aménagement du territoire, ce d'autant qu'en l'espèce l'intéressé, en tant que municipal, connaissait les conséquences auxquelles peuvent être exposées les constructions illicites. Il ne saurait dès lors par la suite se prévaloir de cet argument financier pour bénéficier du maintien d'une construction qu'il pouvait présumer illicite dès le début. L'intérêt public à rétablir une situation conforme au droit l'emporte ainsi manifestement sur les intérêts privés du recourant, de sorte que, même si elle apparaît sévère, la mesure attaquée est conforme au principe de la proportionnalité.
7. Les considérants qui précèdent conduisent au rejet du recours dans la mesure où il est recevable. Le recourant, qui succombe, doit supporter les frais judiciaires (art. 65 et 66 LTF) et n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, fixés à 3'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux mandataires du recourant et de la Municipalité de Concise, au Département de l'économie et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral du développement territorial.
Lausanne, le 4 novembre 2009
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Féraud Mabillard