Faits: A. La ferme de la "Prise Zacharie" a été construite aux environs de 1800 sur le territoire de la commune de Concise. Elle comporte une partie rurale (grange) à l'arrière et une partie habitation à l'avant. Le domaine agricole de la "Prise Zacharie" a été exploité par B._ jusqu'en 1979; il a alors vendu l'essentiel de ses terres cultivables à A._ en conservant la propriété de la ferme où il a continué à vivre. C'est ainsi que la nouvelle parcelle 656, d'une surface de 2'948 m2, sur laquelle la ferme a été construite, a été détachée de la parcelle agricole 653 entourant la ferme, qui a été vendue le 9 janvier 1973 à A._. Les parcelles 653 et 656 ont ensuite été classées en zone agricole selon le plan des zones communales approuvé le 3 septembre 1980 par le Conseil d'Etat vaudois. A._ a acquis la parcelle 656 de B._ en 1989. B. A la suite d'une inondation de la ferme en 1987, d'importants travaux de réfection de deux chambres habitables ont été réalisés, à savoir notamment le remplacement de certaines poutres et la remise à neuf de l'ensemble des planchers, plafonds et fenêtres. Entre 1996 et 2000, la ferme a été mise, dans son état, à disposition des ouvriers travaillant sur les chantiers de "Rail 2000". Pendant la période d'utilisation, le toit d'une partie de la grange s'est effondré, faute d'entretien, mais sans dommage pour les personnes qui logeaient dans la partie habitation de la ferme. Lors des travaux de constructions de l'autoroute N5, entre 2000 et 2005, la ferme a été englobée dans les travaux d'équipement du secteur, comprenant le raccordement au réseau d'eau et à l'évacuation des eaux usées en système séparatif. Elle a bénéficié aussi d'une nouvelle alimentation en électricité. Par ailleurs, la ferme de la "Prise Zacharie" a fait l'objet d'un recensement architectural en 1976, puis lors d'une révision en 2000. Selon la fiche du recensement, le bâtiment est colloqué en note 4 et il se trouve dans un état de conservation moyenne. C. A._ est agriculteur et il est propriétaire de 17 hectares de terres cultivables. Il travaille en association avec son frère C._, propriétaire de 13 hectares. Ils ont chacun un fils intéressé à reprendre le domaine. A._ a été fermier de D._ à Concise pendant plusieurs années. Le 20 février 2002, ce dernier lui a signifié la résiliation du bail à ferme pour le 1er mars 2005. A la suite d'un accord intervenu devant la Commission de conciliation préfectorale en matière de baux à ferme, la résiliation a été annulée pour l'exploitation des terres agricoles et viticoles, mais maintenue pour les bâtiments du centre d'exploitation, avec une échéance reportée au 1er mars 2006. En 2003, A._ et C._ ont obtenu une autorisation de construire de nouveaux bâtiments d'exploitation comprenant des écuries et un hangar à machines, sur une parcelle située à la sortie du village de Concise, sur la route de Mutrux. D. A l'occasion d'une visite sur place, le Service cantonal de l'aménagement du territoire du canton de Vaud (actuellement: le Service cantonal du développement territorial; ci-après: le Service cantonal) a constaté que des travaux étaient en cours sur la ferme de la parcelle 656. Par courrier du 12 septembre 2006, il a ordonné à A._ l'arrêt des travaux. Il a également informé la municipalité de Concise (ci-après: la municipalité) de cette mesure. Le 23 septembre 2006, A._ a admis avoir entrepris des fouilles les 11 et 12 septembre, afin de retrouver le captage de la source située sur sa parcelle et de changer les conduites d'eau. Il a précisé avoir remis le terrain en état et n'avoir entrepris aucune démolition de l'ancien bâtiment agricole. Dans sa réponse du 27 septembre 2006, la municipalité a constaté que les travaux étaient terminés, tout en précisant qu'elle n'avait reçu aucune demande ni délivré aucune autorisation communale dans cette affaire. Le 3 octobre 2006, le Service cantonal, en possession d'éléments démontrant que des travaux portant sur un ancien bâtiment agricole avaient effectivement eu lieu, a réitéré son ordre d'arrêt des travaux. Le 20 octobre 2006, la municipalité a informé le Service cantonal que, lors du début des travaux, il ne s'agissait, selon A._, que de la réfection du toit. Par la suite, elle avait constaté que des travaux plus importants de transformations étaient en cours. Durant la période de début avril à fin juin 2006, il avait été demandé oralement plusieurs fois à l'intéressé d'interrompre ses travaux et de fournir un dossier d'enquête complet à la municipalité. A._ n'avait pas obtempéré et avait continué ses travaux sans autorisation. Le 10 novembre 2006, le Service cantonal a requis de l'intéressé qu'il fournisse un jeu de plans complet et un dossier de photos du bâtiment, avant et après les travaux illicites, une justification des travaux ainsi que le questionnaire cantonal relatif à une construction ou installation hors zone à bâtir. Sur requête du Service cantonal, la municipalité a précisé que A._ avait procédé à la réfection et à la transformation de son bâtiment sis à la "Prise Zacharie" afin de rendre ce dernier habitable. Elle constatait que ledit bâtiment était inoccupé depuis plusieurs années et qu'il méritait, pour être habitable, une rénovation complète. Dans le dossier constitué à la demande du Service cantonal, A._ justifie et décrit les travaux de la manière suivante: "La construction se trouvant à certains endroits dans un état vétuste, il s'avère alors urgent d'entreprendre des travaux d'assainissement et de rénovation. Tout d'abord, la partie arrière de la ferme (écuries) ainsi que la remise au sud sont en partie en ruine et nécessitent une intervention pour éviter tout danger (la porcherie quant à elle s'est effondrée en 1998). Ensuite, le bâtiment composé alors de deux appartements, ne répond plus aux normes et exigences en vigueur et méritaient un assainissement. Avant les travaux, le rez inférieur abrite un appartement de deux pièces très peu lumineux (les surfaces de jour et la hauteur d'étage ne répondaient plus aux normes actuelles) et vétuste, une grange, une buanderie et une porcherie. Au rez supérieur on trouve un logement de 3 pièces mal distribué et également peu lumineux, un fenil et les écuries en partie effondrées [...]. Aujourd'hui, après travaux, la ferme n'a pas augmenté de volume mais au contraire diminué celui-ci (partie arrière). L'aspect esthétique du bâtiment a été conservé et les façades ont gardé leur caractère rural." Sur dénonciation du Service cantonal, le Préfet du district de Granson a condamné A._, le 16 janvier 2007, à une amende de 15'000 fr. et une créance compensatrice de 18'000 fr. pour violation des art. 103 et 120 let. a de la loi cantonale vaudoise du 4 décembre 1985 sur l'aménagement du territoire et les constructions (ci-après: LATC; RSV 700.11). Le 29 janvier 2007, la municipalité a délivré un préavis dans lequel elle entérinait les travaux effectués, considérant que le propriétaire des lieux avait ainsi évité que le bâtiment, qui gardait son aspect initial et était bien intégré dans le paysage, ne tombe en ruine. Le 3 décembre 2007, le Service cantonal a ordonné à A._ de démolir entièrement le bâtiment d'habitation et d'éliminer les déchets issus du chantier par des filières respectueuses de l'environnement. E. Par arrêt du 26 février 2009, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours de l'intéressé contre la décision du Service cantonal du 3 décembre 2007, qu'il a confirmée, et lui a imparti un nouveau délai au 31 octobre 2009 pour exécuter la décision précitée. Le Tribunal cantonal a considéré en substance que la ferme litigieuse ne pouvait pas constituer un logement pour la génération qui prend sa retraite ni bénéficier de la garantie de la situation acquise. L'ordre de démolition était en outre justifié par un intérêt public suffisant et respectait le principe de la proportionnalité. F. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral de réformer l'arrêt du Tribunal cantonal du 26 février 2009 en ce sens qu'une autorisation spéciale de construire lui soit délivrée. Subsidiairement, il conclut à l'annulation de l'arrêt entrepris. Le recourant se plaint en substance d'une constatation incomplète des faits et d'une mauvaise application du droit fédéral. Il allègue en outre une violation de son droit d'être entendu. Le Tribunal cantonal a renoncé à déposer une réponse. Le Service cantonal ainsi que l'Office fédéral du développement territorial proposent le rejet du recours alors que la municipalité de Concise conclut à son admission. Par ordonnance du 23 avril 2009, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif du recourant. Dans sa réplique du 31 août 2009, le recourant a confirmé les conclusions de son recours.