Faits:
A. A._ est propriétaire de la parcelle n° 861 de la commune d'Apples sur laquelle sont érigées une habitation (n° ECA 279) de 82 m2 et une autre petite construction (n° ECA 536) de 53 m2, située à environ 85 m de la construction principale. Il est également propriétaire de la parcelle n° 860, enclavée dans la partie ouest de la parcelle n°861, sur laquelle est construit un bâtiment (n° ECA 280) dans lequel il habite. Les deux habitations (n° ECA 280 et 279) sont contiguës et se situent le long de la route de Yens. Les deux parcelles sont situées en zone agricole - à l'exception des deux habitations et d'une aire de dégagement colloquées en zone villa - selon le plan des zones approuvé par le Conseil d'Etat le 11 juillet 1984.
Le père de A._, B._ avait mis à l'enquête publique, du 2 au 12 août 1977, l'aménagement d'une bergerie sur la parcelle n° 861. B._ avait exercé les professions de jardinier maraîcher et d'employé de chemin de fer. En raison de la proximité d'un ruisseau, le Service des eaux avait, à l'époque, exigé que le sol de la bergerie soit en béton étanche et que les pas de porte aient une hauteur de 15 cm environ. La municipalité avait délivré le permis de construire en le conditionnant au respect de ces deux exigences. Après avoir constaté deux ans plus tard que la bergerie avait été construite, mais que le sol n'était pas en béton et que la hauteur du pas de porte n'était pas celle requise, la municipalité avait, par courrier du 17 décembre 1979, refusé l'octroi du permis d'utiliser la bergerie.
En 2008, A._ a démoli la bergerie et a entrepris des travaux de reconstruction. La municipalité a immédiatement ordonné l'arrêt de ceux-ci et a requis, le 7 mai 2008, les déterminations du Service du développement territorial (SDT).
Le 26 septembre 2008, A._ a présenté une demande de permis de construire portant sur la reconstruction, après démolition, de la bergerie aménagée sur la parcelle n° 861; la mise à l'enquête publique n'a suscité aucune opposition. Le SDT a, par décision du 31 juillet 2009, refusé de délivrer l'autorisation cantonale spéciale pour une construction hors zone à bâtir. Il exigeait, dans un délai au 15 septembre 2009, la suppression des constructions entreprises et la remise des lieux en état de prairie; le profil du terrain naturel devait être rétabli et aucun dépôt de terre ne pouvait être admis.
Par décision du 4 août 2009, la municipalité a informé A._ qu'elle refusait de lui délivrer le permis de construire en se fondant sur le refus du SDT.
B. A._ a recouru auprès de la Cour de droit administratif et public du Tribunal cantonal vaudois le 7 septembre 2009 en concluant à l'annulation de la décision de la municipalité et à l'octroi du permis. Il a notamment expliqué que la seule façon d'exploiter cette parcelle de manière rationnelle était d'y placer entre 3 et 8 moutons et que les parois de bois de la bergerie avaient été abattues afin d'éviter leur effondrement. Le 26 mars 2010, la cour cantonale a rejeté le recours de A._. Elle a jugé qu'une autorisation ne pouvait lui être donnée ni sur la base de l'art. 16a LAT (RS 700) ni sur celle des art. 24, 24c et 24d al. 1 bis LAT; elle a donc confirmé l'ordre de remise en l'état.
C. Par acte de recours intitulé "recours en matière de droit public et recours constitutionnel subsidiaire" déposé le 10 mai 2010, A._ demande au Tribunal fédéral d'annuler l'arrêt de la cour cantonale et de renvoyer le dossier à cette juridiction pour nouvelle décision dans le sens des considérants. Il se plaint d'une violation du droit d'être entendu, d'arbitraire dans l'établissement des faits et d'une violation du principe de la proportionnalité.
La cour cantonale conclut au rejet du recours et se réfère à sa décision. L'Office fédéral du développement territorial renonce à toute observation en l'absence de question de principe.
Par ordonnance du 3 juin 2010, la Ire Cour de droit public du Tribunal fédéral a admis la requête d'effet suspensif présentée par le recourant.

Considérant en droit:
1. Dirigé contre une décision prise en dernière instance cantonale rendue dans le domaine du droit public des constructions, le recours est recevable comme recours en matière de droit public conformément aux <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Le recourant a pris part à la procédure de recours devant l'autorité cantonale et est particulièrement touché par l'arrêt attaqué qui confirme le refus du permis de construire et l'ordre de remise en l'état. Il a donc la qualité pour agir au sens de l'<ref-law>. Les autres conditions de recevabilité du recours en matière de droit public étant remplies, il convient d'entrer en matière.
La voie ordinaire étant ouverte en l'espèce, le recours constitutionnel subsidiaire est exclu (<ref-law>) et le présent recours sera traité exclusivement comme un recours en matière de droit public.
2. Dans un grief formel qu'il convient d'examiner en premier lieu, le recourant se plaint d'une violation du droit d'être entendu garanti à l'art. 29 al. 2 Cst. Il reproche à la cour cantonale de ne pas avoir procédé à une inspection locale.
2.1 Tel qu'il est reconnu par cette disposition, le droit d'être entendu comprend notamment le droit pour l'intéressé de prendre connaissance du dossier, d'offrir des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 5.1 p. 293; <ref-ruling> consid. 2.2 p. 504 s.; <ref-ruling> consid. 2a/aa p. 16 et les arrêts cités).
Toutefois, le droit d'être entendu ne peut être exercé que sur les éléments qui sont déterminants pour décider de l'issue du litige. Il est ainsi possible de renoncer à l'administration de certaines preuves offertes, lorsque le fait dont les parties veulent rapporter l'authenticité n'est pas important pour la solution du cas, lorsque les preuves résultent déjà de constatations versées au dossier ou lorsque le juge parvient à la conclusion qu'elles ne sont pas décisives pour la solution du litige ou qu'elles ne pourraient l'amener à modifier son opinion. Ce refus d'instruire ne viole le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a ainsi procédé, est entachée d'arbitraire (<ref-ruling> consid. 5.3 p. 236; <ref-ruling> consid. 3 p. 157; <ref-ruling> consid. 6c/cc in fine p. 135; <ref-ruling> consid. 4a p. 211).
2.2 En l'occurrence, en demandant une vision locale, le recourant voulait prouver que la bergerie n'était visible de nulle part, que la partie litigieuse de la parcelle était en jachère, que les agriculteurs ne voulaient pas exploiter ce terrain et que la construction d'une bergerie était la seule façon d'exploiter ce terrain. L'ensemble de ces considérations - pour autant que l'inspection locale eût permis de les constater - est sans incidence pour la résolution du litige. En effet, la seule question à résoudre est celle de savoir si cette construction peut être autorisée au regard du droit fédéral de l'aménagement du territoire, en particulier si une telle construction peut être autorisée en zone agricole. Dès lors, les difficultés que rencontre le recourant pour rentabiliser une partie de son bien-fonds sont sans incidence sur l'application du droit.
Le recourant mentionne également que l'inspection locale aurait permis de constater que la construction de la bergerie sur le terrain qu'il possède en zone constructible n'est pas possible, compte tenu de l'éloignement de ces deux parcelles. En l'occurrence, le dossier de la municipalité contient tous les plans nécessaires à l'appréciation de la distance entre la construction projetée et la zone de village. La vision locale n'était donc pas décisive pour la solution du litige.
Le grief de violation du droit d'être entendu doit donc être écarté.
3. Le recourant prétend que les constatations de fait de l'arrêt attaqué seraient arbitraires.
3.1 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (<ref-law>).
En matière d'appréciation des preuves et d'établissement des faits, l'autorité tombe dans l'arbitraire lorsqu'elle ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 4.3; <ref-ruling> consid. 2.1; <ref-ruling> consid. 1b et les arrêts cités; pour une définition de l'arbitraire cf. <ref-ruling> consid. 3.1 p. 266).
3.2 Le recourant fait notamment grief à la décision attaquée de ne pas avoir précisé que suite à l'ordre donné à B._ de couler une dalle en béton dans sa bergerie, celui-ci s'y était finalement conformé. Cette constatation de fait ne ressort pas du dossier puisque la seule lettre y figurant est celle de la municipalité d'Apples du 17 décembre 1979 informant le père du recourant que la construction n'était pas conforme et que le permis d'utiliser ne pouvait lui être délivré. Quoi qu'il en soit, cette constatation de fait n'est pas pertinente au regard du présent litige. En effet, il était également reproché à B._ de ne pas avoir respecté les hauteurs de seuil et le permis d'utiliser ne lui a finalement pas été délivré.
3.3 Le recourant relève également que l'arrêt entrepris mentionne que des ânes seront abrités dans la bergerie, sans qu'il soit précisé que ces ânes ne sont pas la propriété du recourant qui entend en réalité y mettre des moutons. Ce grief ne peut être retenu. En effet, il ressort des considérants de l'arrêt attaqué que, selon la demande de permis de construire, la bergerie est destinée à abriter des moutons; si l'autorité cantonale a mentionné la présence d'ânes, c'est en relation avec une lettre que le recourant a lui-même écrite le 3 juin 2009 au chef du Département de l'économie. La cour cantonale a au demeurant précisé que l'emplacement choisi pour la bergerie - qu'elle soit prévue pour y abriter des moutons ou des ânes - ne s'imposait pas en zone agricole. Contrairement à ce qu'affirme le recourant, la cour cantonale a donc pris en considération les éléments de fait de façon pertinente.
3.4 Le recourant reproche aussi à la cour cantonale d'avoir arbitrairement établi les faits en parlant de reconstruction alors qu'il s'agirait d'une rénovation d'une bâtisse existante, le recourant ayant été contraint d'abattre les parois puisqu'elles étaient "irrécupérables". Il ressort du dossier que le recourant a lui-même procédé à la démolition de l'ancienne bâtisse, celle-ci menaçant selon lui de s'effondrer. Il a d'ailleurs requis l'octroi d'un permis pour la reconstruction de la bergerie. Dès lors, la cour cantonale n'a pas établi arbitrairement les faits permettant de retenir qu'il s'agissait d'une reconstruction et non pas d'une rénovation.
3.5 Enfin, le recourant prétend qu'il a exercé une activité de maraîcher, que l'activité envisagée sur son terrain est agricole, qu'il souhaite exploiter la parcelle avec des critères d'exploitation agricole et que la cour cantonale a établi les faits de façon arbitraire en retenant qu'il n'était pas exploitant agricole. S'agissant de l'établissement des faits, il appartient au recourant d'apporter les éléments propres à démontrer que l'activité envisagée satisfait aux exigences des art. 16a al. 1 LAT et 34 de l'ordonnance sur l'aménagement du territoire (OAT; RS 700.1) relatives à la notion d'exploitation agricole. Or, le recourant perd de vue qu'il a lui-même allégué que sa profession était celle de maçon. Le fait qu'il ait pu autrefois travailler avec son père, jardinier maraîcher, ne lui confère évidemment pas la qualité d'agriculteur. Au surplus, il est établi qu'il n'y a pas actuellement d'exploitation agricole sur les parcelles n° 860 et 861 même si celles-ci sont en grande partie en zone agricole. La cour cantonale n'a donc pas constaté arbitrairement que le recourant n'était pas agriculteur, qu'il n'y avait pas d'exploitation agricole et que la détention des animaux n'avait aucun lien avec l'exploitation d'une entreprise agricole.
3.6 Par conséquent, le grief de constatation arbitraire des faits doit être rejeté.
4. Le recourant se plaint enfin que l'autorité a violé le principe de la proportionnalité en le condamnant à procéder à la remise en état.
4.1 A teneur de l'art. 105 al. 1 de la loi cantonale du 4 décembre 1985 sur l'aménagement du territoire et les constructions (LATC; RSV 700.11), la municipalité est en droit de faire suspendre et, le cas échéant, supprimer ou modifier, aux frais du propriétaire, tous travaux qui ne sont pas conformes aux prescriptions légales et réglementaires.
Selon la jurisprudence, l'ordre de démolir une construction ou un ouvrage édifié sans permis et pour lequel une autorisation ne pouvait être accordée n'est en principe pas contraire au principe de la proportionnalité. Celui qui place l'autorité devant un fait accompli doit s'attendre à ce que celle-ci se préoccupe davantage de rétablir une situation conforme au droit que des inconvénients qui en découlent pour le constructeur. L'autorité renonce à une telle mesure si les dérogations à la règle sont mineures, si l'intérêt public lésé n'est pas de nature à justifier le dommage que la démolition causerait au maître de l'ouvrage, si celui-ci pouvait de bonne foi se croire autorisé à construire ou encore s'il y a des chances sérieuses de faire reconnaître la construction comme conforme au droit qui aurait changé dans l'intervalle (<ref-ruling> consid. 4 p. 255; <ref-ruling> consid. 6b p. 224; <ref-ruling> consid. 4 p. 217; arrêt 1A.180/2002 du 19 novembre 2002 consid. 3.1 publié in SJ 2003 I p. 271).
4.2 En l'occurrence, la dérogation à la règle n'est pas mineure puisqu'il s'agit d'une construction hors zone à bâtir. Elle serait d'ailleurs la seule construction dans le périmètre agricole, mis à part la maison du recourant qui se trouve précisément en zone à bâtir. Il existe un intérêt public prépondérant à maintenir une séparation entre les zones à bâtir et les zones inconstructibles puisqu'il s'agit d'un principe essentiel d'aménagement du territoire. Cette séparation doit, en dehors des exceptions prévues par la loi, demeurer d'application stricte (<ref-ruling> consid. 6.4 p. 39 s.). A l'inverse, les intérêts privés du recourant ne sont pas prépondérants. En effet, l'ancienne bergerie comportait une structure porteuse en bois, les parois et le toit étaient en tôle ondulée. Or, le recourant a procédé à sa démolition complète. Les travaux de reconstruction ont consisté principalement en la pose d'un cadre extérieur en bois. Les aménagements ainsi effectués sont rudimentaires et une remise en l'état des lieux ne se traduit ni par des travaux importants ni par des frais excessifs; le recourant ne le soutient d'ailleurs pas. Dans ces conditions, l'intérêt public à conserver une nette séparation entre les zones constructibles et les zones agricoles l'emporte manifestement sur l'intérêt privé du recourant. En particulier, le fait que les exploitants agricoles ne veulent pas louer cette partie de la parcelle parce qu'elle est inexploitable ne suffit pas pour justifier une dérogation à l'intérêt public précité. Enfin, les travaux venaient de commencer et seule une partie minime du projet avait été réalisée lorsque l'arrêt de ceux-ci a été prononcé.
L'ordre de remise en l'état doit ainsi être considéré comme proportionné et la décision de remise en l'état confirmée.
5. Il s'ensuit que le recours doit être rejeté. Un nouveau délai au 31 mai 2011 est imparti au recourant pour procéder à la démolition de la construction litigieuse. Le recourant, qui succombe, doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Le délai imparti au recourant pour exécuter la décision du 31 juillet 2009 du Service du développement territorial conformément au chiffre III du dispositif de l'arrêt attaqué est prolongé jusqu'au 31 mai 2011.
3. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué au mandataire du recourant, à la Municipalité d'Apples, au Département de l'économie du canton de Vaud, Service du développement territorial, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Office fédéral du développement territorial.
Lausanne, le 7 avril 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Fonjallaz Arn