Faits:
A. A._ est propriétaire de la parcelle n° 104 de la commune de Nendaz, située au lieu-dit Lavantier, en contrebas de la route de Siviez. Ce bien-fonds comprend un accès carrossable desservant les parcelles n° 59 et n° 60, propriétés de l'intéressé, respectivement de son père. Il est classé en zone sans affectation spéciale selon le plan de zone de la commune et est constitué de 1'661 m2 de surfaces pâturées.
B. Le 18 août 2008, la Commune de Nendaz a constaté que des travaux de construction (radier en béton sur lequel reposaient quatre murs de briques percés d'ouvertures pour portes et fenêtres) avaient été entrepris sans autorisation sur la parcelle n° 104. Elle a interpellé A._ afin qu'il se détermine sur la nature de ces travaux et l'a informé de la nécessité de déposer un dossier d'autorisation de construire. Par courrier du 3 septembre 2008, celui-ci a expliqué que suite à l'affaissement d'une partie de la route d'accès, des dégâts avaient été occasionnés à un ouvrage (fondations d'une étable non achevée), situé immédiatement en contrebas, érigé par son grand-père entre 1959 et 1960; il aurait entrepris ces travaux afin de sécuriser les lieux et maintenir cette construction en l'état. Il envisageait en outre de déposer une demande d'autorisation tendant à la pose d'une dalle ou d'un toit sur la construction afin de condamner le trou béant situé juste au-dessous du chemin d'accès.
Le 15 décembre 2008, la Commission cantonale des constructions du canton du Valais (ci-après: la CCC) a estimé qu'aucune autorisation de construire ne pouvait être octroyée et a ordonné la démolition de l'ouvrage existant ainsi que la remise en état du profil et de la végétation du terrain, dans un délai de six mois dès l'entrée en force de sa décision. Le 26 mai 2010, le Conseil d'Etat valaisan a rejeté le recours déposé par l'intéressé et a confirmé la décision de la CCC.
C. Par arrêt du 14 octobre 2010, la Cour de droit public du Tribunal cantonal valaisan (ci-après: le Tribunal cantonal) a rejeté le recours formé par A._ au motif que la construction en cause, non conforme à l'affectation de la zone, ne pouvait bénéficier ni d'une autorisation ordinaire au sens de l'art. 22 LAT, ni d'une autorisation dérogatoire au sens des art. 24 ss LAT; l'ordre de démolition et de remise en état des lieux ne violait en outre pas le principe de la proportionnalité.
D. Par mémoire de recours du 25 novembre 2010, A._ demande l'annulation de l'arrêt cantonal.
Le Tribunal cantonal et la CCC renoncent à se déterminer. Le Conseil d'Etat se réfère à l'arrêt attaqué et propose le rejet du recours. L'Office fédéral du développement territorial indique que l'affaire ne soulève pas, au regard du droit fédéral de l'aménagement du territoire et de la planification, des questions de principe nécessitant des observations de sa part. La Commune de Nendaz ne s'est pas déterminée. Le recourant a répliqué.

Considérant en droit:
1. 1.1 Dirigé contre une décision prise en dernière instance cantonale dans le domaine du droit public de l'aménagement du territoire et des constructions, le recours est en principe recevable comme recours en matière de droit public selon les art. 82 ss LTF. Le recourant a qualité pour recourir au sens de l'art. 89 al. 1 LTF contre l'arrêt attaqué qui confirme l'ordre de remettre en état sa parcelle. Au surplus, déposé en temps utile et dans les formes requises contre une décision finale, le recours est en principe recevable au regard des art. 42, 90 et 100 al. 1 LTF.
1.2 Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sous réserve de l'art. 106 al. 2 LTF. Il n'est donc lié ni par les arguments du recourant ni par la motivation de l'autorité précédente. Toutefois, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs invoqués pour autant que les vices juridiques ne soient pas manifestes; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.4.1 p. 254 et les arrêts cités). Aux termes de l'alinéa 2 de cette disposition, les motifs du recours doivent exposer succinctement en quoi l'acte attaqué viole le droit. Pour satisfaire à cette obligation de motiver, le recourant doit discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit; il suffit qu'à la lecture de son exposé on comprenne clairement quelles règles de droit auraient été, selon lui, transgressées par l'autorité cantonale (<ref-ruling> consid. 3.3 p. 60 et les arrêts cités). Le recourant ne saurait dès lors se limiter à renvoyer aux actes cantonaux ou reproduire la motivation déjà présentée dans la procédure cantonale (<ref-ruling> consid. 2.1 à 2.3 p. 246 ss; <ref-ruling> consid. 3.1 p. 399 s.). De même, il ne peut se contenter d'invoquer le principe "iura novit curia" (art. 106 al. 1 LTF), celui-ci ne libérant pas le recourant des exigences minimales de motivation (cf. <ref-ruling> consid. 2.1 p. 246); ce principe ne signifie en effet pas que le Tribunal fédéral doit rechercher à la place du recourant les arguments que celui-ci aurait pu invoquer (cf. Bernard Corboz, in Commentaire de la LTF, n. 30 ad art. 106 LTF).
1.3 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sauf s'ils ont été établis en violation du droit au sens de l'art. 95 LTF ou de façon manifestement inexacte (art. 105 al. 2 LTF). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF; <ref-ruling> consid 5.2.2 p. 322 s.).
1.4 Lorsqu'un recours est manifestement infondé, l'arrêt est motivé sommairement et peut renvoyer partiellement ou entièrement à la décision attaquée (art. 109 al. 2 let. a et al. 3 LTF).
2. Le recours contient plusieurs motifs se référant à des éléments de fait. Le recourant semble ainsi se plaindre, de façon implicite et confuse, de l'arbitraire de l'état de fait retenu par le Tribunal cantonal.
2.1 Le recourant évoque tout d'abord un procès-verbal du 17 juillet 1973 de la CCC constatant que le chalet de son père contrevenait aux prescriptions de police. Selon lui, le fait que l'ouvrage litigieux, situé juste en aval dudit chalet, n'ait pas lui-même fait l'objet d'une contravention à cette époque prouverait sa conformité à la loi.
Cet élément nouveau ne ressort pas du dossier, de sorte qu'il est irrecevable devant le Tribunal fédéral (art. 99 al. 1 LTF). Ce document - dont il ne produit en outre aucune copie - n'apparaît au demeurant pas déterminant pour le présent litige. En effet, le recourant ne saurait inférer de celui-ci un quelconque argument en faveur de l'ouvrage litigieux puisque la contravention prononcée en 1973 a uniquement pour objet le chalet du père du recourant.
2.2 Le recourant se plaint également du fait que le Tribunal cantonal a pris en considération le cheptel qu'il a annoncé il y a plus de deux ans, et non pas son état actuel. L'autorité précédente a retenu que ce cheptel se composait de deux vaches et d'une génisse. Le recourant n'a en l'occurrence donné aucune indication quantitative plus récente de son bétail, de sorte que l'autorité précédente n'a pas commis d'inexactitude manifeste sur ce point. Quant au fait nouveau invoqué par le recourant selon lequel l'an prochain deux de ses bêtes vont mettre bas, il est irrecevable (art. 99 al. 1 LTF). De toute façon, cet élément ne saurait à lui seul modifier l'appréciation faite par le Tribunal cantonal quant à la nécessité de la nouvelle construction.
3. Dans son écriture, le recourant avance également de manière confuse toute une série de critiques en lien avec l'arrêt cantonal.
3.1 Le recourant reproche au Tribunal cantonal de considérer la construction comme une ruine ou un vestige alors que tel n'aurait jamais été le cas; il ajoute que l'infrastructure aurait toujours été utilisée.
Le recourant semble oublier qu'il a lui-même qualifié de "vestige" dite construction et qu'il a notamment expliqué que le temps et les variations de température ont "sapé peu à peu cette réalisation familiale". Cela étant, le recourant ne précise pas en l'espèce s'il se plaint d'une mauvaise appréciation des faits - c'est-à-dire concernant l'état proprement dit de la construction en cause -, ou s'il critique l'application du droit - in casu, le fait que l'ouvrage était encore utilisable conformément à son affectation et que son utilisation réponde toujours à un besoin (cf. art. 24c LAT et art. 42 al. 4 OAT) -. La référence qu'il fait au considérant 4 de l'arrêt attaqué relatif à l'examen des conditions de l'art. 22 LTF n'est à cet égard d'aucun secours. Faute de toute précision sur ce point, ce grief doit être déclaré irrecevable. Au demeurant, même à supposer que le recourant entendait critiquer l'application du droit, ses explications se limitant à affirmer que l'infrastructure était toujours utilisée ne satisferaient pas aux exigences minimales de motivation (cf. consid. 1.2).
3.2 Le recourant relève ensuite que l'autorité précédente aurait omis de traiter de la question de la non-homologation du plan de zone alors qu'il avait expressément soulevé ce point dans son recours. On peine toutefois à discerner ce qu'il entend tirer de ce grief. Cet élément apparaît en outre sans pertinence au regard du présent litige dans la mesure où le recourant ne conteste pas que l'ouvrage en cause se situe actuellement en zone typiquement agricole.
3.3 Le recourant expose également que son recours au Tribunal cantonal contenait une explication sur le mode de fonctionnement de son exploitation. Il ajoute que son seul but est d'assurer la conservation d'un patrimoine et d'une exploitation pour les transmettre à ses descendants. Il fait à cet égard grief à l'instance précédente de n'avoir fait ressortir que l'aspect éphémère de son activité, sans avoir examiné les raisons sécuritaires qui l'ont conduit à entreprendre ces travaux.
Seul apparaît déterminant au regard de l'art. 22 LAT, le mode actuel d'exploitation. Les explications du recourant - quant à sa volonté de transmettre une exploitation fonctionnelle à ses héritiers - ne sont donc pas pertinentes pour l'issue du litige. En outre, s'agissant du fonctionnement de son exploitation, le recourant ne pouvait se contenter de renvoyer au recours interjeté devant le Tribunal cantonal (cf. consid. 1.2). Enfin, contrairement à ce que soutient le recourant, l'instance précédente s'est prononcée à satisfaction de droit sur les arguments de sécurité invoqués par le recourant; elle a considéré que des mesures pour prévenir l'affaissement de la route d'accès pouvaient être envisagées indépendamment de la reconstruction de l'ouvrage en cause (enrochement et drainage). Il peut être renvoyé sur ce point à l'arrêt cantonal (art. 109 al. 3 LTF). Par conséquent, ces griefs doivent, eux aussi, être écartés.
3.4 Le recourant se plaint que le Tribunal cantonal n'a pas tenu compte de l'ordonnance de l'OVF du 27 août 2008 sur la détention des animaux de rente et des animaux domestiques (RS 455.110.1), en particulier son art. 6 concernant les exigences applicables aux abris. En l'occurrence, on comprend à nouveau difficilement ce que le recourant entend tirer de ce moyen. Quoi qu'il en soit, l'OVF ne permet de toute façon pas de contourner les exigences légales de la LAT, seule applicable au cas d'espèce.
3.5 Enfin, le recourant soutient en substance qu'une autorisation devrait lui être accordée sur la base de l'art. 24d LAT. Il se contente à cet égard d'affirmer que la rénovation entreprise est en accord avec les exigences légales prévoyant une surface de 10 m2 par bête. Le recourant ne revient cependant pas sur l'argumentation développée par le Tribunal cantonal pour lui refuser l'octroi d'une autorisation dérogatoire au sens de l'art. 24d LAT (détention d'animaux à titre de loisir). Dans ces conditions, il est pour le moins douteux que le grief soit conforme aux exigences de motivation précitées (consid. 1.2). Cela étant, dans la mesure où il ne remet pas en cause les arguments pertinents développés par le Tribunal cantonal, sa critique peut être rejetée sommairement, le recourant étant renvoyé sur ce point également aux considérants de l'arrêt attaqué (art. 109 al. 3 LTF).
4. Il résulte de ce qui précède que le recours, manifestement infondé, doit être rejeté dans la mesure de sa recevabilité, selon la procédure simplifiée de l'art. 109 al. 2 LTF. Le recourant, qui succombe, doit supporter les frais judiciaires (art. 65 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au recourant, à la Commune de Nendaz, au Conseil d'Etat et au Tribunal cantonal du canton du Valais, Cour de droit public, et à l'Office fédéral du développement territorial.
Lausanne, le 27 avril 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: La Greffière:
Aemisegger Arn