Faits:
A. A._ a acquis au mois d'août 2007 la parcelle n° 3028 de la commune d'Hérémence. Celle-ci est située en zone agricole et dans la zone de "danger d'avalanche rouge" - soit la zone de danger le plus élevé - selon le plan de zone communal adopté en 1998. Il s'y trouvait un chalet dont la construction avait été autorisée en 1976, mais qui avait été emporté par une avalanche en cours de travaux, en 1978. Seul subsistait alors le socle en maçonnerie, recouvert d'un toit de tôles changé en 1998 sur injonction de la commune.
Le 26 septembre 2007, la Commission cantonale des constructions (ci-après: la CCC) a constaté que des travaux de transformation avaient été entrepris sans autorisation sur le chalet; elle en a ordonné l'arrêt immédiat. Le 28 septembre 2007, A._ a déposé une demande d'autorisation de construire portant sur l'achèvement et l'adaptation des travaux autorisés en 1976. Par décision du 15 mai 2008, la CCC a refusé l'autorisation de construire et ordonné la suppression du bâtiment et une remise en état du profil et de la végétation de la parcelle. A._ a requis en vain la reconsidération de cette décision et a saisi le Conseil d'Etat qui, par décision du 7 octobre 2009, a rejeté le recours. Le bâtiment se trouvait à l'état de ruine jusqu'en 2007. Une reconstruction n'était pas possible dans la zone d'avalanche, de surcroît de nature forestière.
B. Par arrêt du 18 février 2010, la Cour de droit public du Tribunal cantonal valaisan a rejeté le recours formé par A._. Le projet concerné par le permis de construire de 1976 n'avait pas été réalisé, de sorte que la construction actuelle n'avait pas été autorisée. En 1998, le Conseil communal avait invité le précédent propriétaire à refaire la toiture; cette décision n'était toutefois pas de la compétence des autorités communales, mais de la CCC s'agissant d'une construction hors de la zone à bâtir. Il n'était pas contesté que le bâtiment n'était pas utilisé à des fins agricoles, de sorte qu'une autorisation fondée sur les art. 15, 22 et 24 LAT était exclue. S'agissant d'une construction située à la fois en zone d'avalanche et en zone agricole, le délai de dix ans pour exiger une remise en état n'était pas opposable.
C. A._ forme un recours en matière de droit public par lequel il demande l'annulation de l'arrêt cantonal.
Le Tribunal cantonal et la CCC renoncent à se déterminer. Le Conseil d'Etat se réfère à sa décision et propose le rejet du recours, de même que la commune d'Hérémence. L'Office fédéral du développement territorial estime que la situation du bâtiment en zone agricole et en zone d'avalanche exclut une reconstruction et justifie l'ordre de remise en état. Le recourant a répliqué.

Considérant en droit:
1. Dirigé contre une décision prise en dernière instance cantonale dans le domaine du droit public de l'aménagement du territoire et des constructions, le recours est recevable comme recours en matière de droit public conformément aux <ref-law>. Le recourant a qualité pour recourir au sens de l'<ref-law> contre l'arrêt attaqué qui confirme l'ordre de remettre en état sa parcelle. Le recours a été déposé en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>).
2. Le recourant reproche au Tribunal cantonal d'avoir établi les faits de manière inexacte en retenant que la construction existante serait différente de celle pour laquelle un permis de construire avait été délivré en 1976, et que cette construction n'avait donc pas été autorisée. En réalité, la construction litigieuse serait bien celle qui a été autorisée en 1976, modifiée après l'avalanche de 1978 et améliorée sur ordre de la commune en 1998.
2.1 Le recourant ne peut critiquer la constatation de faits que si ceux-ci ont été établis de manière manifestement inexacte ou en violation du droit au sens de l'<ref-law>, notamment en violation de l'interdiction de l'arbitraire (<ref-law>; <ref-ruling> consid. 4.3 p. 62), ce qui signifie que le recourant doit formuler sa critique en respectant les exigences de motivation de l'<ref-law> (<ref-ruling> consid. 1.4.3 p. 254 s.). Selon la jurisprudence, l'appréciation des preuves ou l'établissement des faits sont arbitraires lorsque l'autorité n'a manifestement pas compris le sens et la portée d'un moyen de preuve, si elle ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision ou lorsqu'elle tire des constatations insoutenables des éléments recueillis (<ref-ruling> consid. 2.1 p. 9; <ref-ruling> consid. 2a p. 41). La correction d'un tel vice doit être susceptible d'influer sur le sort de la cause (art. 97 al. 1 in fine LTF).
2.2 L'arrêt attaqué rappelle l'historique des faits, soit l'obtention d'une autorisation de construire par le précédent propriétaire, le début des travaux et leur interruption après l'avalanche, la réfection de la toiture et les travaux réalisés par le nouveau propriétaire. Il en ressort clairement que l'ensemble de ces travaux se rapporte au même immeuble, et la cour cantonale n'a commis aucun arbitraire sur ce point. En affirmant que le permis de construire initial n'a jamais été réalisé et que la bâtisse existante serait donc une construction autre que celle qui avait été autorisée, la cour cantonale a porté une appréciation juridique, que le recourant ne saurait remettre en cause par le biais de l'établissement des faits. Le grief doit donc être écarté.
3. Invoquant les art. 5 al. 3 et 9 Cst., le recourant se prévaut du principe de la bonne foi en relevant que les autorités ne sont pas intervenues durant plus de trente ans pour exiger l'achèvement des travaux ou la démolition de la construction. Par ailleurs, le Conseil communal avait invité le précédent propriétaire à refaire la toiture et il serait indifférent, sous l'angle de la bonne foi, que l'autorité communale ait été ou non compétente pour agir ainsi. Le recourant pourrait se prévaloir de la bonne foi de ses prédécesseurs.
3.1 Ancré à l'art. 9 Cst. et valant pour l'ensemble de l'activité étatique, le principe de la bonne foi confère à l'administré, à certaines conditions, le droit d'exiger des autorités qu'elles se conforment aux promesses ou assurances précises qu'elles lui ont faites lorsque, sur la foi de celles-ci, il a pris des dispositions sur lesquelles il ne peut pas revenir sans subir de préjudice (cf. <ref-ruling> consid. 6.1 p. 636/637; <ref-ruling> consid. 4.1 p. 170; <ref-ruling> consid. 10b/aa p. 125).
3.2 Si l'autorité cantonale compétente, soit en l'occurrence la CCC n'est pas intervenue durant de nombreuses années pour exiger la remise en état de la parcelle, c'est manifestement qu'elle ignorait les circonstances qui ont suivi l'octroi de l'autorisation de construire en 1976, soit l'interruption totale des travaux après la destruction partielle de l'ouvrage par une avalanche. On ne saurait dès lors inférer de son inaction une assurance quelconque quant au droit de reconstruire le bâtiment. Quant aux autorités communales, elles se sont limitées à exiger la pose d'une nouvelle toiture pour des motifs d'esthétique et de sécurité, la toiture de tôles s'étant effondrée sous le poids de la neige. L'intervention communale ne pouvait, elle non plus, valoir comme autorisation de reconstruire ou comme une assurance dans ce sens. L'intéressé ne pouvait d'ailleurs ignorer que l'autorisation de construire initiale avait été accordée par la CCC, et non par la commune. Le recourant ne saurait dès lors se prévaloir du principe de la bonne foi.
4. Invoquant ensuite la garantie de la propriété, le recourant soutient que l'ordre de démolition ne reposerait sur aucune base légale. L'art. 51 de la loi valaisanne sur les constructions (LC - procédure de remise en état des lieux) ne s'appliquerait pas à une construction ayant fait l'objet d'une autorisation de construire. L'art. 52 LC (atteinte à l'ordre public) ne s'appliquerait pas non plus puisque la toiture a été refaite sur injonction de la commune, conformément à cette disposition. L'art. 31 de la loi cantonale concernant l'application de la LAT (LcAT), qui interdit les constructions en zone de danger, ne s'appliquerait pas à une construction existante. Enfin, l'ordre de démolition violerait le principe de la proportionnalité car une interdiction d'utilisation en hiver suffirait à prévenir le danger lié aux avalanches.
4.1 Dans une large mesure, l'argumentation du recourant part de la prémisse que la construction litigieuse ne serait pas nouvelle puisqu'elle aurait été autorisée en 1976 et améliorée en 1998. Toutefois, comme l'ont retenu successivement la CCC, le Conseil d'Etat et la cour cantonale, le projet autorisé en 1976 a été emporté par une avalanche, et seule a subsisté la partie en maçonnerie, à l'état de ruine recouverte par des tôles. Le projet n'a donc jamais été réalisé pendant la durée de validité du permis de construire initial. Dans ces conditions, la construction entreprise par le recourant est bien une construction nouvelle, exécutée sans autorisation, ce qui justifiait l'application tant de l'art. 31 al. 2 LcAT que de l'art. 51 LC qui permet d'exiger une remise en état en cas de construction illicite.
4.2 Le recourant se prévaut également en vain du principe de la proportionnalité et de la disposition dérogatoire de l'art. 97 al. 2 RCCZ, dès lors que la parcelle est classée non seulement en zone d'avalanche, mais aussi en zone agricole, ce qui empêche par principe toute construction non conforme à cette affectation.
5. Le recourant se plaint enfin d'une application arbitraire de l'art. 51 al. 5 LC, disposition selon laquelle, dix ans après le jour où l'état de fait contraire au droit était reconnaissable, la remise en état des lieux ne peut être exigée que si elle est commandée par des intérêts publics impératifs. La prescription absolue est de trente ans dès l'achèvement des travaux.
5.1 En l'espèce, les intérêts impératifs liés au caractère inconstructible de la parcelle et à l'existence d'une zone d'avalanche permettaient sans arbitraire de faire abstraction du délai de dix ans, sans qu'il y ait à rechercher plus précisément à partir de quand le délai a commencé de courir. Le recourant ne saurait non plus se prévaloir du délai absolu de trente ans puisque la construction autorisée en 1978 n'a jamais été achevée.
5.2 Le recourant se plaint aussi d'arbitraire dans l'application des art. 51 al. 1 à 3 et 52 LC. Il persiste à considérer que la construction actuelle n'aurait pas été réalisée sans autorisation. Comme cela a été relevé ci-dessus, l'affirmation contraire des autorités intimées est dénuée d'arbitraire.
5.3 Le recourant invoque enfin la protection des droits acquis, au sens de l'art. 3 LC. Outre que son argumentation ne répond pas aux exigences accrues de l'<ref-law> s'agissant d'un grief d'ordre constitutionnel, le recourant ne saurait se prévaloir du droit, consacré par cette disposition, d'entretenir, de transformer ou d'agrandir le bâtiment autorisé en 1978, dès lors que celui-ci se trouvait, au moment de l'acquisition du bien-fonds par le recourant, à l'état de ruine, et située depuis 1998 en zone d'avalanche inconstructible. L'art. 4 LC prévoit, dans le cas particulier de bâtiments détruits en raison d'une catastrophe naturelle, qu'une reconstruction n'est possible que si la demande en est faite dans les cinq ans et qu'aucun intérêt prépondérant ne s'y oppose. Ces conditions ne sont pas réalisées en l'espèce compte tenu du délai dans lequel le recourant a agi et de l'existence d'une zone d'avalanche dans laquelle toute construction est en principe interdite en vertu de l'art. 31 LcAT. Le grief d'arbitraire apparaît ainsi mal fondé.
6. Sur le vu de ce qui précède, le recours doit être rejeté, aux frais du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, à la Commune d'Hérémence, au Conseil d'Etat du canton de Valais, Chancellerie d'Etat, au Tribunal cantonal du canton du Valais, Cour de droit public, et à l'Office fédéral du développement territorial.
Lausanne, le 6 septembre 2010
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Féraud Kurz