Faits:
A. Le 24 juillet 2003, la Commission cantonale des constructions du canton du Valais (CCC) a accordé à A._ l'autorisation d'agrandir son chalet sur la parcelle n° 14683 à Bruson, en zone agricole. L'agrandissement prévu, soit un salon d'une surface au sol de 21,5 m2 (4,3 par 5 m), devait s'insérer entre le chalet existant, de 56 m2 (plus un bûcher de 8 m2) et un garage de 51 m2.
Au cours d'un contrôle effectué en août 2005, il a été constaté que la transformation n'avait pas été réalisée conformément aux plans autorisés, mais en y ajoutant des éléments d'un précédent projet non autorisé: l'annexe mesurait 4,3 m par 6,5 m, les fenêtres étaient plus grandes, un réduit avait été ajouté sur la façade ouest, un espace avait été créé au-dessus de l'entrée, un avant-toit avait été ajouté et le mur en béton du garage avait été doublé en pierres naturelles. Par décision du 9 décembre 2005, la CCC a imparti à A._ un délai de six mois pour procéder à une remise en état selon les plans autorisés le 24 juillet 2003. A._ a saisi en vain le conseil d'Etat valaisan.
B. Par arrêt du 27 août 2010, la Cour de droit public du Tribunal cantonal valaisan, a partiellement admis le recours formé par A._, après avoir rejeté diverses offres de preuve. Les transformations excédant l'autorisation de construire entrée en force, ne pouvaient être autorisées en application des art. 24c LAT et 42 al. 1 OAT - à supposer que le chalet ait été construit avant le 1er juillet 1972 -, car elles dépassaient le potentiel d'agrandissement de 30% par rapport à l'état initial. L'ordre de remise en état ne comportait pas toutes les mentions prévues par la loi, mais cela ne constituait pas un motif d'annulation. Le principe de la proportionnalité était respecté. La cour cantonale a toutefois estimé que certaines modifications, mineures, pouvaient être maintenues: le déplacement de la cheminée au centre de l'annexe, les petites fenêtres à l'arrière, l'avant-toit sur le garage et le doublement du garage en pierres naturelles. Pour le surplus, l'ordre de remise en état était confirmé.
C. A._ forme un recours en matière de droit public, par lequel il demande l'annulation des décisions du Tribunal cantonal, du Conseil d'Etat et de la CCC. Il prend diverses conclusions subsidiaires (prononcé d'une amende de 10'000 fr., suppression du réduit avec vélux, suppression du bûcher, élévation du tambour d'entrée, renvoi de la cause pour complément d'instruction). Il requiert l'effet suspensif, qui a été accordé par ordonnance du 28 octobre 2010.
La cour cantonale a renoncé à se déterminer. La commune de Bagnes et le Conseil d'Etat concluent au rejet du recours. L'Office fédéral du développement territorial a renoncé à formuler des observations.

Considérant en droit:
1. Dirigé contre une décision prise en dernière instance cantonale dans le domaine du droit public de l'aménagement du territoire et des constructions, le recours est recevable comme recours en matière de droit public conformément aux art. 82 ss LTF.
Le recourant a qualité pour recourir au sens de l'art. 89 al. 1 LTF contre l'arrêt attaqué qui confirme dans une large mesure l'ordre de remise en état. Le recours a été déposé en temps utile (art. 100 al. 1 LTF) et il convient d'entrer en matière.
2. Invoquant son droit d'être entendu, le recourant reproche à la cour cantonale d'avoir renoncé à une inspection locale et de ne pas avoir ordonné d'expertise afin de définir l'agrandissement réellement litigieux. Il fait par ailleurs grief à la cour cantonale de ne pas avoir sanctionné le défaut de motivation qui entachait selon lui les décisions de la CCC et du Conseil d'Etat. Dans un grief voisin, il estime que la décision de remise en état ne comporterait pas les mentions prévues aux art. 51 al. 2 à 4 et 52 al. 2 et 3 de la loi valaisanne sur les constructions (LC; RS/VS 705.1), ce qui suffirait à son annulation.
2.1 Conformément au droit d'être entendu (art. 29 al. 2 Cst.), l'autorité doit indiquer dans son prononcé les motifs qui la conduisent à sa décision (<ref-ruling> consid. 5.5 p. 236). Elle n'est pas tenue de discuter de manière détaillée tous les arguments soulevés par les parties, ni de statuer séparément sur chacune des conclusions qui lui sont présentées. Elle peut se limiter à l'examen des questions décisives pour l'issue du litige; il suffit que le justiciable puisse apprécier correctement la portée de la décision et l'attaquer à bon escient (<ref-ruling> consid. 4.1 p. 88; <ref-ruling> consid. 4.3 p. 540; <ref-ruling> consid. 2b, et les arrêts cités).
Le droit d'être entendu permet par ailleurs au justiciable de participer à la procédure probatoire en exigeant l'administration des preuves déterminantes (<ref-ruling> consid. 2a/aa p. 16 et les arrêts cités). Ce droit ne s'étend toutefois qu'aux éléments pertinents pour décider de l'issue du litige. Il est ainsi possible de renoncer à l'administration de certaines preuves offertes, lorsque le juge parvient à la conclusion qu'elles ne sont pas décisives pour la solution du litige ou qu'elles ne pourraient l'amener à modifier son opinion. Ce refus d'instruire ne viole le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a ainsi procédé, est entachée d'arbitraire (<ref-ruling> consid. 6c/cc in fine p. 135, 417 consid. 7b p. 430; <ref-ruling> consid. 4a p. 211, 241 consid. 2 p. 242, 274 consid. 5b p. 285 et les arrêts cités; sur la notion d'arbitraire, voir <ref-ruling> consid. 5a p. 70).
2.2 La cour cantonale a considéré que les photographies figurant au dossier suffisaient à l'élucidation des faits pertinents. Le recourant soutient au contraire qu'une inspection locale aurait permis - au contraire d'une simple consultation des plans - de se rendre compte que les modifications mineures apportées au projet autorisé ne changeaient rien à l'aspect du bâtiment. La cour cantonale se serait aussi rendu compte que le maintien de la cheminée serait impossible en reculant la façade du bâtiment.
Le recourant perd de vue que s'il n'a pas été mis au bénéfice des art. 24c LAT et 42 al. 1 OAT, c'est essentiellement en raison du dépassement du potentiel d'agrandissement autorisé par ces dispositions, la question de l'aspect du bâtiment apparaissant secondaire. Les nombreuses photographies annexées au rapport de l'inspecteur de la CCC permettaient à la cour cantonale de se rendre compte de l'état existant du bâtiment. Il n'y a pas de violation du droit d'être entendu. Quant au déplacement de la cheminée, il s'agit d'un élément de l'arrêt cantonal dont le recourant ne saurait se plaindre, puisqu'il constitue une concession en sa faveur; le problème pouvait d'ailleurs aussi être décelé par un examen des plans. Enfin, l'existence d'un atelier dans le garage ne constitue pas, comme on le verra, un élément de fait déterminant.
L'expertise requise par le recourant devait quant à elle permettre de déterminer l'agrandissement réellement litigieux. Il s'agit toutefois d'une question de fait sur laquelle les autorités précédentes étaient à même de se prononcer en toute connaissance de cause sur la base des plans versés au dossier, en tenant compte des objections et des divers avis et documents produits par le recourant, sans avoir à recourir à l'avis d'un spécialiste.
2.3 L'arrêt attaqué examine la motivation des décisions précédentes sous l'angle des art. 51 et 52 LC. Le recourant ne saurait ainsi prétendre que la question aurait été ignorée.
2.3.1 Selon l'art. 51 LC, la décision de remise en état doit comporter les mentions suivantes: fixation d'un délai raisonnable de remise en état sous la menace d'une exécution d'office (al. 2); détermination exacte de la mesure à prendre par l'obligé pour rétablir une situation conforme au droit (al. 3 let. a), indication du délai d'exécution de la mesure ordonnée (let. b), menace de l'exécution d'office en cas de non-respect du délai fixé (let. c), indication de la possibilité de déposer une nouvelle demande (let. d) et indication des voies de recours (let. e).
2.3.2 La cour cantonale a reconnu que l'ordre de remise en état ne faisait pas état de la possibilité de demander une régularisation. Elle a toutefois relevé à juste titre que le recourant n'en avait subi aucun préjudice, puisqu'il avait pu former une telle demande. L'absence de menace d'exécution forcée ne prêtait pas non plus à conséquence. En effet, l'art. 53 al. 1 LC prévoit expressément qu'une exécution par substitution doit nécessairement être précédée d'une commination formelle. La cour cantonale pouvait dès lors à bon droit considérer que l'irrégularité alléguée ne portait pas non plus préjudice au recourant, et qu'elle était sans incidence sur la validité de la décision de remise en état.
2.3.3 La cour cantonale a également reconnu que la décision de remise en état ne précisait pas quelles transformations devaient être supprimées, et que le Conseil d'Etat ne s'était pas non plus prononcé sur ce moyen. Toutefois, il ressort clairement des décisions précédentes que l'état de fait admissible est celui qui a été autorisé par la CCC le 24 juillet 2003, à l'exclusion de toute autre transformation. Cela permettait au recourant de déterminer avec suffisamment de précision en quoi consistaient les travaux de remise en état.
2.3.4 En définitive, la cour cantonale n'a commis aucun arbitraire en considérant que les mentions prévues à l'art. 51 LC ne constituaient pas des conditions de validité de la décision de remise en état. Cette dernière était suffisamment compréhensible pour que le justiciable puisse l'exécuter, respectivement la contester, en toute connaissance de cause. Cette interprétation est également conforme aux exigences qui découlent du droit d'être entendu.
Les griefs d'ordre formel doivent donc être écartés.
3. Le recourant se plaint d'arbitraire dans l'établissement des faits. Il reproche au Tribunal cantonal de ne pas avoir recherché quelle était la configuration du chalet en 1972. Il aurait aussi méconnu qu'une partie du garage serait occupée par un atelier et un carnotzet, dont il y aurait lieu de tenir compte dans le calcul de la surface brute de plancher (SBP).
3.1 Le recourant ne peut critiquer la constatation de faits que si ceux-ci ont été établis de manière manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF, notamment en violation de l'interdiction de l'arbitraire (art. 97 al. 1 LTF; <ref-ruling> consid. 4.3 p. 62). Selon la jurisprudence, l'appréciation des preuves ou l'établissement des faits sont arbitraires lorsque l'autorité n'a manifestement pas compris le sens et la portée d'un moyen de preuve, si elle ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision ou lorsqu'elle tire des constatations insoutenables des éléments recueillis (<ref-ruling> consid. 2.1 p. 9; <ref-ruling> consid. 2a p. 41). La correction d'un tel vice doit être susceptible d'influer sur le sort de la cause (art. 97 al. 1 in fine LTF).
3.2 L'état de la construction en 1972 n'a pas été considéré comme déterminant par la cour cantonale. Cette appréciation ne prête pas le flanc à la critique, puisqu'il a été retenu que le recourant pouvait de toute façon se prévaloir de l'autorisation qui lui avait été accordée en 2003, et que les autorités se sont fondées sur l'état initial avant cette autorisation. Le garage est désigné comme tel sur le plan de situation produit à l'appui de la demande d'autorisation de construire de 2003, quand bien même une partie de celui-ci serait utilisée à d'autres fins. Appelé à plusieurs reprises à se déterminer sur l'affectation des différentes parties de la construction, le recourant n'a pas mentionné l'existence d'un atelier et d'un carnotzet. La cour cantonale n'a dès lors commis aucun arbitraire en n'en tenant pas compte. L'adjonction d'une surface de 4,8 m2 (atelier) et d'un "petit carnotzet" ne modifierait d'ailleurs pas sensiblement le résultat des calculs déjà effectués sur la base des chiffres les plus favorables au recourant (100 m2 de SBP existante et 41 m2 de nouvelles surfaces). Le grief doit par conséquent être écarté.
4. Le recourant se prévaut des art. 24c LAT et 42 OAT. Il estime que le dépassement de la surface d'agrandissement admissible selon ces dispositions serait de 10 m2 au maximum. La cour cantonale devait en tout cas rechercher si la suppression du réduit, du bûcher ou de la surhauteur de l'entrée était susceptible de permettre le maintien du reste de l'agrandissement.
4.1 L'art. 24c LAT consacre la protection de la situation acquise pour les constructions et installations sises hors de la zone à bâtir, qui peuvent être utilisées conformément à leur destination mais qui ne sont plus conformes à l'affectation de la zone (al. 1). L'autorité compétente peut autoriser la rénovation de telles constructions et installations, leur transformation partielle, leur agrandissement mesuré ou leur reconstruction, pour autant que les bâtiments aient été érigés ou transformés légalement. Dans tous les cas, les exigences majeures de l'aménagement du territoire doivent être satisfaites (al. 2).
En tant que dérogation aux principes fixés à l'art. 24 LAT, cette disposition doit recevoir une interprétation stricte. Ainsi, l'art. 42 OAT pose des limites claires aux modifications qui peuvent être apportées à de telles constructions. L'identité de la construction et de ses abords doit être respectée pour l'essentiel (al. 1). La surface brute de plancher ne peut être augmentée de plus de 60% à l'intérieur du volume bâti (al. 3 let. a). Un agrandissement extérieur ne peut dépasser le 30% de la surface ou 100 m2 (al. 3 let. b).
4.2 En l'espèce, la cour cantonale a retenu qu'abstraction faite de la surface du garage, la SBP initiale était de 100,89 m2, en incluant les surfaces de l'entrée et du bûcher, non prises en compte par l'instance précédente. Le recourant fait état d'un chiffre voisin, de quelque 110 m2 en incluant notamment l'atelier. S'agissant de la surface de l'agrandissement, la cour cantonale l'a estimée à 41,36 m2 en se fondant sur les chiffres produits par le recourant lui-même, et qui lui sont le plus favorable. Dans tous les cas, l'agrandissement litigieux dépasse largement le maximum de 30% autorisé.
Le recourant propose une remise en état limitée à certains éléments. L'argument relève du principe de la proportionnalité, examiné ci-dessous.
5. Selon la jurisprudence, l'ordre de démolir une construction édifiée sans droit et pour laquelle une autorisation ne peut être accordée n'est en soi pas contraire au principe de la proportionnalité. L'autorité renonce à une telle mesure si les dérogations à la règle sont mineures, si l'intérêt public lésé n'est pas de nature à justifier le dommage que la démolition causerait au maître de l'ouvrage, si celui-ci pouvait de bonne foi se croire autorisé à construire ou encore s'il y a des chances sérieuses de faire reconnaître la construction comme conforme au droit (<ref-ruling> consid. 3bb p. 252; <ref-ruling> consid. 6b p. 224s.; <ref-ruling> consid. 4 p. 69).
5.1 En l'espèce, quelles que soient les raisons invoquées par le recourant, l'agrandissement litigieux viole clairement les termes de l'autorisation de construire accordée en juillet 2003. Il heurte tout aussi clairement les règles strictes relatives aux constructions hors zone à bâtir. Le recourant était d'autant mieux au courant des exigences d'un agrandissement mesuré qu'un précédent projet, jugé excessif, avait été refusé quelques mois auparavant. Il ne saurait donc en aucun cas se prévaloir de sa bonne foi, et le montant des travaux de remise en état n'apparaît pas comme un élément déterminant, le recourant ayant sciemment pris le risque d'effectuer des transformations non autorisées et de placer l'autorité devant le fait accompli. Dans un tel contexte, exiger une remise en état conforme à l'autorisation de construire n'apparaît à tout le moins pas disproportionné, et les diverses propositions de remise en état partielle du recourant doivent être écartées. La cour cantonale a d'ailleurs autorisé le maintien de diverses modifications qu'elle a qualifiées de mineures, et le recourant ne saurait requérir davantage. Le principe de la proportionnalité est manifestement respecté.
6. Sur le vu de ce qui précède, le recours doit être rejeté dans toutes ses conclusions, aux frais de son auteur (art. 66 al. 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, à la Commune de Bagnes, au Conseil d'Etat et au Tribunal cantonal du canton du Valais, Cour de droit public, ainsi qu'à l'Office fédéral du développement territorial.
Lausanne, le 24 mars 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Fonjallaz Kurz