Faits: A. Le 24 juillet 2003, la Commission cantonale des constructions du canton du Valais (CCC) a accordé à A._ l'autorisation d'agrandir son chalet sur la parcelle n° 14683 à Bruson, en zone agricole. L'agrandissement prévu, soit un salon d'une surface au sol de 21,5 m2 (4,3 par 5 m), devait s'insérer entre le chalet existant, de 56 m2 (plus un bûcher de 8 m2) et un garage de 51 m2. Au cours d'un contrôle effectué en août 2005, il a été constaté que la transformation n'avait pas été réalisée conformément aux plans autorisés, mais en y ajoutant des éléments d'un précédent projet non autorisé: l'annexe mesurait 4,3 m par 6,5 m, les fenêtres étaient plus grandes, un réduit avait été ajouté sur la façade ouest, un espace avait été créé au-dessus de l'entrée, un avant-toit avait été ajouté et le mur en béton du garage avait été doublé en pierres naturelles. Par décision du 9 décembre 2005, la CCC a imparti à A._ un délai de six mois pour procéder à une remise en état selon les plans autorisés le 24 juillet 2003. A._ a saisi en vain le conseil d'Etat valaisan. B. Par arrêt du 27 août 2010, la Cour de droit public du Tribunal cantonal valaisan, a partiellement admis le recours formé par A._, après avoir rejeté diverses offres de preuve. Les transformations excédant l'autorisation de construire entrée en force, ne pouvaient être autorisées en application des art. 24c LAT et 42 al. 1 OAT - à supposer que le chalet ait été construit avant le 1er juillet 1972 -, car elles dépassaient le potentiel d'agrandissement de 30% par rapport à l'état initial. L'ordre de remise en état ne comportait pas toutes les mentions prévues par la loi, mais cela ne constituait pas un motif d'annulation. Le principe de la proportionnalité était respecté. La cour cantonale a toutefois estimé que certaines modifications, mineures, pouvaient être maintenues: le déplacement de la cheminée au centre de l'annexe, les petites fenêtres à l'arrière, l'avant-toit sur le garage et le doublement du garage en pierres naturelles. Pour le surplus, l'ordre de remise en état était confirmé. C. A._ forme un recours en matière de droit public, par lequel il demande l'annulation des décisions du Tribunal cantonal, du Conseil d'Etat et de la CCC. Il prend diverses conclusions subsidiaires (prononcé d'une amende de 10'000 fr., suppression du réduit avec vélux, suppression du bûcher, élévation du tambour d'entrée, renvoi de la cause pour complément d'instruction). Il requiert l'effet suspensif, qui a été accordé par ordonnance du 28 octobre 2010. La cour cantonale a renoncé à se déterminer. La commune de Bagnes et le Conseil d'Etat concluent au rejet du recours. L'Office fédéral du développement territorial a renoncé à formuler des observations.