Faits:
A. Le 29 juillet 2010, le Ministère public du canton du Valais a renvoyé Bernard Rappaz devant le Tribunal du IIIème arrondissement pour le district de Martigny (ci-après: le tribunal), comme accusé notamment de faux dans les titres, blanchiment d'argent et violations de la LStup. Les débats ont été ajournés par décision du 25 novembre 2010, car l'accusé suivait alors un jeûne de protestation en raison d'une précédente condamnation et n'était pas en mesure de se présenter à une audience de jugement.
B. Le 29 novembre 2010, l'avocat de l'accusé a demandé la récusation des trois juges du tribunal, ainsi que de tous les membres de l'ordre judiciaire valaisan. Selon un article paru le 19 mai 2010 dans le Nouvelliste, des magistrats cantonaux valaisans - dont l'identité était inconnue - auraient critiqué l'interruption de peine accordée à Bernard Rappaz par la Cheffe du département cantonal de la sécurité, des affaires sociales et de l'intégration. Ce faisant, les magistrats impliqués avaient violé leur devoir de réserve ainsi que le principe de séparation des pouvoirs. Ces faits auraient été révélés le 18 novembre 2010 lors des débats du Grand Conseil valaisan relatifs à une pétition demandant une enquête sur l'identité et la motivation des magistrats en cause. Les trois juges du Tribunal d'arrondissement ont contesté avoir tenu les propos incriminés et ont refusé de se récuser.
C. Par décision du 10 janvier 2011, le Juge de la Chambre pénale du Tribunal cantonal valaisan (également Président du Tribunal cantonal) a rejeté la demande, "dans la mesure où elle n'était pas irrecevable ou sans objet". Malgré la demande générale de récusation, la Chambre pénale s'est estimée apte à statuer elle-même sur la demande, en raison de son caractère irrecevable et infondé, voire abusif. Une demande tendant à la récusation de tous les juges valaisans et à l'intervention d'une autorité extérieure n'était pas admissible. En outre, la demande de récusation apparaissait tardive puisque les propos incriminés avaient paru dans la presse six mois auparavant. L'affaire était fortement médiatisée et il n'était pas vraisemblable que le requérant n'ait eu connaissance du motif de récusation que le 18 novembre 2010. On ignorait au demeurant si les propos rapportés dans la presse avaient bien été tenus par des magistrats valaisans.
D. Par acte du 10 février 2010, Bernard Rappaz forme un recours en matière pénale par lequel il demande l'annulation de l'arrêt cantonal et le renvoi de la cause à un tribunal extraordinaire pour nouveau jugement au sens des considérants; subsidiairement, il demande la réforme de l'arrêt attaqué en ce sens que sa demande de récusation est admise. Le recourant a par la suite demandé l'assistance judiciaire.
Le Président de la Chambre pénale se réfère à sa décision. Le Ministère public et le Président du Tribunal d'arrondissement ont renoncé à se déterminer. L'un des juges du tribunal maintient son refus de se récuser.

Considérant en droit:
1. Conformément aux art. 78 et 92 al. 1 LTF, une décision relative à la récusation de magistrats dans la procédure pénale peut faire immédiatement l'objet d'un recours en matière pénale.
1.1 L'auteur de la demande de récusation a qualité pour agir (<ref-law>). Le recourant a agi dans le délai de trente jours prescrit à l'<ref-law>.
1.2 La décision attaquée est rendue en dernière instance cantonale, au sens de l'<ref-law>. Les conclusions tendant à l'annulation de la décision attaquée et au renvoi de la cause, voire à l'admission de la demande de récusation, sont recevables.
2. Le recourant estime que l'état de fait de la décision attaquée serait lacunaire, faute de mentionner un communiqué lu le 18 novembre 2010 devant le Grand Conseil, par lequel le Tribunal cantonal avait déclaré regretter le comportement de certains juges et avait présenté ses excuses pour un comportement de nature à porter atteinte à l'indépendance et au crédit de la fonction. Cet élément de fait serait propre à remettre en cause l'argumentation retenue par l'autorité intimée.
2.1 L'argument ne relève pas de la motivation proprement dite de la décision attaquée (<ref-law>), mais de l'établissement des faits au sens des art. 97 et 105 LTF. Le recourant ne peut critiquer la constatation de faits que si ceux-ci ont été établis de manière manifestement inexacte ou en violation du droit au sens de l'<ref-law>, notamment en violation de l'interdiction de l'arbitraire (<ref-law>; <ref-ruling> consid. 4.3 p. 62). Selon la jurisprudence, l'établissement des faits est arbitraire lorsque l'autorité n'a manifestement pas compris le sens et la portée d'un moyen de preuve, si elle ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision ou lorsqu'elle tire des constatations insoutenables des éléments recueillis (<ref-ruling> consid. 2.1 p. 9; <ref-ruling> consid. 2a p. 41). La correction d'un tel vice doit être susceptible d'influer sur le sort de la cause (art. 97 al. 1 in fine LTF).
2.2 La déclaration officielle du Tribunal cantonal se rapporte aux critiques formulées par certains magistrats à l'égard de la Cheffe du département cantonal. Il en ressort certes que certains membres de la juridiction auraient violé leur devoir de réserve. Toutefois, cette déclaration est rédigée dans des termes très généraux. Elle ne dit rien sur les auteurs des critiques (qui sont actuellement encore inconnus), ni sur les termes qui auraient été exactement employés. La cour cantonale n'a dès lors commis aucun arbitraire en retenant que ces derniers points n'étaient pas établis, et la pièce litigieuse ne pouvait l'amener à changer d'opinion à ce sujet.
3. Le recourant relève que selon l'art. 21 al. 2 de la loi valaisanne d'organisation de la justice (LOJ), il appartiendrait à un Tribunal extraordinaire de statuer sur une demande de récusation visant l'ensemble des juges cantonaux. Le Juge de la Chambre pénale a considéré la demande comme abusive, ce qui lui aurait permis de statuer lui-même. Le recourant estime que sa démarche n'était pas abusive, compte tenu notamment des excuses présentées officiellement par le Tribunal cantonal, et qu'il y aurait suspicion légitime à l'égard de tous les magistrats cantonaux tant que les auteurs des déclarations incriminées ne seraient pas découverts.
3.1 Le tribunal dont la récusation est demandée en bloc peut déclarer lui-même la requête irrecevable lorsque celle-ci est abusive ou manifestement mal fondée alors même que cette décision incomberait, selon la loi de procédure applicable, à une autre autorité (<ref-ruling> consid. 1 p. 279; <ref-ruling> consid. 1c et d p. 304). Les juridictions cantonales peuvent également appliquer cette jurisprudence, développée dans le cadre d'une demande de récusation des juges du Tribunal fédéral, sans verser dans l'arbitraire. S'agissant toutefois d'une exception au principe suivant lequel le juge dont la récusation est sollicitée ne saurait faire partie de la composition de l'autorité chargée de statuer sur son déport, le caractère abusif ou manifestement infondé d'une demande de récusation ne doit pas être admis trop facilement.
3.2 Le recourant a formulé sa demande de récusation dans la perspective du jugement du Tribunal du IIIème arrondissement pour le district de Martigny en se fondant sur l'<ref-law>/VS (récusation facultative). Il a étendu sa démarche à l'ensemble des magistrats cantonaux, au motif que les auteurs des critiques relatées dans la presse n'étaient pas connus. Une telle extension n'était toutefois pas justifiée puisqu'aucun autre magistrat cantonal n'était alors appelé à statuer à son sujet. Il n'était dès lors nullement nécessaire de récuser en bloc le Tribunal cantonal. La requête, étendue d'emblée à l'ensemble des magistrats cantonaux, paraissait ainsi abusive, indépendamment de son caractère prétendument tardif.
Au demeurant, s'il entendait réellement obtenir la récusation de tout le corps judiciaire cantonal, le recourant pouvait requérir directement la nomination du tribunal extraordinaire prévu à l'art. 21 LOJ; il pouvait aussi recourir auprès du Conseil d'Etat, comme le prévoit l'art. 21 al. 3 LOJ. Or, le recourant a été informé que la demande de récusation était soumise au Président du Tribunal cantonal, puisque les juges récusés lui ont transmis leurs déterminations le 16 décembre 2010, qu'il en a été accusé réception le lendemain et que toutes ces communications ont été remises en copie au recourant. Dès lors, si ce dernier désirait récuser également le juge appelé à statuer sur la requête, il devait le faire immédiatement sans attendre la décision sur le fond. Le grief doit être écarté.
4. Sur le fond, le recourant estime que l'on ne pouvait lui reprocher d'avoir tardé à présenter sa demande de récusation car il n'avait pas eu connaissance de l'article de presse au moment de sa parution, le 19 mai 2010, mais seulement lors des débats au Grand Conseil en novembre 2010. Au moment de sa parution, l'article de presse n'avait pas de pertinence pour le recourant puisque les débats n'étaient pas encore fixés.
La cour cantonale a retenu que l'article était paru en mai 2010 dans le Nouvelliste, à une époque où les décisions relatives au recourant, alors en grève de la faim, étaient largement commentées et discutées, et étaient toutes fortement médiatisées. Il était dès lors peu crédible que le recourant, ou son mandataire, n'en aient eu connaissance que six mois plus tard, dans un contexte nettement moins médiatisé. Il n'y a pas lieu de rechercher si cette argumentation résiste au grief d'arbitraire car, de toute manière, c'est à juste titre que la demande de récusation a été rejetée sur le fond.
5. Le recourant relève, au contraire de la cour cantonale, qu'il y aurait lieu de présumer que l'article en question relate fidèlement les critiques émises par certains magistrats, puisque les journalistes ont pour devoir de ne pas dénaturer les propos et opinions d'autrui. Les critiques en question dénotaient une apparence de prévention à l'égard du recourant. Soutenir le contraire serait arbitraire, d'autant plus que le Président de la Cour pénale a lui-même déclaré qu'il regrettait l'intervention et les propos tenus par certains magistrats.
5.1 La garantie d'un procès équitable (art. 30 al. 1 Cst. et 6 par. 1 CEDH) réserve notamment au justiciable le droit à ce que sa cause soit jugée par un magistrat indépendant et impartial. Cela permet d'exiger la récusation d'un juge dont la situation ou le comportement est de nature à faire naître des doutes sur son impartialité, et tend à éviter que des circonstances extérieures ne puissent influer sur le jugement, en faveur ou en défaveur d'une partie. La récusation ne s'impose pas seulement lorsqu'une prévention effective du juge est établie, une telle disposition interne ne pouvant guère être prouvée; il suffit que les circonstances donnent l'apparence de prévention et fassent redouter, objectivement, une attitude partiale du magistrat. (<ref-ruling> consid. 2.1 et les arrêts cités).
5.2 Les propos relatés dans la presse se rapportent à l'interruption de peine accordée au recourant par la Cheffe du département. Les magistrats en cause critiquaient cette décision comme manquant de courage et confortant le recourant "dans ses méthodes", redoutant un "cirque médiatique". Il s'agit de réactions d'incompréhension à l'interruption d'une peine prononcée par une autorité judiciaire, dans un contexte où la grève de la faim entamée par le recourant avait suscité de très nombreux commentaires. Les déclarations en cause reflètent, dans des termes certes sévères, les préoccupations des magistrats en rapport avec l'exécution d'une condamnation entrée en force, mais elles se limitent à cette question. On ne saurait y voir le reflet d'une prévention générale à l'égard du recourant, qui pourrait se manifester dans le cadre de la nouvelle procédure de jugement.
Quoi qu'il en soit, le recourant perd aussi de vue que les trois magistrats appelés à le juger ont affirmé catégoriquement qu'ils n'étaient pas les auteurs des critiques parues dans la presse. Le recourant ne conteste pas la crédibilité de ces dénégations, et ne requiert aucune administration de preuve qui serait propre à les mettre en doute. Dans ces conditions, la demande de récusation formée à l'égard de ces magistrats tombait à faux.
6. Sur le vu de ce qui précède, le recours doit être rejeté. Le recourant a demandé l'assistance judiciaire. Celle-ci peut lui être accordée. Me Aba Neeman est désigné comme défenseur d'office, rétribué par la caisse du Tribunal fédéral. Il n'est pas perçu de frais judiciaires.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La demande d'assistance judiciaire est admise; Me Aba Neeman est désigné comme défenseur d'office du recourant et une indemnité de 1500 fr. lui est allouée à titre d'honoraires, à verser par la caisse du Tribunal fédéral; il n'est pas perçu de frais judiciaires.
3. Le présent arrêt est communiqué aux parties et au Juge de la Chambre pénale du Tribunal cantonal du canton du Valais.
Lausanne, le 31 mars 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Fonjallaz Kurz