Faits: A. Le 29 juillet 2010, le Ministère public du canton du Valais a renvoyé Bernard Rappaz devant le Tribunal du IIIème arrondissement pour le district de Martigny (ci-après: le tribunal), comme accusé notamment de faux dans les titres, blanchiment d'argent et violations de la LStup. Les débats ont été ajournés par décision du 25 novembre 2010, car l'accusé suivait alors un jeûne de protestation en raison d'une précédente condamnation et n'était pas en mesure de se présenter à une audience de jugement. B. Le 29 novembre 2010, l'avocat de l'accusé a demandé la récusation des trois juges du tribunal, ainsi que de tous les membres de l'ordre judiciaire valaisan. Selon un article paru le 19 mai 2010 dans le Nouvelliste, des magistrats cantonaux valaisans - dont l'identité était inconnue - auraient critiqué l'interruption de peine accordée à Bernard Rappaz par la Cheffe du département cantonal de la sécurité, des affaires sociales et de l'intégration. Ce faisant, les magistrats impliqués avaient violé leur devoir de réserve ainsi que le principe de séparation des pouvoirs. Ces faits auraient été révélés le 18 novembre 2010 lors des débats du Grand Conseil valaisan relatifs à une pétition demandant une enquête sur l'identité et la motivation des magistrats en cause. Les trois juges du Tribunal d'arrondissement ont contesté avoir tenu les propos incriminés et ont refusé de se récuser. C. Par décision du 10 janvier 2011, le Juge de la Chambre pénale du Tribunal cantonal valaisan (également Président du Tribunal cantonal) a rejeté la demande, "dans la mesure où elle n'était pas irrecevable ou sans objet". Malgré la demande générale de récusation, la Chambre pénale s'est estimée apte à statuer elle-même sur la demande, en raison de son caractère irrecevable et infondé, voire abusif. Une demande tendant à la récusation de tous les juges valaisans et à l'intervention d'une autorité extérieure n'était pas admissible. En outre, la demande de récusation apparaissait tardive puisque les propos incriminés avaient paru dans la presse six mois auparavant. L'affaire était fortement médiatisée et il n'était pas vraisemblable que le requérant n'ait eu connaissance du motif de récusation que le 18 novembre 2010. On ignorait au demeurant si les propos rapportés dans la presse avaient bien été tenus par des magistrats valaisans. D. Par acte du 10 février 2010, Bernard Rappaz forme un recours en matière pénale par lequel il demande l'annulation de l'arrêt cantonal et le renvoi de la cause à un tribunal extraordinaire pour nouveau jugement au sens des considérants; subsidiairement, il demande la réforme de l'arrêt attaqué en ce sens que sa demande de récusation est admise. Le recourant a par la suite demandé l'assistance judiciaire. Le Président de la Chambre pénale se réfère à sa décision. Le Ministère public et le Président du Tribunal d'arrondissement ont renoncé à se déterminer. L'un des juges du tribunal maintient son refus de se récuser.