Faits:
A. Partie plaignante dans deux procédures pénales (PE 10.014365-CHM et PE 09.017789-CHM), A._ s'est adressé le 20 août 2010 à la Présidente du Tribunal cantonal en reprochant au Juge d'instruction de l'arrondissement de Lausanne (ci-après: le Juge d'instruction), chargé des procédures, d'avoir violé ses obligations légales en refusant de prononcer des inculpations. Il reprochait également au Juge d'instruction cantonal de n'être pas intervenu. Il demandait la nomination d'un juge d'instruction ad hoc afin "d'une part, de constater ces manquements puis d'y remédier et, d'autre part, d'instruire les enquêtes pénales qu'il jugera opportun et équitable d'ouvrir d'office". Cette lettre a été transmise au Tribunal d'accusation du Tribunal cantonal vaudois.
Le 24 août 2010, le Juge d'instruction a refusé de suivre à la première plainte pénale, décision qui a été confirmée par arrêt du Tribunal d'accusation du 7 septembre 2010.
La lettre du 20 août 2010 a été transmise au Tribunal d'accusation du Tribunal cantonal vaudois, "comme objet de sa compétence", ce dont A._ a été informé le 13 septembre 2010.
B. Par deux arrêts datés du 23 septembre 2010, le Tribunal d'accusation a rejeté la requête, considérée comme une demande de récusation pour chacune des procédures pénales. S'agissant de la première, il a considéré que la demande de récusation conservait un sens, car son admission pourrait conduire à l'annulation de l'ordonnance de refus de suivre. Sur le fond, il a considéré que le refus de suivre (confirmé sur recours), respectivement le refus d'inculper ne constituaient pas des motifs de récusation. Une demande de récusation avait déjà été rejetée le 27 avril 2010 et les motifs retenus étaient toujours pertinents. Les frais judiciaires, soit 440 fr. pour chaque arrêt, ont été mis à la charge du recourant.
C. Le 27 octobre 2010, A._ s'est adressé au Président du Tribunal d'accusation en relevant que sa lettre du 20 août 2010 constituait une dénonciation pénale, et non une demande de récusation. Il demandait en conséquence l'annulation des arrêts précités. Le 11 novembre 2010, il déclara recourir au Tribunal fédéral. Cette lettre, ainsi que la précédente, ont été transmises le 17 novembre 2010 au Tribunal fédéral. Le recourant a alors été invité à compléter son mémoire dans le délai de recours, ce qu'il a fait le 24 novembre 2010. Il conclut à l'annulation des arrêts du Tribunal d'accusation ainsi que des frais mis à sa charge. Il demande également que les magistrats ayant statué dans le cadre de ces arrêts soient dénoncés au Grand Conseil vaudois afin que ce dernier autorise l'ouverture d'une enquête pénale à leur encontre. Il a par la suite demandé une dispense de l'avance des frais judiciaires.
Le Ministère public a renoncé à se déterminer. Le Tribunal d'accusation a produit un nouvel arrêt du 10 décembre 2010 par lequel il a admis une demande de récusation du Juge d'instruction cantonal et désigné un juge d'instruction ad hoc afin de traiter la plainte pénale formée contre les deux magistrats.
Considérant en droit:
1. Présentant une étroite connexité, les causes peuvent être jointes afin qu'il soit statué par un même arrêt.
1.1 Le recours est dirigé contre deux arrêts rendus en matière pénale au sens de l'art. 78 al. 1 LTF.
1.2 La cour cantonale a traité la démarche du recourant comme une demande de récusation (art. 92 al. 1 LTF), ce que le recourant conteste en invoquant ses droits de partie à la procédure; il a qualité pour ce faire en tant que participant à la procédure devant l'autorité précédente (art. 81 al. 1 let. a LTF). Il dispose également d'un intérêt juridique à l'annulation des décisions attaquées (art. 81 al. 1 let. b LTF), dans la mesure notamment où celles-ci mettent à sa charge 440 fr. de frais judiciaires.
1.3 Le recourant conclut non seulement à l'annulation des arrêts attaqués, mais aussi à une dénonciation en vue de l'ouverture d'une enquête pénale. Cette dernière conclusion va au-delà de l'objet du litige et est, partant, irrecevable.
2. Le recourant se plaint d'établissement inexact des faits et d'une violation du principe de la bonne foi. Il relève que sa lettre du 20 août 2010 ne tendait pas à la récusation des deux juges d'instruction, mais à l'ouverture d'une enquête à leur encontre.
2.1 Selon l'art. 5 al. 3 Cst., les organes de l'Etat et les particuliers doivent agir de manière conforme aux règles de la bonne foi. La jurisprudence déduit de ce principe général que les déclarations d'une partie en justice doivent être interprétées conformément à la volonté de leurs auteurs, selon le sens que l'on peut raisonnablement leur prêter et sans s'arrêter aux formulations manifestement inexactes (ATF 116 Ia 56 consid. 3b p. 58; 113 Ia 94 consid. 2 p. 96 ss et les références). L'administration étant davantage versée dans les matières qu'elle doit habituellement traiter, on peut attendre de sa part une diligence accrue dans l'examen des actes qui lui sont soumis, en particulier lorsqu'ils sont rédigés par des profanes. En cas de doute sur le sens d'un acte de procédure, son auteur doit en principe être interpellé à ce propos (arrêt 1C_519/2009 du 22 septembre 2010).
2.2 En l'occurrence, le recourant se plaignait dans sa lettre du 20 août 2010, du refus d'inculper du Juge d'instruction, contraire selon lui aux dispositions du code de procédure pénale vaudois et constitutif d'infractions pénales. Il s'en prenait également au Juge d'instruction cantonal qui aurait refusé d'intervenir dans ce cadre. Il demandait la nomination d'un juge d'instruction ad hoc chargé de constater les manquements dénoncés et de les poursuivre pénalement. Il en ressort clairement que le recourant ne demandait pas la récusation des magistrats en cause, mais bien l'ouverture d'une enquête pénale. Comme le relève d'ailleurs l'un des arrêts attaqués, le recourant a encore précisé, dans une lettre adressée le 28 août 2010 à la Présidente du Tribunal cantonal, que sa démarche devait être considérée comme une dénonciation pénale contre les deux magistrats. Dans ces conditions, le Tribunal d'accusation ne pouvait considérer de bonne foi qu'il était saisi d'une demande de récusation. En cas de doute, il devait à tout le moins interpeller le recourant afin de connaître ses véritables intentions.
3. Sur le vu de ce qui précède, les arrêts attaqués, rendus en violation des principes rappelés ci-dessus, doivent être annulés. Il n'y a pas lieu de renvoyer la cause à la cour cantonale, car celle-ci a manifestement déjà procédé dans le sens voulu par le recourant en désignant, par arrêt du 10 décembre 2010, un juge d'instruction ad hoc chargé de traiter la plainte pénale du recourant. Conformément aux art. 66 al. 4 et 68 LTF, il n'est pas perçu de frais judiciaires ni alloué de dépens, le recourant ayant procédé en personne. Le recourant n'a pas formellement requis l'assistance judiciaire. Une telle demande serait de toute façon sans objet, vu ce qui précède.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et les arrêts attaqués sont annulés.
2. Il n'est pas perçu de frais judiciaires ni alloué de dépens.
3. Le présent arrêt est communiqué au recourant, au Ministère public et au Tribunal d'accusation du Tribunal cantonal du canton de Vaud.
Lausanne, le 1er février 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: Le Greffier:
Aemisegger Kurz