Faits:
A. A._ fait l'objet d'une plainte déposée le 19 novembre 2008 par l'Etat de Vaud pour calomnie, subsidiairement diffamation et injure, et instruite par le Juge d'instruction de l'arrondissement de Lausanne. Il a été représenté en premier lieu par un avocat genevois. Dès le 5 mars 2010, Me C._, lui a été désigné comme avocat d'office. Le 7 mai 2010, A._ demanda le dessaisissement de Me C._ en raison d'un conflit d'intérêts, demande qui fut acceptée le 19 mai 2010. Me D._, nommé en remplacement, a refusé le mandat. Le 31 mai 2010, Me B._ a été désigné comme nouveau défenseur d'office.
Le 6 juin 2010, A._ demanda la nomination de Me E._. Par prononcé du 22 juin 2010, le Juge d'instruction a rejeté la demande, relevant que rien ne permettait de mettre en doute les qualités professionnelles de Me B._, et que Me E._ avait indiqué qu'il n'entendait pas assumer ce mandat. A._ a recouru contre ce prononcé. Le 24 juin 2010, Me B._ demanda à son tour au Président du Tribunal d'arrondissement à être relevé de ce mandat, expliquant que toute communication avec son client était impossible, ce qui empêchait une relation de confiance. Cette demande fut rejetée le 25 juin 2010. Le 27 juin 2010, A._ demanda à nouveau le dessaisissement de Me B._, élevant une série de reproches à l'égard de l'avocat et de sa collaboratrice.
B. Par arrêt du 5 juillet 2010, le Tribunal d'accusation du Tribunal cantonal vaudois a rejeté le recours formé par A._. Un changement d'avocat d'office n'était possible que pour des raisons objectives. En présence d'un cas de défense obligatoire, les motifs subjectifs allégués ne justifiaient pas un tel changement, rien ne permettant d'affirmer que la défense assurée par Me B._ soit insuffisante. Le problème provenait du refus systématique de l'inculpé de collaborer avec son défenseur d'office. Me B._ était toutefois invité à s'occuper personnellement du mandat, et à ne pas déléguer entièrement le dossier à sa collaboratrice.
C. Par acte du 10 août 2010, A._ a adressé un recours au Tribunal cantonal, destiné au Tribunal pénal fédéral, contre l'arrêt cantonal. Il demande la révocation de Me B._ et la désignation d'un autre avocat d'office suffisamment expérimenté. Il demande par ailleurs diverses constatations au sujet des faits établis en instance cantonale, notamment des causes des désistements successifs de ses avocats. Le recourant a par la suite demandé l'assistance judiciaire. Le Tribunal d'accusation a transmis ce recours au Tribunal fédéral.
Le Tribunal d'accusation se réfère aux considérants de son arrêt. Le Ministère public conclut au rejet du recours. Dans ses déterminations, Me B._ conclut à l'irrecevabilité, subsidiairement au rejet du recours, tout en relevant que le 16 août 2010, il a une nouvelle fois demandé d'être relevé de sa mission.
Le recourant a répliqué, reprenant ses griefs à l'encontre de l'avocat et de sa collaboratrice.

Considérant en droit:
1. Le Tribunal fédéral examine d'office la qualification juridique et la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 331).
1.1 La contestation portant sur une décision en matière pénale rendue en dernière instance cantonale, le recours au Tribunal fédéral est régi par les <ref-law>. La décision par laquelle le juge refuse un changement de défenseur d'office constitue une décision incidente qui ne met pas fin à la procédure pénale (<ref-ruling> consid. 1a p. 209; <ref-ruling> consid. 2b p. 278). Selon l'<ref-law>, une telle décision peut faire l'objet d'un recours devant le Tribunal fédéral si elle peut causer un préjudice irréparable. Selon la jurisprudence, le refus d'autoriser un changement d'avocat d'office n'entraîne en principe aucun préjudice juridique, car le prévenu continue d'être assisté par le défenseur désigné et l'atteinte à la relation de confiance n'empêche en règle générale pas dans une telle situation une défense efficace (<ref-ruling> consid. 4 p. 339). L'existence d'un tel dommage ne peut être admise que dans des circonstances particulières faisant craindre que l'avocat d'office désigné ne puisse pas défendre efficacement les intérêts du prévenu, par exemple en cas de conflit d'intérêts ou de carences manifestes de l'avocat désigné (<ref-ruling> consid. 1.2 p. 263), ou encore lorsque l'autorité refuse arbitrairement de tenir compte des voeux émis par la partie assistée (arrêts 1B_74/2008 du 18 juin 2008 consid. 2 et 1B_245/2008 du 11 novembre 2008 consid. 2).
1.2 En l'occurrence, le recourant élève une série de reproches à l'égard de son avocat, plus particulièrement de sa collaboratrice. Point n'est besoin en l'espèce d'examiner si ces reproches peuvent s'avérer totalement ou partiellement fondés ou s'ils relèvent du procès d'intention. En effet, même s'il conteste les manquements qui lui sont reprochés, l'avocat lui-même admet qu'il n'existe aucune relation de confiance réciproque et qu'il n'est pas possible dans ces circonstances d'assurer la défense de son client. Il peut manifestement en résulter un préjudice irréparable au sens de la jurisprudence précitée, ce qui justifie d'entrer en matière.
1.3 Outre les reproches déjà exprimés à l'égard de sont avocat et de sa collaboratrice, notamment le fait de l'avoir convoqué alors qu'il était en déplacement et d'avoir faussement prétendu avoir lu le dossier, le recourant présente d'autres allégués qui sont soit sans pertinence (circonstances dans lesquels les précédents avocats ont renoncé à leur mandat), soit nouveaux (défaut d'information de l'avocat à réception de l'expertise psychiatrique) puisque postérieurs au 5 juillet 2010, date de l'arrêt attaqué. A ce titre, ils sont irrecevables (<ref-law>).
1.4 Le recourant conclut à la réforme de l'arrêt cantonal et à la révocation de son avocat d'office, conclusions qui correspondent à l'objet de sa requête puis de son recours devant le Tribunal d'accusation. Les autres conclusions, en constatations et en injonctions diverses, vont au-delà de l'objet du litige et sont irrecevables.
2. Sur le fond, le recourant persiste à reprocher à son avocat d'office plusieurs manquements, notamment aux règles déontologiques.
2.1 Bien qu'il ne l'invoque pas expressément, il se prévaut ainsi de son droit à l'assistance gratuite d'un avocat, garanti à l'art. 29 al. 3 Cst. Cette disposition, de même que l'art. 6 par. 3 let. c CEDH, confère au justiciable le droit à l'assistance gratuite d'un défenseur, dans la mesure où la sauvegarde de ses droits le requiert. Il ne saurait toutefois en déduire un droit inconditionnel à choisir librement son défenseur ou à obtenir celui qu'il propose (cf. arrêts 2D_144/2008 du 23 mars 2009; <ref-ruling> consid. 3 p. 104; <ref-ruling>; <ref-ruling> consid. 1d p. 302). Selon la jurisprudence, le simple fait que l'inculpé n'a pas confiance dans son conseil d'office ne lui donne pas le droit d'en demander le remplacement lorsque cette perte de confiance repose sur des motifs purement subjectifs et qu'il n'apparaît pas de manière patente que l'attitude de l'avocat d'office est gravement préjudiciable aux intérêts de la partie (<ref-ruling> consid. 3 p. 104).
2.2 La cour cantonale a considéré que les motifs allégués par le recourant étaient purement subjectifs, rien ne permettant d'affirmer que l'avocat aurait agi de manière préjudiciable aux intérêts du recourant. Cette appréciation ne prête pas en soi le flanc à la critique: en effet, les reproches du recourant portent sur les circonstances de sa convocation par l'avocat et sur l'intervention d'une collaboratrice qui, selon le recourant, ne connaissait pas le dossier. Rien ne permet d'affirmer qu'il en aurait résulté un quelconque préjudice pour le recourant, et celui-ci n'entreprend d'ailleurs pas de le démontrer. Toutefois, les impressions subjectives du recourant se trouvent corroborées par celles de son propre avocat. Ce dernier a en effet demandé à être relevé de son mandat le 24 juin 2010, en estimant que toute communication avec son client s'était révélée impossible et que la teneur de ses lettres était "plus qu'inadéquate". Il ressort en effet des courriers échangés que le recourant a immédiatement mis en doute les compétences professionnelles, voire l'honnêteté de son avocat, et violemment pris à partie la collaboratrice chargée du dossier, dans des termes parfois injurieux. Toute possibilité de communication entre le recourant et son avocat semble ainsi définitivement compromise, et le rapport de confiance inexistant, ce qui ressort également des écritures échangées dans la présente procédure, ainsi que de la nouvelle demande de dessaisissement présentée par l'avocat le 16 août 2010.
2.3 Dans ces conditions, le refus de relever Me B._ de sa mission apparaît, dans son résultat, arbitraire. L'arrêt attaqué doit être annulé et la cause renvoyée à la cour cantonale afin qu'elle relève Me B._ de son mandat d'office. La cour cantonale pourra également s'interroger sur l'existence d'un cas de défense nécessaire, au sens de l'<ref-law>/VD, et devra statuer à nouveau sur les frais de l'instance cantonale. Conformément à l'<ref-law>, il n'est pas perçu de frais de justice. Me B._ voit ses conclusions formellement écartées, même si le présent arrêt va dans le sens de ses requêtes; il ne lui sera pas alloué de dépens. Il n'en est pas alloué non plus au recourant, qui a procédé en personne. Sa requête d'assistance judiciaire, limitée à la dispense des frais, apparaît dès lors sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis dans la mesure où il est recevable; l'arrêt attaqué est annulé et la cause renvoyée au Tribunal d'accusation du Tribunal cantonal vaudois pour nouvelle décision dans le sens des considérants.
2. Il n'est pas perçu de frais judiciaires, ni alloué de dépens.
3. La demande d'assistance judiciaire est sans objet.
4. Le présent arrêt est communiqué aux parties, au Ministère public et au Tribunal d'accusation du Tribunal cantonal du canton de Vaud.
Lausanne, le 13 octobre 2010
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Féraud Kurz