Faits:
A. Le 9 novembre 2009, un substitut auprès du Ministère public fribourgeois a déposé plainte pénale pour diffamation ou calomnie contre A._, lui reprochant d'avoir, dans une demande de récusation, tenu des propos attentatoires à son honneur. Le 13 août 2010, le plaignant a retiré sa plainte après avoir accepté les excuses présentées par A._. Par ordonnance du 15 septembre 2010, le Juge d'instruction saisi de la cause a prononcé un non-lieu et mis les frais de la cause, par 295 fr., à la charge de A._, considérant que celui-ci avait donné lieu à la procédure par un comportement répréhensible.
B. Par arrêt du 12 janvier 2011, la Chambre pénale du Tribunal cantonal fribourgeois a rejeté le recours formé par A._. La motivation de l'ordonnance, explicitée durant la procédure de recours, était suffisante. Les termes employés dans la demande de récusation avaient donné lieu à la procédure pénale et pouvaient engager la responsabilité de leur auteur. La présomption d'innocence n'était pas violée dès lors qu'il n'y avait pas eu d'appréciation de la culpabilité. La question du montant de l'émolument était de la compétence de la Cour de modération du Tribunal cantonal. Les frais de la procédure de recours, soit 500 fr., ont été mis à la charge du recourant.
C. Par acte du 9 février 2011, A._ forme un recours au Tribunal fédéral par lequel il demande l'annulation de l'arrêt de la Chambre pénale, la suppression d'un passage de l'ordonnance de non-lieu et la mise des frais à la charge de l'Etat. Il demande en outre 5'000 fr. de dépens. Le 15 février 2011, il a demandé au Tribunal fédéral de renoncer à l'avance de frais qui lui avait été demandée, et subsidiairement requis l'assistance judiciaire.
Le Ministère public conclut au rejet du recours dans la mesure de sa recevabilité. La Chambre pénale n'a pas formulé d'observations.
Considérant en droit:
1. La décision entreprise concerne les frais d'une procédure pénale, après le prononcé d'une ordonnance de non-lieu. Elle est fondée sur le droit de procédure pénale. Il s'agit donc d'un arrêt rendu en matière pénale au sens de l'art. 78 al. 1 LTF (ATF 135 IV 43 consid. 1).
1.1 Dirigé contre un jugement final (art. 90 LTF) prononcé par une autorité cantonale de dernière instance (art. 80 LTF), le recours est recevable puisqu'il a été déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi. Le recourant a pris part à la procédure devant l'autorité précédente et a un intérêt juridique à la modification de l'arrêt entrepris dès lors que celui-ci confirme les frais mis à sa charge. Il a ainsi qualité pour recourir au sens de l'art. 81 al. 1 LTF (cf. ATF 135 IV 43 consid. 1.1.1 p. 46).
1.2 Le code de procédure pénale suisse (CPP; RS 312.0) est entré en vigueur le 1er janvier 2011, et s'applique en principe aux procédures pendantes à cette date (art. 448 CPP). Toutefois, conformément à l'art. 453 al. 1 CPP, la Cour pénale a statué sur le fond selon l'ancien droit dès lors qu'elle était saisie d'un recours contre une décision rendue avant l'entrée en vigueur du CPP.
2. Le recourant invoque l'art. 231 du code de procédure pénale fribourgeois (CPP/FR). L'argument tombe à faux dès lors que, comme l'a reconnu la cour cantonale, cette disposition est applicable aux "autres participants à la procédure". Le cas du prévenu est réglé à l'art. 229 al. 2 CPP/FR dont la teneur est la suivante:
"En cas d'acquittement ou de renonciation à la poursuite, le prévenu ne supporte les frais que si, par un comportement contraire à l'ordre juridique, il a donné lieu à la procédure ou en a rendu plus difficile le déroulement".
Invoquant cette dernière disposition, le recourant estime que la cour cantonale n'aurait pas démontré en quoi il aurait compliqué le déroulement de la procédure, ni en quoi il l'aurait provoquée. Il serait contraire à la présomption d'innocence de retenir, en dépit du non-lieu, que le recourant se serait rendu coupable des faits dénoncés dans la plainte. Le recourant se plaint aussi d'arbitraire, ainsi que de la violation de diverses dispositions (art. 68 LTF, 426 ss CPP) inapplicables en l'espèce.
2.1 L'art. 229 al. 2 CPP/FR confère un pouvoir d'appréciation étendu au juge appelé à répartir les frais de la procédure pénale. Ce pouvoir est toutefois limité par les garanties offertes au prévenu libéré des fins de la poursuite pénale. En particulier, le principe de la présomption d'innocence, consacré aux art. 32 Cst. et 6 par. 2 CEDH, interdit de prendre une décision sur les frais défavorable au prévenu libéré en laissant entendre que celui-ci est coupable de l'infraction qui lui était reprochée (ATF 116 Ia 162). En effet, le paiement des frais de la procédure pénale n'est pas fondé sur une responsabilité à raison d'un comportement pénalement répréhensible, mais sur des principes de droit civil qui, tel l'art. 41 CO, impose la réparation d'un dommage causé par la violation d'une norme de comportement découlant de l'ordre juridique suisse dans son ensemble (même arrêt, consid. 2c-e p. 168 ss).
La condamnation aux frais d'un prévenu libéré n'est ainsi admissible que si celui-ci a clairement violé une règle de comportement et a ainsi provoqué ou compliqué l'instruction pénale. La décision prise à ce sujet doit s'appuyer sur des éléments de fait dûment établis et non contestés, et les droits procéduraux du prévenu doivent être respectés, en particulier son droit d'être entendu (ATF 119 Ia 332 consid. 1b p. 334).
2.2 En l'occurrence, la condamnation aux frais est, selon la cour cantonale, justifiée par le "comportement juridiquement répréhensible du recourant", considéré comme la cause adéquate des opérations de procédure. Pour arriver à cette conclusion, la cour cantonale se borne à reprendre les termes utilisés par le recourant dans sa demande de récusation, et retient que ces déclarations "mettent en cause l'action professionnelle ainsi que la probité personnelle de celui qu'elles visent". Il s'agit manifestement d'une déclaration pure et simple de culpabilité, incompatible avec les principes rappelés ci-dessus et en contradiction avec l'ordonnance de non-lieu prononcée par le juge d'instruction. Ni ce dernier, ni la cour cantonale n'ont pris soin de rechercher quelle norme de comportement, autre que les dispositions de droit pénal, aurait été violée. En l'absence de toute constatation faite dans le respect des droits du prévenu et propre à fonder un tel reproche, la condamnation aux frais, telle qu'elle est motivée, viole la présomption d'innocence, ce qui suffit à l'admission du recours.
3. L'arrêt cantonal doit par conséquent être annulé, de même que le ch. 2 de l'ordonnance de non-lieu du 15 septembre 2010, qui met les frais de la procédure pénale à la charge du recourant. La cause doit être renvoyée à la Chambre pénale afin qu'elle se prononce sur les dépens de l'instance cantonale, le recourant ayant agi par un avocat devant la cour cantonale. Devant le Tribunal fédéral en revanche, le recourant n'a pas procédé avec l'aide d'un mandataire professionnel; il n'a donc pas droit à des dépens. Sa demande d'assistance judiciaire est par ailleurs sans objet, dès lors qu'il n'est pas perçu de frais judiciaires.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. L'arrêt attaqué est annulé, de même que le ch. 2 de l'ordonnance de non-lieu du 15 septembre 2010. La cause est renvoyée à la Chambre pénale du Tribunal cantonal du canton de Fribourg pour nouvelle décision sur les dépens de l'instance cantonale.
2. Il n'est pas perçu de frais judiciaires ni alloué de dépens.
3. La demande d'assistance judiciaire est sans objet.
4. Le présent arrêt est communiqué au recourant, au Ministère public de l'Etat de Fribourg et au Tribunal cantonal du canton de Fribourg, Chambre pénale.
Lausanne, le 4 mai 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Fonjallaz Kurz