Faits:
A. Le 13 septembre 2010, A._ a déposé plainte pénale contre B._, vicaire général du diocèse de Lausanne, Genève et Fribourg, pour dénonciation calomnieuse, lui reprochant d'avoir déposé une dénonciation pénale à Genève et fait des déclarations à la presse à propos d'abus sexuels commis par le plaignant en 1991 et 1992. Ces agissements avaient fait l'objet d'une décision de classement en raison de la prescription; les autorités pénales avaient toutefois refusé de prononcer un non-lieu, l'intéressé ayant à tout le moins commis des actes d'abus de détresse (cf. arrêt 6B_1000/2008 du 19 mars 2009).
Par ordonnance du 8 octobre 2010, la Juge d'instruction du canton de Fribourg a refusé d'ouvrir l'action pénale. La dénonciation pénale était formée pour des soupçons d'abus sexuels, et non à raison d'actes de pédophilie; il n'y avait pas de machination astucieuse de la part de B._, lequel avait agi dans un souci de transparence et de prévention, avec l'accord de sa hiérarchie. La plainte pour dénonciation calomnieuse était tardive, car déposée deux ans et demi après les faits.
Par arrêt du 7 mars 2011, la Chambre pénale du Tribunal cantonal fribourgeois a confirmé cette décision.
B. Par acte du 13 avril 2011, A._ forme un recours en matière pénale par lequel il demande l'annulation de l'arrêt de la Chambre pénale et le renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants.
La Chambre pénale et le Ministère public ont renoncé à déposer des observations. B._ ne s'est pas déterminé.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 142).
1.1 La décision attaquée a été rendue en matière pénale au sens de l'<ref-law>. Elle a un caractère final (<ref-law>) et émane de l'autorité cantonale de dernière instance (<ref-law>). Le recourant a agi en temps utile (<ref-law>).
1.2 L'arrêt attaqué ayant été rendu le 7 mars 2011, la qualité pour recourir s'examine au regard de l'<ref-law> dans sa teneur en vigueur au 1er janvier 2011 (<ref-law>).
1.2.1 Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law>.
1.2.2 Selon l'<ref-law>, le mémoire de recours doit contenir les motifs à l'appui des conclusions présentées, sous peine d'irrecevabilité. Il incombe donc notamment au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir lorsque ces faits ne ressortent pas à l'évidence de la décision attaquée ou du dossier de la cause (cf. <ref-ruling> consid. 1 p. 356, 249 consid. 1.1 p. 251).
Lorsque, comme en l'espèce, le recours est dirigé contre une décision de refus d'ouvrir l'action pénale, il n'est pas nécessaire que la partie plaignante ait déjà pris des conclusions civiles. En revanche, elle doit expliquer dans son mémoire, sous peine d'irrecevabilité, quelles prétentions civiles elle entend faire valoir contre l'intimé à moins que, compte tenu notamment de la nature de l'infraction alléguée, l'on puisse déduire directement et sans ambiguïté quelles prétentions civiles pourraient être élevées et en quoi la décision attaquée pourrait influencer négativement leur jugement (<ref-ruling> consid. 1a p. 187).
1.2.3 Le recourant ne se prononce pas du tout sur cette question. Il se contente d'évoquer son intérêt juridique, actuel et pratique à l'admission du recours, faisant ainsi référence aux conditions générales posées à l'<ref-law>. Il relève que la dénonciation pénale a eu de lourdes conséquences pour lui, soit son expulsion de sa communauté et une atteinte grave à sa réputation. Le recourant perd toutefois de vue que le recours formé par le plaignant est soumis à des conditions plus spécifiques, soit l'existence d'effets sur des prétentions civiles. Or, il ne précise nullement en quoi ces prétentions pourraient consister, ni en quoi la décision de ne pas ouvrir l'action pénale pourrait influencer négativement un jugement sur ce point. On ne voit pas non plus d'emblée et sans ambiguïté quelles prétentions civiles seraient susceptibles d'être invoquées dans le cas particulier.
2. Le recours est par conséquent irrecevable. Conformément à l'<ref-law>, les frais de la procédure sont mis à la charge du recourant. Il n'est pas alloué de dépens.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Ministère public et au Tribunal cantonal du canton de Fribourg, Chambre pénale.
Lausanne, le 27 juillet 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: Le Greffier:
Aemisegger Kurz