Faits:
A. Le 8 juillet 2010, A._ a déposé plainte pénale contre B._ pour dénonciation calomnieuse, abus de confiance, subsidiairement escroquerie et gestion déloyale. Cette plainte s'inscrit dans le cadre d'un litige relatif à la constitution, par les intéressés, d'un stock commun d'?uvres d'art. Des plaintes pénales déposées en octobre et novembre 2007 avaient déjà été classées par les autorités genevoises. Il était reproché à B._ d'avoir faussement prétendu, dans sa plainte de 2007, qu'un tableau aurait été sa propriété alors que l'acquisition devait se faire en commun; le même tableau aurait été illicitement revendu en octobre 2009 au seul profit de B._.
Par décision du 28 octobre 2010, le Ministère public du canton de Genève a classé la plainte. Les faits étaient déjà connus lors de la précédente procédure pénale; il n'était pas démontré que le tableau litigieux devait faire partie du stock commun et aucun indice ne permettait de retenir que B._ avait voulu nuire au plaignant en déposant sa plainte de 2007.
B. Par ordonnance du 28 juin 2011, la Chambre d'accusation du canton de Genève, statuant selon l'ancien droit, a confirmé cette décision. Les pièces déposées tardivement ont été écartées de la procédure. La vente du tableau ne constituait pas un fait nouveau, s'agissant de savoir si l'?uvre devait ou non faire partie du stock commun. Cette question, ainsi que celle du prix d'acquisition du tableau - et d'éventuels droits préférentiels sur celui-ci -, était demeurée indécise dans les précédentes décisions, et devrait être examinée par les instances civiles déjà saisies à Paris. Au moment du dépôt de sa plainte, B._ pouvait se croire victime d'une escroquerie ou d'un abus de confiance.
C. A._ forme un recours en matière pénale contre cette ordonnance. Il demande au Tribunal fédéral de l'annuler et d'ordonner l'ouverture d'une procédure pénale contre B._.
La cour cantonale (actuellement la Chambre pénale de recours de la Cour de justice) se réfère à sa décision, sans observations. Le Ministère public conclut au rejet du recours. B._ conclut à l'irrecevabilité du recours et à son rejet sur le fond.
Considérant en droit:
1. La décision attaquée a été rendue en matière pénale au sens de l'art. 78 LTF. Elle a un caractère final (art. 90 LTF) et émane de l'autorité cantonale de dernière instance (art. 80 LTF). Le recourant a agi en temps utile (art. 100 al. 1 LTF).
1.1 L'ordonnance attaquée ayant été rendue le 28 juin 2011, la qualité pour recourir s'examine au regard de l'art. 81 LTF dans sa teneur en vigueur au 1er janvier 2011 (art. 132 al. 1 LTF).
1.2 Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des art. 41 ss CO. Selon l'art. 42 al. 1 LTF, il incombe notamment au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir lorsque ces faits ne ressortent pas à l'évidence de la décision attaquée ou du dossier de la cause (cf. ATF 133 II 353 consid. 1 p. 356, 249 consid. 1.1 p. 251).
Lorsque, comme en l'espèce, le recours est dirigé contre une décision de classement de l'action pénale, il n'est pas nécessaire que la partie plaignante ait déjà pris des conclusions civiles (ATF 137 IV 246 consid. 1.3.1). En revanche, elle doit expliquer dans son mémoire quelles prétentions civiles elle entend faire valoir contre l'intimé à moins que, compte tenu notamment de la nature de l'infraction alléguée, l'on puisse déduire directement et sans ambiguïté quelles prétentions civiles pourraient être élevées et en quoi la décision attaquée pourrait influencer négativement leur jugement (ATF 137 IV 219 consid. 2.4 p. 222 et les arrêts cités).
1.3 Le recourant ne se prononce pas du tout sur cette question. Il n'indique pas la nature et le montant des prétentions civiles qu'il pourrait élever en raison des faits dénoncés, ni en quoi la décision de ne pas ouvrir l'action pénale pourrait influencer négativement un jugement sur ce point. On ne voit pas non plus d'emblée et sans ambiguïté quelles prétentions civiles seraient susceptibles d'être invoquées dans le cas particulier, compte tenu notamment du litige actuellement pendant devant le Tribunal de commerce de Paris.
Il s'ensuit que le recours est irrecevable en tant qu'il porte sur le fond de la cause. Le recourant n'est dès lors pas recevable à remettre en cause le classement en critiquant l'appréciation des faits et leur qualification juridique par les autorités cantonales.
2. Selon la jurisprudence, le plaignant qui n'a pas la qualité pour recourir sur le fond peut en revanche se plaindre d'une violation de droits que la loi de procédure applicable ou le droit constitutionnel lui reconnaît comme partie à la procédure, lorsque cette violation équivaut à un déni de justice formel, pour autant qu'il ne s'agisse pas de moyens liés au fond (ATF 136 IV 41 consid. 1.4 p. 44, 29 consid. 1.9 p. 40; 133 IV 228 consid. 2.3.2 p. 232 s. et les références citées).
2.1 Le recourant se plaint d'une violation de son droit d'être entendu. Il estime que l'ordonnance attaquée ne serait pas motivée s'agissant de l'infraction de dénonciation calomnieuse. B._ était au courant, en septembre 2007, de l'inexistence de l'escroquerie qu'il avait dénoncée le mois suivant. Il aurait par ailleurs remis sa plainte à un tiers afin que celui-ci en reprenne les termes dans sa propre plainte (malgré des situations différentes), ce qui démontrerait sa volonté de nuire au recourant.
2.2 Selon la jurisprudence, une autorité cantonale de recours commet un déni de justice formel et viole l'art. 29 al. 1 Cst. si elle omet de statuer sur une conclusion du recours dont elle est saisie alors qu'elle est compétente pour le faire (ATF 117 Ia 116 consid. 3a p. 117/118 et les arrêts cités). En outre, le droit d'être entendu découlant de l'art. 29 al. 2 Cst. impose à l'autorité l'obligation de motiver ses décisions. Pour satisfaire cette exigence, il suffit que celle-ci mentionne au moins brièvement les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision. Elle n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à ceux qui, sans arbitraire, peuvent être tenus pour pertinents (ATF 130 II 530 consid. 4.3 p. 540 et les arrêts cités).
2.2.1 La cour cantonale a retenu qu'au moment du dépôt de plainte en 2007, l'intimé soupçonnait le recourant d'avoir conservé des montants destinés à l'achat en commun d'?uvres d'art, et d'avoir décidé de changer de partenaire commercial. Faute d'avoir reçu de la part du recourant les renseignements demandés, il était fondé à se croire victime d'escroquerie ou d'abus de confiance. Cette motivation répond, d'un point de vue formel, aux exigences découlant du droit d'être entendu. Le recourant relève que l'intimé ne pouvait ignorer ni les termes du contrat portant sur la création d'un stock commun, ni la réalité des acquisitions. Cet argument relève du fond, et non du droit à une motivation suffisante; quant à l'argument selon lequel la plainte aurait été transmise à un tiers, il n'est pas propre en soi à démontrer le caractère calomnieux de la plainte et n'appelait, par conséquent, aucune motivation spécifique de la part de la cour cantonale.
2.2.2 Le recourant estime aussi que l'ordonnance attaquée serait insuffisamment motivée s'agissant de l'infraction d'escroquerie. La cour cantonale s'est toutefois exprimée à ce sujet en retenant premièrement que la question de la propriété du tableau litigieux relevait des juridictions civiles et n'avait pas pu être tranchée à ce stade. Par ailleurs, on ne voyait pas en quoi le recours à un emprunt pour acquérir le tableau litigieux pourrait, à l'égard du recourant, être considéré comme une tromperie astucieuse. Une telle motivation est formellement suffisante et l'ensemble de l'argumentation du recourant à cet égard relève en réalité du fond et apparaît, par conséquent, irrecevable.
3. Le recours doit par conséquent être rejeté, dans la mesure où il est recevable. Conformément à l'art. 66 al. 1 LTF, les frais judiciaires sont mis à la charge du recourant qui succombe, de même que l'indemnité de dépens allouée à l'intimé B._ (art. 68 al. 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Une indemnité de dépens de 2'000 fr., est allouée à l'intimé B._, à la charge du recourant.
3. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux mandataires des parties, au Ministère public et à la Cour de justice du canton de Genève, Chambre pénale de recours.
Lausanne, le 12 janvier 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
Le Greffier: Kurz