Faits:
A. Le 4 août 2011, X._ a déposé plainte pénale à Genève contre A._, B._ et C._ pour escroquerie, gestion déloyale, faux dans les titres et blanchiment d'argent. Il leur reprochait d'avoir, dans le cadre de la succession de feu D._, caché des biens et retenu des informations permettant de déterminer la masse successorale.
Le 30 août 2011, lors d'un entretien téléphonique avec le conseil du plaignant, la Procureure Y._, chargée de l'instruction, déclara surseoir au prononcé d'une ordonnance de non-entrée en matière jusqu'à l'audition en Suisse du liquidateur de la succession en Tunisie. Cette audition a été fixée au mois de janvier 2012. Le 10 janvier 2012, le conseil du plaignant déclara qu'il envisageait de se plaindre d'un déni de justice si aucun acte d'instruction n'était effectué au 31 janvier 2012. La Procureure réagit le 30 janvier 2012 en écrivant au conseil du plaignant pour lui rappeler la conversation du 30 août 2011 et en rendant, le même jour, une ordonnance de non-entrée en matière. Celle-ci a toutefois été annulée par arrêt du 20 mars 2012 de la Chambre pénale de recours de la Cour de justice genevoise, au motif qu'elle ne comportait pas de motivation suffisante en fait et en droit.
B. Le 27 mars 2012, le conseil du plaignant a demandé la récusation de la Procureure. Au cours d'un entretien téléphonique avec un autre avocat, apparemment non constitué dans la procédure, celle-ci avait confirmé, notamment, que le courrier du 30 janvier 2012 correspondait à la conversation téléphonique du 30 août 2011. Il en résultait une violation du secret de fonction. Par ailleurs, la Procureure refusait systématiquement les mesures d'instruction requises par le plaignant et avait renoncé à entendre le liquidateur tunisien; enfin, elle s'apprêtait à rendre une nouvelle ordonnance de non-entrée en matière. Cette demande de récusation a été transmise par la Procureure le 30 mars 2012 à la Chambre pénale de recours, avec sa prise de position tendant au rejet de la demande de récusation.
C. Par arrêt du 19 avril 2012, la Chambre pénale de recours a rejeté la demande. L'attitude du magistrat était due aux pressions exercées par le plaignant, lequel avait sollicité un acte d'instruction puis s'était plaint d'un retard dans l'exécution de cet acte. L'annonce d'une nouvelle ordonnance de non-entrée en matière - donnant suite à l'arrêt de l'autorité de recours - ne constituait pas non plus un motif de récusation. Le téléphone avec un avocat - qui s'était révélé être celui d'une partie - ne relevait pas de la violation du secret de fonction.
D. Agissant par la voie du recours en matière pénale, X._ demande l'annulation de l'arrêt cantonal et l'admission de sa demande de récusation, subsidiairement le renvoi de la cause à l'autorité cantonale pour nouvelle décision sur cette demande.
La Chambre pénale de recours se réfère aux considérants de son arrêt, sans observations. La Procureure conclut au rejet du recours. Le recourant a répliqué.
Considérant en droit:
1. Conformément aux art. 78 et 92 al. 1 LTF, une décision incidente relative à la récusation d'un magistrat dans la procédure pénale peut faire immédiatement l'objet d'un recours en matière pénale. Le plaignant, auteur de la demande de récusation a qualité pour agir (art. 81 al. 1 LTF). La décision attaquée est rendue en dernière instance cantonale, au sens de l'art. 80 LTF. Le recours a été déposé dans le délai de trente jours prescrit à l'art. 100 al. 1 LTF et les conclusions présentées (y compris l'admission de la demande de récusation) sont recevables au regard de l'art. 107 LTF. Les pièces produites par le recourant à l'appui de sa réplique apparaissent toutefois nouvelles; elles sont dès lors irrecevables (art. 99 al. 1 LTF).
2. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente, sauf si ceux-ci ont été retenus de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire: ATF 134 V 53 consid. 4.3 p. 63 - ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 1 et 2 LTF) et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
2.1 Le recourant entend apporter certains compléments à l'état de fait retenu par l'instance cantonale. Il présente son propre exposé, sans toutefois indiquer précisément quels faits auraient été ignorés dans la décision attaquée (alors qu'ils auraient été allégués et prouvés devant l'instance cantonale), et sans démontrer clairement la pertinence de ceux-ci. Point n'est toutefois besoin de distinguer, dans l'argumentation du recourant, les faits nouveaux, ceux qui ont déjà été retenus par la cour cantonale et ceux qui auraient, à tort, été ignorés. En effet, dans une large mesure, les faits allégués concernent le fond de la cause et non la demande de récusation. Les griefs d'ordre général relatifs à l'établissement des faits doivent par conséquent être écartés.
2.2 Plus précisément, le recourant invoque son droit d'être entendu en reprochant à la cour cantonale de ne pas avoir tenu compte d'un complément de plainte déposé le 26 octobre 2011 à propos de l'existence d'une entité cachée et d'actifs bancaires dissimulés. Dans ce complément, le plaignant demandait les mesures d'instruction nécessaires en lien avec ces nouveaux allégués. L'arrêt attaqué relève, dans sa partie en fait, que la plainte pénale a été complétée notamment en octobre 2011. Le recourant ne saurait donc prétendre que cela aurait été totalement ignoré. Par ailleurs, l'arrêt attaqué retient - pertinemment, comme on le verra - qu'un refus d'instruire ne constitue pas un motif de récusation. Une telle considération s'applique évidemment aussi aux offres de preuves formulées après le 30 août 2011. Il n'y a donc pas de violation du droit d'être entendu.
3. Sur le fond, le recours reprend ses griefs à l'égard de la Procureure. Il lui reproche d'abord une violation du secret de fonction lors d'une conversation téléphonique avec un autre avocat qui ne se serait pas formellement constitué dans la procédure. Il se plaint ensuite des refus systématiques d'instruire la cause - et en particulier de la renonciation à entendre le liquidateur tunisien -, en dépit des éléments de preuve à charge que le recourant aurait produits. Le recourant conteste également d'avoir exercé une pression sur le magistrat.
3.1 La garantie d'un tribunal indépendant et impartial instituée par les art. 30 al. 1 Cst. et 6 par. 1 CEDH permet d'exiger la récusation d'un juge dont la situation ou le comportement est de nature à faire naître un doute sur son impartialité (ATF 126 I 68 consid. 3a p. 73). Elle tend notamment à éviter que des circonstances extérieures à la cause ne puissent influencer le jugement en faveur ou au détriment d'une partie. Elle n'impose pas la récusation seulement lorsqu'une prévention effective du juge est établie, car une disposition interne de sa part ne peut guère être prouvée; il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Seules les circonstances constatées objectivement doivent être prises en considération; les impressions purement individuelles d'une des parties au procès ne sont pas décisives (ATF 138 I 1 consid. 2.2 p. 3, 137 I 227 consid. 2.1 p. 229; 136 I 207 consid. 3.1 p. 238; 134 I 20 consid. 4.2 p. 21; 131 I 24 consid. 1.1 p. 25; 127 I 196 consid. 2b p. 198). L'art. 56 let. f CPP, invoqué par le recourant, concrétise ces garanties et a la portée d'une clause générale (arrêt 2C_755/2008 du 7 janvier 2009, SJ 2009 233 concernant l'art. 34 LTF).
Selon la jurisprudence, des erreurs de procédure ou d'appréciation commises par le juge ne suffisent pas à fonder objectivement un soupçon de prévention, à moins qu'elles soient particulièrement lourdes ou répétées et qu'elles constituent des violations graves de ses devoirs qui dénotent une intention de nuire (cf. ATF 125 I 119 consid. 3e p. 124; 116 Ia 35 consid. 3a p. 138). La fonction judiciaire oblige le magistrat à se déterminer sur des éléments souvent contestés et délicats, si bien que, même si elles se révèlent viciées, des mesures inhérentes à l'exercice normal de sa charge ne permettent pas d'exiger sa récusation; il appartient aux juridictions de recours compétentes de constater et de redresser de telles erreurs si elles sont commises (cf. ATF 116 Ia 135 consid. 3a p. 138; 114 Ia 153 consid. 3b/bb p. 158).
3.2 Même s'ils apparaissent plus systématiques que ne l'a retenu la cour cantonale, les refus d'instruire opposés au recourant ne constituent pas des motifs de récusation. Ils procèdent certes d'une vision différente des faits dénoncés - approche qui s'est d'ailleurs déjà concrétisée par une première décision de non-entrée en matière annulée sur recours -, mais ne sauraient être assimilés à un parti-pris en défaveur du recourant. La conduite de l'instruction et les décisions prises à l'issue de celle-ci doivent, comme cela est rappelé ci-dessus, être contestées par les voies de recours ordinaires. En particulier, la renonciation à entendre le liquidateur tunisien s'explique non par la prévention du magistrat, mais par l'impatience manifestée par le recourant le 10 janvier 2012, et la menace d'une plainte pour déni de justice. En outre, l'annonce d'une nouvelle ordonnance de non-entrée en matière, au même titre que l'avis que le magistrat instructeur doit adresser aux parties en vertu de l'art. 318 CPP, ne saurait suffire à fonder une demande de récusation.
3.3 S'agissant de l'avocat avec lequel la Procureure a eu une conversation téléphonique, l'arrêt attaqué retient qu'il s'agissait du mandataire d'une partie, ce que le recourant se contente de contester. Il n'y a pourtant pas d'arbitraire à reconnaître la qualité de partie à celui qui est visé par la plainte et a été invité à se déterminer sur un recours formé dans le cadre de la procédure pénale, même s'il n'a pas fait usage de cette faculté. Quant au contenu de la conversation, rien ne permet de soupçonner que les explications données par le magistrat, notamment dans sa prise de position du 30 mars 2012, soient inexactes. Celle-ci a affirmé avoir appelé l'avocat afin de savoir comment ce dernier avait eu connaissance du contenu de la lettre du 30 janvier 2012; elle aurait par ailleurs confirmé que cette lettre correspondait à la conversation du 30 août 2011 avec le mandataire du recourant. Le fond de la cause n'a en revanche pas été abordé. Le recourant n'indique pas, pour sa part, quelle information aurait pu être indûment révélée, et surtout en quoi cette révélation lui serait préjudiciable au point qu'on puisse y voir un acte de partialité.
C'est dès lors à juste titre que la demande de récusation a été écartée par la cour cantonale.
4. Sur le vu de ce qui précède, le recours doit être rejeté. Conformément à l'art. 66 al. 1 LTF, les frais judiciaires sont mis à la charge du recourant qui succombe. Il n'est pas alloué de dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale de recours.
Lausanne, le 13 août 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
Le Greffier: Kurz