Faits:
A. Le 14 décembre 2011, le Tribunal correctionnel du canton de Genève, présidé par Y._, a ouvert les débats dans la procédure dirigée contre X._, accusé de contrainte sexuelle sur sa fille. Cette procédure fait suite à un précédent verdict annulé au mois de décembre 2010 par la Cour de cassation cantonale (cf. arrêts 6B_47/2011 et 6B_73/2011 du 20 avril 2011 déclarant irrecevables les recours formés contre cette décision). Après le rejet par le tribunal de deux questions préjudicielles (validité de l'acte d'accusation et prescription de certains faits), l'accusé a demandé la récusation du Président après s'être souvenu que celui-ci était intervenu comme avocat pour sa fille en 1995-1996. Le lendemain, il a déposé une requête écrite dans laquelle il expliquait avoir obtenu la confirmation, auprès de l'étude de Me A._, que Y._ y avait travaillé comme associé. Il avait défendu successivement, en 1995-1996, la femme et la fille de l'accusé et avait signé un reçu pour cette activité, le 20 mars 1996, soit durant l'époque (de 1985 à 2000) où auraient été commis les actes actuellement reprochés à l'accusé. Outre la récusation du Président, était requise la répétition des actes de procédure accomplis par celui-ci. Dans ses déterminations écrites, du 15 décembre 2011, le Président a affirmé n'avoir aucun souvenir du mandat en question, et estimé qu'il n'y avait pas motif à récusation. La procédure s'est poursuivie et le Tribunal correctionnel a condamné X._, par jugement du même jour, à 36 mois de privation de liberté dont 30 mois avec sursis.
B. Par arrêt du 27 février 2012, la Chambre pénale de recours de la Cour de justice genevoise a estimé que la demande de récusation avait été formée en temps utile - l'intéressé ne s'étant souvenu du Président qu'en le voyant à l'audience -, et l'a rejetée sur le fond. Même en admettant que la signature sur le reçu précité soit bien celle de l'intéressé et que la famille X._ ait contacté l'étude dans laquelle celui-ci travaillait - en tant que collaborateur et non comme associé -, les faits remontaient à plus de quinze ans et le mandat avait été donné par toute la famille X._. En outre, les faits étaient totalement différents puisqu'ils concernaient une agression commise par un tiers.
C. X._ forme un recours en matière pénale. Il demande l'annulation de l'arrêt de la Chambre pénale de recours et reprend les conclusions présentées dans sa demande de récusation. Subsidiairement, il conclut au renvoi de la cause à la Chambre pénale de recours afin qu'elle statue dans le sens des considérants.
Au terme de ses observations, la Chambre pénale de recours persiste dans les considérants de son arrêt. Le Président du Tribunal pénal s'est déterminé dans le sens du rejet du recours. Le recourant a requis et obtenu une copie de la prise de position du 15 décembre 2011, qui ne lui avait pas été communiquée en instance cantonale. Dans ses dernières déterminations, il a persisté dans les conclusions de son recours.
Considérant en droit:
1. Conformément aux art. 78 et 92 al. 1 LTF, une décision incidente relative à la récusation d'un magistrat dans la procédure pénale peut faire immédiatement l'objet d'un recours en matière pénale, quand bien même le jugement sur le fond aurait déjà été rendu.
L'auteur de la demande de récusation a qualité pour agir (art. 81 al. 1 LTF). Le recours a été déposé dans le délai de trente jours prescrit à l'art. 100 al. 1 LTF. La décision attaquée est rendue en dernière instance cantonale, au sens de l'art. 80 LTF.
2. Le recourant invoque l'art. 56 let. b CPP à l'encontre du Président de la Chambre de recours pénale. Il relève que celui-ci faisait partie de l'autorité qui l'a renvoyé en jugement le 30 juin 2009. Il était également intervenu comme membre de l'autorité de recours qui avait confirmé le classement d'une plainte pénale déposée par le recourant contre son épouse. Le grief est toutefois manifestement tardif, car le recourant, assisté de deux avocats, ne pouvait ignorer la composition de la Cour cantonale, qui est censée être connue des mandataires professionnels et fait l'objet d'une publication officielle; il devait dès lors requérir immédiatement la récusation de son Président, comme l'exige l'art. 58 al. 1 CPP, sans attendre la procédure de recours. La requête de récusation est dès lors tardive (ATF 138 I 1 consid. 2.2 p. 3-4 et la jurisprudence citée). Au demeurant, il n'y avait pas motif à récusation car la question soulevée par la demande de récusation était clairement distincte de celles qui se posaient lors du renvoi en jugement, respectivement du classement d'une plainte pénale connexe (cf. ATF 131 I 24 consid. 1.2-1.3 p. 26 et les exemples cités).
3. Invoquant les art. 29 Cst. et 58 al. 2 CPP, le recourant prétend dans son recours que la cour cantonale aurait recueilli oralement l'avis du Président, sans en laisser de trace écrite au dossier, sans en informer le recourant et sans lui donner l'occasion d'exercer son droit de répliquer. Selon l'art. 58 al. 2 CPP, une prise de position écrite du juge récusé serait nécessaire et aurait permis à l'intéressé de prendre position sur les allégations du recourant.
3.1 Dans le cadre de la procédure de récusation, la loi prévoit que la personne concernée prend position sur la demande (art. 58 al. 2 CPP). La décision est ensuite rendue sans administration supplémentaire de preuve, sauf lorsque les motifs invoqués sont ceux de l'art. 56 let. a et f CPP.
Selon les art. 29 al. 2 Cst. et 3 al. 2 let. c CPP, les parties ont le droit de prendre connaissance de toute argumentation présentée au tribunal et de se déterminer à son propos, que celle-ci contienne ou non de nouveaux éléments de fait ou de droit, et qu'elle soit ou non concrètement susceptible d'influer sur le jugement à rendre. C'est aux parties, et non au juge, de décider si une prise de position ou une pièce nouvellement versée au dossier contient des éléments déterminants qui appellent des observations de leur part. Toute prise de position ou pièce nouvelle versée au dossier doit ainsi être communiquée aux parties pour leur permettre de décider si elles veulent ou non faire usage de leur faculté de se déterminer (ATF 137 I 195 consid. 2.3.1 p. 197 et la jurisprudence citée; arrêt 1C_196/2011 du 11 juillet 2011 publié in SJ 2012 I p. 117). Ces principes s'appliquent à toutes les procédures judiciaires, même dans les domaines qui n'entrent pas dans le champ d'application de l'art. 6 CEDH, et par conséquent aussi à la procédure de récusation.
3.2 En l'occurrence, le Président a produit des déterminations écrites le 15 décembre 2011, contestant l'existence de motifs de récusation. Il reconnaissait avoir pu intervenir en qualité d'avocat des parties, mais précisait qu'il n'en avait aucun souvenir. N'ayant pas connaissance des pièces produites à l'appui de la demande, il ne pouvait se déterminer plus en détail. Le magistrat a ainsi pris position sur la demande de récusation. Même s'il ne l'a fait qu'incomplètement, sous réserve d'un complément que la cour cantonale n'a pas jugé utile de demander, l'exigence de l'art. 58 al. 2 CPP est ainsi satisfaite et le recourant ne dispose d'aucun droit à ce que le magistrat récusé complète sa prise de position s'il ne l'estime pas nécessaire.
3.3 En revanche, il apparaît clairement que le recourant n'a pas été à même d'exercer son droit de répliquer puisque les déterminations du magistrat ne lui ont pas été communiquées par la cour cantonale avant que celle-ci ne statue. Cette violation incontestable du droit d'être entendu pourrait toutefois être considérée comme réparée à ce stade de la procédure, dans la mesure où l'irrégularité n'est pas particulièrement grave et où la partie concernée a eu la possibilité de prendre connaissance de la pièce litigieuse et de s'exprimer devant une autorité de recours disposant d'un pouvoir d'examen complet. Cette question peut toutefois demeurer indécise, compte tenu de l'issue de la cause sur le fond.
4. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente, sauf si ceux-ci ont été retenus de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire: ATF 134 V 53 consid. 4.3 p. 63 - ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 1 et 2 LTF) et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
4.1 Le recourant entend apporter certains compléments à l'état de fait retenu par l'instance cantonale. Il présente son propre exposé, sans toutefois indiquer précisément quels faits auraient été ignorés dans la décision attaquée (alors qu'ils auraient été allégués et prouvés devant l'instance cantonale), et sans démontrer la pertinence de ceux-ci.
4.2 Point n'est toutefois besoin de distinguer, dans l'argumentation du recourant, les faits nouveaux, ceux qui ont déjà été retenus par la cour cantonale et ceux qui auraient, à tort, été ignorés. En effet, dans ses déterminations au Tribunal fédéral, le Président a admis l'existence d'un mandat entre 1995 et 1996, bien qu'ayant quitté l'étude en 1994; il a reconnu avoir signé le reçu produit par le recourant et a admis l'existence de deux procédures pénales faisant suite à des dénonciations de l'épouse du recourant, puis de sa fille. Quant aux entretiens ayant eu lieu en présence du recourant, le Président n'en conteste ni l'existence ni la teneur, et se contente d'invoquer le secret professionnel de l'avocat. Par conséquent, l'essentiel des faits allégués par le recourant est admis et le grief est dès lors sans objet.
5. La garantie d'un tribunal indépendant et impartial instituée par les art. 30 al. 1 Cst. et 6 par. 1 CEDH permet d'exiger la récusation d'un juge dont la situation ou le comportement est de nature à faire naître un doute sur son impartialité (ATF 126 I 68 consid. 3a p. 73). Elle tend notamment à éviter que des circonstances extérieures à la cause ne puissent influencer le jugement en faveur ou au détriment d'une partie. Elle n'impose pas la récusation seulement lorsqu'une prévention effective du juge est établie, car une disposition interne de sa part ne peut guère être prouvée; il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Seules les circonstances constatées objectivement doivent être prises en considération; les impressions purement individuelles d'une des parties au procès ne sont pas décisives (ATF 138 I 1 consid. 2.2 p. 3; 137 I 227 consid. 2.1 p. 229; 136 I 207 consid. 3.1 p. 238; 134 I 20 consid. 4.2 p. 21; 131 I 24 consid. 1.1 p. 25; 127 I 196 consid. 2b p. 198). Les motifs de récusation mentionnés à l'art. 56 let. b et f CPP, invoqué par les recourants, concrétisent ces garanties. Ils imposent la récusation d'un magistrat lorsqu'il a agi à un autre titre dans la même cause, en particulier comme membre d'une autorité, conseil juridique d'une partie, expert ou témoin (let. b) ou lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimitié avec une partie ou son conseil, sont de nature à le rendre suspect de prévention (let. f). Cette dernière disposition a la portée d'une clause générale (arrêt 2C_755/2008 du 7 janvier 2009, publié in SJ 2009 I p. 233, concernant l'art. 34 LTF).
5.1 Pour être à même de trancher un différend avec impartialité, un juge ne doit pas se trouver dans la sphère d'influence des parties. Un rapport de dépendance, voire des liens particuliers entre le juge et une personne intéressée à l'issue de la procédure, telle qu'une partie ou son mandataire, peuvent, selon leur nature et leur intensité, fonder un soupçon de partialité (ATF 117 Ia 170 consid. 3b p. 174; 116 Ia 135 consid. 3c p. 141/142; 92 I 271 consid. 5 p. 276/277). Un avocat fonctionnant comme juge apparaît prévenu lorsqu'il est encore lié à une partie par un mandat en cours ou lorsqu'il est intervenu à plusieurs reprises aux côtés d'une partie (ATF 135 I 14 consid. 4 p. 15; 116 Ia 485). En revanche, un juge n'est pas récusable du simple fait qu'il aurait précédemment représenté des intérêts opposés à la partie en cause (ATF 138 I 1 consid. 2.3 p. 4 concernant un avocat de l'Asloca). Il convient de rechercher si la nature de l'intervention précédente en tant qu'avocat est compatible avec l'indépendance et l'impartialité du magistrat appeler à statuer. En la matière, même les apparences peuvent revêtir de l'importance car il en va de la confiance que les tribunaux d'une société démocratique se doivent d'inspirer aux justiciables (CourEDH, arrêt Kyprianou c/ Chypre du 15 décembre 2005, Recueil CourEDH 2005-XIII p. 113 § 118 ss).
5.2 En l'occurrence, il est établi que le magistrat, alors qu'il était avocat, a été mandaté pour défendre l'épouse puis la fille du recourant dans deux procédures pénales qui se sont achevées la première au mois d'octobre 1995, la seconde au mois de juillet 1996. Bien qu'il ait quitté l'étude en question en 1994, le magistrat admet qu'il a pu poursuivre le traitement de certains dossiers, dont les deux précités. Il est également établi qu'il a signé un reçu au mois de mars 1996, relatif au paiement d'honoraires en rapport avec ces affaires.
Ces faits remontent à seize ans. La première affaire portait sur une plainte pénale déposée par l'épouse du recourant après une agression par une tierce personne; elle a donné lieu à une ordonnance de condamnation à dix jours d'emprisonnement avec sursis. La seconde concernait une plainte déposée par la fille du recourant, contre la même personne et pour des faits similaires; elle a abouti à une ordonnance de classement. A cette occasion - contemporaine des faits qui sont reprochés au recourant - l'avocat a été amené à intervenir et nécessairement, en tant que défenseur, à prendre parti en faveur de la fille du recourant qui prétendait avoir été agressée. Inévitablement, le magistrat - en tant qu'avocat à cette époque - s'est forgé une opinion sur la crédibilité de ses déclarations, alors déjà mises en doute par son père. Vu l'écoulement du temps et le nombre de litiges dans lesquels il est intervenu en qualité d'avocat, puis de magistrat, il n'est certes pas exclu qu'il n'en ait pas gardé de souvenir. Néanmoins, en particulier dans la perspective de la procédure pénale dirigée contre le recourant, où la crédibilité des déclarations de sa fille apparaissait comme un élément essentiel, cette précédente intervention pouvait constituer une apparence susceptible de susciter des doutes légitimes quant à l'impartialité du magistrat.
6. Il s'ensuit que la demande de récusation devait être admise. L'arrêt attaqué doit par conséquent être annulé. Le recourant demande aussi au Tribunal fédéral d'ordonner que les actes de procédure accomplis par le magistrat récusé soient répétés. Une telle précision ne se justifie pas car c'est à l'autorité cantonale qu'il appartiendra au premier chef de tirer les conséquences de l'admission de la demande de récusation, et de faire application de l'art. 60 CPP. Cette disposition prévoit expressément (al. 1) que les actes de procédure auxquels a participé la personne récusée sont annulés et répétés si la partie le demande dans les cinq jours dès la connaissance du motif de récusation, et précise (al. 2) que les mesures probatoires non renouvelables peuvent être prises en considération par l'autorité pénale.
Conformément aux art. 68 al. 1 et 66 al. 4 LTF, une indemnité de dépens est allouée au recourant, à la charge du canton de Genève, et il n'est pas perçu de frais judiciaires.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, l'arrêt attaqué est annulé et la demande de récusation de Y._, Président du Tribunal correctionnel du canton de Genève, est admise.
2. Une indemnité de dépens de 2'000 fr. est allouée au recourant, à la charge du canton de Genève. Il n'est pas perçu de frais judiciaires.
3. Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale de recours.
Lausanne, le 13 juillet 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
Le Greffier: Kurz