Faits: A. Le 14 décembre 2011, le Tribunal correctionnel du canton de Genève, présidé par Y._, a ouvert les débats dans la procédure dirigée contre X._, accusé de contrainte sexuelle sur sa fille. Cette procédure fait suite à un précédent verdict annulé au mois de décembre 2010 par la Cour de cassation cantonale (cf. arrêts 6B_47/2011 et 6B_73/2011 du 20 avril 2011 déclarant irrecevables les recours formés contre cette décision). Après le rejet par le tribunal de deux questions préjudicielles (validité de l'acte d'accusation et prescription de certains faits), l'accusé a demandé la récusation du Président après s'être souvenu que celui-ci était intervenu comme avocat pour sa fille en 1995-1996. Le lendemain, il a déposé une requête écrite dans laquelle il expliquait avoir obtenu la confirmation, auprès de l'étude de Me A._, que Y._ y avait travaillé comme associé. Il avait défendu successivement, en 1995-1996, la femme et la fille de l'accusé et avait signé un reçu pour cette activité, le 20 mars 1996, soit durant l'époque (de 1985 à 2000) où auraient été commis les actes actuellement reprochés à l'accusé. Outre la récusation du Président, était requise la répétition des actes de procédure accomplis par celui-ci. Dans ses déterminations écrites, du 15 décembre 2011, le Président a affirmé n'avoir aucun souvenir du mandat en question, et estimé qu'il n'y avait pas motif à récusation. La procédure s'est poursuivie et le Tribunal correctionnel a condamné X._, par jugement du même jour, à 36 mois de privation de liberté dont 30 mois avec sursis. B. Par arrêt du 27 février 2012, la Chambre pénale de recours de la Cour de justice genevoise a estimé que la demande de récusation avait été formée en temps utile - l'intéressé ne s'étant souvenu du Président qu'en le voyant à l'audience -, et l'a rejetée sur le fond. Même en admettant que la signature sur le reçu précité soit bien celle de l'intéressé et que la famille X._ ait contacté l'étude dans laquelle celui-ci travaillait - en tant que collaborateur et non comme associé -, les faits remontaient à plus de quinze ans et le mandat avait été donné par toute la famille X._. En outre, les faits étaient totalement différents puisqu'ils concernaient une agression commise par un tiers. C. X._ forme un recours en matière pénale. Il demande l'annulation de l'arrêt de la Chambre pénale de recours et reprend les conclusions présentées dans sa demande de récusation. Subsidiairement, il conclut au renvoi de la cause à la Chambre pénale de recours afin qu'elle statue dans le sens des considérants. Au terme de ses observations, la Chambre pénale de recours persiste dans les considérants de son arrêt. Le Président du Tribunal pénal s'est déterminé dans le sens du rejet du recours. Le recourant a requis et obtenu une copie de la prise de position du 15 décembre 2011, qui ne lui avait pas été communiquée en instance cantonale. Dans ses dernières déterminations, il a persisté dans les conclusions de son recours.