Faits:
A. René Curti, Marc Fues, Bernard Roduit, Claude Savioz et Dominique Ducret ont été renvoyés en jugement devant la Cour correctionnelle avec jury du canton de Genève, comme accusés de faux dans les titres et de gestion déloyale dans l'affaire dite de la Banque Cantonale de Genève (BCG). Les débats ont commencé au mois d'octobre 2010, mais ont ensuite été annulés après l'admission d'une demande de récusation du Président de la Cour.
Le 10 janvier 2011, le Président du Tribunal pénal a fait savoir que la cause serait jugée par un Tribunal correctionnel de trois juges présidé par Jean-Marc Verniory (ci-après: le Président). Le 13 janvier 2011, les accusés ont demandé la récusation du Président en relevant que celui-ci avait été directeur adjoint auprès de la Direction des affaires juridiques de la Chancellerie de l'Etat de Genève (DAJ) de 2004 à 2008, soit durant une période où cette dernière assistait le Conseil d'Etat dans la procédure pénale précitée. L'ancien Chancelier d'Etat, témoin important dans la procédure, avait été son supérieur hiérarchique. Cette demande a été rejetée le 18 février 2011 par la Chambre pénale de recours de la Cour de justice. Cette décision a été confirmée par le Tribunal fédéral, par arrêt du 2 mai 2011 (1B_131/2011).
B. Le 30 mars 2011, René Curti, Marc Fues, Bernard Roduit et Claude Savioz ont déposé une nouvelle demande de récusation contre le Président. Ils expliquaient que lors de la préparation des débats, il avait été découvert dans un dossier conservé par l'un des avocats un article paru le 9 juin 2001 dans le journal Le Temps, selon lequel l'avocat genevois Pascal Verniory (frère de Jean-Marc Verniory) avait défendu la BCG dans le cadre d'une procédure visant à suspendre un site Internet qui mettait en cause les dirigeants de la banque. Jean-Marc Verniory était à l'époque associé dans l'étude de son frère et n'avait pas déclaré spontanément cette activité.
C. Par arrêt du 3 mai 2011, la Chambre pénale de recours a rejeté la demande de récusation dans la mesure de sa recevabilité. Les requérants connaissaient l'identité du Président depuis le mois de janvier 2011, et l'article de presse était en mains de l'un des avocats. Le motif de récusation pouvait dès lors être découvert et invoqué plus rapidement, lors de la précédente demande de récusation. La seconde demande, tardive, était irrecevable. Supposée recevable, elle devait être rejetée. Le Président avait, dix ans plus tôt, été le frère associé d'un avocat qui avait défendu les dirigeants de la BCG. Il n'avait pas eu lui-même à connaître du litige. Il n'y avait donc pas d'apparence de prévention.
D. Par acte du 13 mai 2011, René Curti, Marc Fues, Bernard Roduit et Claude Savioz forment un recours en matière pénale. Ils concluent à l'annulation de l'arrêt cantonal et à la récusation du Président, ou au renvoi de la cause à l'autorité cantonale pour nouvelle décision au sens des considérants.
La Chambre pénale de recours se réfère à son arrêt, sans formuler d'observations. Le Ministère public et le Président concluent au rejet du recours, de même que l'Etat de Genève, la BCG et Dominique Ducret. Les recourants ont répliqué et maintenu leurs conclusions.

Considérant en droit:
1. Conformément aux art. 78 et 92 al. 1 LTF, une décision relative à la récusation d'un magistrat dans la procédure pénale peut faire immédiatement l'objet d'un recours en matière pénale.
Les auteurs de la demande de récusation ont évidemment qualité pour recourir (<ref-law>). Ils ont agi dans le délai de trente jours prescrit à l'<ref-law>. La décision attaquée est rendue en dernière instance cantonale, au sens de l'<ref-law>. Les conclusions tendant à l'annulation de la décision attaquée et à l'admission de la demande de récusation, voire au renvoi de la cause à la cour cantonale, sont recevables.
2. Les recourants contestent en premier lieu l'irrecevabilité de leur demande de récusation. Contrairement à ce qu'ils soutiennent, l'arrêt attaqué est clair sur ce point. La Chambre pénale de recours a considéré que la demande était tardive et dès lors irrecevable, ajoutant que, supposée recevable, elle devrait être rejetée. Le dispositif de l'arrêt attaqué "rejette la demande dans la mesure où elle est recevable", ce qui fait également ressortir cette double motivation. Il n'y a pas lieu, cela étant, de s'attarder sur la question de la tardiveté de la demande de récusation. En effet, un examen au fond fait apparaître cette dernière comme manifestement mal fondée.
3. Sur le fond, les recourants invoquent les garanties découlant des art. 6 par. 1 CEDH et 30 al. 1 Cst., ainsi que les dispositions du CPP relatives à la récusation. Ils estiment que l'activité du Président en tant qu'associé de l'avocat d'une des parties permettrait de douter de son impartialité. Il y aurait un rapport entre la procédure pénale actuelle et la cause civile défendue par Pascal Verniory, puisque les faits à l'origine de l'enquête pénale auraient donné lieu à l'ouverture du site Internet. Le temps écoulé depuis lors ne ferait pas disparaître la cause de récusation.
3.1 Selon les art. 6 par. 1 CEDH et 30 al. 1 Cst., toute personne dont la cause doit être jugée dans une procédure judiciaire a droit à ce que sa cause soit portée devant un tribunal établi par la loi, compétent, indépendant et impartial. Cette garantie permet d'exiger la récusation d'un juge dont la situation ou le comportement est de nature à faire naître un doute sur son impartialité (<ref-ruling> 126 I 68 consid. 3a p. 73). Selon l'art. 56 let. f CPP, toute personne exerçant une fonction au sein d'une autorité pénale est tenue de se récuser lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimitié avec une partie ou son conseil juridique, sont de nature à la rendre suspecte de prévention.
A l'instar de l'art. 34 al. 1 let. e LTF, il s'agit d'une clause générale recouvrant tous les motifs de récusation non expressément prévus aux lettres précédentes de l'<ref-law> (arrêt 2C_755/2008 du 7 janvier 2009, SJ 2009 233 concernant l'<ref-law>). Elle permet d'exiger la récusation d'un magistrat dont la situation ou le comportement est de nature à faire naître un doute sur son impartialité (<ref-ruling> consid. 3a p. 73). Elle tend notamment à éviter que des circonstances extérieures à la cause ne puissent influencer le jugement en faveur ou au détriment d'une partie. Elle n'impose pas la récusation seulement lorsqu'une prévention effective du juge est établie, car une disposition interne de sa part ne peut guère être prouvée; il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Seules les circonstances constatées objectivement doivent être prises en considération; les impressions purement individuelles d'une des parties au procès ne sont pas décisives (<ref-ruling> consid. 3.2.1 p. 608; <ref-ruling> consid. 4.2 p. 21; <ref-ruling> consid. 1.1 p. 25; <ref-ruling> consid. 2b p. 198).
3.2 Les circonstances évoquées par les recourants remontent à 2001, époque à laquelle le président exerçait accessoirement (parallèlement à ses fonctions d'assistant et de chargé d'enseignement à la faculté de droit de l'Université de Genève, à temps plein) en tant qu'avocat - associé pour les frais uniquement - dans la même étude que son frère. Ce dernier avait alors représenté la BCG dans une procédure judiciaire et avait obtenu, sur mesures provisionnelles, la fermeture d'un site Internet ouvert aux "déçus de la BCG", permettant au public d'exprimer son mécontentement au sujet de la gestion de la banque et mettant en cause la réputation de ses dirigeants. Il apparaît ainsi que l'activité déployée par l'avocat s'est exercée en faveur de la banque et de ses dirigeants; le fait que les intérêts de l'une et des autres aient par la suite divergé ne change rien à cette appréciation. Ce mandat a pris fin, de sorte que le frère du Président ne représente plus actuellement la BCG et n'a plus de liens avec cette banque, quand bien même certaines obligations découlant de ce mandat (obligation de garder le secret) pourraient encore subsister. Par ailleurs, le magistrat intimé a affirmé - sans que ses déclarations ne soient mises en doute sur ce point - n'avoir jamais assisté, remplacé ou excusé son frère dans le cadre de ce mandat. Considérées objectivement, les circonstances ne sont dès lors en rien comparables avec les exemples tirés de la jurisprudence rappelée par la cour cantonale à propos des relations entre le juge, les parties et leurs mandataires.
3.3 Les recourants reprochent au Président de ne pas avoir révélé les faits précités, notamment dans sa prise de position du 17 janvier 2011, alors que cette dernière pouvait légitimement être tenue pour sincère et complète. Le fait de ne pas avoir déclaré cette activité viendrait renforcer le soupçon de partialité. Dans le contexte particulier de l'affaire dite de la BCG, et compte tenu des diverses récusations déjà intervenues, un strict respect des règles d'impartialité s'imposait, et le magistrat en cause devait spontanément renseigner les parties sur de possibles motifs de récusation.
Comme cela est relevé ci-dessus, l'activité du Président en tant qu'avocat associé à son frère, dans les circonstances précitées, ne constitue manifestement pas un motif de récusation. Le magistrat pouvait donc de bonne foi s'abstenir d'en faire état, sans que cela ne représente un motif supplémentaire de douter de son impartialité.
4. Il en résulte que c'est à bon droit que la demande de récusation a été écartée sur le fond. Le recours doit par conséquent être rejeté, aux frais des recourants (<ref-law>) et sans allocation de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants.
3. Le présent arrêt est communiqué aux parties, à Dominique Ducret, au Procureur général et à la Cour de justice du canton de Genève, Chambre pénale de recours.
Lausanne, le 23 juin 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Fonjallaz Kurz