Faits: A. René Curti, Marc Fues, Bernard Roduit, Claude Savioz et Dominique Ducret ont été renvoyés en jugement devant la Cour correctionnelle avec jury du canton de Genève, comme accusés de faux dans les titres et de gestion déloyale dans l'affaire dite de la Banque Cantonale de Genève (BCG). Les débats ont commencé au mois d'octobre 2010, mais ont ensuite été annulés après l'admission d'une demande de récusation du Président de la Cour. Le 10 janvier 2011, le Président du Tribunal pénal a fait savoir que la cause serait jugée par un Tribunal correctionnel de trois juges présidé par Jean-Marc Verniory (ci-après: le Président). Le 13 janvier 2011, les accusés ont demandé la récusation du Président en relevant que celui-ci avait été directeur adjoint auprès de la Direction des affaires juridiques de la Chancellerie de l'Etat de Genève (DAJ) de 2004 à 2008, soit durant une période où cette dernière assistait le Conseil d'Etat dans la procédure pénale précitée. L'ancien Chancelier d'Etat, témoin important dans la procédure, avait été son supérieur hiérarchique. Cette demande a été rejetée le 18 février 2011 par la Chambre pénale de recours de la Cour de justice. Cette décision a été confirmée par le Tribunal fédéral, par arrêt du 2 mai 2011 (1B_131/2011). B. Le 30 mars 2011, René Curti, Marc Fues, Bernard Roduit et Claude Savioz ont déposé une nouvelle demande de récusation contre le Président. Ils expliquaient que lors de la préparation des débats, il avait été découvert dans un dossier conservé par l'un des avocats un article paru le 9 juin 2001 dans le journal Le Temps, selon lequel l'avocat genevois Pascal Verniory (frère de Jean-Marc Verniory) avait défendu la BCG dans le cadre d'une procédure visant à suspendre un site Internet qui mettait en cause les dirigeants de la banque. Jean-Marc Verniory était à l'époque associé dans l'étude de son frère et n'avait pas déclaré spontanément cette activité. C. Par arrêt du 3 mai 2011, la Chambre pénale de recours a rejeté la demande de récusation dans la mesure de sa recevabilité. Les requérants connaissaient l'identité du Président depuis le mois de janvier 2011, et l'article de presse était en mains de l'un des avocats. Le motif de récusation pouvait dès lors être découvert et invoqué plus rapidement, lors de la précédente demande de récusation. La seconde demande, tardive, était irrecevable. Supposée recevable, elle devait être rejetée. Le Président avait, dix ans plus tôt, été le frère associé d'un avocat qui avait défendu les dirigeants de la BCG. Il n'avait pas eu lui-même à connaître du litige. Il n'y avait donc pas d'apparence de prévention. D. Par acte du 13 mai 2011, René Curti, Marc Fues, Bernard Roduit et Claude Savioz forment un recours en matière pénale. Ils concluent à l'annulation de l'arrêt cantonal et à la récusation du Président, ou au renvoi de la cause à l'autorité cantonale pour nouvelle décision au sens des considérants. La Chambre pénale de recours se réfère à son arrêt, sans formuler d'observations. Le Ministère public et le Président concluent au rejet du recours, de même que l'Etat de Genève, la BCG et Dominique Ducret. Les recourants ont répliqué et maintenu leurs conclusions.