Faits: A. René Curti, Marc Fues, Bernard Roduit, Claude Savioz et Dominique Ducret ont été renvoyés en jugement devant la Cour correctionnelle avec jury du canton de Genève, comme accusés de faux dans les titres et de gestion déloyale dans l'affaire dite de la Banque Cantonale de Genève. Les débats ont commencé au mois d'octobre 2010, mais ont ensuite été annulés après l'admission d'une demande de récusation du Président de la Cour. Le 23 novembre 2010, statuant sur la suite à donner à cette récusation, le Président de la Cour de justice du canton de Genève a informé les parties à la procédure que celle-ci serait transférée au Tribunal pénal, par anticipation, en application notamment des dispositions transitoires du Code de procédure pénale suisse (CPP; RS 312.0). Les accusés ont recouru en vain au Tribunal fédéral contre cette décision (arrêt 1B_7/2011 du 14 janvier 2011). Ils en ont aussi demandé la révision. Le 10 janvier 2011, le Président du Tribunal pénal (ci-après: le Président) a fait savoir que la cause serait jugée par un Tribunal correctionnel de trois juges présidé par Jean-Marc Verniory (ci-après: le Président). B. Le 13 janvier 2011, les accusés ont demandé la récusation du Président en relevant que celui-ci avait été directeur adjoint auprès de la Direction des affaires juridiques de la Chancellerie de l'Etat de Genève (DAJ) de 2004 à 2008, soit durant une période où cette dernière assistait le Conseil d'Etat dans la procédure pénale précitée. L'ancien Chancelier d'Etat, témoin important dans l'affaire de la BCG, avait été son supérieur hiérarchique. Par décision du 18 février 2011, la Chambre pénale de recours de la Cour de justice a rejeté la demande de récusation. L'art. 59 al. 1 CPP et le principe de célérité s'opposaient à l'administration de preuves à propos de l'activité déployée par la DAJ et son ancien directeur adjoint au sein de l'Etat de Genève. Le Président n'était pas intervenu en tant que magistrat dans la procédure; il avait commencé son activité à la DAJ en février 2004, alors que l'Etat de Genève s'était constitué partie civile en 2001 déjà et était depuis lors représenté par des avocats extérieurs à l'administration cantonale. Il n'avait jamais été directement impliqué dans le dossier et avait quitté la DAJ en mai 2008 pour exercer la fonction de juge pénal. L'ancien Chancelier d'Etat pourrait être entendu comme témoin. Le Conseil d'Etat avait toutefois refusé de lever le secret de fonction, cette décision ayant été prise en mai 2003 soit avant l'arrivée du Président à la DAJ. Il n'existait aucune relation personnelle entre le Président et l'ancien Chancelier. C. Par acte du 23 mars 2011, René Curti, Marc Fues, Bernard Roduit et Claude Savioz forment un recours en matière pénale. Ils demandent l'annulation de la décision de la Chambre pénale de recours et la récusation du Président, ou le renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. La Chambre pénale de recours se réfère aux considérants de son arrêt. Le Président, le Ministère public et la Banque Cantonale de Genève concluent au rejet du recours. L'Etat de Genève s'en rapporte à justice. Le 13 avril 2011, les recourants ont fait savoir qu'ils avaient formé une nouvelle demande de récusation du Président, pour d'autres motifs. Ils évoquaient la possibilité de suspendre la présente cause. Le 21 avril 2011, les recourants se sont déterminés sur les observations des parties adverses. Ils ont maintenu leurs conclusions.