Faits:
A. René Curti, Marc Fues, Bernard Roduit, Claude Savioz et Dominique Ducret ont été renvoyés en jugement devant la Cour correctionnelle avec jury du canton de Genève, comme accusés de faux dans les titres et de gestion déloyale dans l'affaire dite de la Banque Cantonale de Genève. Les débats ont commencé au mois d'octobre 2010, mais ont ensuite été annulés après l'admission d'une demande de récusation du Président de la Cour.
Le 23 novembre 2010, statuant sur la suite à donner à cette récusation, le Président de la Cour de justice du canton de Genève a informé les parties à la procédure que celle-ci serait transférée au Tribunal pénal, par anticipation, en application notamment des dispositions transitoires du Code de procédure pénale suisse (CPP; RS 312.0). Les accusés ont recouru en vain au Tribunal fédéral contre cette décision (arrêt 1B_7/2011 du 14 janvier 2011). Ils en ont aussi demandé la révision.
Le 10 janvier 2011, le Président du Tribunal pénal (ci-après: le Président) a fait savoir que la cause serait jugée par un Tribunal correctionnel de trois juges présidé par Jean-Marc Verniory (ci-après: le Président).
B. Le 13 janvier 2011, les accusés ont demandé la récusation du Président en relevant que celui-ci avait été directeur adjoint auprès de la Direction des affaires juridiques de la Chancellerie de l'Etat de Genève (DAJ) de 2004 à 2008, soit durant une période où cette dernière assistait le Conseil d'Etat dans la procédure pénale précitée. L'ancien Chancelier d'Etat, témoin important dans l'affaire de la BCG, avait été son supérieur hiérarchique.
Par décision du 18 février 2011, la Chambre pénale de recours de la Cour de justice a rejeté la demande de récusation. L'<ref-law> et le principe de célérité s'opposaient à l'administration de preuves à propos de l'activité déployée par la DAJ et son ancien directeur adjoint au sein de l'Etat de Genève. Le Président n'était pas intervenu en tant que magistrat dans la procédure; il avait commencé son activité à la DAJ en février 2004, alors que l'Etat de Genève s'était constitué partie civile en 2001 déjà et était depuis lors représenté par des avocats extérieurs à l'administration cantonale. Il n'avait jamais été directement impliqué dans le dossier et avait quitté la DAJ en mai 2008 pour exercer la fonction de juge pénal. L'ancien Chancelier d'Etat pourrait être entendu comme témoin. Le Conseil d'Etat avait toutefois refusé de lever le secret de fonction, cette décision ayant été prise en mai 2003 soit avant l'arrivée du Président à la DAJ. Il n'existait aucune relation personnelle entre le Président et l'ancien Chancelier.
C. Par acte du 23 mars 2011, René Curti, Marc Fues, Bernard Roduit et Claude Savioz forment un recours en matière pénale. Ils demandent l'annulation de la décision de la Chambre pénale de recours et la récusation du Président, ou le renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants.
La Chambre pénale de recours se réfère aux considérants de son arrêt. Le Président, le Ministère public et la Banque Cantonale de Genève concluent au rejet du recours. L'Etat de Genève s'en rapporte à justice.
Le 13 avril 2011, les recourants ont fait savoir qu'ils avaient formé une nouvelle demande de récusation du Président, pour d'autres motifs. Ils évoquaient la possibilité de suspendre la présente cause.
Le 21 avril 2011, les recourants se sont déterminés sur les observations des parties adverses. Ils ont maintenu leurs conclusions.

Considérant en droit:
1. Conformément aux art. 78 et 92 al. 1 LTF, une décision relative à la récusation d'un magistrat dans la procédure pénale peut faire immédiatement l'objet d'un recours en matière pénale.
1.1 Les recourants, auteurs de la demande de récusation, ont qualité pour agir (<ref-law>). Ils ont agi dans le délai de trente jours prescrit à l'<ref-law>. La décision attaquée est rendue en dernière instance cantonale, au sens de l'<ref-law>. Les conclusions tendant à l'annulation de la décision attaquée et au renvoi de la cause, voire à l'admission de la demande de récusation, sont recevables.
1.2 Les recourants évoquent une nouvelle demande de récusation formée à l'encontre du Président, qui serait pendante devant l'autorité cantonale. Il n'y a pas lieu pour autant de suspendre la présente cause qui, pour des motifs évidents de célérité, doit être tranchée immédiatement.
2. Invoquant leur droit d'être entendus, les recourants estiment qu'il était essentiel de déterminer précisément quelle avait été l'activité de la DAJ durant la période où le Président en était le directeur adjoint. Indépendamment de l'implication du magistrat en cause, l'intervention de la DAJ en faveur du Conseil d'Etat était propre à créer une apparence de prévention. Compte tenu de ses attributions légales, la DAJ était présumée avoir assisté le Conseil d'Etat dans les procédures concernant la BCG et il appartenait au magistrat intimé de renverser cette présomption, ou à l'autorité cantonale d'instruire sur cette question.
2.1 Garanti à l'art. 29 al. 2 Cst., le droit d'être entendu permet au justiciable de participer à la procédure probatoire en exigeant l'administration des preuves déterminantes (<ref-ruling> consid. 2a/aa p. 1 et les arrêts cités). Ce droit ne s'étend toutefois qu'aux éléments pertinents pour décider de l'issue du litige. Il est ainsi possible de renoncer à l'administration de certaines preuves offertes, lorsque le fait dont les parties veulent rapporter l'authenticité n'est pas important pour la solution du cas, lorsque les preuves résultent déjà de constatations versées au dossier, et lorsque le juge parvient à la conclusion qu'elles ne sont pas décisives pour la solution du litige ou qu'elles ne pourraient l'amener à modifier son opinion. Ce refus d'instruire ne viole le droit d'être entendu que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a ainsi procédé, est entachée d'arbitraire (<ref-ruling> consid. 6c/cc in fine p. 135, 417 consid. 7b p. 430; <ref-ruling> consid. 4a p. 211, 241 consid. 2 p. 242, 274 consid. 5b p. 285 et les arrêts cités).
2.2 Les demandes de récusation font partie des incidents de procédure qui doivent, conformément au principe de célérité, être tranchées sans retard (DONATSCH/HANSJAKOB/LIEBER, Kommentar zur StPO, Zurich 2010, n° 10 ad art. 59). Ainsi, l'<ref-law> al. 1 prévoit que le litige est tranché "sans administration supplémentaire de preuves" lorsque les motifs prévus à l'art. 56 let. a ou f CPP sont invoqués (par le magistrat) ou lorsque la demande de récusation d'une partie est fondée sur l'art. 56 let. b à e CPP. Dans ces cas en effet, le motif de récusation ressort de la demande formée par le magistrat lui-même, ou peuvent être facilement établis par la partie qui demande la récusation (notamment les liens résultant du mariage ou de la parenté). La procédure est écrite et le seul acte d'instruction semble ainsi être la détermination de la personne concernée par la demande de récusation (<ref-law>; Basler Kommentar StPO, n° 11 ad art. 58), sous réserve du droit de réplique (<ref-ruling>). Lorsqu'en revanche une partie demande la récusation d'un magistrat en se fondant sur l'art. 56 let. a (intérêt personnel dans l'affaire) ou f CPP (rapport d'amitié ou d'inimitié avec une partie ou son représentant), la loi n'empêche pas une instruction plus complète, sous réserve néanmoins des exigences de célérité qui prévalent en procédure pénale. Lorsque la récusation était régie par les réglementations cantonales, la jurisprudence considérait que celles-ci pouvaient certes prévoir une instruction simplifiée, mais que l'autorité saisie ne pouvait, en vertu du droit d'être entendu, faire l'économie des preuves (écrites ou testimoniales) déterminantes (arrêt 1P.334/2002 du 3 septembre 2002).
2.3 En l'occurrence, le motif de récusation qui, selon les recourants, appelait une instruction plus complète, était essentiellement tiré de l'<ref-law> (lorsque la personne récusée a agi à un autre titre dans la même cause, en particulier comme membre d'une autorité, conseil juridique d'une partie, expert ou témoin), soit en principe l'un de ceux pour lesquels il n'y a pas, en vertu de l'<ref-law>, d'administration supplémentaire de preuves. Le législateur est manifestement parti du principe que si le magistrat est précédemment intervenu à titre officiel "dans la même cause", la preuve doit pouvoir facilement en être rapportée, et que les faits sur lesquels se fonde la demande de récusation peuvent immédiatement être "rendus plausibles", comme l'exige l'<ref-law>.
Il n'est pas contesté que le Président a bien été directeur adjoint de la DAJ, du 1er février 2004 au 30 mai 2008. Dans ses déterminations, le Président a clairement précisé qu'il n'avait jamais traité de question en rapport avec la procédure pénale ou d'autres procédures connexes; en particulier, il n'avait pas participé à la décision du Conseil d'Etat relative à la levée du secret de fonction du Chancelier d'Etat. S'agissant exclusivement de faits négatifs (absence de prise de connaissance ou de participation à des procédures), on ne voit pas quelle preuve supplémentaire aurait pu être requise. Il n'y avait dès lors pas de motif de déroger à la règle selon laquelle il n'y a pas d'administration de preuve pour un tel motif de récusation.
Les recourants entendent déterminer quelles avaient été les activités de la DAJ en rapport avec la procédure pénale actuelle. Ils relèvent en réplique que le Chancelier d'Etat aurait signé, conjointement avec les représentants du Conseil d'Etat, plusieurs interventions dans la procédure pénale. Dans la perspective d'une récusation, l'élément déterminant n'est toutefois pas l'étendue de l'activité du service dans son ensemble ou de son chef, mais bien celle que le Président lui-même aurait déployé dans ce cadre. Dans la mesure où cette question a pu être suffisamment élucidée sur la base des déclarations non contestées du magistrat, il n'était guère utile d'effectuer des recherches d'ordre plus général.
Le grief tiré du droit d'être entendu doit dès lors être écarté.
3. Sur le fond, les recourants invoquent les art. 6 par. 1 CEDH, 30 al. 1 Cst. et 56 let. b, subsidiairement f CPP. Ils relèvent que la DAJ avait pour compétence générale d'assister à l'interne le Conseil d'Etat, quand bien même ce dernier avait mandaté des avocats extérieurs pour le représenter dans les procédures relatives à la BCG. Au sein de la DAJ, qui ne compte que 8 à 9 personnes, les informations devaient circuler à ce propos et, en tant que directeur adjoint, le Président devait nécessairement avoir pris part à l'organisation du travail, donné des directives ou exercé son pouvoir de surveillance. Le secret de fonction empêcherait le magistrat de révéler les activités et réflexions auxquelles il a pu participer, et ce manque d'information susciterait des doutes légitimes. L'exigence d'indépendance serait en l'espèce d'autant plus grande que l'affaire est délicate et que le Conseil d'Etat s'y est fortement impliqué. Le Président serait en outre amené à statuer sur l'opportunité du témoignage de l'ancien Chancelier d'Etat, voire même à l'interroger, alors que celui-ci était à l'époque son supérieur hiérarchique. En réplique, les recourants relèvent que l'ancien Chancelier d'Etat assistait aux séances du Conseil d'Etat et avait signé, conjointement avec les représentants de cette autorité, plusieurs lettres d'intervention dans la procédure pénale.
3. Sur le fond, les recourants invoquent les art. 6 par. 1 CEDH, 30 al. 1 Cst. et 56 let. b, subsidiairement f CPP. Ils relèvent que la DAJ avait pour compétence générale d'assister à l'interne le Conseil d'Etat, quand bien même ce dernier avait mandaté des avocats extérieurs pour le représenter dans les procédures relatives à la BCG. Au sein de la DAJ, qui ne compte que 8 à 9 personnes, les informations devaient circuler à ce propos et, en tant que directeur adjoint, le Président devait nécessairement avoir pris part à l'organisation du travail, donné des directives ou exercé son pouvoir de surveillance. Le secret de fonction empêcherait le magistrat de révéler les activités et réflexions auxquelles il a pu participer, et ce manque d'information susciterait des doutes légitimes. L'exigence d'indépendance serait en l'espèce d'autant plus grande que l'affaire est délicate et que le Conseil d'Etat s'y est fortement impliqué. Le Président serait en outre amené à statuer sur l'opportunité du témoignage de l'ancien Chancelier d'Etat, voire même à l'interroger, alors que celui-ci était à l'époque son supérieur hiérarchique. En réplique, les recourants relèvent que l'ancien Chancelier d'Etat assistait aux séances du Conseil d'Etat et avait signé, conjointement avec les représentants de cette autorité, plusieurs lettres d'intervention dans la procédure pénale.
3.1 La garantie d'un tribunal indépendant et impartial instituée par les art. 30 al. 1 Cst. et 6 par. 1 CEDH permet d'exiger la récusation d'un juge dont la situation ou le comportement est de nature à faire naître un doute sur son impartialité (<ref-ruling> consid. 3a p. 73). Elle tend notamment à éviter que des circonstances extérieures à la cause ne puissent influencer le jugement en faveur ou au détriment d'une partie. Elle n'impose pas la récusation seulement lorsqu'une prévention effective du juge est établie, car une disposition interne de sa part ne peut guère être prouvée; il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Seules les circonstances constatées objectivement doivent être prises en considération; les impressions purement individuelles d'une des parties au procès ne sont pas décisives (<ref-ruling> consid. 3.2.1 p. 608; <ref-ruling> consid. 4.2 p. 21; <ref-ruling> consid. 1.1 p. 25; <ref-ruling> consid. 2b p. 198). Les motifs de récusation mentionnés à l'art. 56 let. b et f CPP, invoqué par les recourants, concrétisent ces garanties (Basler Kommentar StPO, n° 1 ss ad art. 56-60; SCHMID, Schweizerische Strafprozessordnung, Praxiskommentar, Zurich 2009 n° 3 ad art. 56-60). Ils imposent la récusation d'un magistrat lorsqu'il a agi à un autre titre dans la même cause, en particulier comme membre d'une autorité, conseil juridique d'une partie, expert ou témoin (let. b) ou lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimitié avec une partie ou son conseil, sont de nature à le rendre suspect de prévention (let. f). Cette dernière disposition a la portée d'une clause générale (arrêt 2C_755/2008 du 7 janvier 2009, SJ 2009 233 concernant l'<ref-law>).
3.2 Le fait que le juge a déjà participé à l'affaire, à un autre titre et à un stade antérieur de la procédure, peut éveiller le soupçon de partialité. La jurisprudence a renoncé à résoudre une fois pour toutes et de manière générale la question de savoir si, et quelles interventions successives peuvent contrevenir aux art. 30 al. 1 Cst. et 6 par. 1 CEDH (cf. <ref-ruling> consid. 3d p. 57 ss et les arrêts cités). Elle exige cependant que l'issue de la cause ne soit pas prédéterminée, mais qu'elle demeure au contraire indécise quant à la constatation des faits et à la résolution des questions juridiques. Il faut en particulier examiner les fonctions procédurales que le juge a été appelé à exercer lors de son intervention précédente, prendre en compte les questions successives à trancher à chaque stade de la procédure, et mettre en évidence leur éventuelle analogie ou leur interdépendance, ainsi que l'étendue du pouvoir de décision du juge à leur sujet; il peut également se justifier de prendre en considération l'importance de chacune des décisions pour la suite du procès (<ref-ruling> consid. 3b p. 139 et les arrêts cités; cf. aussi: <ref-ruling> consid. 2a p. 169). L'<ref-law> doit être interprété dans le même sens.
3.3 Selon l'art. 2 al. 1 let. c du règlement genevois sur l'organisation de l'administration cantonale, la DAJ fait partie de la Chancellerie d'Etat. Elle comprend un service de la législation, ainsi qu'une section des recours au Conseil d'Etat. Elle remplit deux types de missions: des prestations au public - publication et vente des textes législatifs, renseignements sur l'état de la législation - et des prestations destinées au Conseil d'Etat et à l'administration: conseils juridiques et avis de droit, participation à la rédaction de lois et règlements, traitement des recours au Conseil d'Etat. Elle élabore en particulier des avis de droit, analyses, rapports et consultations sur des questions de droit public pour le Conseil d'Etat, le collège des secrétaires généraux et divers départements et services. Elle participe à la rédaction de règlements ou de projets de loi et assure leur suivi lors des séances de commissions parlementaires. Elle peut aussi être chargée de la conduite de certaines procédures judiciaires.
En l'occurrence toutefois, le suivi des procédures pénale (ouverte au mois de juillet 2000) et civile (ouverte en 2001) relatives à la BCG a été confié à des avocats extérieurs à l'administration. Cette décision a été prise au moment où le Président n'était pas encore à la DAJ. Son arrivée dans ce service date du mois de février 2004, soit plusieurs années après le début de l'instruction. Comme le relève la Cour pénale, l'essentiel de cette instruction s'est déroulé entre juillet 2000 - l'Etat s'est porté partie civile en 2001 - et septembre 2005. La décision relative à la levée du secret de fonction du Chancelier d'Etat a été prises en mai 2003, soit également avant l'entrée en fonction à la DAJ.
Dans ces conditions, les explications du Président, confirmées en réponse au présent recours, apparaissent crédibles. Le magistrat affirme en effet n'avoir jamais écrit une ligne, rédigé d'avis de droit ni répondu à aucune question concernant la procédure pénale; il n'a participé à aucun acte de procédure et donné aucune instruction à un subordonné, ni effectué aucun contrôle en rapport avec la procédure. Il précise encore, en réponse aux objections des recourants, qu'il n'a pas non plus rédigé de note interne à ce sujet. Les recourants relèvent qu'en vertu du secret de fonction qui perdurerait après la fin de son activité, le magistrat ne pourrait renseigner l'autorité de récusation. Cela ne permet toutefois pas de douter de la véracité des explications que le magistrat a choisi de donner, à savoir qu'il ne s'est en rien occupé de la cause pénale et n'est dès lors pas intervenu "à un autre titre" au sens de l'<ref-law>.
3.4 Selon la jurisprudence, un rapport de dépendance ou des liens particuliers entre un juge et une partie au procès, au sens de l'art. 56 let. f CPP, ne sauraient entraîner une récusation que s'il est objectivement à craindre que le magistrat ne perde ainsi sa liberté de jugement. De simples rapports professionnels ou collégiaux sont à cet égard insuffisants, en l'absence d'autres indices de partialité (<ref-ruling> consid. 6.4 p. 7; <ref-ruling> consid. 1d).
En l'occurrence, le magistrat a quitté la DAJ en mai 2008, soit il y a près de trois ans, pour exercer la fonction de juge pénal. Il a par ailleurs affirmé qu'il n'avait conservé aucun lien ni avec la DAJ, ni avec l'ancien Chancelier d'Etat. Compte tenu de ces affirmations et du temps écoulé, on ne saurait le soupçonner d'une quelconque perte d'indépendance que ce soit à l'égard de l'Etat de Genève ou de son ancien supérieur hiérarchique qu'il pourrait être amené à entendre comme témoin. De ce point de vue également, les soupçons des recourants ne sauraient passer pour objectivement justifiés. C'est dès lors à bon droit que la demande de récusation a été écartée.
4. Sur le vu de ce qui précède, le recours est rejeté. Conformément à l'<ref-law>, les frais judiciaires sont mis à la charge des recourants. Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants.
3. Le présent arrêt est communiqué aux parties, à Dominique Ducret, au Procureur général et à la Cour de justice du canton de Genève, Chambre pénale de recours.
Lausanne, le 2 mai 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Fonjallaz Kurz