Faits:
A. Par jugement du 21 octobre 2009, le tribunal du IIe arrondissement pour le district de Sion a notamment condamné A._, pour diverses infractions de nature économique, à une peine de quatre ans de réclusion. Ce jugement l'a, par ailleurs, astreint, avec un coaccusé, au paiement de différentes sommes aux parties civiles et à une créance compensatrice. Il a fait l'objet de plusieurs déclarations d'appel, dont celles émanant de A._, de la Banque E._ et de la C._, organisme né de la fusion par absorption de la J._ par la K._. Par écriture du 17 février 2011, A._ a sollicité la récusation de la Cour pénale II du Tribunal cantonal, à savoir D.D._, D.E._ et D.F._, juges, D.G._, greffier, ainsi que du procureur général D.H._. Il demandait, en outre, la suspension de la procédure jusqu'à droit connu sur cette requête. Il invoquait, en résumé, que ces personnes « faisaient partie » de la Banque E._, à tout le moins comme actionnaires privés, voire comme créanciers/débiteurs et se trouvaient de surcroît dans un lien d'obligations (dettes/créances) vis-à-vis de cette partie à la procédure.
B. Par décision du 28 février 2011, le Président du Tribunal cantonal et président ad hoc de la Cour pénale II a déclaré ces requêtes irrecevables.
C. A._ forme un recours en matière pénale, subsidiairement un recours constitutionnel contre cette décision. Il conclut, avec suite de frais et dépens, à l'annulation de la décision entreprise, à sa réforme en ce sens que la requête de récusation est admise et que tous les actes auxquels les personnes récusées ont participé sont annulés. Il requiert, en outre, le bénéfice de l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.
Spontanément, le recourant a encore adressé, par courrier du 27 mai 2011, un complément à son recours.

Considérant en droit:
1. La décision litigieuse a été notifiée séparément du fond. Elle peut faire l'objet d'un recours en matière pénale en tant qu'elle porte sur une demande de récusation (<ref-law>). Cela exclut le recours constitutionnel présenté à titre subsidiaire par le recourant (<ref-law>). Ce dernier ne discute pas le refus de suspendre la procédure jusqu'à droit connu sur la requête de récusation. Ce point n'est dès lors pas l'objet du recours. L'écriture du 27 mai 2011, déposée après l'échéance du délai de recours, est irrecevable.
2. Le recourant soutient, dans un premier moyen, que la décision attaquée serait absolument nulle en raison de l'incompétence matérielle du Président du Tribunal cantonal et président ad hoc de la cour pénale II. Selon lui, ce magistrat n'aurait pas dû admettre sa compétence en application des art. 20 al. 1 let. b et c et 47 de la loi valaisanne d'organisation judiciaire (LOJ/VS). C'est un tribunal extraordinaire qui aurait dû être choisi parmi les juges cantonaux en application de l'art. 21 al. 2 LOJ/VS. De plus, le magistrat en question aurait déclaré, précédemment, refuser de siéger au sein de l'autorité d'appel parce qu'il avait auparavant, à plusieurs reprises, agi au sein de l'autorité de plainte dans la même affaire. La décision attaquée émanant de ce juge violerait aussi l'<ref-law>/VS et les dispositions légales régissant la stricte séparation des organes d'instruction et de jugement.
2.1 Le Président du Tribunal cantonal et président ad hoc de la Cour pénale II a justifié sa compétence en se référant à l'art. 20 al. 1 let. b et c LOJ/VS, autorisant le président d'un tribunal collégial ou un juge délégué, sans débat ni échange d'écritures, à statuer en cas de conclusions manifestement irrecevables ou infondées (Décision du 28 février 2011, p. 4).
2.2 La violation du droit cantonal ne constitue pas un motif du recours en matière pénale (<ref-law>). Le recourant n'invoque par ailleurs, dans ce contexte, expressément aucun droit constitutionnel ou conventionnel, l'interdiction de l'arbitraire (art. 9 Cst.) ou les garanties déduites des art. 29, 30 Cst., 6 CEDH ou 14 Pacte ONU II en particulier. Il se borne à opposer au raisonnement de l'autorité précédente en relation avec l'art. 21 LOJ/VS sa propre vision du point de droit et à affirmer une violation de l'<ref-law>/VS et d'autres normes qu'il ne cite pas précisément - sans même présenter le contenu des dispositions cantonales auxquelles il se réfère. De surcroît, la jurisprudence a renoncé à résoudre une fois pour toutes la question de savoir si le cumul des fonctions contrevient ou non aux art. 30 al. 1 Cst. et 6 par. 1 CEDH. Elle exige, en revanche, que l'issue de la cause ne soit pas prédéterminée mais qu'elle demeure au contraire indécise quant à la constatation des faits et à la résolution des questions juridiques, en commandant d'examiner quelles fonctions procédurales ont été exercées et quelle influence elles pouvaient déployer sur la décision à rendre. La jurisprudence a ainsi sanctionné le cumul des fonctions du juge du renvoi, respectivement du mandat de répression, et de celui du fond (<ref-ruling> consid. 1.2 et 1.3 p. 26). Elle a, de même, posé que le juge d'instruction susceptible d'être appelé, dans la même affaire, à soutenir ensuite l'accusation ne doit pas se prononcer sur la détention, alors que celui qui a ordonné la détention n'est pas empêché de poursuivre l'instruction (arrêt 1P.709/2005 du 21 février 2006 consid. 4 et la réf. à <ref-ruling>). L'union personnelle du juge de la détention et de celui du fond n'est pas non plus critiquable (<ref-ruling> consid. 3b p. 184 ss).
Faute d'exposer sur quels points précis le magistrat en cause a été appelé à se prononcer comme membre de l'autorité de plainte, le recours ne permet pas de déterminer si les fonctions en question sont ou non compatibles avec celles exercées dans la décision du 28 février 2011. Une telle démonstration s'imposait d'autant plus, en l'espèce, que l'on ne perçoit pas d'emblée en quoi une activité au stade de l'instruction serait incompatible avec la compétence d'organisation mise en oeuvre dans le cadre de la décision sur la récusation ni en quoi les premières activités, dont on ignore tout, seraient susceptibles de faire naître un préjugé quant à la composition de la cour d'appel.
Le grief, insuffisamment motivé, est irrecevable (<ref-law>).
3. Le recourant soutient, dans un deuxième moyen, que la décision entreprise, en écartant sa requête de récusation, violerait les art. 30 al. 1 Cst., 6 par. 1 CEDH, 14 ch. 1 Pacte ONU II ainsi que 33 et 34 CPP/VS.
3.1 L'autorité précédente a jugé la demande de récusation irrecevable au regard de l'<ref-law>/VS, qui exige de la partie qui entend user du droit de récusation, sous peine d'être réputée y avoir renoncé, qu'elle le fasse dans les dix jours dès que le cas de récusation s'est produit ou dès qu'elle en a eu connaissance. Elle a relevé que l'existence de la convention sur laquelle se fondait le recourant pour requérir la récusation lui était connue depuis le 31 mars 2010. A cette date, le recourant avait en effet sollicité l'édition par la Banque E._ de l'accord d'indemnisation signé par cette dernière avec la J._. Il avait réitéré cette demande le 14 avril 2010 « en relation avec les dommages causés par la gestion de H._ » en relevant que l'existence de cette convention résultait des débats du Grand Conseil valaisan. Il connaissait ainsi à tout le moins le principe d'une indemnisation du dommage causé par le dénommé H._ à la J._ bien avant qu'il ne reçoive notification de cet accord, le 7 février 2011. La requête de récusation fondée sur ces faits était, partant, tardive. Il en allait de même du fait que la Banque E._ participât à la procédure pénale en qualité de tiers lésé en raison des agissements de son ex-employé H._. En effet, le décès de ce co-accusé du recourant, le 9 décembre 2008, avait entraîné la fin des poursuites pénales à son encontre et la banque avait dès lors dirigé son action contre les hoirs H._. Tout cela était largement connu du recourant avant le 7 février 2011.
3.2 Le recourant objecte que cette affirmation ne serait étayée par aucun élément du dossier. On ne saurait lui reprocher d'avoir eu connaissance du principe d'une indemnisation par la Banque E._ alors qu'il avait mis toute son énergie et son temps à obtenir le dépôt de cette convention, couverte tant par le secret bancaire que le secret de fonction, et qu'il n'était parvenu à ses fins, par le biais d'une décision judiciaire, qu'en février 2011. La décision entreprise violerait le principe de la bonne foi, ce qui devrait conduire à corriger, sur ce point, les effets de la loi afin d'éviter une injustice manifeste.
3.3 En tant que le recourant remet en cause les constatations de fait de la décision entreprise, au motif qu'elles ne seraient étayées par aucun élément du dossier, le grief ne répond pas aux exigences de motivation déduites de l'<ref-law>. Il est irrecevable. Le recourant n'invoque pas non plus l'arbitraire dans l'application de l'<ref-law>/VS. Il laisse uniquement entendre que le refus de prendre en considération la demande de récusation au motif de sa tardiveté violerait certaines garanties constitutionnelle et conventionnelles, le droit à un juge indépendant et impartial en particulier.
3.4 La jurisprudence appréhende cette question au regard du principe de la bonne foi et de l'interdiction de l'abus de droit. En vertu de ces règles, et en relation avec le droit à un juge indépendant et impartial, le Tribunal fédéral admet que les motifs de récusation doivent être présentés aussi tôt que possible et que leur invocation tardive, qui viole le principe de la bonne foi, entraîne la déchéance du droit de s'en prévaloir (<ref-ruling> consid. 4.3.1 p. 21; <ref-ruling> consid. 5a in fine, p. 228 s.).
L'allégation du secret bancaire et de fonction auquel aurait été soumis l'accord, n'est pas susceptible de remettre en question la constatation de fait de l'autorité cantonale selon laquelle le recourant connaissait déjà le principe de l'indemnisation avant d'avoir formellement connaissance du texte de l'accord et des modalités de celui-ci. Par ailleurs, le seul fait d'affirmer que la décision entreprise, en déclarant irrecevable la demande de récusation motif pris de sa tardiveté, violerait le principe de la bonne foi ne constitue pas une motivation apte à démontrer que le recourant aurait lui-même agi conformément aux règles de la bonne foi. Dans ces conditions, le recours n'apparaît pas recevable sur ce point, faute d'une motivation répondant aux exigences de l'<ref-law>.
4. Le recourant succombe. Il supporte les frais (<ref-law>). Le recours était d'emblée dénué de chance de succès. L'assistance judiciaire doit être refusée (<ref-law>). Il n'y a pas lieu d'allouer des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel et le recours en matière pénale sont irrecevables.
2. L'assistance judiciaire est refusée.
3. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du Valais, Cour pénale II.
Lausanne, le 14 mai 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Vallat