Faits:
A. Par jugement du 21 octobre 2009, le tribunal du IIe arrondissement pour le district de Sion a notamment condamné A._, pour diverses infractions de nature économique, à une peine de quatre ans de réclusion. Ce jugement l'a par ailleurs astreint, avec un coaccusé, au paiement de différentes sommes aux parties civiles et à une créance compensatrice. Il a fait l'objet de plusieurs déclarations d'appel, dont celle émanant de A._, du 6 janvier 2010. Les débats se sont tenus devant la Cour pénale II du Tribunal cantonal valaisan, les 22 et 23 février 2011. A l'issue de ceux-ci, A._ a sollicité le prononcé du dispositif en audience publique.
B. Par acte du 8 mars 2011, A._ a formé un recours en matière pénale, subsidiairement un recours constitutionnel, pour refus de délibérer et de prononcer le dispositif en audience publique, concluant avec suite de frais et dépens, à ce qu'il soit constaté que la cour cantonale n'avait pas valablement délibéré et qu'ordre lui soit donné d'appointer une nouvelle audience de jugement. A titre subsidiaire, il demandait, pour l'hypothèse où les délibérations auraient eu lieu, que la Présidente de l'autorité intimée soit invitée à convoquer sans délai les parties à la lecture du dispositif en audience publique. La requête d'assistance judiciaire initialement formulée a été retirée le 15 mars 2011.
Par lettre du 4 avril 2011, le Tribunal cantonal valaisan a indiqué renoncer à déposer des observations en relevant néanmoins que selon sa pratique constante les délais prévus par l'art. 142 ch. 1 et 2 CPP/VS constituaient des délais d'ordre. Il a aussi souligné l'ampleur de la cause. Par lettre du 5 avril 2011, le recourant a répondu spontanément à ces observations. Par courrier du 9 juin 2011, le Tribunal cantonal a informé le Tribunal fédéral que le dispositif de l'arrêt rendu le 13 avril 2011 avait été lu en public le 15 avril suivant et que les considérants de la décision avaient été expédiés le 9 juin aux parties. Le recourant a répondu spontanément, par courrier du 17 juin 2011, en soulignant que l'envoi reçu le 10 juin 2011 rectifiait partiellement le dispositif lu en public.

Considérant en droit:
1. Conformément aux art. 94 et 100 al. 7 LTF, le recours au Tribunal fédéral est recevable en tout temps si, sans en avoir le droit, la juridiction saisie s'abstient de rendre une décision sujette à recours ou tarde à le faire.
2. Le Tribunal cantonal valaisan a lu en audience publique, le 15 avril 2011, le dispositif de l'arrêt rendu le 13 avril précédent dans le dossier en question. Les considérants ont été expédiés aux parties le 9 juin 2011. Le recours en matière pénale déposé pour déni de justice a ainsi perdu son objet. En outre, les conditions auxquelles le Tribunal fédéral entre exceptionnellement en matière sur le fond d'une affaire malgré le défaut d'un intérêt juridique pratique et actuel du recours ne sont pas réunies (<ref-ruling> consid 1.3 p. 276; <ref-ruling> consid. 1.1 p. 81). Le recourant ne peut donc se prévaloir d'aucun intérêt juridique - au sens de l'<ref-law> - à faire constater un éventuel retard à statuer. Cet intérêt ayant disparu après le dépôt du recours, ce dernier doit être déclaré sans objet et la cause rayée du rôle (<ref-law>; <ref-ruling> consid 2 p. 500). Il en va de même du recours constitutionnel subsidiaire.
3. Lorsqu'un procès devient sans objet ou que les parties cessent d'y avoir un intérêt juridique, le Tribunal fédéral statue néanmoins sur les frais afférents à la procédure engagée par une décision sommairement motivée, en tenant compte de l'état de fait existant avant l'événement mettant fin au litige (<ref-law> applicable par renvoi de l'<ref-law>) et de l'issue probable de celui-ci (<ref-ruling> consid. 2a p. 375).
3.1 En vertu de l'art. 29 al. 1 Cst., toute personne a droit, dans une procédure judiciaire ou administrative, à ce que sa cause soit traitée équitablement et jugée dans un délai raisonnable. Cette disposition consacre le principe de la célérité, ou, en d'autres termes, prohibe le retard injustifié à statuer. Viole la garantie ainsi accordée, l'autorité qui ne rend pas une décision qu'il lui incombe de prendre dans le délai prescrit par la loi ou dans le délai que la nature de l'affaire et les circonstances font apparaître comme raisonnable. Le caractère raisonnable du délai s'apprécie selon les circonstances particulières de la cause, eu égard en particulier à la complexité de l'affaire, au comportement du requérant et à celui des autorités compétentes, ainsi qu'à l'enjeu du litige pour l'intéressé (<ref-ruling> consid. 4.4 p. 277; <ref-ruling> consid. 5.1 p. 331).
3.2 En l'espèce, le recourant reproche à la cour cantonale de n'avoir pas délibéré immédiatement après les débats, respectivement dans les 5 jours suivant ceux-ci (<ref-law>/VS). Il indique certes aussi qu'au moment du dépôt de son recours pour déni de justice l'autorité précédente était saisie des appels depuis plus de douze mois. Il en conclut toutefois exclusivement qu'elle avait ainsi disposé du temps nécessaire pour préparer le dossier. Le recourant ne critique donc pas, de la sorte, la durée globale de la procédure d'appel en elle-même. Il se plaint exclusivement de ce que, au moment du recours fédéral, la lecture du dispositif de la décision n'avait pas encore fait l'objet d'une audience publique. Il invoque concurremment l'interdiction de l'arbitraire ainsi que les art. 6 par. 1 CEDH et 14 ch. 1 Pacte ONU II.
A cet égard, il suffit de relever que comme l'a déjà constaté la cour de céans, l'<ref-law>/VS, en fixant un délai de 5 jours à l'autorité de jugement pour délibérer, ne contient qu'une règle d'ordre (arrêt 6P.76/1999, du 7 juin 1999, consid. 3), comme l'a également relevé l'autorité cantonale dans ses déterminations. On ne saurait non plus, comme le voudrait le recourant, déduire de cette norme, en se référant à l'art. 150 PPF, respectivement à la règle de l'immédiateté, un principe de continuité (arrêt 6B_916/2009, du 3 novembre 2010, consid. 2), ce qui exclut l'arbitraire invoqué dans l'application du droit cantonal. Pour le surplus, le temps écoulé entre la clôture de l'instruction et la lecture en audience publique du dispositif de la décision se justifie amplement eu égard à l'ampleur et à la complexité de la cause. Il se justifie dès lors de laisser l'entier des frais à la charge du recourant, qui succombe (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est sans objet et la cause rayée du rôle.
2. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties.
Lausanne, le 14 mai 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Vallat