Faits:
A. Dans le cadre d'une enquête conduite par le Juge d'instruction du canton de Vaud pour escroquerie, gestion déloyale, subsidiairement infraction à l'art. 92 let. b LAMal, X._ a été renvoyé, le 18 juin 2004, devant le Tribunal correctionnel de l'arrondissement de La Côte, qui l'a condamné, le 16 septembre 2005, pour escroquerie, escroquerie par métier et gestion déloyale, à la peine de dix-huit mois d'emprisonnement avec sursis pendant cinq ans. Ensuite des arrêts rendus respectivement les 20 février 2006 par la Cour de cassation pénale vaudoise et le 4 avril 2007 par le Tribunal fédéral, le Tribunal correctionnel de l'Est vaudois, auquel la cause avait été renvoyée par arrêt de la cour de cassation du 10 mars 2008, a libéré X._ des fins de la poursuite pénale, par jugement du 7 octobre 2009. La Cour de cassation pénale cantonale a rejeté le recours de l'intéressé contre la décision mettant une partie des frais pénaux à sa charge (arrêt du 12 avril 2010). Le recours en matière pénale interjeté contre cette dernière décision a été rejeté par le Tribunal fédéral le 17 février 2011 (arrêt 6B_656/2010).
Dans l'intervalle, X._ a formé, le 27 octobre 2009, une demande d'indemnité auprès du Tribunal d'accusation vaudois. Par arrêt du 6 mai 2011, cette autorité l'a rejetée, frais à charge du recourant. En bref, elle a jugé, en se référant aux considérants de l'arrêt fédéral du 17 février 2011, qu'en contrevenant à l'art. 56 al. 1 LAMal, le requérant avait eu un comportement contraire au droit qui était à l'origine des poursuites engagées contre lui. Cela excluait qu'une indemnité lui soit accordée.
B. X._ forme un recours contre cette décision. Il conclut avec suite de frais et dépens, principalement à sa réforme en ce sens que sa demande d'une indemnité équitable soit admise dans son principe et sa quotité, une somme de 418'973 fr. 60 lui étant versée par l'Etat de Vaud pour le préjudice résultant de l'instruction, pour les frais de défense et pour le tort moral. Subsidiairement, il conclut à l'admission de sa demande d'indemnité dans son principe et au renvoi de la cause à l'autorité cantonale afin qu'elle complète l'instruction et en fixe le montant. Plus subsidiairement, le recourant demande l'annulation de la décision entreprise et le renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants.
Il n'a pas été ordonné d'échange d'écritures.
Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement sa compétence, respectivement la recevabilité des recours qui lui sont soumis (ATF 134 III 379 consid. 1 p. 381; 134 V 138 consid. 1 p. 140).
1.1 Le recourant poursuit, en application de l'art. 163a du Code de procédure pénale vaudois (en vigueur jusqu'au 31 décembre 2010; ci-après aCPP/VD), la réparation du dommage résultant de la procédure pénale qui a abouti à son acquittement le 9 octobre 2007. Il ressort des conclusions prises devant tant la cour de céans que la cour cantonale qu'il prétend la réparation d'un dommage résultant de l'instruction et des frais de défense ainsi que d'un préjudice moral.
Selon la jurisprudence, pour les prétentions correspondant au remboursement des frais exposés par les parties, soit en particulier les honoraires payés pour les mandataires privés, la voie du recours en matière pénale est ouverte. En revanche, le recourant doit emprunter celle du recours en matière de droit public en ce qui concerne les demandes fondées sur une responsabilité de droit public de l'Etat, soit notamment celles en réparation du tort moral et du dommage matériel (ATF 135 IV 43 consid. 1.1.1 et 1.1.2 p. 45 s.). La cour de céans est compétente pour traiter les deux recours (art. 30 al. 1 let. c ch. 1 et art. 33 du Règlement du Tribunal fédéral [RS 173.110.131]).
1.2 La recevabilité du recours en matière de droit public suppose atteinte la valeur litigieuse de 30'000 fr. (art. 85 al. 1 let. a LTF). Le recourant a chiffré à 100'000 fr. ses seules prétentions en réparation du tort moral rejetées par l'autorité précédente, de sorte que la valeur précitée est atteinte pour l'ensemble des conclusions demeurées litigieuses devant l'autorité cantonale (art. 51 al. 1 let. a LTF), susceptibles du recours en matière de droit public, qui s'additionnent (art. 52 LTF).
La cour cantonale a rejeté globalement la demande d'indemnité au motif que le recourant était à l'origine des poursuites dirigées contre lui. Les motifs de recours étant communs aux deux voies de droit (art. 95 ss LTF), on ne distinguera plus, dans les considérants qui suivent, selon que l'examen relève de la matière pénale ou de celle de droit public.
1.3 La décision rejette la demande d'indemnisation. Elle met fin à la procédure et est, partant, finale (art. 90 LTF). Bien qu'elle émane d'une autorité de dernière, mais unique, instance cantonale, il y a lieu d'entrer en matière sur le recours (cf. arrêt destiné à la publication aux ATF du 22 septembre 2011, 6B_365/2011 consid. 1), qui apparaît ainsi recevable.
2. La décision querellée a été rendue le 6 mai 2011 sur une requête présentée le 27 octobre 2009. Le Tribunal d'accusation vaudois a statué en application de l'art. 163a aCPP/VD.
2.1 Le recourant ne conteste pas la compétence ratione materiae de l'autorité précédente. Il ne soutient pas, en particulier, que l'art. 449 al. 1 du Code de procédure pénale suisse (RS 312.0; entré en vigueur le 1er janvier 2011) aurait imposé, au 1er janvier 2011, la transmission de la procédure à l'autorité pénale compétente pour connaître des prétentions litigieuses selon le nouveau droit (cf. art. 429 al. 2 CPP). Compte tenu de la nature indemnisatoire de ces prétentions et du fait que le Tribunal d'accusation vaudois était compétent pour en connaître selon l'ancien droit (art. 163a al. 2 aCPP/VD), le fait que cette autorité a statué en l'espèce ne remet donc, de toute manière, pas en cause, de façon absolue, la validité de la décision litigieuse. En l'absence de toute contestation antérieure sur ce point et de tout grief dans le recours, notamment d'ordre conventionnel ou constitutionnel (art. 106 al. 2 LTF), il n'est pas nécessaire d'examiner plus avant cette question.
2.2 Le recourant ne conteste pas non plus l'application de l'ancien droit cantonal au regard des dispositions transitoires du nouveau Code de procédure pénale suisse. Il convient néanmoins d'examiner d'office cette question de droit fédéral (art. 106 al. 1 LTF) qui détermine aussi le pouvoir d'examen de la cour de céans (v. infra consid. 2.3).
2.2.1 Contrairement aux explications de la cour cantonale, il est douteux que l'art. 453 al. 1 CPP, qui traite de la problématique des recours, puisse justifier l'application de l'ancien droit lorsque, comme en l'espèce, les prétentions litigieuses ont été jugées par une autorité d'unique et de dernière instance cantonale (cf. arrêt 6B_365/2011 consid. 1.2, précité). En revanche, dans ce dernier arrêt, la cour de céans a jugé, dans une affaire similaire, que l'art. 448 CPP justifiait l'application du nouveau droit. Il y a lieu d'examiner de plus près cette question et cette solution.
2.2.2 Conformément à l'art. 448 al. 1 CPP, les procédures pendantes au moment de l'entrée en vigueur du présent code se poursuivent selon le nouveau droit, à moins que les dispositions qui suivent en disposent autrement. Il ressort déjà des termes de la loi (« les procédures pendantes [...] se poursuivent selon le nouveau droit »; Verfahren, die [...] hängig sind, werden nach neuem Recht fortgeführt; i procedimenti pendenti [...] sono continuati secondo il nuovo diritto) que l'art. 448 al. 1 CPP ne vise expressément que l'application des règles strictement procédurales du nouveau code. Cette norme exprime ainsi, outre la volonté du législateur de substituer le plus rapidement possible aux anciennes les nouvelles règles de procédure (Message relatif à l'unification du droit de la procédure pénale du 21 décembre 2005, ch. 2.12.2.1, FF 2006 p. 1334), une règle générale en droit transitoire. C'est le principe - général sous réserve des normes dérogatoires expresses et des exceptions exigées par la continuité dans l'application du droit matériel (cf. ATF 115 II 97 consid. 2c, p. 101) - de l'application immédiate des nouvelles règles de procédure soit du droit formel (v. p. ex.: art. 2 al. 1 des dispositions finales de la modification du 16 décembre 1994 de la Loi fédérale sur la poursuite pour dettes et la faillite; RS 281.1; NIKLAUS SCHMID, Übergangsrecht der Schweizerischen Strafprozessordnung, 2010, n. 12 p. 5; cf. en procédure civile la réglementation spécifique de l'art. 404 du Code de procédure civile du 19 décembre 2008 [CPC; RS 272]; v. aussi, parmi d'autres, sur la question des principes de droit transitoire en matière de procédure: IVO SCHWANDER, in Schweizerische Zivilprozessordnung, Kommentar, 2011, art. 404 CPC, n. 3 ss, spéc. 16 ss). Les règles relatives à l'indemnisation du prévenu acquitté ne sont cependant pas de cette nature. Elles relèvent, en tant qu'elles définissent une responsabilité et ses conséquences financières, du droit matériel, à l'instar des autres règles semblables (v. p. ex.: art. 41 ss CO; art. 3 ss de la loi sur la responsabilité de la Confédération, des membres de ses autorités et de ses fonctionnaires [LRCF; RS 170.32]). Or, comme on l'a vu ci-dessus, ni le texte de l'art. 448 al. 1 CPP, ni le principe général qu'il transcrit n'imposent, à eux seuls, une application systématique immédiate du nouveau code aux règles de droit matériel contenues dans celui-ci. Pour ces dernières, la norme est, au contraire, en règle générale, la non-rétroactivité (cf. art. 1 al. 1 tit. fin. CC; v. aussi dans le domaine spécifique du droit de la responsabilité: art. 882 al. 1 des dispositions transitoires du Code des obligations fédéral du 14 juin 1881; RO 5 577 spéc. 775), à défaut d'une règle contraire spécifique (cf. art. 26 al. 2 LRCF). En l'absence de toute réglementation inter-temporelle expresse dans le nouveau Code de procédure pénale, l'application de l'ancien droit cantonal - pour peu qu'il réglât déjà ces questions de droit matériel - se justifie, en outre, aussi lorsque les actes de procédure qui fondent la prétention en indemnisation ont été effectués sous l'empire de l'ancien droit formel, en raison des rapports existant entre ce régime juridique et la prétention en cause (v. en ce sens: NIKLAUS SCHMID, op. cit., n. 357 p. 100, n. 369 p. 103 et n. 373 p. 104).
En l'espèce, le recourant a été libéré des fins de la poursuite pénale et a formé sa demande d'indemnisation au mois d'octobre 2009. Seuls les recours interjetés successivement sur la question résiduelle de la mise à sa charge des frais de la procédure pénale expliquent que ses prétentions en indemnisation n'ont été jugées qu'après l'entrée en vigueur du nouveau code de procédure pénale. Dans ces circonstances, l'application par la cour cantonale des anciennes règles cantonales matérielles régissant l'indemnisation n'apparaît pas critiquable.
2.3 Il s'ensuit, par ailleurs, que la cour de céans examine la question litigieuse sous le seul angle de l'arbitraire (art. 9 Cst.; sur cette notion v.: ATF 137 I 1 consid. 2.4 p. 5) en ce qui concerne l'application du droit cantonal. Il en va, en particulier, ainsi de la question de savoir si le prévenu ou l'accusé, au bénéfice d'un non-lieu ou d'un acquittement, a provoqué la procédure par un comportement civilement répréhensible. Elle examine en revanche librement, mais dans la seule mesure où il est soulevé (art. 106 al. 2 LTF), le grief tendant à démontrer que le refus d'une indemnité à l'accusé acquitté viole la présomption d'innocence (ATF 116 Ia 162 consid. 2f; arrêts 6B_998/2010 consid. 3.1.2 et 6B_247/2010 consid. 2.4.1).
3. Conformément à l'art. 163a al. 1 aCPP/VD, l'inculpé et l'accusé libérés des fins de la poursuite pénale, qui ne l'ont ni provoquée ni compliquée fautivement, peuvent obtenir de l'Etat, du plaignant ou de la partie civile une indemnité équitable pour le préjudice résultant de l'instruction et pour leurs frais de défense. L'art. 159, alinéa premier, [réd.: qui pose les conditions auxquelles le plaignant et la partie civile peuvent être astreints à supporter une partie des frais même en cas de condamnation du prévenu], est applicable par analogie.
3.1 La cour cantonale a refusé toute indemnité. Elle a considéré que le recourant avait été dénoncé pour polypragmasie lorsqu'il était médecin au Centre médical A._. On lui reprochait d'avoir multiplié les actes médicaux inutiles (inflation des consultations, examens de laboratoire sans pertinence, radiographies en surnombre) et d'avoir surfacturé les prestations par le recours systématique aux vacations et aux suppléments ORL sans fondement. Le recourant contestait la polypragmasie. Dans son arrêt du 17 février 2011, le Tribunal fédéral avait toutefois constaté que l'intéressé avait contrevenu à l'art. 56 al. 1 de la loi fédérale du 18 mars 1994 sur l'assurance-maladie (LAMal; RS 832.10), aux termes duquel le fournisseur de prestations doit limiter celles-ci à la mesure exigée par l'assuré et le but du traitement. Le Tribunal fédéral avait écarté l'argument relatif à la méthode employée pour étayer le soupçon de polypragmasie et avait relevé qu'il était établi que le recourant avait procédé à des actes médicaux inutiles ou trop vastes, ainsi qu'à des surfacturations. Le Tribunal fédéral avait, de la sorte, retenu un lien de causalité entre le comportement du recourant et les frais mis à sa charge et que la motivation de l'autorité cantonale de recours ne violait pas la présomption d'innocence. En contrevenant à l'art. 56 al. 1 LAMal, le recourant avait ainsi eu un comportement contraire au droit qui était à l'origine des poursuites engagées contre lui. La cour cantonale en a conclu qu'un tel comportement excluait qu'une indemnité lui soit accordée en réparation du préjudice qu'il aurait subi de ce chef (arrêt entrepris, p. 3 s.).
3.2 Le recourant invoque, en tête de ses développements juridiques, l'application arbitraire (art. 9 Cst.) de l'art. 163a aCPP/VD, la violation des art. 32 Cst., 6 par. 2 et 8 par. 1 et 2 CEDH ainsi que l'interdiction du déni de justice (art. 29 Cst.). Il n'incombe pas au Tribunal fédéral de rechercher lui-même dans un mémoire de recours quels griefs entend soulever le recourant sur les différents points qu'il critique et en quoi l'autorité cantonale aurait violé les droits de rang constitutionnel qu'il cite globalement en introduction à son exposé (cf. arrêt 1P.36/2006 du 13 juin 2006 consid. 2). On n'examinera donc l'application de ces normes au regard de l'argumentation développée qu'autant qu'il ressort précisément de cette dernière (art. 106 al. 2 LTF) quelle garantie est invoquée (v. en particulier en ce qui concerne le grief de violation de la présomption d'innocence: infra consid. 4.).
3.3 Le recourant ne conteste expressément ni les cas de polypragmasie qui lui sont reprochés ni le caractère civilement illicite de ces actes au regard de l'art. 56 LAMal. Il aborde certes, dans ses développements, la question de la méthode utilisée pour mettre en évidence la polypragmasie et conteste que l'art. 92 LAMal puisse sanctionner cette pratique mais pour en conclure que le comportement qui lui a été reproché, dont il minimise l'ampleur, ne saurait être considéré comme étant à l'origine des poursuites engagées contre lui, soit qu'il n'aurait pas, ce faisant, provoqué l'instruction pénale (Recours, p. 6, 7 et 9). Il se place, de la sorte, sur le plan de la causalité. On peut se borner à renvoyer sur la question du caractère civilement illicite aux considérants de l'arrêt 6B_656/2010.
3.4 En ce qui concerne la causalité, le recourant soutient, en résumé, que les quelques cas de polypragmasie ou de modeste polypragmasie qui lui sont en définitive reprochés au plan civil ne pouvaient pas justifier treize années de procédure pénale. Il relève, en substance, que la LAMal institue une procédure administrative de contrôle du caractère économique des prestations et que cette loi en prévoit les sanctions. Ce système n'aurait pas été mis en oeuvre en l'espèce. Il n'était lui-même que l'un des médecins pratiquant dans un centre médical. La plainte pénale dirigée contre lui ne visait que l'art. 92 LAMal et n'émanait pas d'assureurs mais des acquéreurs du centre médical. Ce n'est qu'en cours d'enquête qu'une expertise analytique avait été ordonnée, qui s'était soldée par l'examen de 17 cas de patients. Seule une partie de ces cas devaient être considérés comme relevant de la polypragmasie, dont certains dans une mesure « modeste ».
3.4.1 Seul un comportement fautif et contraire à une règle juridique, qui soit en relation de causalité avec le préjudice subi est propre à justifier un refus ou une réduction de l'indemnité. Les principes généraux de la responsabilité délictuelle sont déterminants. Cela suppose, outre un rapport de causalité naturelle, que le comportement en cause était de nature, selon le cours ordinaire des choses et l'expérience de la vie, à provoquer l'ouverture du procès pénal et le dommage que ce procès a lui-même entraîné (ANTOINE THÉLIN, L'indemnisation du prévenu acquitté en droit vaudois, JdT 1995 III 98 ss, n. 15 et 20 p. 103 s.).
3.4.2 Un comportement est la cause naturelle d'un résultat s'il en constitue l'une des conditions sine qua non, c'est-à-dire si, sans lui, le résultat ne se serait pas produit (ATF 133 IV 158 consid. 6.1 p. 167; 125 IV 195 consid. 2b p. 197).
Le recourant ne conteste pas avoir commis des actes de polypragmasie au sein du Centre médical A._. Il ne conteste pas non plus que l'activité de ce centre et son activité personnelle en particulier ont fait l'objet de nombreuses réclamations et que l'affaire est parvenue aux autorités de poursuite pénale ensuite d'une plainte de l'acquéreur du centre médical justifiée par le fait que la presse avait fait état de pratiques douteuses au Centre médical A._. Le comportement du recourant s'inscrit ainsi dans la chaîne causale qui a abouti à l'ouverture de la procédure et aux conséquences de celle-ci alléguées par le recourant. La causalité naturelle n'est guère discutable. Il n'était en tout cas pas insoutenable de la tenir pour établie.
3.4.3 L'existence d'un rapport de causalité adéquate doit être appréciée de cas en cas par le juge selon les règles du droit et de l'équité, conformément à l'art. 4 CC. Il s'agit de déterminer si un dommage peut encore être équitablement imputé à l'auteur, eu égard au but de la norme de responsabilité applicable (ATF 123 III 110 consid. 3a p. 112 s. et les références). La causalité adéquate suppose que le fait en cause soit propre, selon le cours ordinaire des choses et l'expérience générale de la vie, à entraîner un résultat du genre de celui qui s'est produit (ATF 129 II 312 consid. 3.3 p. 318; 129 V 402 consid. 2.2 p. 405). Peu importe que le comportement de l'auteur soit ou non la cause directe ou unique du résultat (ATF 131 IV 145 consid. 5.2 p. 148 et l'auteur cité). Pour savoir si un fait est la cause adéquate d'un préjudice, le juge procède à un pronostic rétrospectif objectif: il se place au terme de la chaîne des causes et remonte du dommage dont la réparation est demandée au chef de responsabilité invoqué afin de déterminer si, dans le cours normal des choses et selon l'expérience générale de la vie, une telle conséquence demeure dans le champ raisonnable des possibilités objectivement prévisibles. La jurisprudence a précisé que, pour qu'une cause soit adéquate, il n'est pas nécessaire que le résultat se produise régulièrement ou fréquemment. Si un événement est en soi propre à provoquer un effet du genre de celui qui est survenu, même des conséquences singulières, c'est-à-dire extraordinaires, peuvent constituer des conséquences adéquates de cet événement (consid. 4.1 non publié de l'ATF 131 III 61; 119 Ib 334 consid. 5b p. 344 s.; 112 V 30 consid. 4b p. 38; 107 V 173 consid. 4b p. 176). Savoir s'il existe un rapport de causalité adéquate est une question de droit (ATF 123 III 110 consid. 2 p. 111 et les références) que le Tribunal fédéral n'examine toutefois que sous l'angle de l'arbitraire s'agissant de l'application du droit cantonal (v. supra consid. 2.3.; v. aussi: arrêt du 7 juillet 2011, 2C_111/2011, consid. 6.1).
3.4.4 Le recourant invoque divers préjudices résultant de l'instruction et de la procédure judiciaire qui a conduit à son acquittement (tort moral, frais de défense et d'expertise et préjudice économique). Il n'est pas contestable que de tels préjudices résultent, selon le cours ordinaire des choses, d'une procédure pénale d'une certaine ampleur ayant pour objet des accusations d'une certaine gravité. Seul doit être examiné le point de savoir s'ils sont également la conséquence adéquate - fût-elle indirecte - du comportement reproché au recourant. Cela conduit à rechercher si les procédures en cause sont aussi la conséquence adéquate du comportement du recourant.
Le recourant a été renvoyé en jugement sur la base des résultats d'une expertise concluant à de nombreuses violations de l'art. 56 LAMal. L'expertise en question devait notamment déterminer si et dans quelle mesure le recourant avait pratiqué la surfacturation et multiplié certains examens médicaux qui n'étaient pas indispensables. Elle a été ordonnée dans le cadre d'une enquête qui portait notamment sur le fait que l'activité des médecins du Centre médical A._, du recourant en particulier, avait fait l'objet de nombreuses plaintes pour polypragmasie émanant de médecins de la région (arrêt 6B_656/2010, consid. A). Par ailleurs, comme l'a retenu la cour de céans dans son arrêt du 17 février 2011, il n'était pas d'emblée évident que les cas de polypragmasie imputés au recourant ne constituaient pas des escroqueries, possibilité que le Tribunal fédéral n'a pas exclue sans autre dans son arrêt du 4 avril 2007 (arrêt 6B_656/2010 consid. 2.2).
Que, comme le relève le recourant, la LAMal prévoie un système de contrôle du caractère économique des prestations et des sanctions à caractère administratif et pénal (art. 59 et 92 LAMal) n'exclut en aucun cas l'application du droit pénal ordinaire. Que les assureurs ou les patients qui ont critiqué la pratique du recourant n'aient pas entendu adresser leurs plaintes à l'autorité pénale n'exclut pas non plus l'obligation de cette dernière d'instruire d'office les soupçons d'escroquerie qui pouvaient naître dans le cadre de la plainte déposée contre le recourant pour violation de l'art. 92 let. b LAMal, notamment ensuite de l'expertise ordonnée en cours d'instruction. S'il est vrai que les faits civilement répréhensibles qui ont pu être dûment établis à l'encontre du recourant se sont, en définitive, révélés moins importants que ce que les soupçons initiaux pouvaient faire craindre, il n'en demeure pas moins que la multiplication par le recourant d'actes médicaux inutiles - fût-ce, dans certains cas, dans une proportion modeste - pouvait conduire l'autorité pénale à chercher à déterminer l'étendue réelle de ces actes, l'existence d'un préjudice au détriment de tiers (les patients tout au moins), la manière dont le recourant avait agi (cas échéant avec astuce) et les raisons pour lesquelles il l'avait fait. Dans cette mesure, il n'était en tout cas pas arbitraire de considérer que le comportement du recourant était de nature à conduire, selon le cours ordinaire des choses, à l'ouverture d'une procédure pénale. Par ailleurs, la complexité de la problématique de la polypragmasie et les difficultés de la preuve en ce domaine entraînent non rarement des procédures de longue durée au plan administratif devant les instances spécialisées. Il n'est donc pas insoutenable de considérer que le comportement du recourant pouvait aussi, selon le cours ordinaire des choses, conduire à une procédure longue et complexe devant les autorités pénales, qui ne disposent pas, en la matière, de l'expérience des autorités spécialisées et devaient, de surcroît, examiner, dans ce contexte, la réalisation des conditions spécifiques des infractions pénales litigieuses, dans le cadre d'une enquête plus vaste initialement dirigée aussi contre d'autres co-accusés. La conclusion de l'autorité cantonale n'apparaît ainsi pas arbitraire, dans son résultat tout au moins.
3.5 Le recourant soutient ensuite qu'il serait insoutenable d'appliquer sans nuance, dans le cadre de l'art. 163a aCPP/VD, les même critères que ceux déterminants pour l'art. 158 aCPP/VD, relatif à la mise à charge de l'accusé acquitté des frais de la procédure. Il s'ensuivrait de surcroît qu'en se fondant aveuglément sur les considérants de l'autorité chargée de régler la question des frais, la cour cantonale aurait refusé d'apprécier le droit et de juger les faits dans le contexte spécifique de l'art. 163a aCPP/VD. Elle aurait « démissionné » et commis un déni de justice. Ce faisant, la cour cantonale aurait aussi perdu de vue que les frais mis à la charge du recourant ne représentaient qu'une part des frais occasionnés par cette enquête. Il faudrait en conclure que l'autorité statuant sur cette question avait considéré implicitement que la plus grande part des frais demeurait à la charge de l'Etat.
Selon la jurisprudence, pour savoir si le comportement du prévenu libéré peut entraîner la suppression ou la réduction de la réparation à laquelle il a droit du fait de sa détention injustifiée, il sied d'adopter, mutatis mutandis, les mêmes critères (déduits des art. 41 ss CO appliqués à titre de droit cantonal supplétif) que ceux qui permettent de dire s'il y a lieu de mettre les frais de justice à la charge du prévenu au bénéfice d'une décision de non-lieu ou d'un acquittement ou encore de renoncer à l'imputation de la détention préventive subie par le condamné (ATF 112 Ib 446 consid. 4 p. 453 ss, spéc. consid. 4c p. 456; v. aussi arrêts 6B_998/2010 consid. 3.1.2 et 6B_247/2010 consid. 2.4.1). Sous le seul angle de l'arbitraire, le texte des normes cantonales déterminantes (frais de procédure: art. 158 aCPP/VD; indemnité du prévenu acquitté: art. 163a aCPP/VD), qui se réfèrent toutes deux à l'équité et conditionnent respectivement la mise des frais à la charge du prévenu et le refus de l'indemnité à la circonstance que l'intéressé a ou n'a pas donné lieu à l'ouverture de l'enquête ou en a compliqué l'instruction, n'imposent pas une autre solution. La cour cantonale pouvait ainsi, sans « démissionner » se référer à l'issue du litige sur les frais. Le grief est infondé.
En tant que le recourant relève que seule une part des frais judiciaires a été mise à sa charge pour en conclure que l'indemnité à laquelle il prétend ne pourrait pas lui être refusée dans son entier mais devrait, tout au plus être réduite, il convient de relever qu'il ressort certes de l'arrêt du 17 février 2011 que seule une part de 10'000 fr. des frais de justice a été mise à la charge du recourant (consid. D). Toutefois, saisie des seules conclusions du recourant, la cour de céans n'avait pas à rechercher si son comportement pouvait ou non justifier la mise à sa charge d'une fraction plus importante des frais judiciaires (art. 107 al. 1 LTF). Cet arrêt ne saurait ainsi lier l'autorité appelée à statuer sur la demande d'indemnité en ce sens qu'il imposerait l'octroi d'une indemnité partielle tout au moins. Le grief est infondé.
3.6 Le recourant objecte aussi, en se référant à un arrêt du 21 novembre 1990 (1P.664/1990), que selon la jurisprudence, même le prévenu acquitté pour une partie seulement des faits qui lui sont reprochés et condamné pour des faits non contestés mais d'importance secondaire, ne peut être privé sans arbitraire de l'indemnité équitable de l'art. 163a aCPP/VD. Il en conclut que dans l'hypothèse où, comme en l'espèce, l'accusé a été entièrement libéré mais n'a été condamné qu'à une partie des frais en raison de quelques cas de polypragmasie retenus par un expert qui s'est rétracté pour tous les autres cas, l'indemnisation devrait être accordée.
Dans le cas auquel se réfère le recourant, le Tribunal fédéral a retenu qu'aucun lien de causalité n'avait été établi entre la présence, certes illicite, de l'accusé sur les lieux d'un incendie et ce sinistre, cependant que sa condamnation pour des faits non contestés et d'importance secondaire ne pouvait, sans arbitraire, justifier le refus de toute indemnité. Le Tribunal fédéral a, ainsi, distingué, sous l'angle de la causalité, les différents chefs d'accusation parce qu'ils n'avaient pas de rapports directs entre eux (violation LCR, violation LStup, d'une part, et violation de domicile ainsi qu'incendie par négligence d'autre part). Il a exclu tout rapport de causalité, dans ce second groupe d'infractions, entre l'acte illicite dont la réalisation était établie mais qui n'était pas punissable en raison du retrait de la plainte (violation de domicile) et l'infraction principale qui avait généré la procédure (incendie par négligence). Ces considérations ne sont pas transposables dans le cas d'espèce qui avait trait à un ensemble de comportements du recourant susceptibles de constituer, notamment, des escroqueries. Le grief est infondé.
4. En relation avec les art. 32 al. 1 Cst. et 6 CEDH, le recourant reproche uniquement à l'autorité cantonale d'avoir, en se référant à l'issue du litige sur les frais, laissé apparaître une connotation pénale pour justifier le refus de toute indemnité. Il n'y a pas lieu de rechercher si la décision critiquée viole ces normes pour un autre motif (art. 106 al. 2 LTF; supra consid. 3.2).
La cour cantonale s'est référée à l'arrêt 6B_656/2010. Dans ce dernier, la cour de céans a relevé que le renvoi opéré par la Cour de cassation cantonale à l'art. 92 LAMal n'était pas pertinent et peu judicieux. Elle a cependant jugé que la décision sur les frais n'avait pas été motivée par une argumentation laissant penser que le recourant se serait tout de même rendu coupable d'une infraction, mais que la mise à charge des frais était justifiée par d'autres motifs (violation de l'art. 56 LAMal). En se référant à l'arrêt fédéral, l'autorité précédente n'a donc pas non plus laissé entendre que le refus de toute indemnité se justifierait par le soupçon d'une infraction. Le grief est infondé.
5. Le recourant reproche ensuite à la cour cantonale d'avoir appliqué arbitrairement l'art. 163a al. 3 aCPP/VD, respectivement d'avoir violé son droit d'être entendu et l'obligation de motiver la décision. La cour cantonale aurait ignoré son obligation de « prendre les renseignements nécessaires » et la requête formulée par le recourant d'être entendu en audience. Ce dernier souligne qu'il entendait ainsi étayer en séance l'argumentation écrite de sa requête, compte tenu du délai très court de 20 jours dont il avait disposé pour rédiger sa demande d'indemnité équitable. Les premiers juges n'avaient motivé ni le rejet de la demande d'instruction ni celui de la demande d'audience et s'étaient contentés d'un renvoi de la motivation à celle de l'autorité cantonale [recte: fédérale] de recours qui avait statué.
5.1 La recevabilité de ce grief, qui mêle indistinctement des reproches fondés sur la violation de plusieurs normes constitutionnelles et conventionnelle est douteuse au regard des exigences de précision déduites de l'art. 106 al. 2 LTF (v. supra consid. 3.2). Ce point peut toutefois demeurer indécis pour les raisons qui suivent.
5.2 Conformément à l'art. 163a al. 3 aCPP/VD, le tribunal d'accusation statue à huis clos, après avoir pris les renseignements nécessaires et demandé le préavis du Ministère public; lorsqu'il envisage de mettre l'indemnité à la charge du plaignant ou de la partie civile, il recueille leurs observations.
5.2.1 La procédure à huis clos résulte du texte clair de la loi (art. 163a al. 3 CPP/VD), de sorte que l'autorité précédente n'a pas appliqué arbitrairement son droit de procédure en ne donnant pas suite à la requête du recourant.
5.2.2 L'art. 29 al. 2 Cst. ne confère pas à lui seul le droit d'être entendu oralement par l'autorité (ATF 134 I 140 consid. 5.3 p. 148, 130 II 425 consid. 2.1 p. 428 s., 122 II 464 consid. 4c p. 469). Le recourant ne peut donc rien déduire en sa faveur de cette norme constitutionnelle en ce qui concerne sa prétention à être entendu personnellement.
5.2.3 Par ailleurs, si la tenue d'une audience publique constitue un principe fondamental consacré par l'article 6 par. 1 CEDH, au pénal en particulier, l'obligation de tenir une telle audience n'est pas absolue. L'article 6 n'en exige pas nécessairement la tenue dans toutes les procédures. Tel est notamment le cas pour les affaires ne soulevant pas de question de crédibilité ou ne suscitant pas de controverse sur les faits qui auraient requis une audience, et pour lesquelles les tribunaux peuvent se prononcer de manière équitable et raisonnable sur la base des conclusions présentées par les parties et d'autres pièces. La Cour européenne reconnaît aussi, dans ce contexte, que les autorités nationales peuvent tenir compte d'impératifs d'efficacité et d'économie. Il n'en va pas différemment dans les procédures se déroulant devant un tribunal statuant en premier et dernier ressort, pour lesquelles le rejet d'une demande tendant à la tenue d'une audience ne se justifie pas nécessairement qu'en de rares occasions, notamment en matière civile, dans laquelle les exigences du procès équitable sont moins rigoureuses qu'en matière pénale (arrêt CEDH Jussila c/ Finlande du 23 novembre 2006, requête No 73053/01, § 40 ss et les nombreuses références citées).
5.2.4 En l'espèce, le recourant expose qu'il voulait faire entendre des témoins au sujet des graves effets que l'affaire pénale avait déployés sur sa vie privée, familiale et professionnelle, pendant près de 12 ans et qu'il aurait aussi pu développer les raisons qui justifiaient sa demande et analyser chaque condition de l'art. 163a aCPP/VD en soulignant qu'il n'avait eu que 20 jours pour rédiger sa demande d'indemnité équitable. Selon lui, en l'entendant, au besoin à huis clos, le Tribunal d'accusation aurait pu prendre la mesure du préjudice, de la disproportion entre l'enquête et les conséquences qu'elle a exercées sur sa personne et sa famille notamment (Recours, p. 12 et 13).
5.2.5 Cette très brève argumentation ne démontre pas en quoi des questions de crédibilité ou de controverse sur les faits auraient été en jeu, ni pourquoi la demande écrite du recourant n'aurait pas suffi à la cour pour rendre sa décision. Le recourant invoque certes la courte durée du délai légal de 20 jours et le besoin qu'il aurait eu de compléter son argumentation en raison de la brièveté de ce délai. Il convient toutefois de relever, sur ce dernier point, que si la demande doit être adressée au Tribunal d'accusation dans les 20 jours suivant la communication de la décision de non-lieu ou d'acquittement, selon la pratique cantonale, en cas de recours contre le jugement, même limité au sort des frais, le délai pour adresser une demande d'indemnité court dès la réception de la communication écrite du dispositif de l'arrêt (BOVAY et al., Procédure pénale vaudoise, 3e éd. 2008, art. 163a CPP, n. 5.2). En l'espèce, le recourant a formé sa demande le 27 octobre 2009, alors que la Cour de cassation pénale cantonale a rejeté le recours de l'intéressé contre la décision mettant une partie des frais pénaux à sa charge par arrêt du 12 avril 2010. Un sain usage du délai légal lui aurait ainsi permis de disposer de près de six mois supplémentaires pour étayer sa demande. Il ne peut dès lors rien déduire en sa faveur de cette argumentation.
De plus, les développements du recourant méconnaissent que selon la jurisprudence, les prétentions fondées sur l'art. 163a aCPP/VD peuvent être déduites non seulement en procédure sommaire devant le Tribunal d'accusation (qui statue à huis clos), mais aussi en procédure ordinaire devant les tribunaux civils, notamment lorsqu'il ne lui était pas possible de faire valoir tous les moyens de sa demande devant le Tribunal d'accusation en raison du très bref délai fixé par l'art. 163a aCPP/VD (BOVAY et al., op. cit., art. 163a CPP, n. 4 et la jurisprudence citée). On comprend ainsi que le devoir d'instruire de l'autorité est à la mesure des prétentions qu'elle peut examiner dans le cadre d'une procédure conçue comme simple et rapide. Enfin, faute d'établir qu'une procédure ordinaire était exclue en l'espèce, le recourant, ne démontre pas à satisfaction de droit qu'il aurait été privé contre sa volonté de la possibilité de voir sa cause entendue publiquement au sens de l'art. 6 par. 1 CEDH.
Ces griefs sont infondés dans la mesure où ils sont recevables.
5.2.6 Pour le surplus, on peut se borner à rappeler que, selon la jurisprudence le juge satisfait à son obligation de motiver déduite de l'art. 29 al. 2 Cst. lorsqu'il mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, en se limitant à l'examen des questions décisives pour l'issue du litige (ATF 134 I 83 consid. 4.1 p. 88 et réf. citées). La motivation peut d'ailleurs être implicite et résulter des différents considérants de la décision (arrêt 2C_23/2009 du 25 mai 2009 consid. 3.1, publié in RDAF 2009 II p. 434). L'autorité peut passer sous silence ce qui, sans arbitraire, lui paraît à l'évidence non établi ou sans pertinence (ATF 129 I 232 consid. 3.2 p. 236; 126 I 97 consid. p.102). Il n'y a ainsi violation du droit d'être entendu que si l'autorité ne satisfait pas à son devoir minimum d'examiner les problèmes pertinents (ATF 129 I 232 consid. 3.2 p. 236; 126 I 97 consid. 2b p. 102 s. et les références).
En l'espèce, l'autorité cantonale a appliqué sa loi de procédure, qui impose expressément le huis clos. Elle a, par ailleurs, d'emblée, refusé l'indemnité au motif de l'existence d'un comportement civilement illicite du recourant en se référant à l'arrêt de la cour de céans. Elle pouvait, dans ces conditions, se dispenser d'exposer de manière plus détaillée les raisons pour lesquelles elle rejetait la requête d'audience publique, d'une part, et, d'autre part, considérer implicitement que les mesures d'instruction demandées, qui portaient sur l'existence et l'importance du dommage, n'étaient pas pertinentes pour l'issue du litige. Le grief est infondé.
6. Le recourant succombe. Il supporte les frais de la procédure (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours en matière pénale est rejeté dans la mesure où il est recevable.
2. Le recours en matière de droit public est rejeté dans la mesure où il est recevable.
3. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal d'accusation du Tribunal cantonal du canton de Vaud.
Lausanne, le 21 novembre 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Vallat