Faits:
A. Le 16 avril 2010, statuant sur relief d'un jugement du 27 juillet 2005, le Tribunal correctionnel de l'arrondissement de Lausanne a libéré X._ des chefs d'accusation d'escroquerie, d'utilisation abusive d'un ordinateur, de faux dans les titres, de faux dans les certificats et de rupture de ban. L'accusé a, en revanche, été condamné à 10 jours-amende, à dix francs l'un, pour tentative de vol, sous déduction de 216 jours de détention avant jugement.
Saisi d'une demande d'indemnité pour détention injustifiée portant sur 50'900 fr. plus 500 fr. de frais d'avocat pour la rédaction de la requête, le Tribunal d'accusation vaudois l'a admise partiellement à concurrence de 9000 fr., par arrêt du 1er juin 2010.
B. X._ recourt en matière de droit public contre cette décision. Il demande principalement sa réforme en ce sens qu'une indemnité de 51'500 fr. lui soit allouée en compensation du préjudice résultant de 206 jours de détention injustifiée. A titre subsidiaire, il conclut à l'annulation de la décision querellée et au renvoi de la cause à l'autorité cantonale. Il requiert en outre le bénéfice de l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement sa compétence, respectivement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 381; <ref-ruling> consid. 1 p. 140).
1.1 L'arrêt attaqué porte sur une indemnité en réparation du préjudice matériel et du tort moral causés par la détention préventive ensuite de l'acquittement du recourant. En dépit de leur relation avec une procédure pénale, ces prétentions en responsabilité élevées contre le canton de Vaud sont fondées sur l'allégation d'un comportement illégal. Elles trouvent leur fondement dans le droit public cantonal. Le recours en matière de droit public est donc en principe ouvert et la cour de droit pénal est compétente pour en connaître (art. 30 al. 1 let. c ch. 1 et art. 33 du règlement du Tribunal fédéral [RS 173.110.131]; <ref-ruling> consid. 1.1.2 p. 46).
1.2 S'agissant de la responsabilité de l'Etat, le recours en matière de droit public est recevable si la valeur litigieuse est supérieure à 30'000 fr. (<ref-law>).
Devant l'autorité précédente, le recourant a conclu au versement de 50'900 fr. au titre de la réparation du préjudice résultant de la détention injustifiée et de 500 fr. pour les frais de requête. Ce dernier montant a été alloué non à titre de dépens mais en tant qu'indemnité correspondant à un élément du préjudice précité (JdT 2006 III 97). Dans son recours fédéral, le recourant réclame 51'500 fr. en relation avec la seule détention préventive. Ces conclusions sont irrecevables dans la mesure de leur augmentation (<ref-law>). Seule demeure ainsi litigieuse la somme de 51'400 fr. correspondant aux conclusions recevables restées litigieuses devant l'autorité précédente juste avant que celle-ci prononce le jugement (<ref-law>; v. arrêts non publiés 2C_233/2009 du 17 juillet 2009 consid. 2.1, 5A_765/2008 du 29 juin 2009, consid. 1.2.1). La valeur litigieuse requise est atteinte.
2. Le recourant invoque principalement l'interdiction de l'arbitraire (art. 9 Cst.) dans l'application du droit cantonal, celle de l'art. 67 CPP/VD en particulier. On peut renvoyer sur la notion d'arbitraire à l'arrêt publié aux <ref-ruling> consid. 1.3 p. 4 s. en rappelant que ce grief ne peut être admis que lorsque la décision querellée, indépendamment de ses motifs, est insoutenable dans son résultat.
2.1 La norme cantonale prévoit que celui qui a été détenu et qui a bénéficié par la suite d'un non-lieu ou d'un acquittement peut obtenir de l'Etat une indemnité à raison du préjudice que lui a causé son incarcération. Cette indemnité pourra être réduite ou refusée lorsque, par un comportement juridiquement critiquable, le demandeur a provoqué ou compliqué fautivement la poursuite pénale et que ce comportement se trouve en rapport de causalité avec le préjudice dont la réparation est demandée (cf. BOVAY ET AL., Procédure pénale vaudoise, 3e éd., 2008, n. 4.3 ad art. 67). De façon générale, par comportement juridiquement critiquable, il faut entendre la violation de n'importe quelle norme de comportement, écrite ou non, résultant de l'ordre juridique suisse dans son ensemble (<ref-ruling> consid. 1b p. 334; <ref-ruling> consid. 2c p. 168). La seule contrariété à l'éthique ne suffit pas (cf. ATF <ref-ruling> consid. 2b p. 168). Enfin, la responsabilité concomitante de l'accusé acquitté, qui détermine la part qu'il supporte du dommage allégué, est limitée au préjudice résultant causalement de son comportement (cf. <ref-ruling> consid. 2d/bb, p. 174 in fine).
2.2 Le recourant ne critique ni le nombre des jours de détention compensés (206) ni le montant journalier de base (250 fr.) retenu par l'autorité cantonale pour l'indemnisation d'un dommage matériel et du tort moral (arrêt entrepris, p. 4). Il discute, en revanche, les facteurs de réduction appliqués.
2.3 L'autorité précédente a retenu, à ce titre, la condamnation pour tentative de vol du recourant, le fait que celui-ci, expulsé du territoire suisse le 8 novembre 1999, et qui avait fait l'objet d'une interdiction d'entrée, y était néanmoins venu plusieurs fois depuis lors et y avait vécu, notamment lors de ses deux arrestations, les 30 juin 2004 et 18 janvier 2010. Il avait ainsi sciemment transgressé l'ancienne LSEE et l'actuelle LEtr, à tout le moins sur le plan administratif. Il avait aussi acheté un « vrai-faux » passeport et s'était légitimé au moyen de celui-ci, notamment le 30 juin 2004.
La réduction de l'indemnité en raison d'un acquittement partiel seulement ne prête pas le flanc à la critique. Il n'était pas arbitraire non plus de refuser l'indemnisation du préjudice résultant de la détention dans la mesure où la libération de l'accusation de rupture de ban résultait de l'application du droit plus favorable entré en vigueur, au 1er janvier 2007. Si la novelle a, en effet, supprimé les effets des mesures d'expulsion prononcées antérieurement (ch. 1 al. 1 des dispositions transitoires de la modification du code pénal du 13 décembre 2002 [FF 2002 7733]), l'acte n'en était pas moins punissable, partant illicite, au moment où il a été commis (arrêt non publié 6B_481/2009 du 7 septembre 2009 consid. 2.2). A cela s'ajoute que le recourant s'est légitimé au moment de son interpellation en 2004 au moyen d'un « vrai-faux » passeport croate au nom de Y._. Cela constitue un acte illicite distinct du précédent, nonobstant, de surcroît, l'acquittement de l'accusation de faux dans les certificats justifiée par le seul défaut de la condition subjective de cette infraction (jugement du 16 avril 2010, consid. 3, p. 10). On peut ainsi admettre que la tentative de vol, l'entrée en Suisse à plusieurs reprises malgré l'interdiction en vigueur et le fait qu'au moment de son arrestation le recourant s'est légitimé avec de faux papiers ont, dans une large mesure, causé, puis justifié, le maintien de la détention préventive du recourant (v. notamment l'ordonnance de refus de mise en liberté du 11 octobre 2004). Dans ces conditions, malgré l'acquittement prononcé sur plusieurs des chefs d'accusation, la réduction opérée par la cour cantonale, de l'ordre de 85% de l'indemnité de base, n'apparaît pas insoutenable dans son résultat. Le grief d'arbitraire est infondé.
3. Le recourant invoque encore la violation de son droit d'être entendu résultant d'une motivation insuffisante de la décision entreprise (art. 29 al. 2 Cst.).
L'arrêt cantonal mentionne cependant les éléments du calcul du dommage matériel et du tort moral, soit le nombre de jours de détention à compenser et le montant de base de l'indemnité. Il expose aussi les motifs justifiant une réduction ainsi que la quotité des abattements opérés, explicitement en relation avec la condamnation pour tentative de vol et implicitement pour le surplus. Par ailleurs, en matière d'indemnisation du préjudice matériel, le juge dispose, de manière générale, d'un large pouvoir d'appréciation (<ref-law>) et la fixation du tort moral procède également, en grande part, d'une appréciation des circonstances (cf. <ref-ruling> consid. 7.2 p. 36 s). Dans ces conditions, les indications fournies par la décision litigieuse, certes succinctes, répondaient aux questions décisives et permettaient au recourant d'en apprécier la portée et de la discuter en connaissance de cause. Cela exclut la violation du droit d'être entendu (<ref-ruling> consid. 4.1 p. 88).
4. Le recourant succombe. Ses conclusions étaient d'emblée dénuées de chances de succès. L'assistance judiciaire doit être refusée (<ref-law>). Le recourant supporte les frais de la cause qui seront fixés en tenant compte de sa situation financière qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF; jugement du 16 avril 2010, consid. 1, p. 8).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. L'assistance judiciaire est refusée.
3. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal d'accusation du canton de Vaud.
Lausanne, le 13 décembre 2010
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Le Greffier:
Favre Vallat