Faits:
A. Le 18 octobre 2006, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a condamné X._, par défaut, pour viol, vol d'usage, circulation sans permis de conduire et infraction à la loi fédérale sur le séjour et l'établissement des étrangers à la peine de 3 ans de réclusion sous déduction de 86 jours de détention préventive. L'expulsion de l'intéressé du territoire suisse a été ordonnée pour une durée de 10 ans, cependant que le tribunal a renoncé à révoquer un précédent sursis. Par jugement du 11 décembre 2007, statuant sur la demande de relief présentée par le défenseur d'office de X._ le 3 novembre 2006, le Tribunal correctionnel de l'arrondissement de l'Est vaudois, constatant derechef le défaut de X._ et le fait qu'il avait été régulièrement assigné sans qu'il y eût des raisons de croire que son absence fût due à la force majeure, a confirmé son jugement du 18 octobre 2006. Par arrêt du 28 janvier 2008, la Cour de cassation pénale vaudoise a écarté le recours formé par l'intéressé contre le jugement du 11 décembre 2007. Le recours en matière pénale dirigé par X._ contre cet arrêt a été admis partiellement par le Tribunal fédéral sur la question du sort des frais de la défense d'office pour la procédure de deuxième instance. Il a été rejeté pour le surplus autant que recevable (arrêt 6B_471/2008 du 15 décembre 2008).
Le 22 mars 2011, X._ a présenté une nouvelle requête de relief du jugement rendu le 18 octobre 2006. A l'issue des débats qui ont eu lieu le 2 mai 2011, le Tribunal a rejeté la requête et confirmé les jugements rendus à son encontre les 18 octobre 2006 et 11 décembre 2007.
B. Par arrêt du 13 mai 2011, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ contre le jugement du 2 mai 2011 et confirmé ce dernier. Il ressort, en bref, de cet arrêt que lors de l'audience du 2 mai 2011, X._, assisté de son conseil d'office, a été entendu notamment sur les motifs de son absence à l'audience du 11 décembre 2007. La parole a ensuite été donnée successivement au procureur, au conseil de la partie plaignante et au défenseur d'office, pour deux tours de plaidoirie. L'audience a été suspendue à 9h45 pour permettre au tribunal de prendre sa décision. A la reprise d'audience, à 10h25, la Présidente a lu aux comparants la décision portant, notamment, rejet de la requête de relief et confirmation des jugements des 18 octobre 2006 et 11 décembre 2007. L'audience a, de nouveau, été suspendue à 10h35 et reprise à 10h45. L'instruction a été poursuivie. Interpellé, X._ a prononcé quelques mots pour sa défense. La défense s'est alors opposée, à titre incident, à ce que le requérant soit à nouveau jugé, faute d'avoir été interpellé à l'issue des débats. Les parties ont plaidé sur l'incident et la requête de relief. L'audience a, une fois encore, été suspendue à 10h55. A sa reprise, la Présidente a lu aux comparants la décision du tribunal. Cette dernière rejetait l'incident (I.), rejetait la requête de relief (II.), confirmait les jugements rendus les 18 octobre 2006 et 11 décembre 2007 (III.) et statuait, en outre, sur l'imputation de la décision préventive et extraditionnelle, le maintien en détention ainsi que les indemnités des conseils d'office et les frais de la procédure. On renvoie, pour le surplus, à l'état de fait de l'arrêt du 13 mai 2011.
C. X._ forme un recours en matière pénale contre cet arrêt. Il conclut principalement à sa réforme en ce sens que la requête de relief des jugements rendus les 18 octobre 2006 et 11 décembre 2007 soit admise et les tribunaux vaudois tenus de procéder à l'instruction et au jugement des causes en question. A titre subsidiaire, il demande l'annulation de la décision querellée et le renvoi de la cause à la juridiction cantonale pour nouvelle instruction et nouveau jugement. Il requiert en outre le bénéfice de l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. La demande de nouveau jugement, respectivement de relief, litigieuse a été présentée le 22 mars 2011. Conformément à l'art. 452 al. 2 du Code de procédure pénale suisse (RS 312.0; Code de procédure pénale; CPP), de telles demandes présentées après l'entrée en vigueur du nouveau code par les personnes qui ont été jugées dans le cadre d'une procédure par défaut selon l'ancien droit sont appréciées à la lumière de celui qui leur est le plus favorable.
Sur ce point, les autorités cantonales ont considéré que l'ancien droit de procédure vaudois, en tant qu'il autorisait, sous certaines conditions, une seconde demande de relief, était plus favorable que le nouveau droit qui ne connaissait pas cette institution. Le recourant, qui invoque du reste la violation de l'ancien droit cantonal (infra consid. 2), ne remet pas expressément en cause sur ce point la décision litigieuse qui n'apparaît pas non plus critiquable. Sous réserve de ce qui sera exposé ci-dessous (infra consid. 4), la cause, soit en particulier la question des conditions du droit à un nouveau jugement, doit, dès lors, être examinée à l'aune de l'ancien droit de procédure.
2. Le recourant reproche, à cet égard, à la cour cantonale d'avoir violé l'<ref-law>/VD en jugeant qu'il n'avait pas été empêché par force majeure de se présenter à l'audience de reprise de cause du 11 décembre 2007.
La violation du droit cantonal ne constitue pas un motif du recours en matière pénale (<ref-law>). Le recourant n'invoque par ailleurs, dans ce contexte, expressément aucun droit constitutionnel, l'interdiction de l'arbitraire (art. 9 Cst.) en particulier. Le grief, insuffisamment motivé, est irrecevable (<ref-law>).
3. Le recourant soutient ensuite que la cour cantonale aurait violé l'<ref-law>. Selon lui, cette disposition nouvelle imposerait que tous les jugements rendus par défaut, même avant l'entrée en vigueur du nouveau Code de procédure pénale, soient notifiés personnellement au condamné. Il allègue n'avoir pas reçu personnellement notification du jugement du 11 décembre 2007. Il en conclut, en argumentant sur la problématique de l'extradition, que sa requête de relief devrait être admise.
Comme l'a relevé à juste titre la cour cantonale, on ne voit pas que le nouveau droit de procédure puisse déterminer rétroactivement la forme de la notification, effectuée plusieurs années auparavant, d'un jugement. Une telle approche compromettrait en effet gravement la sécurité du droit.
De surcroît, apprécié à l'aune du nouveau droit, le prononcé du 11 décembre 2007 ne constituerait pas un jugement au sens de l'art. 80 al. 1 première phrase CPP, mais une décision au sens de la deuxième phrase de cette disposition, susceptible d'être notifiée aux parties conformément à l'<ref-law> par l'intermédiaire de leur conseil (<ref-law>). Il s'ensuit que, supposée applicable ratione temporis, la règle de l'<ref-law>, qui prescrit, lorsque cela est possible, la notification personnelle au condamné du jugement par défaut, ne trouverait de toute manière pas application. En outre, cette disposition n'a d'autre portée que de permettre de déterminer le point de départ du délai de dix jours pour demander un nouveau jugement (NIKLAUS SCHMID, Schweizerische Strafprozessordnung, Praxiskommentar, 2009, <ref-law>, n. 2; DOMINIQUE THALMANN, CR CPP, 2011, <ref-law>, n. 4; THOMAS MAURER, BSK StPO, 2011, <ref-law>, n. 3) et la demande de relief présentée par le recourant le 22 mars 2011 a été jugée recevable à la forme, de sorte que le recourant n'a, de toute manière, subi aucun préjudice du fait de la forme de la notification du jugement du 11 décembre 2007.
On peut relever, pour terminer, que le recourant ne discute plus, devant la cour de céans, la validité selon l'ancien droit cantonal de la notification du jugement par défaut du 18 octobre 2006 et qu'il est, par ailleurs, constant qu'il a été en mesure d'en demander le relief, ce qui a conduit au prononcé du 11 décembre 2007. Aussi, la demande de relief du 22 mars 2011 ayant également été jugée recevable à la forme, à supposer, comme le voudrait le recourant, le nouveau droit applicable, il faudrait constater, comme les deux autorités précédentes, que le recourant ne pouvait demander un second relief. Le grief est rejeté.
4. Le recourant invoque, enfin, la violation de l'<ref-law> en ce sens qu'il aurait été privé du droit inconditionnel de s'exprimer en dernier lors de l'audience du 2 mai 2011.
4.1 Conformément à l'art. 452 al. 3 première phrase CPP, le nouveau jugement est régi par le nouveau droit. On doit tout d'abord se demander si par « nouveau jugement » il faut entendre uniquement le nouveau jugement sur le fond ensuite de l'admission formelle de la demande de nouveau jugement ou si la décision de procédure prise sur cette demande est, elle-même, déjà soumise au nouveau droit (art. 448 al. 1 a contrario) ou encore si l'ancien droit, éventuellement plus favorable, s'appliquerait à cette procédure conformément à l'<ref-law>.
En plus du texte clair de l'<ref-law>, qui se réfère au nouveau « jugement » et non à un prononcé ou une décision (cf. <ref-law>), pour d'évidentes raisons pratiques, la règle de l'<ref-law> doit être comprise en ce sens que la détermination du droit plus favorable n'a trait qu'aux conditions de forme et de fond permettant au défaillant d'obtenir un nouveau jugement. La décision de procédure à rendre sur ce point doit, en revanche, l'être dans les formes du nouveau droit (NIKLAUS SCHMID, Übergangsrecht der Schweizerischen Strafprozessordnung, 2010, n. 255 et 256, p. 71).
4.2 Conformément à l'<ref-law>, le tribunal rejette la demande de nouveau jugement lorsque le condamné, dûment cité, fait défaut aux débats sans excuse valable. Par ailleurs, s'il apparaît vraisemblable que les conditions permettant de rendre un nouveau jugement sont réunies, la direction de la procédure fixe de nouveaux débats. Lors de ceux-ci, le tribunal statue sur la demande du condamné et rend, le cas échéant, un nouveau jugement (<ref-law>). Si le condamné fait à nouveau défaut aux débats sans excuse valable, le jugement rendu par défaut reste valable (<ref-law>).
Il s'ensuit que, dans le nouveau droit, le tribunal saisi de la demande de nouveau jugement qui la rejette conformément à l'<ref-law> rend une simple décision de procédure, sans trancher de question pénale au fond (DOMINIQUE THALMANN, op. cit., <ref-law>, n. 4). Il s'agit donc d'une décision au sens de l'art. 80 al. 1 2e phrase CPP et non d'un jugement, ce qui n'est pas sans conséquence sur les voies de recours (NIKLAUS SCHMID, Praxiskommentar, 2009, <ref-law>, n. 5), comme l'a, du reste, bien compris le recourant qui a saisi l'autorité précédente d'un recours et non d'un appel (cf. art. 393 al. 1 let. b et 398 al. 1 CPP). Or, le droit de s'exprimer en dernier consacré par l'<ref-law> est un droit personnel du prévenu de parler brièvement. Cela exclut, en particulier, une nouvelle intervention de son conseil ainsi que de longs développements ou le complètement de la plaidoirie du défenseur ou du prévenu (NIKLAUS SCHMID, Praxiskommentar, <ref-law>, n. 2; MAX HAURI, BSK StPO, 2011, <ref-law>, n. 2) qui a déjà bénéficié du dernier tour de plaidoirie (<ref-law>). Ce droit du prévenu est intrinsèque au procès pénal au fond comme le démontre aussi la systématique légale, qui rattache la règle de l'<ref-law> aux débats de première instance (CPP, Titre 7, chap. 2). Il doit ainsi être distingué du droit d'être entendu généralement consacré par l'<ref-law> (v. aussi OLIVIER JORNOT, CR CPP, 2011, <ref-law>, n. 1), qui s'impose dans toutes les phases de la procédure. Il s'ensuit que, dans le cadre de la procédure qui a conduit au rejet de sa demande de nouveau jugement, le recourant ne peut rien déduire en sa faveur de l'<ref-law>. On peut relever, dans ce contexte, que le seul fait que la décision de première instance porte aussi formellement « confirmation » des jugements des 18 octobre 2006 et 11 décembre 2007 n'y change rien. Cette manière de procéder, conforme à l'ancien droit cantonal (v. art. 408 aCPP/VD), ne paraît pas, en effet, avoir matériellement une portée différente de celle de la règle de l'<ref-law>. On ne saurait, en tous les cas, en conclure que ce faisant le tribunal aurait rendu un nouveau jugement au fond.
Pour le surplus, il ressort du procès-verbal de l'audience du 2 mai 2011 que le conseil du recourant s'est exprimé en dernier lieu, à 10h55, avant que le Tribunal statue conjointement sur le dernier incident soulevé par le recourant et sur le sort de sa requête de relief. On peut, en tant que de besoin, préciser en ce sens l'état de fait de la décision querellée (<ref-law>). On ne voit donc pas que son droit d'être entendu au sens de l'<ref-law> ait été violé. Le grief est infondé.
5. Les conclusions du recourant étaient d'emblée vouées à l'échec. L'assistance judiciaire doit être refusée (<ref-law>). Le recourant succombe. Il supporte les frais de la procédure, qui seront fixés en tenant compte de sa situation économique, qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. L'assistance judiciaire est refusée.
3. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 1er juillet 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Le Greffier:
Mathys Vallat