Faits: A. Le 18 octobre 2006, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a condamné X._, par défaut, pour viol, vol d'usage, circulation sans permis de conduire et infraction à la loi fédérale sur le séjour et l'établissement des étrangers à la peine de 3 ans de réclusion sous déduction de 86 jours de détention préventive. L'expulsion de l'intéressé du territoire suisse a été ordonnée pour une durée de 10 ans, cependant que le tribunal a renoncé à révoquer un précédent sursis. Par jugement du 11 décembre 2007, statuant sur la demande de relief présentée par le défenseur d'office de X._ le 3 novembre 2006, le Tribunal correctionnel de l'arrondissement de l'Est vaudois, constatant derechef le défaut de X._ et le fait qu'il avait été régulièrement assigné sans qu'il y eût des raisons de croire que son absence fût due à la force majeure, a confirmé son jugement du 18 octobre 2006. Par arrêt du 28 janvier 2008, la Cour de cassation pénale vaudoise a écarté le recours formé par l'intéressé contre le jugement du 11 décembre 2007. Le recours en matière pénale dirigé par X._ contre cet arrêt a été admis partiellement par le Tribunal fédéral sur la question du sort des frais de la défense d'office pour la procédure de deuxième instance. Il a été rejeté pour le surplus autant que recevable (arrêt 6B_471/2008 du 15 décembre 2008). Le 22 mars 2011, X._ a présenté une nouvelle requête de relief du jugement rendu le 18 octobre 2006. A l'issue des débats qui ont eu lieu le 2 mai 2011, le Tribunal a rejeté la requête et confirmé les jugements rendus à son encontre les 18 octobre 2006 et 11 décembre 2007. B. Par arrêt du 13 mai 2011, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ contre le jugement du 2 mai 2011 et confirmé ce dernier. Il ressort, en bref, de cet arrêt que lors de l'audience du 2 mai 2011, X._, assisté de son conseil d'office, a été entendu notamment sur les motifs de son absence à l'audience du 11 décembre 2007. La parole a ensuite été donnée successivement au procureur, au conseil de la partie plaignante et au défenseur d'office, pour deux tours de plaidoirie. L'audience a été suspendue à 9h45 pour permettre au tribunal de prendre sa décision. A la reprise d'audience, à 10h25, la Présidente a lu aux comparants la décision portant, notamment, rejet de la requête de relief et confirmation des jugements des 18 octobre 2006 et 11 décembre 2007. L'audience a, de nouveau, été suspendue à 10h35 et reprise à 10h45. L'instruction a été poursuivie. Interpellé, X._ a prononcé quelques mots pour sa défense. La défense s'est alors opposée, à titre incident, à ce que le requérant soit à nouveau jugé, faute d'avoir été interpellé à l'issue des débats. Les parties ont plaidé sur l'incident et la requête de relief. L'audience a, une fois encore, été suspendue à 10h55. A sa reprise, la Présidente a lu aux comparants la décision du tribunal. Cette dernière rejetait l'incident (I.), rejetait la requête de relief (II.), confirmait les jugements rendus les 18 octobre 2006 et 11 décembre 2007 (III.) et statuait, en outre, sur l'imputation de la décision préventive et extraditionnelle, le maintien en détention ainsi que les indemnités des conseils d'office et les frais de la procédure. On renvoie, pour le surplus, à l'état de fait de l'arrêt du 13 mai 2011. C. X._ forme un recours en matière pénale contre cet arrêt. Il conclut principalement à sa réforme en ce sens que la requête de relief des jugements rendus les 18 octobre 2006 et 11 décembre 2007 soit admise et les tribunaux vaudois tenus de procéder à l'instruction et au jugement des causes en question. A titre subsidiaire, il demande l'annulation de la décision querellée et le renvoi de la cause à la juridiction cantonale pour nouvelle instruction et nouveau jugement. Il requiert en outre le bénéfice de l'assistance judiciaire. Il n'a pas été ordonné d'échange d'écritures.