Faits:
A. Le 18 octobre 2006, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a condamné X._, par défaut, pour viol, vol d'usage, circulation sans permis de conduire et infraction à la loi fédérale sur le séjour et l'établissement des étrangers à la peine de trois ans de réclusion sous déduction de 86 jours de détention préventive. L'expulsion de l'intéressé du territoire suisse a été ordonnée pour une durée de dix ans, cependant que le Tribunal a renoncé à révoquer un précédent sursis. Ce jugement statuait en outre sur des prétentions civiles et sur les frais de la cause.
Ensuite de la demande de relief de ce jugement formée par le défaillant, la reprise de cause a été fixée au 12 décembre 2007. L'intéressé ne s'étant pas présenté à cette audience, le Tribunal correctionnel a constaté qu'il n'avait pas de raison de croire que l'absence de l'accusé était due à la force majeure. Il a confirmé le jugement rendu à son encontre le 18 octobre 2006 et l'a condamné aux frais de la reprise de cause, par 4499 fr., montant incluant l'indemnité versée à son défenseur d'office.
B. Saisie d'un recours contre ce jugement, la Cour de cassation pénale du canton de Vaud a constaté qu'aucune voie de recours cantonale n'était ouverte contre une telle décision. Le recours a été écarté par arrêt du 28 janvier 2008 et les frais de seconde instance par 1167 fr. 35, y compris l'indemnité allouée à son défenseur d'office de 387 fr. 35, mis à sa charge.
C. X._ forme un recours en matière pénale contre cet arrêt. Il conclut à sa réforme en ce sens que le jugement du 11 décembre 2007 soit annulé et la cause renvoyée en première instance pour nouvelle instruction et nouveau jugement. Il conclut, par ailleurs, à ce que les frais de sa défense d'office, savoir 3873 fr. 60 en première instance et 387 fr. 35 en seconde instance, ne soient pas mis à sa charge.
Le Ministère public et la cour cantonale ont renoncé à déposer des observations.

Considérant en droit:
1. 1.1 Interjeté par l'accusé qui a succombé dans ses conclusions (<ref-law>), le recours est dirigé contre un arrêt écartant son recours contre un jugement confirmant un précédent jugement pénal rendu par défaut, motif pris de l'absence de l'intéressé à l'audience de reprise de cause. Il s'agit donc d'une décision rendue en matière pénale (<ref-law>). Elle met un terme, pour des motifs de procédure (v. infra consid. 2.1), à la procédure de recours, respectivement à la procédure de relief et à la procédure pénale, si bien qu'elle est finale au sens de l'<ref-law>.
1.2 Par ailleurs, la décision entreprise émane d'une autorité de dernière instance cantonale. Il est vrai que le droit cantonal de procédure ouvre la possibilité d'un second relief (art. 407 al. 1 CPP/VD). Toutefois, cette possibilité n'est pas inconditionnelle, mais subordonnée à la démonstration par le défaillant qu'il a été empêché par force majeure de se présenter à l'audience de reprise de cause. Aussi, nonobstant cette possibilité de relief, la décision entreprise doit-elle être considérée comme ayant été rendue en dernière instance cantonale au sens de l'<ref-law> (v. sur ce point: arrêt non publié X. c. Staatsanwaltschaft Basel-Stadt du 15 mai 2008, 6B_810/2007 consid. 1.1 et la référence à l'<ref-ruling> consid. 1a et 2a).
2. Le recours en matière pénale peut être interjeté pour violation du droit, tel qu'il est circonscrit par les art. 95 et 96 LTF, soit en particulier pour violation du droit fédéral (<ref-law>). Dans ce cadre, le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est pas lié par l'argumentation des parties et il apprécie librement la portée juridique des faits. Il ne peut cependant examiner l'argumentation juridique des parties que dans la mesure où elle porte sur un point qui constitue encore l'objet du litige en instance fédérale (art. 99 al. 2 et 107 al. 1 LTF) et pour autant qu'elle repose sur des constatations de fait de la décision attaquée (<ref-ruling> consid. 1.3. in fine). Il s'en tient par ailleurs, en général, aux questions juridiques que la partie recourante soulève conformément aux exigences légales relatives à la motivation du recours (<ref-law>; <ref-ruling> consid. 2).
Suivant le principe de l'épuisement préalable des instances cantonales qui découle de l'<ref-law>, il n'examine, dans la règle, que les griefs constitutionnels qui, pouvant l'être, ont été présentés à l'autorité cantonale de dernière instance et les questions qui constituaient l'objet du litige devant l'autorité précédente; il s'ensuit que le grief invoqué pour la première fois devant le Tribunal fédéral ne doit pas se confondre avec l'arbitraire. Par ailleurs, le comportement du recourant ne doit pas être contraire à la règle de la bonne foi en vertu de laquelle celui qui ne soulève pas devant l'autorité de dernière instance cantonale un grief lié à la conduite de la procédure ne peut plus en principe le soulever devant le Tribunal fédéral. Cette juridiction ne contrôle pas non plus d'office le respect des droits fondamentaux (<ref-law>).
2.1 En l'espèce, le chiffre I. du dispositif de l'arrêt du 28 janvier 2008 indique que « Le recours est écarté ». Il ressort par ailleurs des motifs de la décision entreprise que l'autorité cantonale a considéré qu'aucune voie de recours cantonale n'était ouverte contre un jugement rendu en application de l'art. 408 CPP/VD, si bien que le recours interjeté était irrecevable.
Conformément à cette disposition, si, après un jugement par défaut, celui qui a obtenu le réappointement d'une audience à la suite d'une demande de relief ne se présente pas, le tribunal confirme son premier jugement et condamne le requérant à tous les frais de la reprise de cause. La cour cantonale, qui s'est référée sur ce point à sa jurisprudence constante, a encore indiqué qu'un tel jugement n'était pas un jugement principal au sens de l'art. 410 CPP/VD car le juge ne pouvait que confirmer purement et simplement la décision antérieure. Un tel jugement ne pouvait donc faire l'objet d'un recours ordinaire en réforme ou en nullité. Il ne pouvait pas non plus faire l'objet d'un recours en réforme séparé au sens de l'art. 420 CPP/VD, parce que l'énumération des cas de recours figurant dans cette disposition était exhaustive. Il n'y avait pas là de lacune de la loi, car le condamné disposait encore, dans une telle hypothèse, de la faculté de déposer une nouvelle demande de relief à condition d'établir qu'il avait été empêché sans sa faute de se présenter à l'audience de reprise de cause. Le système prévu par le Code de procédure pénale, qui permet au contumax d'obtenir un premier relief sans devoir se prévaloir d'un empêchement, mais pose une telle exigence en cas de défaut à l'audience de relief, n'était, enfin, pas contraire à l'art. 6 CEDH. Une telle décision ne constituait pas non plus une décision prise postérieurement au jugement au sens de l'art. 482 CPP/VD. Enfin, l'entrée en matière sur le recours dans un tel cas aurait vidé de son sens l'institution de la deuxième requête de relief.
2.2 Dans ses écritures, le recourant développe essentiellement une argumentation relative aux conséquences de l'absence du condamné par défaut à l'audience de reprise de cause, respectivement au point de savoir s'il était en droit de ne pas comparaître et de se faire représenter par son conseil lors de cette audience. Cette argumentation est sans pertinence quant à la question de la recevabilité du recours cantonal, qui constitue, avec la question examinée au consid. 3 ci-dessous, le seul objet de la présente procédure. Il n'y a donc pas lieu d'examiner cette partie de l'argumentation du recourant, qui est irrecevable.
2.3 En ce qui concerne la question de la recevabilité de son recours cantonal, le recourant observe simplement, dans ses écritures, qu'aux termes de l'art. 420 f [recte: let. d] CPP/VD, un recours en réforme séparé pour fausse application de la loi ou abus du pouvoir d'appréciation est ouvert à la Cour de cassation contre toute décision rejetant ou déclarant irrecevable une demande de relief. Il en conclut qu'il serait ainsi évident que la cour cantonale est tombée dans l'arbitraire en déclarant irrecevable son recours.
2.3.1 Il est vrai que l'art. 420 let. d CPP/VD ouvre la voie d'un recours en réforme séparé contre « toute décision rejetant ou déclarant irrecevable une demande de relief [...] ». La let. d de l'art. 420 CPP/VD mentionne cependant immédiatement après « (art. 406) ». Cette dernière disposition, intitulée « recevabilité » dispose que s'il apparaît de prime abord que la demande de relief est mal fondée ou irrégulière, le président la rejette ou la déclare irrecevable et en informe le condamné (al. 1). Sinon, le président réappointe une audience en laquelle le tribunal statue sur la demande de relief et, s'il l'admet, reprend l'instruction de la cause dans son ensemble (al. 2). Le Code de procédure pénale vaudois traite cependant dans une disposition distincte des conséquences du défaut à l'audience de relief (art. 408 CPP/VD; v. supra consid. 2.1). Il s'ensuit - l'art. 420 let. d CPP/VD renvoyant expressément à l'art. 406 CPP/VD mais non à l'art. 408 CPP/VD -, qu'en se bornant à invoquer le seul texte de l'art. 420 let. d CPP, le recourant ne démontre pas en quoi il serait arbitraire d'interpréter cette disposition de droit cantonal en ce sens qu'elle ouvre la voie du recours séparé contre la décision présidentielle visée par l'art. 406 al. 1 CPP/VD ou la décision du tribunal visée par l'art. 406 al. 2 CPP/VD, mais en tout cas à l'exclusion de toute critique relative à l'application de l'art. 408 CPP/VD. Le grief est infondé.
2.3.2 Pour le surplus, le recourant ne développe aucune argumentation en relation avec la jurisprudence citée par la cour cantonale et ne tente pas non plus de démontrer que le droit constitutionnel fédéral ou le droit conventionnel imposeraient une interprétation différente de ces dispositions en ce sens que le recours cantonal contre une décision rendue en application de l'art. 408 CPP/VD serait recevable. Il ne développe, en particulier, aucune argumentation en relation avec la garantie de l'art. 32 al. 3 Cst., si bien qu'il n'y a pas lieu d'examiner la cause sous cet angle (<ref-law>).
2.4 Il résulte de ce qui précède que le recours est irrecevable dans la mesure où les griefs soulevés ont trait à la décision de première instance. Il l'est également dans la mesure où le recourant conteste que l'indemnité versée à son conseil d'office pour la procédure de première instance a été mise à sa charge. Il ressort en effet du dossier cantonal que le recourant a exclusivement formé un recours cantonal en nullité fondé sur l'art. 411 let. g CPP/VD. Or, conformément à l'art. 439 CPP/VD, d'une part, saisie d'un tel recours, la cour cantonale n'examine que les moyens soulevés et, conformément à l'art. 415 al. 2 CPP/VD, d'autre part, c'est le recours en réforme prévu par l'art. 410 CPP/VD qui est ouvert pour se plaindre de la violation des règles de procédure concernant les frais et dépens (v. sur ce point arrêt X. c. Ministère public du canton de Vaud du 5 décembre 2008, 6B_611/2008 consid. 2.2 et 2.3, destiné à la publication aux ATF). Le recourant reconnaissant lui-même dans ses écritures n'avoir soulevé aucun moyen sur la question des frais de première instance, il ne démontre pas avoir épuisé les voies de droit cantonales (v. supra consid. 2). Le recours est, pour le surplus et dans la mesure des griefs valablement soulevés, infondé sur la question de la recevabilité du recours cantonal (v. supra consid. 2.3).
3. Le recourant conteste encore expressément le chiffre II du dispositif de l'arrêt cantonal en tant que l'indemnité allouée à son défenseur d'office, par 387 fr. 35 a été mise à sa charge au même titre que d'autres frais d'arrêt. Il se prévaut des art. 29 al. 3 Cst. et 6 par. 3 let. c CEDH en relevant que ces deux dispositions garantissent expressément la gratuité de l'assistance d'un avocat. Il soutient que cette garantie ne serait pas respectée par la mise à sa charge des frais de sa défense d'office à l'issue de la procédure.
3.1 Aux termes du considérant 3 de l'arrêt cantonal, les frais d'arrêt, y compris l'indemnité allouée au défenseur d'office du recourant, ont été mis à sa charge en application de l'art. 450 al. 1 CPP/VD.
Dans un arrêt récent, la cour de céans, examinant cette même question, a jugé que ni l'art. 29 al. 3 Cst., ni l'art. 6 par. 3 let. c CEDH n'imposaient une renonciation définitive de l'Etat au remboursement par le bénéficiaire de l'assistance judiciaire des frais avancés au titre de la défense d'office. Ces dispositions ne s'opposaient pas non plus à ce que le montant de ces frais soit fixé dans le dispositif de la décision et à ce que cette dernière statue sur le principe de l'obligation de rembourser. En revanche, la garantie constitutionnelle déduite de l'art. 29 al. 3 Cst. impose que le remboursement ne puisse être poursuivi par voie d'exécution forcée aussi longtemps que la situation économique de l'intéressé ne lui permet pas de s'en acquitter (arrêt X. c. Ministère public du canton de Vaud, du 5 décembre 2008, 6B_611/2008, consid. 2 destiné à la publication aux ATF).
3.2 En l'espèce, le chiffre II du dispositif de la décision entreprise met inconditionnellement à la charge du recourant l'indemnité allouée à son défenseur d'office par 387 fr. 50. Ainsi formulé, ce point du dispositif permettrait donc en principe d'entreprendre le recouvrement de ce montant par voie d'exécution forcée, cependant que la motivation de l'arrêt entrepris ne permet pas de déterminer pour quelles raisons le recourant ne pourrait plus invoquer en sa faveur la garantie de l'art. 29 al. 3 Cst. On ignore en effet concrètement qu'elle était, à l'issue de cette procédure, sa situation économique. On ignore de même si la pratique des autorités cantonales offre des garanties que l'exécution forcée des frais ainsi mis à charge ne soit pas entreprise tant qu'il n'est pas établi que l'intéressé dispose des moyens nécessaires. Il convient donc d'annuler l'arrêt cantonal sur ce point - mais non en ce qui concerne les autres frais de la procédure - et de renvoyer la cause à l'autorité cantonale afin qu'elle examine à nouveau la question du sort de ces frais à l'aune des principes dégagés dans l'arrêt précité. Si la cour cantonale entend maintenir une condamnation inconditionnelle au paiement de ces frais, il lui incombera d'exposer les raisons justifiant de retirer au recourant le bénéfice de l'assistance judiciaire ou d'expliquer quelles garanties offertes par le droit cantonal permettraient d'exclure que le recouvrement soit effectivement entrepris malgré cette condamnation inconditionnelle aussi longtemps que la situation économique du recourant ne s'est pas améliorée. Hors de ces hypothèses, la cour cantonale examinera s'il y a lieu de renoncer purement et simplement à ces frais ou de soumettre l'obligation de rembourser statuée dans le dispositif à une condition (cf., par exemple, <ref-law>).
4. Le recourant obtient très partiellement gain de cause. Il peut prétendre une indemnité de dépens réduite (<ref-law>). La demande d'assistance judiciaire est sans objet dans cette mesure. Pour le surplus, en tant qu'il portait sur les questions relatives au relief du défaut et à la recevabilité du recours cantonal, le recours en matière pénale, largement irrecevable, était d'emblée dénué de chances de succès. La demande d'assistance judiciaire est rejetée dans cette mesure (<ref-law>). Le recourant supporte des frais réduits en raison de l'issue du recours et de sa situation financière qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).
La requête de restitution de l'effet suspensif est sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis partiellement.
2. Le chiffre II du dispositif de l'arrêt entrepris est annulé en ce qui concerne la somme de 387 fr. 35 correspondant à l'indemnité allouée au défenseur d'office du recourant et la cause est renvoyée à l'autorité cantonale afin qu'elle rende une nouvelle décision au sens des considérants qui précèdent. Le recours est rejeté pour le surplus dans la mesure où il est recevable.
3. La requête d'assistance judiciaire est rejetée dans la mesure où elle n'est pas sans objet.
4. Les frais judiciaires, arrêtés à 800 francs, sont mis à la charge du recourant.
5. Le canton de Vaud versera au conseil du recourant une indemnité de dépens arrêtée à 1000 francs.
6. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour de cassation pénale.
Lausanne, le 15 décembre 2008
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Le Greffier:
Schneider Vallat