Faits:
A. Par décision du 4 juin 2009, l'Office d'exécution des peines du canton de Vaud a refusé de mettre X._ au bénéfice du régime de la semi-détention et des arrêts domiciliaires et l'a sommé de se présenter, le 17 juin 2009, aux Etablissements de Bellechasse. Par arrêt du 29 juillet 2009, le Juge d'application des peines a déclaré irrecevable le recours daté du 15 et déposé le 21 juillet 2009, interjeté contre cette décision.
B. Par lettre du 10 août 2009, adressée au Président de la Cour de cassation pénale du canton de Vaud, X._ a demandé la restitution du délai de recours contre la décision du 4 juin 2009. Statuant le 13 août suivant, le Président de la cour a rejeté la requête.
C. X._ forme un recours en matière pénale contre cet arrêt. Il conclut principalement à sa réforme en ce sens que le délai de cinq jours pour recourir contre la décision rendue le 4 juin 2009 lui soit restitué. A titre subsidiaire, il conclut à l'annulation de la décision querellée et au renvoi de la cause à l'autorité cantonale pour nouvelle décision au sens des considérants. Il requiert, par ailleurs, l'effet suspensif.
L'effet suspensif a été accordé à titre pré-provisionnel le 14 septembre 2009. Cette décision portait invitation à déposer des déterminations sur la requête et précisait que le silence du destinataire vaudrait acquiescement. Ni le Ministère public du canton de Vaud, ni l'autorité précédente ne s'y sont opposés.
Invités à déposer des observations sur le fond, le Tribunal cantonal et le Ministère public y ont renoncé en se référant aux considérants de la décision querellée.

Considérant en droit:
1. La décision entreprise porte rejet, en application de l'art. 138 CPP/VD, de la requête de restitution du délai de recours contre la décision du 4 juin 2009.
La violation du droit cantonal de procédure ne constitue pas un motif de recours (cf. <ref-law>). Son application peut toutefois être contestée sous l'angle de sa conformité au droit constitutionnel, l'art. 9 Cst. notamment. Un tel grief est soumis à des exigences de motivation accrues (<ref-law>).
1.1 Le recourant invoque l'application arbitraire de l'art. 138 CPP/VD ainsi que la violation du principe de la bonne foi (art. 5 Cst.) et de l'interdiction du déni de justice formel (art. 29 al. 1 Cst.). Il apparaît expédient d'examiner en premier lieu le grief déduit de l'interdiction de l'arbitraire. On renvoie, sur cette notion, aux principes maintes fois répétés par Tribunal fédéral (v. p. ex.: <ref-ruling> consid. 1.3 et les références p. 4 et 5; <ref-ruling> consid. 5.4 et les arrêts cités p. 148).
1.2 Conformément à l'art. 138 CPP/VD, la restitution d'un délai peut être obtenue si le requérant prouve qu'il a été empêché, sans sa faute, d'agir en temps utile.
1.2.1 En l'espèce, le Président de la cour cantonale n'a pas examiné la condition de l'absence de faute. Partant de la prémisse que le Juge d'application des peines avait statué sur le recours, il a considéré que la restitution du délai de recours remettrait en cause l'autorité de chose jugée de cette décision.
1.2.2 Par définition, la demande de restitution d'un délai de recours remet nécessairement en cause l'autorité d'une décision, qu'il s'agisse de celle de première instance lorsque le requérant prétend n'avoir pas été en mesure de recourir ou celle de seconde instance lorsque le recours interjeté a été déclaré irrecevable pour des questions de forme que le requérant soutient n'avoir pas été en mesure, sans sa faute, de respecter, par exemple en cas de défaut d'avance de frais. Il s'ensuit que la seule invocation de l'autorité de chose décidée ne permet pas de justifier le refus de restituer le délai de recours. Ainsi motivée, la décision entreprise ne repose sur aucun motif pertinent. Elle est arbitraire dans sa motivation.
Il ressort, par ailleurs, de la décision du juge d'application des peines que le recours formé contre la décision de l'Office d'exécution des peines du 4 juin 2009 a été déclaré irrecevable non seulement motif pris de sa tardiveté, mais aussi en raison du défaut de légitimation du signataire des écritures de recours, qui s'est révélé être le frère du recourant et non ce dernier (arrêt du Juge d'application des peines du 29 juillet 2009, p. 2). Dans ces conditions et en l'absence de toute démonstration de l'octroi de pouvoirs de représentation par le recourant à son frère, la décision d'irrecevabilité du Juge d'application des peines ne peut être opposée au recourant qui n'était pas partie à cette procédure. On ne peut que constater que le recourant n'a pas fait usage de la voie de droit ouverte contre la décision de l'office cantonal, de sorte que le Président du Tribunal cantonal ne pouvait se dispenser d'examiner si le recourant avait, sans sa faute, été empêché d'agir. Le recourant a, de la sorte, été privé sans justification raisonnable de la possibilité de faire examiner son droit à la restitution de ce délai. La décision entreprise est arbitraire dans son résultat également.
Pour le surplus, dès lors qu'il s'agit de l'application de règles cantonales de procédure, le Tribunal fédéral n'a pas à examiner si les conditions de la restitution du délai sont réalisées. Il convient, en conséquence, de renvoyer la cause à l'autorité cantonale afin qu'elle instruise cette question et qu'elle statue à nouveau.
2. Le recourant obtient gain de cause. Il n'y a pas lieu de prélever des frais (art. 66 al. 1 et 4 LTF). Le recourant peut prétendre des dépens à la charge du canton de Vaud (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. La décision entreprise est annulée et la cause renvoyée à l'autorité cantonale afin qu'elle l'instruise et qu'elle rende une nouvelle décision.
2. Il n'est pas prélevé de frais.
3. Le canton de Vaud versera en main du conseil du recourant la somme de 3000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et au Président de la Cour de cassation pénale du Tribunal cantonal vaudois.
Lausanne, le 26 novembre 2009
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Le Greffier:
Favre Vallat