Faits :
A.
Par jugement du 17 décembre 2010, confirmé par arrêt de la Cour de cassation pénale du Tribunal cantonal vaudois le 26 septembre 2011, puis par arrêt de la Cour de droit pénal du Tribunal fédéral du 18 avril 2012 (6B_1/2012), le Tribunal de police de l'arrondissement de Lausanne a condamné X._ pour violation d'une obligation d'entretien à une peine pécuniaire de 160 jours-amende à 40 fr. le jour, avec sursis pendant 4 ans, à condition que le condamné s'acquitte régulièrement et ponctuellement de l'obligation d'entretien fixée par le Juge civil.
B.
B.a. Par ordonnance du 11 février 2014, le Juge d'application des peines a révoqué le sursis octroyé à X._ par jugement du 17 décembre 2010, faute pour ce dernier de s'être acquitté des contributions d'entretien dues, et a ordonné l'exécution de la peine pécuniaire de 160 jours-amende à 40 fr. le jour et a mis les frais à sa charge.
L'ordonnance, mentionnant les voies de droit, a été notifiée par pli recommandé à son défenseur d'office le 12 février 2014. Par sceau du 27 février 2014, le Juge d'application des peines a attesté que l'ordonnance était définitive et exécutoire, faute de recours interjeté dans le délai légal.
B.b. Ayant reçu le 29 avril 2014, à son domicile privé en Grande-Bretagne, un courrier de l'Office d'exécution des peines l'invitant à s'acquitter de la peine pécuniaire de 6'400 fr. ensuite de la révocation du sursis, le recourant a saisi le Juge d'application des peines d'une demande de restitution du délai de recours contre l'ordonnance du 11 février 2014. Cette demande, reçue le 14 mai 2014, a été transmise à la Chambre des recours pénale du Tribunal cantonal vaudois comme objet de sa compétence. Par décision du 6 juin 2014, la demande de restitution de délai a été rejetée dans la mesure où elle était recevable.
C.
X._ forme un recours en matière pénale contre la décision du 6 juin 2014 et conclut à l'annulation de la décision de la Juge d'application des peines du 11 février 2014. Il sollicite l'assistance judiciaire.

Considérant en droit :
1.
La conclusion du recourant visant à l'annulation de l'ordonnance de la Juge d'application des peines se révèle irrecevable, faute d'épuisement des voies de droit cantonales (cf. <ref-law>).
Compte tenu du contexte et des arguments développés dans le mémoire de recours, on comprend toutefois que le recourant, agissant en personne, entend obtenir l'annulation de la décision cantonale du 6 juin 2014, laquelle rejette, dans la mesure de sa recevabilité, la demande de restitution du délai de recours contre l'ordonnance précitée.
Cela étant, il ne sera pas entré en matière sur les griefs dirigés contre l'ordonnance de la Juge d'application des peines (cf. mémoire de recours ch. 5 et 7). Il en sera de même s'agissant des critiques opposées aux arrêts rendus par la Cour pénale du Tribunal fédéral (cf. mémoire de recours ch. 6) les 19 juillet 2011 (6B_264/2011) et 18 avril 2012 (6B_1/2012), seule la voie de la révision étant le cas échéant ouverte contre ceux-ci, à certaines conditions (cf. <ref-law>).
2.
Le recourant reproche à la cour cantonale d'avoir tenu un raisonnement illogique et partial en déclarant irrecevable sa demande de restitution de délai. Il estime par ailleurs que son défaut est dû au fait qu'il n'a jamais reçu l'ordonnance litigieuse, laquelle lui a été envoyée par son défenseur à une fausse adresse, comme cela ressortirait de la lettre d'accompagnement de son avocate du 13 février 2014.
On comprend de son argumentation qu'il fait valoir une violation de l'art. 94 al. 1 et 2 CPP.
2.1. Selon l'<ref-law>, une partie peut demander la restitution d'un délai imparti pour accomplir un acte de procédure si elle a été empêchée de l'observer et si elle est de ce fait exposée à un préjudice important et irréparable. Elle doit toutefois rendre vraisemblable que le défaut n'est imputable à aucune faute de sa part (al. 1). Une telle demande, dûment motivée, doit être adressée par écrit dans les 30 jours à compter de celui où l'empêchement a cessé, à l'autorité auprès de laquelle l'acte de procédure aurait dû être accompli et l'acte de procédure omis doit être répété durant ce délai (al. 2).
Les conditions formelles consistent donc à former une demande de restitution ainsi qu'à entreprendre l'acte de procédure omis dans le délai légal, d'une part, et à justifier d'un préjudice important et irréparable, d'autre part. Si les conditions de forme ne sont pas réalisées, l'autorité compétente n'entre pas en matière sur la demande de restitution ( CHRISTOPH RIEDO, in: Basler Kommentar, Schweizerische Strafprozessordnung, 2ème éd. 2014, n° 68 ad <ref-law>).
Matériellement, l'intéressé doit avoir été empêché d'agir sans sa faute. Selon la jurisprudence, hormis les cas de grossière erreur de l'avocat, en particulier lors d'une défense obligatoire, le comportement fautif de ce dernier est imputable à son client (cf. arrêts 1B_250/2012 du 31 juillet 2012 consid. 2.3; 6B_60/2010 du 12 février 2010 consid. 2; sur le comportement fautif du tiers et du défenseur, cf. Christoph Riedo, op. cit., n° 42 ss ad <ref-law>).
2.2. La cour cantonale a d'abord constaté la régularité de la notification de l'ordonnance du 11 février 2014 au défenseur d'office du recourant, nommé pour la procédure de révocation du sursis.
Elle a ensuite déclaré la demande de restitution de délai irrecevable, faute pour le recourant d'avoir interjeté un recours contre l'ordonnance litigieuse, dans le délai prévu à l'<ref-law>, celui-ci s'étant contenté d'une demande de restitution.
Dans une motivation subsidiaire, la cour cantonale a considéré que le recourant ne pouvait se prévaloir d'aucun empêchement non fautif au sens de l'<ref-law>, de sorte qu'elle a rejeté la demande de restitution de délai. Il ressortait des documents versés à la procédure que l'ordonnance avait été envoyée le 13 février 2014 au recourant par son défenseur d'office, accompagnée d'une lettre lui demandant s'il entendait recourir. L'absence de faute du recourant, qui invoquait une probable erreur d'adresse en Grande-Bretagne, n'a pas été retenue puisque cela impliquait, soit qu'il n'avait pas pris la peine de donner une adresse correcte et utilisable à son défenseur, soit que ce dernier n'avait pas pris les mesures nécessaires pour lui adresser le courrier. Dans les deux hypothèses, la faute lui était imputable.
2.3. A titre préliminaire, force est de constater que le recourant se méprend lorsqu'il déduit du jugement entrepris qu'il aurait formé un recours dans le délai de 30 jours dès la fin de l'empêchement, tout en omettant de demander la restitution, puisque c'est précisément l'inverse qui a été retenu.
Par ailleurs, il ressort de l'état de fait cantonal, non contesté à cet égard, que l'empêchement invoqué a cessé le 29 avril 2014, lorsque le recourant a pris connaissance du contenu de l'ordonnance litigieuse. Au 30 mai 2014, il n'avait pas interjeté de recours contre la décision. Or l'absence de répétition de l'acte omis - à savoir le recours contre l'ordonnance du 11 février 2014 -, dans les 30 jours à compter de celui où l'empêchement a cessé, suffit à déclarer irrecevable la demande de restitution au sens de l'<ref-law>. Le jugement entrepris ne prête pas flanc à la critique sur ce point, de sorte qu'il n'y a pas lieu d'examiner les griefs dirigés contre le rejet de la demande de restitution.
3.
Le recourant invoque l'arbitraire (cf. art. 9 Cst.), la violation du droit à un recours effectif et du droit d'être entendu (cf. art. 29 Cst.; art. 6 et 13 CEDH; art. 3 al. 2 let. c CPP) et se plaint de la partialité des juges (cf. art. 30 al. 1 Cst. et art. 6 par. 1 CEDH). Or la recevabilité de tels griefs suppose l'articulation de critiques circonstanciées (<ref-ruling> consid. 3 p. 105), claires et précises, répondant aux exigences de motivation accrues déduites de l'<ref-law> (<ref-ruling> consid. 1.4 p. 287). Faute de répondre à ces exigences, ses critiques sont irrecevables.
4.
Le recourant succombe. Ses conclusions étaient dénuées de chances de succès. L'assistance judiciaire doit être refusée (<ref-law>). Il supporte les frais de la procédure, qui seront fixés en tenant compte de sa situation économique, qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 17 décembre 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge présidant : Denys
La Greffière : Boëton