Faits :
A.
Par ordonnance pénale du 11 juillet 2013, le Ministère public de l'arrondissement de l'Est vaudois a condamné X._ pour violation des règles de la circulation et ivresse au volant qualifiée à une peine privative de liberté de 120 jours.
Cette décision a été adressée par pli recommandé avec accusé de réception à X._. Le pli, non réclamé, est revenu en retour au Ministère public le 26 juillet 2013. Le même jour, ce dernier a réexpédié l'ordonnance à son destinataire par pli simple, en précisant expressément que l'envoi en question ne faisait pas courir un nouveau délai de recours ou d'opposition.
Le 30 juillet 2013, X._ a fait opposition à l'ordonnance du 11 juillet 2013.
B.
Par prononcé du 13 août 2013, le Président du Tribunal d'arrondissement de l'Est vaudois a déclaré l'opposition irrecevable, car tardive.
C.
Par arrêt du 18 septembre 2013, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a déclaré irrecevable la demande de restitution formée par X._ et a rejeté le recours formé contre le prononcé du 13 août 2013 par ce dernier.
D.
X._ forme un recours en matière pénale au Tribunal fédéral. Il conclut, avec suite de frais et dépens, à la réforme de l'arrêt du 18 septembre 2013 en ce sens que l'opposition est admise et l'affaire est renvoyée au Ministère public pour qu'il instruise la cause. Subsidiairement, il requiert l'annulation de cet arrêt et le renvoi de la cause à l'autorité cantonale pour nouveau jugement dans le sens des considérants. Il sollicite l'assistance judiciaire.

Considérant en droit :
1.
Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>) à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4 p. 313). A l'instar de toute violation de droits fondamentaux, le grief d'arbitraire doit être invoqué et motivé de manière précise (<ref-law>; <ref-ruling> consid. 2.2 p. 232).
Le recourant allègue de nombreux faits ne ressortant pas de l'arrêt attaqué, sans invoquer l'arbitraire de leur omission. Il n'en sera pas tenu compte, pas plus que les moyens que le recourant fonde sur de tels faits (<ref-ruling> consid. 2 p. 83).
2.
2.1. En vertu de l'<ref-law>, le prévenu peut former opposition à une ordonnance pénale par écrit dans les dix jours (al. 1). Son opposition n'a pas à être motivée (al. 2). Si aucune opposition n'est valablement formée, l'ordonnance pénale est assimilée à un jugement entré en force (al. 3).
Aux termes de l'<ref-law>, un prononcé est réputé notifié lorsque, expédié par recommandé, il n'a pas été retiré dans les sept jours à compter de la tentative infructueuse de remise du pli, si la personne concernée devait s'attendre à une telle remise (sur cette disposition, cf. arrêts 6B_314/2012 du 18 février 2013 consid. 1.2 s.; 6B_281/2012 du 9 octobre 2012 consid. 1.1; également cf. <ref-ruling> consid. 4 p. 51 s.; <ref-ruling> consid. 1.2.3 p. 399).
2.2. Le recourant se savait prévenu dans une procédure pénale (recours, p. 12 et pièce 4) pour des faits remontant à mars 2013. Il devait donc s'attendre à la notification d'une ordonnance pénale (<ref-ruling> consid. 1.2.3 p. 399 et arrêt 6B_281/2012 précité consid. 1.1). Le recourant ne conteste pas avoir reçu l'avis par lequel la poste l'avisait avoir tenté de lui remettre un pli recommandé et qu'il était désormais invité à retirer ce pli à l'office postal (recours, p. 3 ch. 8). Dans ces circonstances, il pouvait être retenu que l'ordonnance pénale avait été notifiée à l'échéance du délai de sept jours à compter de la tentative infructueuse de remise du pli, soit le 19 juillet 2013. Dès lors l'opposition, formulée le 30 juillet 2013, l'était après l'échéance du délai d'opposition de 10 jours. Elle était donc tardive, soit irrecevable.
3.
Le recourant invoque la protection de la bonne foi garantie notamment par l'art. 9 Cst. Il aurait en effet pensé qu'il disposait de dix jours pour faire opposition, à compter de la réception le 27 juillet 2013 du courrier du ministère public du 26 juillet 2013 contenant une copie de l'ordonnance pénale du 11 juillet 2013.
Le pli du 26 juillet 2013 indiquait expressément que l'envoi ne faisait pas courir un nouveau délai de recours ou d'opposition. Le recourant ne saurait donc en tirer un quelconque argument. Il ne s'agit pas d'une nouvelle notification faisant courir un nouveau délai.
4.
Le recourant estime que l'autorité précédente en considérant son opposition comme tardive car formulée un jour après l'échéance du délai d'opposition aurait fait preuve de formalisme excessif.
L'application stricte des règles sur les délais de recours ne relève pas d'un formalisme excessif, mais se justifie dans l'intérêt d'un bon fonctionnement de la justice et de la sécurité du droit (cf. <ref-ruling> consid. 3 p. 5). Il en va de même du délai d'opposition à une ordonnance pénale (dans ce sens, cf. arrêt 6B_57/2012 du 8 mai 2012 consid. 2.1). Le grief est infondé. Il l'est d'autant plus que le ministère public, à réception du pli non réclamé reçu en retour contenant l'ordonnance pénale, avait adressé copie de celle-ci, une seconde fois au recourant, dans le délai d'opposition, en attirant son attention sur le fait que l'envoi ne faisait pas courir un nouveau délai d'opposition.
5.
Le recourant se plaint d'une violation de son droit à un procès équitable, garanti notamment par l'art. 6 al. 1 CEDH, de même que de "son droit à être traduit devant un tribunal répondant à toutes les exigences des art. 5 et 6 CEDH" (recours p. 12).
De tels griefs n'ont pas été traités par l'autorité précédente, sans que le recourant n'invoque de déni de justice à cet égard. Ils sont irrecevables, faute d'épuisement des instances précédentes (art. 80 al. 1 et 2 LTF; arrêt 6B_1104/2013 du 5 juin 2014 consid. 2.1.1).
6.
Le recours doit être rejeté dans la mesure où il est recevable. Les conclusions sont manifestement dénuées de chance de succès. La demande d'assistance judiciaire est rejetée (<ref-law> a contrario). Le recourant supportera les frais de justice (art. 65 al. 2 et art. 66 al. 1 LTF), étant précisé qu'au vu des pièces produites il n'a pas établi la précarité de sa situation.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 8 septembre 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : La Greffière :
Mathys Cherpillod