Faits : A. Par ordonnance pénale du 11 juillet 2013, le Ministère public de l'arrondissement de l'Est vaudois a condamné X._ pour violation des règles de la circulation et ivresse au volant qualifiée à une peine privative de liberté de 120 jours. Cette décision a été adressée par pli recommandé avec accusé de réception à X._. Le pli, non réclamé, est revenu en retour au Ministère public le 26 juillet 2013. Le même jour, ce dernier a réexpédié l'ordonnance à son destinataire par pli simple, en précisant expressément que l'envoi en question ne faisait pas courir un nouveau délai de recours ou d'opposition. Le 30 juillet 2013, X._ a fait opposition à l'ordonnance du 11 juillet 2013. B. Par prononcé du 13 août 2013, le Président du Tribunal d'arrondissement de l'Est vaudois a déclaré l'opposition irrecevable, car tardive. C. Par arrêt du 18 septembre 2013, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a déclaré irrecevable la demande de restitution formée par X._ et a rejeté le recours formé contre le prononcé du 13 août 2013 par ce dernier. D. X._ forme un recours en matière pénale au Tribunal fédéral. Il conclut, avec suite de frais et dépens, à la réforme de l'arrêt du 18 septembre 2013 en ce sens que l'opposition est admise et l'affaire est renvoyée au Ministère public pour qu'il instruise la cause. Subsidiairement, il requiert l'annulation de cet arrêt et le renvoi de la cause à l'autorité cantonale pour nouveau jugement dans le sens des considérants. Il sollicite l'assistance judiciaire.