Faits : A. Le 10 mars 2017, à B._, X._ a notamment traité A._ de " saloperie " et de " crevure ". Il lui a encore dit qu'il le crèverait et lui a craché dessus à plusieurs reprises. Ensuite de ces faits, A._ a déposé plainte contre X._. Par ordonnance pénale du 20 juillet 2017, le Ministère public de l'arrondissement de l'Est vaudois a déclaré X._ coupable de voies de fait, injure et menace, l'a condamné à une peine pécuniaire de 45 jours-amende à 30 fr. le jour ainsi qu'à une amende de 300 fr. convertible en 10 jours de peine privative de liberté de substitution en cas de non-paiement fautif, a renvoyé A._ à agir devant le juge civil et a mis les frais de procédure, par 525 fr., à la charge de X._. B. En date du 6 août 2017, X._ a formé opposition contre dite ordonnance pénale. Par avis du 16 août 2017, le ministère public a déclaré maintenir son ordonnance pénale et a transmis le dossier de la cause au Tribunal de police en vue des débats. Par pli recommandé du 17 août 2017, X._ a été cité à comparaître le 17 octobre 2017 pour être entendu dans le cadre de son opposition devant le Tribunal de police. Cette citation mentionnait qu'en son absence, l'opposition serait réputée retirée et l'ordonnance pénale déclarée exécutoire. Elle fixait de surcroît à X._ un délai au 1er septembre 2017 pour formuler et motiver d'éventuelles réquisitions de preuves. La citation a été retournée au greffe du Tribunal le 31 août 2017 avec la mention " non réclamée ". Le même jour, elle a été adressée à nouveau à X._ sous pli simple. A cette occasion, le tribunal l'a averti que le pli adressé en date du 17 août précédent était considéré comme valablement notifié et que cet envoi par pli simple ne faisait pas courir de nouveaux droits. En date du 27 septembre 2017, X._ a été informé par courrier du tribunal que l'un des deux agents de police dont l'audition avait été requise par la partie plaignante serait convoqué à l'audience du 17 octobre 2017. Par lettre du 11 octobre 2017, X._ a déclaré que dans la mesure où la partie plaignante avait sollicité l'audition de deux témoins (deux agents de police), il demandait à son tour que ces témoins soient entendus à l'audience, à défaut de quoi il en sollicitait le report " jusqu'à ce que cette élémentaire équité soit satisfaite ". Par lettre du 16 octobre 2017, X._ a indiqué qu'il n'avait pas reçu de réponse à son courrier du 11 écoulé et que cette situation était probablement due à son récent changement d'adresse. Il a ajouté que sans nouvelles de la part du tribunal jusqu'au lendemain, il en déduisait que l'audience avait été renvoyée. Ce courrier a été reçu au greffe du tribunal le 18 octobre 2017. X._ ne s'est pas présenté à l'audience du 17 octobre 2017. Par prononcé du même jour, le Tribunal de police a constaté que X._ avait fait défaut aux débats sans être excusé, que son opposition à l'ordonnance pénale du 20 juillet 2017 était réputée retirée et dit que cette ordonnance était définitive et exécutoire. C. Statuant sur recours de X._, la Chambre des recours pénale du Tribunal cantonal vaudois l'a rejeté et confirmé le prononcé entrepris par arrêt du 27 décembre 2017. D. X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt de la Chambre des recours pénale du Tribunal cantonal vaudois du 27 décembre 2017. Il conclut, en substance, à l'annulation de l'arrêt entrepris et au renvoi de la cause à l'autorité de première instance pour instruction et jugement. Il sollicite également l'octroi de l'assistance judiciaire.