Faits :
A.
A.a. Par ordonnance pénale du 26 mai 2016, le Ministère public de l'arrondissement de Lausanne a condamné X._ à 180 jours-amende à 20 fr. le jour, ainsi qu'à une amende de 300 fr. convertible en une peine privative de liberté de 3 jours en cas de non-paiement fautif, pour menaces qualifiées, contrainte, violation de domicile et vol d'importance mineure.
X._ n'a pas réagi dans le délai d'opposition.
A.b. Par courriers de son conseil du 29 juin 2017, adressés au Ministère public de l'arrondissement de Lausanne, X._ a formulé une requête en restitution de délai et formé opposition à l'ordonnance pénale dans l'hypothèse où le délai lui serait restitué.
A l'appui de sa requête en restitution de délai, il a invoqué " un effondrement psychique ", ayant entraîné un retrait de toute vie sociale, et a produit un certificat médical daté du 14 juin 2017, faisant état d'un trouble dépressif sévère et d'une amélioration depuis début juin 2017.
A.c. Le 27 juillet 2017, considérant que X._ n'avait pas rendu vraisemblable qu'il souffrait d'un trouble dépressif sévère qui l'aurait empêché de faire opposition à l'ordonnance pénale du 26 mai 2016, le ministère public a rejeté la demande de restitution de délai de X._ (<ref-law>).
B.
Statuant sur recours de X._, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté celui-ci le 8 novembre 2017, considérant que les conditions matérielles de l'<ref-law> n'étaient pas réalisées.
C.
Contre cet arrêt, X._ forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut, avec suite de frais et dépens, principalement à ce que l'arrêt du 8 novembre 2017 soit réformé, en ce sens que sa demande de restitution de délai est admise. Subsidiairement, il conclut à l'annulation de l'arrêt cantonal et à son renvoi à la Chambre des recours pénale ou à la juridiction de première instance pour qu'elle rende une décision dans le sens des considérants. Il sollicite également l'assistance judiciaire.

Considérant en droit :
1.
Le recours en matière pénale (<ref-law>) est recevable contre les décisions de dernière instance cantonale (<ref-law>) qui mettent fin à la procédure (<ref-law>). L'arrêt attaqué est une décision finale, puisqu'il refuse la restitution du délai pour former opposition à une ordonnance pénale et entraîne de la sorte l'entrée en force de celle-ci (<ref-law>; arrêt 6B_311/2015 du 30 juin 2015 consid. 1). Le recours est donc recevable.
2.
Le recourant se plaint d'une violation de son droit d'être entendu sous l'angle du défaut de motivation. Il estime que la motivation sommaire de l'arrêt cantonal ne permet pas de comprendre clairement quelle condition matérielle de l'<ref-law> n'est pas réalisée.
2.1. Le droit d'être entendu, garanti par l'art. 29 al. 2 Cst., implique notamment pour l'autorité l'obligation de motiver sa décision, afin que le destinataire puisse la comprendre, l'attaquer utilement s'il y a lieu et que l'autorité de recours puisse exercer son contrôle. Pour répondre à ces exigences, il suffit que l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 5.1 p. 237; <ref-ruling> consid. 4.2 p. 355; <ref-ruling> consid. 4.1 p. 88). La motivation peut pour le reste être implicite et résulter des différents considérants de la décision (arrêt 6B_101/2011 du 14 février 2012 consid. 3.1).
2.2. En l'espèce, la cour cantonale a considéré que sur la seule base du certificat médical du 14 juin 2017, il n'était pas établi que le recourant était totalement incapable, un an plus tôt, d'adresser une simple lettre d'opposition non motivée au ministère public. Cette motivation, certes succincte, ne laisse cependant planer aucun doute quant au motif retenu par l'instance précédente pour rejeter la demande de restitution de délai du recourant, à savoir que celui-ci n'a pas rendu vraisemblable que son empêchement de faire opposition n'était pas fautif. Cette motivation est suffisante sous l'angle du droit d'être entendu, étant rappelé que le jugement forme un tout et que l'on admet que le juge garde à l'esprit l'ensemble des éléments qui y figurent (cf. parmi de nombreux arrêts: 6B_111/2015 du 3 mars 2016 consid. 2.7; 6B_532/2012 du 8 avril 2013 consid. 6.1); il en va ainsi en l'espèce, puisque le consid. B de l'arrêt attaqué mentionne le fait que le ministère public a retenu que le recourant n'avait pas rendu vraisemblable qu'il souffrait d'un trouble dépressif sévère qui l'aurait empêché de faire opposition à l'ordonnance pénale du 26 mai 2016. Au demeurant, il ressort des motifs du recours que le recourant a compris le sens de l'arrêt cantonal dans la mesure où il le critique de façon complète. Le grief tiré du défaut de motivation doit donc être rejeté.
3.
Le recourant invoque une violation de l'<ref-law>. Il expose qu'il souffrait de dépression sévère au moment d'agir, qui l'aurait empêché de former opposition dans le délai. Les conditions matérielles de cette disposition seraient selon lui réalisées.
3.1. Aux termes de l'<ref-law>, une partie peut demander la restitution du délai si elle a été empêchée de l'observer et qu'elle est de ce fait exposée à un préjudice important et irréparable. Elle doit toutefois rendre vraisemblable que le défaut n'est imputable à aucune faute de sa part.
Selon la jurisprudence, un accident ou une maladie peuvent constituer un empêchement non fautif et conduire à la restitution d'un délai, lorsqu'ils mettent la partie objectivement ou subjectivement dans l'impossibilité d'agir par soi-même ou de charger une tierce personne d'agir en son nom dans le délai. Doivent être pris en considération, pour déterminer si cette condition est remplie, l'époque à laquelle l'accident ou la maladie sont survenus ainsi que l'ampleur de l'atteinte à la santé (<ref-ruling> consid. 2a p. 87; <ref-ruling> consid. 2a p. 255).
3.2. L'autorité précédente a retenu que le recourant s'était apparemment retrouvé en plein désarroi après sa rupture conjugale, mais, aussi grande sa souffrance ait pu être, il n'avait pas établi qu'il était totalement incapable, un an plus tôt, d'adresser une simple lettre d'opposition non motivée au ministère public. Les conditions de l'<ref-law> n'étaient donc pas réunies et, partant, la requête de restitution de délai du recourant devait être rejetée.
3.3. En l'espèce, le recourant a fourni un certificat médical attestant exclusivement que le médecin l'ayant signé a été consulté depuis le début de l'année 2017. Partant, la maladie du recourant n'est établie, par certificat médical, que depuis le 1 er janvier 2017. Il fait valoir que sa maladie était déjà présente au moment où il aurait dû former opposition; il n'en demeure pas moins qu'il n'a pas réussi à rendre vraisemblable, au moyen d'un certificat médical complémentaire par exemple, qu'il était déjà empêché d'agir à cause de sa maladie durant le délai légal d'opposition. Il n'invoque pas non plus que l'apport d'une telle preuve lui aurait été refusé devant le ministère public, respectivement la cour cantonale. Le grief du recourant est par ailleurs infondé lorsqu'il prétend que la phrase selon laquelle " il n'est pas établi que le recourant était totalement incapable " est incompréhensible. En effet, on comprend que la cour cantonale a voulu dire que le recourant n'a pas établi qu'il était malade au moment où il aurait dû faire opposition, et encore moins que cette maladie était telle qu'elle l'empêchait de formuler une simple déclaration d'opposition. Partant, force est ainsi de constater, à l'instar de la cour cantonale, que le recourant n'a pas rendu vraisemblable que son empêchement de faire opposition ne serait imputable à aucune faute de sa part.
Dans ces conditions, le refus d'octroyer au recourant la restitution du délai pour former opposition ne viole pas l'<ref-law>.
4.
Le recours doit être rejeté dans la mesure où il est recevable. Les conclusions étaient manifestement dénuées de chance de succès. La demande d'assistance judiciaire doit être rejetée (<ref-law> a contrario). Le recourant supportera les frais de justice (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 12 juin 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Bichovsky Suligoj