Faits :
A.
Par ordonnance pénale du 16 mars 2012, le Ministère public de l'arrondissement de La Côte a reconnu X._ coupable d'infraction et de contravention à la LStup et d'infraction à la LEtr et l'a condamné à 90 jours-amende, le montant du jour-amende étant fixé à 10 fr., avec sursis pendant 2 ans, ainsi qu'à une amende de 400 fr., convertible en 40 jours de peine privative de liberté de substitution en cas de non-paiement fautif.
B.
X._ a formé opposition contre cette ordonnance pénale le 1 er avril 2014. Par prononcé du 15 juillet 2014, le Tribunal de police de l'arrondissement de La Côte a déclaré l'opposition irrecevable pour tardiveté.
C.
Par arrêt du 24 juillet 2014, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours de X._ contre le prononcé précité. Elle a également rejeté la demande d'assistance judiciaire formée par ce dernier, au motif que le recours était d'emblée dénué de chances de succès.
D.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt, concluant, avec suite de frais et dépens, à son annulation et au renvoi de la cause à la cour cantonale pour nouvelle décision. Il sollicite par ailleurs l'assistance judiciaire.
Invitée à se déterminer sur le recours, la cour cantonale a précisé sa jurisprudence en matière de désignation d'un défenseur d'office et s'est, pour le surplus, référée aux considérants de son arrêt. Le ministère public a renoncé à déposer des déterminations et s'est également référé à l'arrêt cantonal.

Considérant en droit :
1.
Le recourant fait grief à la cour cantonale d'avoir commis un déni de justice en n'examinant pas la conformité de l'<ref-law> avec les garanties offertes par l'art. 6 CEDH.
1.1. Selon la jurisprudence, commet un déni de justice formel et viole l'art. 29 al. 1 Cst. l'autorité qui ne statue pas ou n'entre pas en matière sur un recours ou un grief qui lui est soumis dans les formes et délai légaux, alors qu'elle était compétente pour le faire (<ref-ruling> consid. 2.1 p. 9; <ref-ruling> consid. 2.3 p. 232).
1.2. La cour cantonale a jugé que le fait que le recourant ait ou non reçu l'ordonnance pénale à l'adresse de son amie était sans incidence sur la tardiveté de son opposition. Elle a considéré que même en admettant que l'ordonnance n'ait pas été valablement notifiée à l'adresse de son amie, il y avait lieu de relever que le recourant était sans domicile en Suisse et n'y avait pas désigné de domicile de notification, alors même que son attention avait été attirée sur ce fait par le biais d'un document qu'il avait signé lors de son audition du 16 septembre 2010. Par ailleurs, il savait qu'une procédure pénale était ouverte à son encontre. Partant, la cour cantonale a relevé que l'art. 88 al. 1 let. c CPP était réalisé et que dès lors la fiction de notification de l'<ref-law> était applicable au cas d'espèce.
L'arrêt attaqué ne contient aucune motivation sur la problématique d'une application et d'une interprétation conformes de l'<ref-law> avec l'art. 6 CEDH, alors même que le recourant avait expressément soulevé ce grief dans son recours. L'examen d'un tel grief implique notamment d'examiner si le ministère public a accompli toutes les démarches en vue de déterminer le lieu de séjour du recourant (cf. arrêt 6B_738/2011 du 20 mars 2012 consid. 3.3). En ne traitant pas ce grief, la cour cantonale a violé l'art. 29 al. 1 Cst., de sorte que le recours doit être admis.
2.
Le recourant reproche encore à la cour cantonale une violation des art. 132 et 133 CP. Il soutient que sa cause n'était pas d'emblée dénuée de chances de succès, la question de la notification d'une décision étant "délicate".
En l'espèce, la cour cantonale a rejeté la requête de désignation d'un défenseur d'office pour la procédure de recours au motif que celui-ci était "d'emblée dénué de chances de succès". L'issue du présent recours atteste que cela n'est pas le cas. Il appartiendra en conséquence à la cour cantonale de désigner le conseil du recourant en qualité de défenseur d'office au sens de l'<ref-law> et de lui allouer une indemnité de deuxième instance.
3.
Le recours doit être admis, l'arrêt attaqué doit être annulé et la cause doit être renvoyée à la cour cantonale pour nouvelle décision. Il ne sera pas perçu de frais judiciaires (art. 66 al. 1 et 4 LTF). Le recourant a droit à des dépens à la charge du canton de Vaud (<ref-law>). Cela rend sans objet sa demande d'assistance judiciaire.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera à l'avocat du recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 19 août 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Bichovsky Suligoj