Faits :
A.
Par ordonnance pénale du 5 juillet 2013, le Ministère public genevois a condamné X._, de nationalité algérienne et sans domicile connu, pour tentative de vol, violation de domicile et infraction à la LEtr à une peine privative de liberté de 6 mois, sous déduction d'un jour de détention avant jugement.
Par courrier du 12 juillet 2013, X._, indiquant pour domicile Z._, a formé opposition contre cette décision. Il sollicitait en outre la désignation d'un avocat d'office en la personne de Me A._.
Le Ministère public a convoqué par pli simple X._, à l'adresse que celui-ci lui avait indiquée, pour une audience sur opposition fixée au 23 août 2013.
Le 26 août 2013, le Ministère public a rendu une ordonnance constatant le défaut de X._ à l'audience et, par conséquent, le retrait de l'opposition.
B.
Statuant sur le recours formé par X._, la Chambre pénale de recours de la Cour de justice genevoise l'a rejeté par arrêt du 28 mars 2014.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt, concluant, avec suite de frais et dépens, à son annulation. Il sollicite en outre l'assistance judiciaire.
Invités à se déterminer sur le recours, la cour cantonale y a renoncé en se référant aux considérants de sa décision, et le Ministère public a conclu au rejet du recours.

Considérant en droit :
1.
Invoquant les art. 6 CEDH, 9, 29a, 36 al. 2 Cst., 85, 87, 201 et 352 ss 355 CPP, le recourant fait grief à la cour cantonale d'avoir retenu que son opposition à l'ordonnance pénale devait être considérée comme retirée.
1.1. Le recourant n'expose pas en quoi les normes constitutionnelles et conventionnelles qu'il mentionne lui conféreraient des garanties plus étendues que les dispositions du CPP évoquées ci-dessus. Sous cet angle, son grief est insuffisamment motivé au regard de l'<ref-law>.
1.2. Les art. 201 à 206 CPP règlent le mandat de comparution. Aux termes de l'<ref-law>, le mandat de comparution est décerné par écrit. Par ailleurs, quiconque est cité à comparaître par une autorité pénale est tenu de donner suite au mandat de comparution (<ref-law>). Celui qui, sans être excusé, ne donne pas suite ou donne suite trop tard à un mandat de comparution peut être puni d'une amende d'ordre et peut être amené par la police devant l'autorité compétente, les dispositions sur la procédure par défaut étant réservées (art. 205 al. 4 et 5 CPP).
En matière d'ordonnance pénale, le défaut de celui qui a formé opposition est réglé de manière spécifique. Selon l'<ref-law>, si l'opposant, sans excuse, fait défaut à une audition devant le ministère public malgré une citation, son opposition est réputée retirée. Ainsi, contrairement à ce que prévoit l'<ref-law>, le défaut peut en vertu de l'<ref-law> aboutir à une perte de toute protection juridique, nonobstant le fait que l'opposant ait précisément voulu une telle protection en formant opposition (<ref-ruling> consid. 2.4 p. 84 s.).
Dans l'arrêt précité, le Tribunal fédéral a rappelé le caractère particulier de l'ordonnance pénale et spécifié que l'<ref-law> devait être interprété en considération de différentes garanties procédurales (en particulier celles prévues aux <ref-law>, 29a et 30 Cst., 6 par. 1 CEDH). Au vu de l'importance fondamentale du droit d'opposition au regard de ces garanties, un retrait par acte concluant de l'opposition suppose que celui-ci résulte de l'ensemble du comportement de l'opposant, qui démontre qu'il se désintéresse de la suite de la procédure tout en étant conscient des droits dont il dispose. La fiction légale de retrait découlant d'un défaut non excusé suppose que l'opposant ait conscience des conséquences de son omission et qu'il renonce à ses droits en connaissance de cause (<ref-ruling> consid. 2.3 et 2.5 p. 84 s.). Le Tribunal fédéral a ainsi jugé que la fiction légale introduite par cette disposition ne s'applique en principe que si l'opposant a eu une connaissance effective de la convocation et des conséquences du défaut, l'abus de droit étant réservé (<ref-ruling> consid. 2.7 p. 86).
1.3. Le recourant invoque n'avoir pas eu connaissance du mandat de comparution. Il souligne, en substance, que la preuve de la notification et de sa date incombe à l'autorité.
Selon la jurisprudence, le fardeau de la preuve de la notification d'une décision ou d'une communication de l'administration et de sa date incombe en principe à l'autorité qui entend en tirer une conséquence juridique. Elle supporte en outre les conséquences d'une absence de preuve en ce sens que si la notification ou sa date sont contestées et qu'il existe effectivement un doute à ce sujet, il y a lieu de se fonder sur les déclarations du destinataire de l'envoi (<ref-ruling> consid. 5.9 p. 309 et les références citées).
En l'espèce, il ressort de l'arrêt cantonal que le Ministère public a notifié le mandat de comparution au recourant par pli simple (cf. arrêt p. 3). Dans la mesure où l'autorité n'a pas apporté la preuve de la notification du mandat de comparution, elle doit en supporter les conséquences au regard de la jurisprudence susmentionnée. Le recourant doit ainsi être mis au bénéfice de ses déclarations. Par conséquent, il faut considérer qu'il n'a pas eu une connaissance effective de la convocation et des conséquences du défaut. Au demeurant, on ne saurait retenir que le recourant s'est désintéressé de la suite de la procédure. L'opposition du 12 juillet 2013 laisse en effet apparaître qu'il a offert au Ministère public trois voies de communication afin de s'assurer d'être atteint par toute éventuelle convocation, à savoir une adresse de notification, un numéro de téléphone sur lequel il pouvait être joint et une demande de désignation d'un avocat d'office, à laquelle il n'a toutefois été donné suite que postérieurement à sa convocation pour l'audition du 23 août 2013, soit le 19 février 2014. Enfin, on relève que le comportement du recourant ne procède pas d'un abus de droit (cf. concernant la procédure d'opposition, arrêt 6B_1122/2013 du 4 mai 2014 consid. 1.3 et 1.5), en particulier lorsqu'il a indiqué, comme adresse de notification, celle de " L'association pour le bateau Genève ". En effet, il n'est pas exclu que le destinataire d'un acte judiciaire puisse indiquer une autre adresse de notification que celles mentionnées à l'<ref-law> (cf. <ref-ruling> consid. 1.2 p. 231). En l'espèce, rien ne permet de supposer en l'état que le recourant était inatteignable à l'adresse indiquée. Lui-même soutient s'y être rendu quotidiennement.
Par conséquent, la cour cantonale a violé le droit fédéral en considérant que l'opposition formée par le recourant à l'ordonnance pénale du 5 juillet 2013 était réputée retirée. L'arrêt attaqué doit être annulé et la cause renvoyée à l'autorité précédente pour nouveau jugement.
2.
Vu le sort du recours, il n'y a pas lieu d'examiner les autres griefs soulevés par le recourant.
3.
Le recourant qui obtient gain de cause ne supporte pas de frais judiciaires (<ref-law>) et peut prétendre à une indemnité à titre de dépens (<ref-law>), ce qui rend sans objet sa demande d'assistance judiciaire.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
La République et canton de Genève versera à l'avocat du recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale de recours.
Lausanne, le 18 novembre 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Mathys
La Greffière : Bichovsky Suligoj