Faits:
A.
A._, de nationalité algérienne, a fait l'objet de trois ordonnances pénales pour infractions à la loi fédérale sur les étrangers, soit le 30 avril 2013, à une peine pécuniaire de 90 jours-amende, à 30 fr., sous déduction de deux jours-amende correspondant à deux jours de détention avant jugement, avec sursis durant trois ans; le 28 juillet 2013, à 30 jours-amende à 30 fr., sous déduction de deux jours-amende correspondant à deux jours de détention avant jugement, avec sursis durant trois ans; le 24 août 2013, à une peine privative de liberté de 60 jours, sous déduction d'un jour de détention avant jugement. A._ a constitué un avocat selon procuration signée le 3 mai 2013. Par le biais de celui-ci, il a formé opposition à l'encontre des trois ordonnances pénales, respectivement les 10 mai, 31 juillet et 27 août 2013. A la requête de l'avocat du prévenu, le Ministère public a joint les trois procédures et a convoqué le prévenu et son avocat par mandats de comparution séparés pour une audience fixée le 16 septembre 2013. La convocation adressée à A._ n'a pas été retournée par la poste. Contrairement à son avocat, A._ ne s'est pas présenté à l'audience du 16 septembre 2013.
Par ordonnance du 17 septembre 2013, le Ministère public a constaté le retrait des oppositions aux ordonnances pénales des 30 avril, 28 juillet et 24 août 2013, en application de l'<ref-law>.
B.
Par arrêt du 17 octobre 2013, la Chambre pénale de recours de la Cour de justice du canton de Genève a rejeté le recours de A._.
C.
Celui-ci forme un recours en matière pénale au Tribunal fédéral contre cet arrêt, concluant, avec suite de dépens, à son annulation.

Considérant en droit:
1.
Le recourant invoque une violation des <ref-law> et 6 CEDH. Selon lui, son absence de comparution à l'audience fixée par le Ministère public ne permettait pas d'en déduire un retrait de son opposition. Il relève, par l'entremise de son avocat, que l'adresse où la convocation lui a été envoyée est celle d'un centre social, que sa compréhension du français est rudimentaire, qu'il est objectivement inatteignable et que des ennuis de santé ou son isolement social pourraient être la cause de cette absence prolongée.
1.1. Les art. 201 à 206 CPP règlent le mandat de comparution. En particulier, quiconque est cité à comparaître par une autorité pénale est tenu de donner suite au mandat de comparution (<ref-law>). Celui qui, sans être excusé, ne donne pas suite ou donne suite trop tard à un mandat de comparution peut être puni d'une amende d'ordre et peut être amené par la police devant l'autorité compétente, les dispositions sur la procédure par défaut étant réservées (art. 205 al. 4 et 5 CPP).
En matière d'ordonnance pénale, le défaut de celui qui a formé opposition est réglé de manière spécifique. Selon l'<ref-law>, si l'opposant, sans excuse, fait défaut à une audition devant le ministère public malgré une citation, son opposition est réputée retirée. Ainsi, contrairement à ce que prévoit l'<ref-law>, le défaut peut en vertu de l'<ref-law> aboutir à une perte de toute protection juridique, nonobstant le fait que l'opposant ait précisément voulu une telle protection en formant opposition (cf. arrêt 6B_908/2013 du 20 mars 2014 consid. 2.4 destiné à la publication).
Dans l'arrêt précité, le Tribunal fédéral a rappelé le caractère particulier de l'ordonnance pénale et spécifié que l'<ref-law> devait être interprété en considération de différentes garanties procédurales. Il a ainsi jugé que la fiction légale introduite par cette disposition en vertu de laquelle l'opposition est réputée retirée en cas de défaut non excusé, ne s'applique en principe que si l'opposant a eu une connaissance effective de la convocation et des conséquences du défaut, l'abus de droit étant réservé (cf. arrêt 6B_908/2013 précité, consid. 2.6 et 2.7).
1.2. Il ressort du dossier (<ref-law>) que le recourant n'a pas de domicile fixe et ne dispose d'aucune autorisation de séjour. Les ordonnances pénales lui ont été notifiées en mains propres alors qu'il était en détention. Celui-ci a, à chaque fois après la notification, consulté son avocat, qui a formé opposition. Lors de son audition comme prévenu du 29 avril 2013 concernant les faits à l'origine de la première ordonnance pénale, en présence d'un interprète, le recourant a été rendu attentif au contenu de l'<ref-law> et au fait que s'il n'avait pas de domicile ou résidence habituelle en Suisse, il devait désigner un domicile de notification. Il a alors indiqué le Club social de la Rive droite à Genève. Lors de son audition du 27 juillet 2013 concernant les faits à l'origine de la deuxième ordonnance pénale, le recourant a indiqué n'avoir pas besoin d'un traducteur. Il a été rendu attentif à l'<ref-law> et a refusé de désigner une adresse de notification. Lors de son audition du 23 août 2013 concernant les faits à l'origine de la troisième ordonnance pénale, après avoir pu téléphoner à son avocat avant le début de son audition et signalé n'avoir pas besoin d'un interprète, le recourant a été rendu attentif à l'<ref-law> et a été invité à désigner un domicile de notification. Il a répondu ne connaître personne.
1.3. Le principe de la bonne foi, concrétisé à l'<ref-law>, ne concerne en procédure pénale pas seulement les autorités pénales mais le cas échéant les différentes parties, y compris le prévenu. On déduit en particulier de ce principe l'interdiction des comportements contradictoires (cf. arrêt 6B_214/2011 du 13 septembre 2011 consid. 4.1.3; <ref-ruling> consid. 3.2.4 p. 192 s.).
1.4. Lors de son audition du 29 avril 2013, le recourant a mentionné une adresse de notification, mais n'en a indiqué aucune lors des deux autres auditions. Les causes concernant les trois ordonnances pénales ayant été jointes à la requête du recourant, la convocation lui a été envoyée à l'adresse qu'il avait indiquée lors de son audition du 29 avril 2013. Le ministère public était habilité à prendre en compte cette adresse et à y envoyer toute communication, sans passer par une publication officielle prévue à l'art. 88 al. 1 let. c CPP. Le pli contenant la convocation n'est pas venu en retour. Dans ces circonstances, il était légitime de considérer que le recourant avait été dûment atteint par la convocation et en avait pris connaissance. Dès lors que tant les ordonnances pénales que la convocation à l'audience du 16 septembre 2013 exposaient le contenu de l'<ref-law>, le recourant ne pouvait ignorer les conséquences d'un défaut et doit donc les assumer (cf. arrêt 6B_908/2013 précité consid. 2.6). On ne se trouve pas dans la situation exposée dans ce dernier arrêt, où les conséquences d'un défaut étaient ignorées de la personne qui avait formé opposition contre l'ordonnance pénale, le pli contenant la convocation n'ayant pas été retiré au guichet postal.
Le recourant laisse entendre qu'il n'a pas eu concrètement connaissance de la convocation. La cour cantonale a retenu qu'il n'était pas démontré ni rendu vraisemblable qu'il n'avait pas eu connaissance de la convocation (cf. arrêt p. 4). Le recourant ne formule aucune critique recevable sous l'angle de l'<ref-law> pour mettre en cause cet aspect factuel. Il se limite à affirmer que sa compréhension du français est rudimentaire, que ses ennuis de santé ou son isolement social pourraient être la cause de son absence. Il introduit de la sorte des faits non constatés, sans pour autant former un grief recevable selon l'<ref-law> pour établir que ceux-ci auraient arbitrairement été omis. Les critiques qu'il articule en se fondant sur un état de fait autre que celui retenu par la cour cantonale sont ainsi irrecevables. Il en résulte que l'application par la cour cantonale de l'<ref-law> ne viole pas le droit fédéral.
1.5. Même en supposant, comme le suggère le recourant, qu'il n'ait concrètement pas eu connaissance de la convocation, il ne saurait néanmoins en tirer argument dans les circonstances d'espèce. A chaque fois qu'une des ordonnances pénales lui a été notifiée, il l'a transmise à son avocat, lequel a ensuite formé opposition. La portée des procédures pénales ne lui a donc pas échappé. Selon l'avocat du recourant, il ne parvient pas à le joindre sur son portable (cf. arrêt p. 3). Son avocat affirme même que le recourant est objectivement inatteignable. Ce faisant, le recourant invoque l'état d'indisponibilité dans lequel il s'est placé pour justifier sa non-comparution. Une telle attitude contradictoire est incompatible avec le principe de la bonne foi en procédure (supra consid. 1.3). C'est ainsi en vain que le recourant prétend n'avoir pas bénéficié d'une procédure équitable sous l'angle de l'art. 6 CEDH. A la différence de l'arrêt 6B_908/2013 précité, rien ne laisse supposer que le recourant entend véritablement donner suite à une convocation. Il n'a pris aucune mesure à cet égard, bien au contraire son avocat ne parvenant pas même à le joindre. Dans ces conditions, l'application de l'<ref-law> et de la fiction y relative quant au retrait de l'opposition ne contreviennent à aucune garantie procédurale.
2.
Le recours doit être rejeté dans la mesure où il est recevable. L'assistance judiciaire peut être accordée, l'application de l'<ref-law> n'étant pas dépourvue de difficultés. Me Girod est désigné comme avocat d'office (<ref-law>). Il est statué sans frais (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est admise.
3.
Il n'est pas perçu de frais judiciaires.
4.
Me Philippe Girod est désigné comme avocat d'office du recourant et une indemnité de 2'000 fr., supportée par la caisse du Tribunal, lui est allouée à titre d'honoraires.
5.
Le présent arrêt est communiqué aux parties et à la Chambre pénale de recours de la Cour de justice de la République et canton de Genève.
Lausanne, le 6 mai 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet