Faits :
A.
Par ordonnance pénale du 11 décembre 2014, le Ministère public de la République et canton de Genève a condamné X._ pour infractions aux art. 19 al. 1 LStup et 115 al. 1 let. b LEtr à une peine privative de liberté de 120 jours, sous déduction d'un jour de détention avant jugement. Il a également prononcé la confiscation "des téléphones portables".
B.
A la suite de l'opposition formée par X._, par le biais de son conseil, contre cette ordonnance, le ministère public l'a convoqué, par mandat de comparution daté du 17 décembre 2014, pour être entendu en qualité de prévenu à son audience du 8 janvier 2015 à 9 h. Son conseil a été avisé par pli séparé du même jour.
X._ ne s'est pas présenté à dite audience, contrairement à son conseil. Celui-ci a indiqué avoir laissé des messages à son client l'informant de l'audience en le rendant attentif aux conséquences d'un défaut.
C.
Par ordonnance du 8 janvier 2015, le ministère public a constaté le retrait de l'opposition formée par X._ à l'encontre de l'ordonnance pénale, invoquant l'art. 355 al. 2 CPP.
D.
Par arrêt du 22 avril 2015, la Chambre pénale de recours de la Cour de justice de la République et canton de Genève a rejeté le recours formé par X._ contre l'ordonnance du 8 janvier 2015.
E.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut à son annulation et au renvoi de la cause à l'autorité cantonale pour qu'elle invite le ministère public à l'instruire à nouveau. Il sollicite l'assistance judiciaire.
L'autorité précédente a renoncé à se déterminer. Le ministère public a conclu au rejet du recours. Leurs écritures ont été communiquées à X._.

Considérant en droit :
1.
La pièce nouvelle produite par le recourant est irrecevable (art. 99 al. 2 LTF).
2.
Le recourant invoque une violation des art. 355 al. 2 CPP, 29 Cst. et 8 CEDH. Il soutient qu'il n'a pas été informé de la convocation, qu'il n'a pas eu une connaissance effective de celle-ci et que son attention n'a pas été attirée sur les conséquences d'un défaut à l'audience fixée par le ministère public.
2.1. Le recourant n'expose pas en quoi les normes constitutionnelles et conventionnelles qu'il mentionne lui conféreraient des garanties plus étendues que la disposition du CPP évoquée ci-dessus. Sous cet angle, son grief est insuffisamment motivé au regard des exigences posées par l'art. 106 al. 2 LTF.
2.2. Aux termes de l'art. 355 CPP, en cas d'opposition, le ministère public administre les autres preuves nécessaires au jugement de l'opposition (al. 1). Si l'opposant, sans excuse, fait défaut à une audition malgré une citation, son opposition est réputée retirée (al. 2).
Le défaut lors de l'audience fixée par le ministère public peut ainsi aboutir à une perte de toute protection juridique, nonobstant le fait que l'opposant ait précisément voulu une telle protection en formant opposition (cf. <ref-ruling> consid. 2.4 p. 84 s.). Dans cet arrêt, le Tribunal fédéral a rappelé le caractère particulier de l'ordonnance pénale et spécifié que l'art. 355 al. 2 CPP devait être interprété en considération de différentes garanties procédurales (en particulier celles prévues aux art. 3 CPP, 29a et 30 Cst. et 6 par. 1 CEDH). Au vu de l'importance fondamentale du droit d'opposition au regard de ces garanties, un retrait par acte concluant de l'opposition suppose que celui-ci résulte de l'ensemble du comportement de l'opposant, qui démontre qu'il se désintéresse de la suite de la procédure tout en étant conscient des droits dont il dispose. La fiction légale de retrait découlant d'un défaut non excusé ne s'applique donc que si l'opposant a eu une connaissance effective de la convocation et des conséquences du défaut, l'abus de droit étant réservé (<ref-ruling> consid. 2.5 s. p. 85 s.).
A l'instar de l'art. 407 al. 1 let. a CPP qui prévoit que l'appel ou l'appel joint est réputé retiré si la partie qui l'a déclaré fait défaut aux débats d'appel sans excuse valable et ne se fait pas représenter, on ne saurait parler de défaut non excusé au sens de l'art. 355 al. 2 CPP lorsque l'opposant n'a pas été convoqué conformément à la loi (cf. arrêt 6B_652/2013 du 26 novembre 2013 consid. 1.4.1 et les références citées). L'abus de droit est ici également réservé.
2.3. Aux termes de l'art. 87 CPP, toute communication doit être notifiée au domicile, au lieu de résidence habituelle ou au siège du destinataire (al. 1). Si les parties sont pourvues d'un conseil juridique, les communications sont valablement notifiées à celui-ci (al. 3). Lorsqu'une partie est tenue de comparaître personnellement à une audience ou d'accomplir elle-même un acte de procédure, la communication lui est notifiée directement. En pareil cas, une copie est adressée à son conseil juridique (al. 4). La notification du mandat de comparution au conseil de l'intéressé ne suffit pas (JONAS WEBER, in Basler Kommentar, Schweizerische Strafprozessordnung, 2e éd. 2014, n° 3 ad art. 201 CPP; MACALUSO/TOFFEL, in Commentaire romand, Code de procédure pénale suisse, 2011, n° 17 et 22 ad art. 88 CPP; GREGOR T. CHATTON, in Commentaire romand, Code de procédure pénale suisse, 2011, no 5 ad art. 202).
2.4. Le fardeau de la preuve de la notification et de la date de celle-ci incombe à l'autorité qui entend en tirer une conséquence juridique. L'autorité supporte donc les conséquences de l'absence de preuve en ce sens que si la notification ou sa date sont contestées et qu'il existe effectivement un doute à ce sujet, il y a lieu de se fonder sur les déclarations du destinataire de l'envoi (arrêt 6B_935/2015 du 20 avril 2016 consid. 4.3 destiné à la publication). Le fardeau de la preuve de la renonciation en connaissance de cause à l'audience est également supporté par l'Etat (WEBER, op. cit., n° 3 ad art. 201 CPP).
2.5. Une notification irrégulière a généralement pour seule conséquence qu'elle ne doit entraîner aucun préjudice pour son destinataire (cf. <ref-ruling> consid. 3aa p. 99; également <ref-ruling> consid. 7.1 p. 102). En vertu du principe de la bonne foi, l'intéressé est toutefois tenu de se renseigner sur l'existence et le contenu de la décision dès qu'il peut en soupçonner l'existence, sous peine de se voir opposer l'irrecevabilité d'un éventuel moyen pour cause de tardiveté (<ref-ruling> consid. 1.3 p. 232 et les références citées).
2.6. L'autorité précédente, après avoir relevé le contenu des art. 87 et 88 CPP, ainsi que la jurisprudence précitée, reproche en substance au recourant de ne pas avoir donné un nouveau numéro de téléphone à son conseil afin que ce dernier puisse le joindre. Il ne pouvait dès lors invoquer l'état d'indisponibilité dans lequel il s'était placé pour justifier sa non-comparution. Une telle attitude contradictoire était contraire au principe de bonne foi en procédure. Rien ne laisserait de plus supposer que le recourant entendait véritablement donner suite à une convocation. L'application de l'art. 355 al. 2 CPP par le ministère public était donc justifiée.
2.7. En l'espèce, le ministère public a établi le 17 décembre 2014 un mandat de comparution à l'attention du recourant, convoqué pour être entendu personnellement en qualité de prévenu lors de l'audience du 8 janvier 2015. Il a adressé ce mandat, par pli simple, au recourant à l'étude de son conseil, après que ce dernier a déclaré que le recourant y avait fait élection de domicile. La question de savoir si l'envoi d'un mandat de comparution au prévenu à une telle adresse respecte dans son principe l'art. 87 al. 4 CPP peut rester ouverte. En l'espèce, rien ne permet en effet de retenir que ce mandat envoyé aurait été effectivement notifié, directement, au recourant.
Une copie du mandat de comparution a été adressée, par pli simple, au conseil du recourant. Cela ne pallie toutefois pas l'absence de notification directe du mandat au recourant. Les circonstances ne permettent au demeurant pas de retenir que le recourant en aurait été informé en temps utile pour se présenter à l'audience. Le conseil du recourant a certes indiqué qu'il avait laissé des messages au recourant afin de l'avertir du mandat de comparution décerné à son encontre. Rien ne permet de retenir que le recourant aurait eu connaissance de ces messages avant l'audience, ce fait étant d'ailleurs contesté par le conseil du recourant qui s'est rendu compte après qu'il avait appelé le recourant sur un téléphone confisqué.
Le recourant, dont les téléphones avaient été confisqués par le ministère public le 10 décembre 2015, aurait certes dû transmettre à son conseil un nouveau numéro auquel il pouvait être joint. Toutefois, au vu du temps relativement bref entre la date à laquelle le recourant a fait opposition (le 15 décembre 2014) et celle à laquelle l'audience a été fixée (8 janvier 2015), on ne saurait retenir une attitude contradictoire de la part du seul recourant dans le fait de ne pas avoir donné à son conseil un nouveau numéro de téléphone portable dans ce laps de temps. Une telle omission ne permet pas de pallier l'absence de preuve de notification valable du mandat de comparution au recourant et de retenir que ce dernier se serait en connaissance de cause désintéressé de la procédure. La fiction de l'art. 355 al. 2 CPP ne pouvait dès lors être appliquée.
3.
Il résulte de ce qui précède que le recours doit être admis et la cause renvoyée à l'autorité précédente pour nouvelle décision, sans qu'il soit nécessaire d'examiner les autres griefs soulevés par le recourant.
Ce dernier, qui obtient gain de cause, ne supportera pas de frais. Le canton de Genève n'a pas non plus à en supporter (art. 66 al. 1 et 4 LTF). Le recourant a droit à des dépens à la charge du canton. Cela rend sans objet sa demande d'assistance judiciaire.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
La République et canton de Genève versera au conseil du recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale de recours.
Lausanne, le 3 août 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod