Faits :
A.
Par ordonnance pénale du 29 août 2014, le Ministère public du canton de Genève a condamné X._ à une peine privative de liberté de 90 jours, sous déduction de 2 jours de détention avant jugement, pour infraction à l'art. 19 al. 1 LStup et aux art. 115 al. 1 let. b et 119 al. 1 LEtr.
Cette ordonnance a été notifiée le 29 août 2014 en mains propres à l'intéressé, qui y a fait opposition le 9 septembre 2014 par l'intermédiaire de son conseil. Il a également sollicité la restitution du délai d'opposition dans la mesure où ce délai échoyait le 8 septembre 2014.
Par ordonnance du 26 septembre 2014, le Ministère public du canton de Genève a constaté que le délai d'opposition de dix jours prévu par l'art. 354 al. 1 CPP n'avait pas été respecté et que l'opposition était donc tardive. Il a également rejeté la demande de restitution du délai d'opposition. L'ordonnance pénale du 29 août 2014 était donc maintenue et la cause transmise au Tribunal de police afin qu'il statue sur la validité de l'ordonnance pénale et de l'opposition (art. 356 al. 1 CPP).
B.
Par arrêt du 27 novembre 2014, la Chambre pénale de recours de la Cour de justice de la République et canton de Genève a rejeté le recours intenté contre l'ordonnance du 26 septembre 2014 par X._. Elle a estimé que les conditions d'une restitution du délai pour former opposition n'étaient pas remplies.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à son annulation et au renvoi de la cause à l'autorité cantonale pour qu'elle statue dans le sens des considérants, subsidiairement à la restitution du délai d'opposition et au renvoi de la cause au Ministère public afin qu'il statue sur l'opposition formée le 3 septembre 2014. Il sollicite l'assistance judiciaire.

Considérant en droit :
1.
Le recours en matière pénale (art. 78 LTF) est recevable contre les décisions de dernière instance cantonale (art. 80 LTF) qui mettent fin à la procédure (art. 90 LTF).
En principe, l'arrêt qui refuse la restitution du délai pour former opposition à une ordonnance pénale est une décision finale (art. 90 LTF), puisqu'il entraîne l'entrée en force de l'ordonnance pénale (art. 354 al. 3 CPP; arrêt 6B_311/2015 du 30 juin 2015 consid. 1 et les références citées). En l'espèce, le dossier a cependant été transmis au Tribunal de police afin qu'il statue sur la validité de l'ordonnance et de l'opposition (art. 356 al. 2 CPP). Le Ministère public aurait dû suspendre la procédure relative à la restitution du délai d'opposition jusqu'à droit connu dans la procédure pendante devant le tribunal de première instance relative à la validité de l'opposition. Ce n'est en effet que si le Tribunal de police déclare invalide l'opposition pour tardiveté que la procédure en restitution du délai a un objet (arrêt 6B_1155/2014 du 19 août 2015 consid. 1 et 2). Cette problématique peut cependant rester indécise dès lors que le recours doit de toute façon être rejeté.
2.
Selon le recourant, la cour cantonale aurait omis d'indiquer qu'il affirmait avoir remis au gardien de la prison de A._, le jour même de sa rédaction, une lettre datée du 3 septembre 2014 par laquelle il requérait son conseil de faire opposition à l'ordonnance pénale du 29 août 2014. Ce pli n'aurait toutefois été posté par les gardiens que le 8 septembre 2014, soit le dernier jour du délai d'opposition, comme en attesterait le cachet postal apposé sur l'enveloppe (jointe au recours sous pièce 3).
2.1. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (art. 105 al. 1 LTF), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Il ne connaît de la violation des droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (art. 106 al. 2 LTF), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.3 p. 266). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
2.2. Dès lors qu'elle ne résulte pas de l'arrêt attaqué, la pièce nouvelle jointe au recours est irrecevable.
La cour cantonale a retenu que le recourant avait écrit une lettre datée du 3 septembre 2014 à son conseil. Il n'apparaît cependant pas, que ce soit à la lecture du recours cantonal du 13 octobre 2014 ou encore de l'opposition du 9 septembre 2014, que le recourant ait jamais allégué avoir remis le courrier daté du 3 septembre 2014 à un gardien de prison le jour même de sa rédaction, et que celui-ci aurait tardé à l'expédier. Le recourant ne saurait ainsi faire grief à la cour cantonale d'avoir omis un fait qu'il n'établit pas avoir invoqué et qui, au demeurant, ne ressort pas des pièces du dossier. Son moyen est sur ce point infondé, dans la mesure de sa recevabilité.
3.
Bien que le recourant conclue, notamment, à ce que le Ministère public statue sur son opposition du 3 septembre 2014, on comprend de la motivation de son recours qu'il ne conteste pas n'avoir formé opposition que le 9 septembre 2014. Il admet que l'opposition était tardive mais soutient que la Chambre pénale de recours aurait violé l'art. 94 CPP en refusant de restituer le délai de 10 jours de l'art. 354 al. 1 CPP.
3.1. En vertu de l'art. 94 al. 1 CPP, une partie peut demander la restitution d'un délai imparti pour accomplir un acte de procédure si elle a été empêchée de l'observer et si elle est de ce fait exposée à un préjudice important et irréparable. Elle doit toutefois rendre vraisemblable que le défaut n'est imputable à aucune faute de sa part. Une telle demande, dûment motivée, doit être adressée par écrit dans les trente jours à compter de celui où l'empêchement a cessé à l'autorité auprès de laquelle l'acte de procédure aurait dû être accompli et l'acte de procédure omis doit être répété durant ce délai (art. 94 al. 2 CPP). Ces alinéas s'appliquent par analogie à l'inobservation d'un terme (art. 94 al. 5 1 ère phrase CPP).
Selon la jurisprudence, une restitution au sens de l'art. 94 CPP ne peut intervenir que lorsqu'un événement, par exemple une maladie ou un accident, met la partie objectivement ou subjectivement dans l'impossibilité d'agir par elle-même ou de charger une tierce personne d'agir en son nom dans le délai (arrêt 6B_158/2012 du 27 juillet 2012 consid. 3.2 et les références citées).
3.2. L'autorité précédente a estimé que le recourant n'avait pas rendu vraisemblable qu'il aurait été empêché sans sa faute d'agir avant l'échéance du délai ordinaire d'opposition. En effet, dans le cadre d'une autre procédure dirigée contre lui (P/14553/2014), l'intéressé avait fait opposition, par l'intermédiaire de son conseil, contre une ordonnance pénale du 30 juillet 2014 dans le délai légal. On ne voyait par conséquent pas pourquoi il n'aurait pu en faire de même cette fois-ci, soit en adressant le courrier daté du 3 septembre directement au Ministère public, soit en prenant contact avec le conseil qui l'assistait déjà dans la cause P/14553/2014, lequel ne justifiait d'ailleurs pas de la date à laquelle il avait reçu le courrier contenant les instructions de son client.
3.3. A l'encontre de cette appréciation, le recourant fait valoir que la comparaison avec la procédure P/14553/2014 ne se justifie pas dès lors qu'il n'était pas incarcéré lorsque l'ordonnance pénale du 30 juillet 2014 avait été rendue. Il avait donc pu se rendre en personne en l'étude de son conseil afin de le mandater pour faire opposition. Dans le cas d'espèce, il convenait de tenir compte du fait qu'au moment où il avait reçu l'ordonnance du 29 août 2014, il venait d'être placé en détention à la prison de A._, qu'il ignorait tout du système judiciaire, qu'il était illettré et qu'il n'avait pas eu l'occasion de solliciter l'aide d'un assistant social de la prison dans la mesure où le délai d'attente pour un entretien était de deux mois en raison de la surpopulation carcérale. Malgré ces difficultés, il avait pu, grâce à l'aide d'un co-détenu, instruire son conseil de faire opposition à l'ordonnance du 29 août 2014 par lettre du 3 septembre 2014, celle-ci ayant toutefois été postée tardivement par les gardiens. Il fallait en déduire qu'il avait été empêché sans sa faute de procéder dans les délais.
3.4. S'il est vrai qu'en raison de l'incarcération du recourant, les circonstances n'étaient plus exactement les mêmes que lors de sa précédente opposition, il n'en demeure pas moins que la situation juridique dans laquelle se trouvait l'intéressé n'était pas nouvelle pour lui. Par ailleurs, le recourant ne nécessite pas de traducteur et a suivi l'école jusqu'en 9ème année (dossier cantonal, procès-verbal du 28 août 2014, p. 4). En toute hypothèse, en se prévalant de sa lettre datée du 3 septembre 2014, le recourant admet qu'il avait compris avoir fait l'objet d'une condamnation à laquelle il souhaitait s'opposer, qu'il savait qu'il pouvait s'adresser pour ce faire à l'avocate qui le représentait déjà dans une autre procédure en cours et que, bien que détenu à A._, il était en mesure de se faire aider pour rédiger une lettre instruisant son conseil de faire opposition à l'ordonnance pénale du 29 août 2014. Dans ces conditions, on ne voit pas non plus quel événement, au sens de la jurisprudence précitée (consid. 3.1), empêchait le recourant, conformément aux indications figurant sur l'ordonnance pénale, d'adresser sa lettre directement au Ministère public en la remettant à la direction de la prison (art. 91 al. 2 CPP).
En tant que le recourant soutient, devant la Cour de céans, que les gardiens de la prison n'auraient posté la lettre à l'attention de son conseil que plusieurs jours après qu'il la leur eut remise, il allègue un fait nouveau qui ne peut être pris en compte par le Tribunal fédéral (consid. 2). Même à supposer que la lettre aurait été postée le 8 septembre et que le conseil du recourant l'aurait reçue le lendemain, il ne s'ensuit pas encore que le retard serait imputable aux gardiens et non au recourant, celui-ci n'ayant pas établi la date à laquelle il l'avait remise aux gardiens.
Il découle de ce qui précède que le recourant a tardé à entreprendre les démarches lui permettant de s'opposer à l'ordonnance pénale du 29 août 2014, alors que les éléments invoqués ne l'empêchaient, ni subjectivement, ni objectivement, de former opposition en temps utile. Le refus de restituer le délai pour ce faire ne viole pas l'art. 94 al. 1 CPP.
4.
Le recourant se plaint d'une violation de son droit d'être entendu (art. 29 Cst.) et de son droit à pouvoir bénéficier d'un procès équitable au sens de l'art. 6 CEDH. Il n'aurait pas eu l'occasion de s'exprimer sur les circonstances de l'envoi de son pli du 3 septembre 2014 et de solliciter qu'une enquête soit effectuée au sein de la prison de A._ afin d'établir les raisons du retard de cet envoi.
Très peu motivés, il est douteux que les moyens soulevés soient recevables (art. 106 al. 2 LTF). Au demeurant, il appert que le recourant a pu exposer sa version des faits et ses arguments dans sa demande de restitution de délai, puis dans son recours cantonal contre le refus de restitution de délai du Ministère public. Comme vu ci-dessus, le recourant n'en a cependant pas profité pour détailler les circonstances de l'envoi de son courrier à son conseil, en particulier préciser quel jour il avait remis son pli aux gardiens de la prison de A._. Il n'a pas davantage requis l'administration de compléments de preuve (art. 389 al. 3 CPP). Il s'ensuit que ce grief, supposé recevable, est sans fondement.
5.
Le recours doit être rejeté dans la mesure où il est recevable. Les conclusions étaient dénuées de chance de succès. La demande d'assistance judiciaire doit être rejetée (art. 64 al. 1 LTF a contrario). Le recourant supportera les frais de justice (art. 66 al. 1 LTF), dont le montant sera toutefois fixé en tenant compte de sa situation financière (art. 65 al. 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale de recours.
Lausanne, le 3 décembre 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy