Faits :
A.
Par ordonnance pénale du 21 février 2014, le Ministère public du canton de Genève a condamné X._ à 30 jours-amende, à 30 fr. le jour avec sursis pendant trois ans, ainsi qu'à une amende de 500 fr. pour mise à disposition d'un véhicule non couvert par l'assurance responsabilité civile (<ref-law>).
Cette ordonnance a été distribuée, par pli recommandé, à X._ le 28 février 2014. Il y a fait opposition le 12 mars 2014.
Par ordonnance du 18 mars 2014, le Ministère public du canton de Genève a considéré que le délai d'opposition de dix jours prévu par l'<ref-law> n'était pas respecté. L'opposition était donc tardive. L'ordonnance pénale du 21 février 2014 était maintenue et la cause était transmise au Tribunal de police afin qu'il statue sur la validité de l'ordonnance pénale et de l'opposition (<ref-law>).
B.
Par arrêt du 29 avril 2014, la Chambre pénale de recours de la Cour de justice de la République et canton de Genève a rejeté le recours intenté contre l'ordonnance du 18 mars 2014 par X._. Elle a estimé que les conditions d'une restitution du délai pour former opposition n'étaient pas remplies. L'opposition ne contenait au demeurant pas de demande de restitution.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à l'annulation de cette décision et de l'ordonnance du 18 mars 2014 et à ce qu'il soit dit qu'il y a lieu à restitution du délai d'opposition au sens de l'<ref-law> et que l'ordonnance du 21 février 2014 ne doit pas être maintenue. Il sollicite l'assistance judiciaire.

Considérant en droit :
1.
Dès lors qu'ils ne résultent pas de l'arrêt attaqué, les pièces nouvelles et les faits nouveaux présentés par le recourant sont irrecevables (<ref-law>). Tel est également le cas du renvoi à des écritures déposées durant la procédure cantonale.
Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Il ne connaît de la violation des droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.2 p. 266). Il ne sera par conséquent pas tenu compte des faits allégués par le recourant qui s'écartent, sans que l'arbitraire ne soit invoqué et démontré, de ceux établis par l'arrêt attaqué.
2.
Le recourant ne conteste pas avoir formé opposition tardivement, en l'espèce deux jours après l'échéance du délai d'opposition. Il expose toutefois qu'à l'époque où il a reçu l'ordonnance du 21 février 2014, il venait d'être licencié et son frère était très malade. Il invoque une violation de l'<ref-law>.
2.1. On peut se demander si la procédure a été régulièrement suivie dès lors que l'ordonnance du ministère public du 18 mars 2014 repose sur l'<ref-law>, sans que cette autorité ne se soit expressément prononcée sur la restitution du délai requise, aspect traité directement dans le recours cantonal. Quoi qu'il en soit, le recours en matière pénal ne contient aucun grief recevable à cet égard.
2.2. En vertu de l'<ref-law>, une partie peut demander la restitution d'un délai imparti pour accomplir un acte de procédure si elle a été empêchée de l'observer et si elle est de ce fait exposée à un préjudice important et irréparable. Elle doit toutefois rendre vraisemblable que le défaut n'est imputable à aucune faute de sa part. Une telle demande, dûment motivée, doit être adressée par écrit dans les trente jours à compter de celui où l'empêchement a cessé à l'autorité auprès de laquelle l'acte de procédure aurait dû être accompli et l'acte de procédure omis doit être répété durant ce délai (<ref-law>). Ces alinéas s'appliquent par analogie à l'inobservation d'un terme (art. 94 al. 5 1 ère phrase CPP).
Selon la jurisprudence, une restitution au sens de l'<ref-law> ne peut intervenir que lorsqu'un événement, par exemple une maladie ou un accident, met la partie objectivement ou subjectivement dans l'impossibilité d'agir par elle-même ou de charger une tierce personne d'agir en son nom dans le délai (arrêt 6B_158/2012 du 27 juillet 2012 consid. 3.2 et les références citées).
2.3. L'autorité précédente a estimé que la perte d'emploi et les soucis de santé du frère du recourant, aussi malheureux qu'ils puissent être, ne constituaient pas des empêchements d'agir. Elle a jugé que les excuses du recourant étaient de toute manière peu crédibles dès lors qu'il indiquait lui-même s'être trompé sur la date de notification et ne pas avoir prêté l'attention nécessaire à l'indication des voies d'opposition expressément mentionnées sur le document reçu. Il n'y avait donc aucun empêchement non fautif et seule la négligence ou l'inattention du recourant était responsable de la tardivité de son opposition.
2.4. A l'encontre de cette appréciation, le recourant se borne à rappeler la perte de ses emplois et la maladie de son frère, résidant en Italie. Il soutient avoir été confus quant à la date de délivrance du pli postal. A l'instar de l'autorité cantonale, on ne peut que considérer que ces éléments, tels qu'invoqués, n'empêchaient le recourant ni subjectivement, ni objectivement de former opposition en temps utile. Le refus de restituer le délai pour ce faire, mesure par ailleurs non requise expressément par le recourant, ne viole pas l'<ref-law>.
2.5. Le recourant invoque les conséquences que l'ordonnance pénale pourrait avoir sur ses conditions de séjour en Suisse. Il déclare ne pas comprendre les raisons qui poussent les autorités à ne pas lui permettre de se défendre, alors qu'il a contesté sa culpabilité. Il y voit une violation de l'interdiction du formalisme excessif prévue par l'art. 29 al. 1 Cst.
Ce grief n'a pas été traité par l'autorité précédente, sans que le recourant n'invoque de déni de justice à cet égard. Il est irrecevable, faute d'épuisement des instances précédentes (art. 80 al. 1 et 2 LTF). Au demeurant, il est infondé, l'application stricte des règles sur le délai d'opposition ne relevant pas d'un formalisme excessif, mais se justifiant dans l'intérêt du bon fonctionnement de la justice et de la sécurité du droit (arrêt 6B_1170/2013 du 8 septembre 2014 consid. 4).
3.
Le recours doit être rejeté dans la mesure où il est recevable. Les conclusions étaient manifestement dénuées de chance de succès. La demande d'assistance judiciaire doit être rejetée (<ref-law> a contrario). Le recourant supportera les frais de justice (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale de recours.
Lausanne, le 8 janvier 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod