Faits :
A.
Par ordonnance pénale du 2 janvier 2014, le Ministère public du canton de Genève a condamné X._ pour faux dans les titres et obtention frauduleuse d'une constatation fausse à une peine privative de liberté de six mois, peine complémentaire à celles prononcées le 1 er octobre 2008 par la Staatsanwaltschaft du canton de Soleure et le 8 juin 2010 par le Juge d'instruction de la Côte du canton de Vaud.
En temps utile, X._ a fait opposition à cette ordonnance.
B.
X._ ne s'est pas présenté à l'audience fixée par le Ministère public du canton de Genève le 6 février 2014. Par ordonnance du même jour, cette autorité a constaté le retrait de l'opposition, en application de l'<ref-law>.
C.
Par arrêt du 5 mars 2014, la Chambre pénale de recours de la Cour de justice du canton de Genève a rejeté le recours formé contre cette ordonnance par X._.
D.
Ce dernier forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut à l'annulation de l'arrêt du 5 mars 2014 et ce faisant de l'ordonnance du 6 février 2014, à ce qu'il soit dit que l'opposition est valable et que l'ordonnance pénale du 2 janvier 2014 n'est pas entrée en force, subsidiairement au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il requiert l'effet suspensif et l'assistance judiciaire.
L'autorité intimée a renoncé à se déterminer. Le ministère public a conclu au rejet du recours.

Considérant en droit :
1.
Les faits allégués par le recourant, de même que la pièce nouvelle qu'il produit à l'appui de son recours, sont irrecevables dès lors qu'ils ne résultent pas de l'arrêt attaqué (<ref-law>).
2.
Le recourant invoque une violation de l'<ref-law>.
2.1. Les art. 201 à 206 CPP règlent le mandat de comparution. En particulier, quiconque est cité à comparaître par une autorité pénale est tenu de donner suite au mandat de comparution (<ref-law>). Celui qui, sans être excusé, ne donne pas suite ou donne suite trop tard à un mandat de comparution peut être puni d'une amende d'ordre et peut être amené par la police devant l'autorité compétente, les dispositions sur la procédure par défaut étant réservées (art. 205 al. 4 et 5 CPP).
En matière d'ordonnance pénale, le défaut de celui qui a formé opposition est réglé de manière spécifique. Selon l'<ref-law>, si l'opposant, sans excuse, fait défaut à une audition devant le ministère public malgré une citation, son opposition est réputée retirée. Ainsi, contrairement à ce que prévoit l'<ref-law>, le défaut peut en vertu de l'<ref-law> aboutir à une perte de toute protection juridique, nonobstant le fait que l'opposant ait précisément voulu une telle protection en formant opposition (<ref-ruling> consid. 2.4 p. 84 s.).
Dans l'arrêt précité, le Tribunal fédéral a rappelé le caractère particulier de l'ordonnance pénale et spécifié que l'<ref-law> devait être interprété en considération de différentes garanties procédurales (en particulier celles prévues aux <ref-law>, 29a et 30 Cst., 6 par. 1 CEDH). Au vu de l'importance fondamentale du droit d'opposition au regard de ces garanties, un retrait par acte concluant de l'opposition suppose que celui-ci résulte de l'ensemble du comportement de l'opposant, qui démontre qu'il se désintéresse de la suite de la procédure tout en étant conscient des droits dont il dispose. La fiction légale de retrait découlant d'un défaut non excusé suppose que l'opposant ait conscience des conséquences de son omission et qu'il renonce à ses droits en connaissance de cause (<ref-ruling> consid. 2.3 et 2.5 p. 83 s.). Le Tribunal fédéral a ainsi jugé que la fiction légale introduite par cette disposition ne s'applique en principe que si l'opposant a eu une connaissance effective de la convocation et des conséquences du défaut, l'abus de droit étant réservé (<ref-ruling> consid. 2.7 p. 86).
2.2. En l'espèce, le ministère public a fixé une audience le 6 février 2014. Le recourant a été convoqué par mandat de comparution. Par son conseil, il a sollicité le report de cette audience, certificat médical du 28 janvier 2014 à l'appui attestant que son état actuel rendait difficile tout déplacement notamment au tribunal pour plusieurs semaines. Le procureur a rejeté cette requête. Il a confirmé ce rejet à deux reprises, à la suite des doléances du conseil du recourant, et confirmé que l'audience du 6 février 2014 était maintenue. Le recourant ne s'est pas présenté à cette audience. Son conseil s'est présenté et a fait valoir les motifs de l'opposition à l'ordonnance pénale.
Dans ces circonstances, il n'était pas possible de considérer que le recourant, par sa seule absence, s'était désintéressé de la procédure pénale dirigée contre lui et de faire application de l'<ref-law>. L'empêchement invoqué, certificat médical à l'appui, ne permet pas de considérer que la démarche du recourant serait constitutive d'abus de droit. L'arrêt attaqué ne remet pas non plus en cause l'existence de troubles médicaux, mais relativise, voire nie l'incapacité du recourant à prendre part à la procédure. En tout état, compte tenu des troubles médicaux annoncés et de l'application restrictive qu'il y a lieu de donner à l'<ref-law> (cf. supra consid. 2.1 ), un report de quelques semaines de l'audience était nécessaire avant de pouvoir considérer que le recourant s'était désintéressé de la procédure.
En confirmant le constat du retrait de l'opposition au motif que le recourant ne s'était pas présenté à l'audience du 6 février 2014 sans avoir été empêché sans faute de sa part de comparaître, l'autorité précédente a violé l'<ref-law>.
3.
Le recours doit être admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision. Ce qui précède rend sans objet les autres griefs soulevés par le recourant.
Vu l'issue de la procédure, le recourant ne supportera pas de frais judiciaires (<ref-law>) et pourra prétendre à une indemnité de dépens pour la procédure devant le Tribunal fédéral à charge du canton de Genève (art. 68 al. 1 et 2 LTF), ce qui rend sans objet sa demande d'assistance judiciaire. Le conseil du recourant a produit une note d'honoraires. En l'espèce, nombre de griefs formulés n'étaient pas nécessaires pour l'issue du recours. Un montant de 3'000 fr. sera par conséquent accordé à titre de dépens.
La cause étant jugée, la requête d'effet suspensif est sans objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Genève versera au conseil du recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale de recours.
Lausanne, le 20 janvier 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod