Faits : A. Par ordonnance pénale du 2 janvier 2014, le Ministère public du canton de Genève a condamné X._ pour faux dans les titres et obtention frauduleuse d'une constatation fausse à une peine privative de liberté de six mois, peine complémentaire à celles prononcées le 1 er octobre 2008 par la Staatsanwaltschaft du canton de Soleure et le 8 juin 2010 par le Juge d'instruction de la Côte du canton de Vaud. En temps utile, X._ a fait opposition à cette ordonnance. B. X._ ne s'est pas présenté à l'audience fixée par le Ministère public du canton de Genève le 6 février 2014. Par ordonnance du même jour, cette autorité a constaté le retrait de l'opposition, en application de l'art. 355 al. 2 CPP. C. Par arrêt du 5 mars 2014, la Chambre pénale de recours de la Cour de justice du canton de Genève a rejeté le recours formé contre cette ordonnance par X._. D. Ce dernier forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut à l'annulation de l'arrêt du 5 mars 2014 et ce faisant de l'ordonnance du 6 février 2014, à ce qu'il soit dit que l'opposition est valable et que l'ordonnance pénale du 2 janvier 2014 n'est pas entrée en force, subsidiairement au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il requiert l'effet suspensif et l'assistance judiciaire. L'autorité intimée a renoncé à se déterminer. Le ministère public a conclu au rejet du recours.