Faits : A. Par ordonnance pénale du 21 février 2014, le Ministère public du canton de Genève a condamné X._ à 30 jours-amende, à 30 fr. le jour avec sursis pendant trois ans, ainsi qu'à une amende de 500 fr. pour mise à disposition d'un véhicule non couvert par l'assurance responsabilité civile (art. 96 al. 3 LCR). Cette ordonnance a été distribuée, par pli recommandé, à X._ le 28 février 2014. Il y a fait opposition le 12 mars 2014. Par ordonnance du 18 mars 2014, le Ministère public du canton de Genève a considéré que le délai d'opposition de dix jours prévu par l'art. 354 al. 1 CPP n'était pas respecté. L'opposition était donc tardive. L'ordonnance pénale du 21 février 2014 était maintenue et la cause était transmise au Tribunal de police afin qu'il statue sur la validité de l'ordonnance pénale et de l'opposition (art. 356 al. 1 CPP). B. Par arrêt du 29 avril 2014, la Chambre pénale de recours de la Cour de justice de la République et canton de Genève a rejeté le recours intenté contre l'ordonnance du 18 mars 2014 par X._. Elle a estimé que les conditions d'une restitution du délai pour former opposition n'étaient pas remplies. L'opposition ne contenait au demeurant pas de demande de restitution. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à l'annulation de cette décision et de l'ordonnance du 18 mars 2014 et à ce qu'il soit dit qu'il y a lieu à restitution du délai d'opposition au sens de l'art. 94 al. 1 CPP et que l'ordonnance du 21 février 2014 ne doit pas être maintenue. Il sollicite l'assistance judiciaire.