Faits: A. Par arrêt du 29 juin 2010, la Cour d'assises du canton de Genève a condamné A._ pour viols, contraintes sexuelles, tentative de contraintes sexuelles et actes préparatoires délictueux à 10 ans de privation de liberté. Le 14 juin 2011, la Cour de cassation genevoise a rejeté le pourvoi de A._. Par arrêt 6B_533/2011 - 6B_555/2011 du 10 novembre 2011, le Tribunal fédéral a rejeté, respectivement déclaré irrecevable, les recours en matière pénale formés par A._. Il a notamment jugé que l'autorité précédente avait correctement tenu compte de l'état de santé et de l'âge de l'intéressé, né en 1923, dans la fixation de la peine. B. Dans l'intervalle, la Chambre pénale d'appel et de révision de la Cour de justice du canton de Genève avait, par ordonnance présidentielle du 28 février 2011, rejeté la nouvelle requête de mise en liberté formée par A._, le 16 février 2011, durant sa détention pour des motifs de sûretés. Par arrêt 1B_149/2011 du 4 mai 2011, le Tribunal fédéral a rejeté le recours formé contre cette ordonnance par A._, estimant que les raisons de santé invoquées durant la détention pour des motifs de sûretés ne suffisaient pas à tenir celle-ci pour disproportionnée vu notamment la gravité des infractions commises et le risque de fuite qui justifiaient une telle mesure. C. Le 8 février 2013, A._ a saisi le Tribunal d'application des peines et des mesures du canton de Genève d'une demande d'interruption de l'exécution de la peine au sens de l'art. 92 CP. Après avoir rappelé les affectations déjà diagnostiquées (démence d'étiologie organique, grave dépression et troubles du comportement avec risque auto ou hétéro agressif), il exposait, certificat médical du 30 janvier 2013 à l'appui, être atteint d'un cancer de la prostate, avec multiples métastases osseuses. D. Par jugement du 14 mars 2013, le Tribunal d'application des peines et des mesures du canton de Genève a admis l'existence d'un motif grave au sens de l'art. 92 CP et ordonné l'interruption immédiate de la peine. E. Par arrêt du 23 avril 2013, la Chambre pénale de recours de la Cour de justice du canton de Genève a admis le recours formé par le Ministère public, annulé le jugement du 14 mars 2013 et rejeté la demande d'interruption de peine. En bref, cette autorité a estimé que l'incarcération et sa continuation ne faisaient pas peser de risque sérieux sur la vie et la santé de l'intéressé et, au vu de l'ensemble des circonstances, ne revêtaient pas un caractère inhumain ou dégradant. F. A._ forme un recours en matière pénale contre cet arrêt. Il conclut à son annulation et à l'interruption immédiate de la peine qu'il subit, subsidiairement au renvoi de la cause à l'autorité inférieure pour nouvelle décision dans le sens des considérants. Il sollicite également l'octroi de l'assistance judiciaire.