Faits:
A.
Par arrêt du 29 juin 2010, la Cour d'assises du canton de Genève a condamné A._ pour viols, contraintes sexuelles, tentative de contraintes sexuelles et actes préparatoires délictueux à 10 ans de privation de liberté.
Le 14 juin 2011, la Cour de cassation genevoise a rejeté le pourvoi de A._.
Par arrêt 6B_533/2011 - 6B_555/2011 du 10 novembre 2011, le Tribunal fédéral a rejeté, respectivement déclaré irrecevable, les recours en matière pénale formés par A._. Il a notamment jugé que l'autorité précédente avait correctement tenu compte de l'état de santé et de l'âge de l'intéressé, né en 1923, dans la fixation de la peine.
B.
Dans l'intervalle, la Chambre pénale d'appel et de révision de la Cour de justice du canton de Genève avait, par ordonnance présidentielle du 28 février 2011, rejeté la nouvelle requête de mise en liberté formée par A._, le 16 février 2011, durant sa détention pour des motifs de sûretés.
Par arrêt 1B_149/2011 du 4 mai 2011, le Tribunal fédéral a rejeté le recours formé contre cette ordonnance par A._, estimant que les raisons de santé invoquées durant la détention pour des motifs de sûretés ne suffisaient pas à tenir celle-ci pour disproportionnée vu notamment la gravité des infractions commises et le risque de fuite qui justifiaient une telle mesure.
C.
Le 8 février 2013, A._ a saisi le Tribunal d'application des peines et des mesures du canton de Genève d'une demande d'interruption de l'exécution de la peine au sens de l'art. 92 CP. Après avoir rappelé les affectations déjà diagnostiquées (démence d'étiologie organique, grave dépression et troubles du comportement avec risque auto ou hétéro agressif), il exposait, certificat médical du 30 janvier 2013 à l'appui, être atteint d'un cancer de la prostate, avec multiples métastases osseuses.
D.
Par jugement du 14 mars 2013, le Tribunal d'application des peines et des mesures du canton de Genève a admis l'existence d'un motif grave au sens de l'art. 92 CP et ordonné l'interruption immédiate de la peine.
E.
Par arrêt du 23 avril 2013, la Chambre pénale de recours de la Cour de justice du canton de Genève a admis le recours formé par le Ministère public, annulé le jugement du 14 mars 2013 et rejeté la demande d'interruption de peine.
En bref, cette autorité a estimé que l'incarcération et sa continuation ne faisaient pas peser de risque sérieux sur la vie et la santé de l'intéressé et, au vu de l'ensemble des circonstances, ne revêtaient pas un caractère inhumain ou dégradant.
F.
A._ forme un recours en matière pénale contre cet arrêt. Il conclut à son annulation et à l'interruption immédiate de la peine qu'il subit, subsidiairement au renvoi de la cause à l'autorité inférieure pour nouvelle décision dans le sens des considérants. Il sollicite également l'octroi de l'assistance judiciaire.

Considérant en droit:
1.
Dans le recours en matière pénale, les faits constatés par la cour cantonale lient le Tribunal fédéral (art. 105 al. 1 LTF), à moins qu'ils n'aient été établis en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, c'est-à-dire de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 4.1.2 p. 62; sur cette notion, cf. <ref-ruling> consid. 6.1 p. 379 s.). Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (art. 106 al. 2 LTF), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 2.2 p. 69). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.2.3 p. 5).
Le recourant invoque des faits ne résultant pas de l'arrêt entrepris, sans invoquer ni démontrer qu'ils auraient été omis de manière arbitraire. Il ne peut en ê tre tenu compte.
2.
Le recourant soutient que son âge, son état de santé et les souffrances qui en découlent, de même que l'absence de traitement médical curatif, seraient incompatibles avec la détention, peu importe le lieu, la forme ou les aménagements de celle-ci. L'interruption immédiate devrait donc être prononcée. Il conclut par conséquent que son maintien en détention, même dans une cellule hospitalière, porterait atteinte à sa dignité et constituerait un traitement inhumain et dégradant. Le rejet de sa demande d'interruption violerait ainsi les art. 74 et 92 CP, 10 al. 3 Cst. et 3 CEDH.
2.1. Aux termes de l'art. 92 CP, l'exécution des peines et des mesures peut être interrompue pour un motif grave.
2.1.1. L'application de l'art. 92 CP suppose tout d'abord l'interprétation des termes "motif grave", soit la concrétisation d'une notion juridique indéterminée, de manière à pouvoir statuer dans le cas particulier. Ensuite, en cas d'admission de la pertinence et de la gravité du motif, l'autorité doit déterminer s'il y a lieu d'interrompre l'exécution de la peine ou, seulement, de tenir compte du motif d'une autre manière dans le cadre de l'exécution de la peine. Elle dispose, pour ce faire, du pouvoir d'appréciation qui découle de la formulation potestative de la règle, d'après laquelle l'exécution des peines "peut" être interrompue pour un motif grave (<ref-ruling> consid. 4 p. 100).
2.1.2. Seuls sont des motifs pertinents pour l'application de l'art. 92 CP les risques médicaux que la poursuite de l'exécution de la peine ferait courir au condamné (<ref-ruling> consid. 5.1 p. 101). Quant à la gravité des motifs retenus, elle atteint toujours le degré requis si elle est telle que la poursuite de l'exécution violerait l'interdiction des peines cruelles, inhumaines ou dégradantes, prévue notamment par les art. 10 al. 3 Cst. et 3 CEDH. Le motif médical invoqué est également toujours grave si la poursuite de l'exécution met concrètement en danger la vie du condamné. Dans les autres cas, la gravité requise peut être atteinte si la poursuite de l'exécution, sans menacer directement la vie du condamné, fait néanmoins courir à celui-ci un risque sérieux pour sa santé. Pour déterminer si un tel degré est atteint, la gravité des motifs retenus ne doit pas s'apprécier de manière abstraite, mais en rapport avec la situation concrète du condamné, et en fonction de l'appui offert par les structures médicales quant aux soins disponibles à l'intérieur du système pénitentiaire, notamment au regard des formes dérogatoires d'exécution prévues par l'art. 80 CP (<ref-ruling> consid. 5.1 p. 102).
2.1.3. En présence d'un motif grave dans le sens décrit ci-dessus, l'autorité doit procéder à une pesée des intérêts tenant compte non seulement des aspects médicaux, mais également de la nature et de la gravité des actes ayant justifié la peine, de la durée de celle-ci (arrêt 6B_580/2010 du 26 juillet 2010 consid. 2.5.2) et de l'intérêt de la société à l'exécution de la peine (cf. <ref-ruling> consid. 7 p. 324; plus récemment arrêt 6A.43/2005 du 19 octobre 2005 consid. 2.1). L'exécution ininterrompue de la peine est la règle. Son interruption en présence d'un motif grave doit demeurer exceptionnelle (<ref-ruling> consid. 5 p. 101), ce d'autant plus en cas de délit grave (cf. <ref-ruling> consid. 7 p. 324; arrêt 6A.43/2005 précité consid. 2.1).
L'intérêt public à l'exécution ininterrompue de la peine présente divers aspects. Il faut tenir compte en premier lieu du besoin de protection de la société, plus particulièrement lorsque les infractions commises sont graves, les auteurs dangereux et les peines lourdes. A la prise en considération de cet impératif sécuritaire s'ajoute le respect de l'effectivité des peines, dans un but de prévention générale et spéciale, pour assumer à la fois le besoin de rééducation ou de resocialisation du condamné et la fonction d'expiation de la peine, dans la perspective d'un comportement correct en liberté, tendant à éviter le risque de récidive. L'intérêt public englobe également la défense de la crédibilité du système pénitentiaire, parce que l'Etat doit assurer l'exécution des peines conformément à leur but de resocialisation et d'expiation, sans mettre en péril la vie et l'intégrité corporelle, physique et psychique des détenus. La typologie de l'infraction doit également être observée pour s'opposer à l'éventuelle interruption d'une peine sanctionnant des infractions graves, révélatrices de la dangerosité de leur auteur, ou susceptibles d'être à nouveau perpétrées, subitement et sans grande préparation, pendant la période d'élargissement provisoire. Tel est en particulier le cas des infractions contre la vie et l'intégrité corporelle, contre la liberté et l'intégrité sexuelle. Enfin, il y a lieu de tenir compte du principe de l'égalité dans la répression, en veillant à ce que la gravité du problème rencontré par le condamné qui obtient une interruption justifie véritablement la différence de traitement dont il bénéficie par rapport aux autres condamnés (<ref-ruling> consid. 5.2.2.1 p. 104 s. et les arrêts cités).
Le Tribunal fédéral a ainsi confirmé un refus d'interruption opposé à un condamné qui souffrait de diverses affections complexes et relativement graves, mais qui pouvait bénéficier, en cas de péjoration subite, d'une hospitalisation rapide et adéquate dans le cadre de l'exécution de sa peine (arrêt 6B_580/2010 du 26 juillet 2010). Il a fait de même s'agissant d'une personne condamnée à une peine de réclusion de sept ans pour espionnage, souffrant d'une dépression grave ainsi que d'un cancer mettant sa vie en danger (<ref-ruling> cité par l'<ref-ruling> consid. 7.2 p. 324). Le Tribunal fédéral a également considéré que le fait qu'un détenu soit suicidaire et malade du sida ne constituait pas, en général, un motif primant d'emblée le but de la détention provisoire et justifiant d'une manière absolue sa mise en liberté (arrêt 1B_149/2011 du 4 mai 2011 consid. 5.1 et références citées).
2.2. Aux termes de l'art. 74 CP, le détenu et la personne exécutant une mesure ont droit au respect de leur dignité. L'exercice de leurs droits ne peut être restreint que dans la mesure requise par la privation de liberté et par les exigences de la vie collective dans l'établissement.
2.3. A l'instar de l'art. 10 al. 3 Cst., l'art. 3 CEDH interdit de soumettre une personne à la torture ou à des peines ou traitements inhumains ou dégradants.
Un traitement ne tombe sous le coup de l'art. 3 CEDH que s'il atteint un minimum de gravité. L'appréciation de ce minimum est relative par essence. Elle dépend de l'ensemble des données de la cause et notamment de la nature et du contexte du traitement, de ses modalités d'exécution, de sa durée, de ses effets physiques ou mentaux, ainsi que, parfois, du sexe, de l'âge et de l'état de santé de la victime (décision sur la recevabilité de la CourEDH Papon contre France du 7 juin 2001, p. 7). Aucune disposition, notamment l'art. 3 CEDH, n'interdit en tant que telle la détention au-delà d'un certain âge (décision sur la recevabilité de la CourEDH Papon précitée, p. 8) ni n'impose d'"obligation générale" de libérer un détenu pour motif de santé (arrêts de la CourEDH Tekin Yildiz contre Turquie du 10 novembre 2005 §72; également Cara-Damiani contre Italie du 7 février 2012 §67). Le tableau clinique d'un détenu constitue toutefois l'une des situations pour lesquelles la question de la capacité à la détention est posée sous l'angle de l'article 3 CEDH. Dans une affaire donnée, la détention d'une personne atteinte d'une pathologie engageant le pronostic vital ou dont l'état est durablement incompatible avec la vie carcérale peut donc poser des problèmes sous l'angle de l'art. 3 CEDH (arrêts de la CourEDH Tekin Yildiz précité §72; également Cara-Damiani précité §67).
Afin d'examiner la compatibilité d'un état de santé préoccupant avec le maintien en détention du requérant, la Cour européenne des droits de l'homme tient compte, en particulier, de trois éléments: la condition du détenu, la qualité des soins dispensés et l'opportunité de maintenir la détention au vu de l'état de santé du requérant (arrêts de la CourEDH Arutyunyan contre Russie du 10 janvier 2012 §72; Enea contre Italie du 17 septembre 2009 §59; Farbtuhs contre Lettonie du 2 décembre 2004 §53; Sakkopoulos contre Grèce du 15 janvier 2004 § 39). Ce dernier critère implique la prise en considération des actes ayant justifié la privation de liberté, de même que le risque de récidive (cf. arrêts de la CourEDH Sakkopoulos précité § 44; également Enea précité §65).
2.4. Le recourant estime qu'en cas de maladie, lorsqu'aucun traitement curatif n'est possible, l'état de santé du détenu doit être considéré comme incompatible avec la détention, peu importe le lieu, la forme et l'aménagement de celle-ci. Une telle appréciation, ne tenant pas compte des circonstances d'espèce et notamment des effets de la maladie sur le quotidien du recourant et des intérêts publics en jeu, n'est pas correcte et ne repose en tout cas pas, contrairement à ce que soutient le recourant, sur la jurisprudence rendue à l'<ref-ruling>. Il convient au contraire d'examiner ici si la poursuite de l'exécution de la peine à laquelle le recourant a été condamné constituait, au moment de l'arrêt attaqué et au vu de l'ensemble des circonstances pertinentes, une peine ou un traitement cruel, inhumain ou dégradant.
2.4.1. Au jour de l'arrêt attaqué, le recourant était âgé de 89 ans. Un cancer de la prostate avec de multiples métastases osseuses, provoquant un syndrome douloureux marqué an niveau de la colonne vertébrale et des épaules, avait été diagnostiqué trois mois auparavant. Selon le certificat médical établi le 30 janvier 2013, le recourant était très affaibli et son périmètre de marche limité à moins de 20 mètres; le cancer était dans sa phase terminale et la survie médiane du recourant estimée par les médecins entre 10 et 18 mois; étant donné le stade avancé de la maladie, l'âge du recourant et son état général, aucun traitement curatif n'était envisageable; seul un traitement palliatif hormonal (casodex et zoladex) avait été prescrit.
L'état de santé du recourant était ainsi sans conteste mauvais. Néanmoins, la cour cantonale pas plus que les médecins soignant le recourant n'ont retenu que son état était alors incompatible avec la détention ou sérieusement mis en danger par celle-ci, les médecins du recourant se bornant à "proposer d'évaluer la possibilité" d'une suspension "pour raison humanitaire".
L'arrêt attaqué ne retient pas non plus que le recourant aurait été, au moment de son prononcé, en train de vivre ses derniers jours, ni même que son état de santé impliquait un maintien en hospitalisation. Le certificat médical établi le 30 janvier 2013, alors même que le recourant était hospitalisé à l'unité cellulaire hospitalière des HUG, ne l'indique par ailleurs pas, mais spécifie que le seul impératif est la prise de médicaments et propose d'évaluer la possibilité de libérer le recourant, sans poser de restriction médicale. Le recourant avait quant à lui déposé, lors de l'audience de première instance, un mois avant l'arrêt attaqué, une déclaration de l'une de ses filles selon laquelle celle-ci serait prête à l'accueillir chez elle en France. Ici encore, cela présuppose que l'état de santé du recourant, bien que sans perspective de rémission, soit suffisamment bon pour pouvoir se passer, tout au moins pour un temps, d'une structure hospitalière. L'affirmation du recourant dans son recours en matière pénale que son séjour à l'unité cellulaire hospitalière des HUG est ponctué par des retours à l'établissement de Champ-Dollon va d'ailleurs dans ce sens.
Les faits constatés par l'arrêt attaqué ne permettent pas non plus de retenir que le recourant serait mal soigné en détention, qu'il n'y bénéficierait pas de soins auxquels il pourrait avoir accès en liberté, qu'il ne pourrait pas disposer d'une hospitalisation rapide et adéquate dans le cadre de l'exécution de sa peine si son état venait à se péjorer, que l'hospitalisation en unité cellulaire hospitalière ne serait pas envisageable à plus long terme ou encore que les membres de la famille du recourant qui souhaiteraient le voir ne seraient pas admis à le faire. Il ne ressort pas non plus de l'arrêt attaqué que des modalités de détention, autres que celles proposées, seraient plus adéquates à la situation du recourant. Son âge avancé a quant à lui déjà été considéré comme ne faisant pas obstacle au prononcé d'une peine privative de liberté de dix ans et donc par principe à l'exécution de celle-ci (cf. arrêt 6B_533/2011 - 6B_555/2011 du 10 novembre 2011 consid. 7). Le recourant ne dit pas en quoi cet aspect devrait aujourd'hui être pris différemment en compte.
2.4.2. Dans le cadre de l'examen de l'admissibilité du maintien du recourant en prison, il convient également d'examiner la typologie des actes commis. Le recourant a été condamné à une peine de dix ans pour des crimes graves, soit viol, contraintes sexuelles, tentative de contraintes sexuelles et actes préparatoires délictueux sur sa fille adoptive. Ces actes se sont déroulés sur de nombreuses années, entre 1993 et 2005. Lors des premiers actes, la victime n'était âgée que de 8 ans. En 2005, alors qu'elle avait fui, le recourant l'a poursuivie, a engagé un détective privé et a finalement été arrêté en possession de menottes, d'un spray de défense, d'un appareil destiné à immobiliser la victime (taser) ainsi que d'importantes sommes d'argent destinées à financer sa fuite avec elle (cf. arrêt 6B_533/2011 précité, let. C). Durant son procès aux assises, il n'a jamais reconnu les faits (cf. arrêt 6B_533/2011 précité, let. D).
S'agissant de la crédibilité du système pénitentiaire et de l'effectivité des peines, il est relevé que les faits commis ne sont pour la plupart pas si anciens et que le recourant les a perpétrés à un âge avancé, alors qu'il avait entre 70 et 82 ans, prenant ainsi le risque d'être sanctionné à un âge tardif. Au jour de l'arrêt attaqué, le recourant n'avait effectué qu'un peu plus d'un tiers de sa peine.
2.4.3. La prise en considération de ces éléments, non seulement le diagnostic posé, mais également les besoins médicaux du recourant et la manière dont le système carcéral y répondait, de même que la gravité des faits commis, leur peu d'ancienneté et la relativement faible portion de peine effectuée, permettait à la cour cantonale de considérer, compte tenu notamment de l'intérêt public à préserver la crédibilité du système pénitentiaire, l'effectivité des peines et l'égalité dans la répression, qu'astreindre le recourant à continuer d'exécuter sa peine ne constituait pas un traitement cruel, inhumain, dégradant ou contraire à la dignité du recourant. Le grief de violation des art. 74 CP, 10 al. 3 Cst. et 3 CEDH est ainsi infondé.
La solution précitée évite en l'état d'apprécier le risque de récidive, critère qui est aussi pertinent sous l'angle de l'art. 3 CEDH.
2.4.4. S'agissant du grief de violation de l'art. 92 CP, le risque médical que court le condamné n'est pas en rapport avec la poursuite de l'exécution de la peine qu'il purge actuellement. A la rigueur de la jurisprudence précitée (cf. supra consid. 2.1.2), le motif de santé invoqué, certes grave, n'était donc pas propre à permettre à l'autorité précédente d'appliquer l'art. 92 CP. Même si elle avait considéré qu'il s'agissait d'un motif grave au sens de cette disposition, l'ensemble des circonstances ici pertinentes, soit non seulement l'état de santé du recourant et son âge, mais également la gravité des faits commis et la relativement faible portion de peine déjà exécutée, lui auraient permis, sans violation de son pouvoir d'appréciation, de refuser cette interruption.
3.
Il résulte de ce qui précède que le recours doit être rejeté dans la mesure de sa recevabilité. Dès lors que le recourant est dans le besoin et que ses conclusions ne paraissaient pas d'emblée vouées à l'échec, sa requête d'assistance judiciaire doit être admise (art. 64 al. 1 LTF). Par conséquent, il y a lieu de le dispenser des frais et d'allouer une indemnité à son mandataire, désigné comme avocat d'office (art. 64 al. 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est admise. Me Yaël Hayat est désignée comme défenseur d'office du recourant et ses honoraires, supportés par la caisse du Tribunal fédéral, sont fixés à 1'500 francs.
3.
Il n'est pas perçu de frais judiciaires.
4.
Le présent arrêt est communiqué aux parties et à la Chambre pénale de recours de la Cour de justice de la République et canton de Genève.
Lausanne, le 13 septembre 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod