Faits :
A.
Le 31 mars 2015, après avoir pénétré sur le territoire suisse sans droit, X._ a, à Corsier, pointé son arme à feu de type pistolet ou une autre arme pouvant être confondue avec une telle arme en direction de A._. Celui-ci a pu prendre la fuite.
Le même jour, toujours à Corsier, X._ s'est introduit dans la propriété de la famille B._, avec un révolver d'alarme, a ordonné au mari de rentrer dans la maison et de réunir sa famille, comptant son épouse et deux enfants majeurs. Sous la menace notamment de son arme, des bijoux et de l'argent pour un préjudice total de 43'000 fr. lui ont été remis. Il a ensuite obtenu sous la menace un véhicule de la famille et obligé l'un des enfants à le conduire jusqu'à Anières, maintenant durant la conduite le canon de l'arme à proximité de la tête de l'otage.
Le 30 avril 2015, après avoir pénétré sur le territoire suisse sans droit, X._ s'est rendu à Collonge-Bellerive dans la propriété des époux C._, à l'encontre desquels il avait déjà commis un brigandage en 2011. Il s'est fait introduire dans la villa, sous la menace d'un pistolet à bille ressemblant à une arme à feu, par le jardinier D._. Il y a été confronté à Mme C._ et à une employée de maison E._, enceinte. Emmenant sous la menace de son arme les trois précités à la cave où se trouvait le coffre-fort, il a obtenu que des bijoux pour une valeur de 124'000 fr. lui soient remis. Il a également forcé Mme C._ à lui remettre 2'200 fr. ainsi que les clefs de son véhicule et contraint, sous la menace de son arme, D._ à le conduire à Veigy.
Le 4 juin 2015, alors qu'il était en détention préventive sous régime de sécurité renforcée, X._ a dit à F._, sous-cheffe gardienne de prison, qu'il allait faire tomber le directeur, le virer, que c'était un fou, qu'il ne se rendait pas compte de ce qu'il avait fait et qu'il allait se prendre une balle dehors.
B.
Par jugement du 9 février 2017, le Tribunal criminel de la République et canton de Genève a condamné X._ pour brigandage, extorsion qualifiée, menaces, contrainte, tentative de contrainte, séquestration et enlèvement, prise d'otage qualifiée, violation de domicile, infractions à la loi et à l'ordonnance sur les armes et entrée illégale. Cette autorité a prononcé une peine privative de liberté de 13 ans, sous déduction de la détention subie jusqu'à l'audience de jugement, dite peine comprenant un solde de peine d'un an, huit mois et dix-sept jours dont le condamné avait été libéré conditionnellement le 25 février 2015, libération conditionnelle qui était révoquée. Un traitement ambulatoire était ordonné.
C.
Par arrêt du 26 septembre 2017, la Chambre pénale d'appel et de révision de la Cour de justice de la République et canton de Genève a admis l'appel de X._ et, partiellement, celui du Ministère public de la République et canton de Genève. Elle a réduit à 11 ans la peine privative de liberté prononcée à l'encontre de X._, sous déduction de 853 jours de détention avant jugement, dont 503 jours en exécution anticipée de peine. Elle a pour le surplus ordonné, en lieu et place du traitement ambulatoire prononcé en première instance, un traitement institutionnel au sens de l'<ref-law>.
D.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il requiert, avec suite de frais et dépens, son annulation en tant qu'il le soumet à un traitement institutionnel. A titre subsidiaire, il conclut au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite le bénéfice de l'assistance judiciaire.
Invités à se déterminer sur le recours, le ministère public a déclaré y renoncer, l'autorité précédente a conclu au rejet. X._ a formulé des observations sur ces réponses.

Considérant en droit :
1.
Le recourant reproche à l'autorité précédente d'avoir prononcé un traitement institutionnel au sens de l'<ref-law> en lieu et place d'un traitement ambulatoire au sens de l'<ref-law>. Il invoque une violation de ces dispositions, des art. 56 al. 2 et 3 CP et 56a CP ainsi qu'une appréciation arbitraire de l'expertise.
1.1.
1.1.1. Aux termes de l'<ref-law>, une mesure doit être ordonnée si une peine seule ne peut écarter le danger que l'auteur commette d'autres infractions, si l'auteur a besoin d'un traitement ou que la sécurité publique l'exige et si les conditions prévues aux art. 59 à 61, 63 ou 64 CP sont remplies (al. 1). Le prononcé d'une mesure suppose que l'atteinte aux droits de la personnalité qui en résulte pour l'auteur ne soit pas disproportionnée au regard de la vraisemblance qu'il commette de nouvelles infractions et de leur gravité (al. 2). L'<ref-law> rappelle que si plusieurs mesures s'avèrent appropriées, mais qu'une seule est nécessaire, le juge ordonne celle qui porte à l'auteur les atteintes les moins graves. Si plusieurs mesures s'avèrent nécessaires, le juge peut les ordonner conjointement.
1.1.2. Pour ordonner une des mesures prévues aux art. 59 à 61, 63 et 64 CP, le juge doit se fonder sur une expertise. Celle-ci doit se déterminer sur la nécessité et les chances de succès d'un traitement, la vraisemblance que l'auteur commette d'autres infractions et la nature de celles-ci, ainsi que sur les possibilités de faire exécuter la mesure (<ref-law>). Dans ce cadre, l'expert devra se prononcer, en particulier, sur la forme du traitement et la mesure qui lui semble la plus appropriée (cf. sous l'ancien droit: <ref-ruling> consid. 3b p. 128; plus récemment arrêt 6B_371/2016 du 10 février 2017 consid. 1.1.4), étant toutefois gardé à l'esprit qu'il incombe au juge de déterminer si une mesure doit être ordonnée et, cas échéant, laquelle. En effet, ce n'est pas à l'expert, mais bien au juge qu'il appartient de résoudre les questions juridiques qui se posent, dans le complexe de faits faisant l'objet de l'expertise (arrêt 6B_1160/2017 du 17 avril 2018 consid. 2.1 et les références citées).
Le juge apprécie en principe librement une expertise et n'est pas lié par les conclusions de l'expert. Toutefois, il ne peut s'en écarter que lorsque des circonstances ou des indices importants et bien établis en ébranlent sérieusement la crédibilité. Il est alors tenu de motiver sa décision de ne pas suivre le rapport d'expertise. Inversement, si les conclusions d'une expertise judiciaire apparaissent douteuses sur des points essentiels, le juge doit recueillir des preuves complémentaires pour tenter de dissiper ses doutes. A défaut, en se fondant sur une expertise non concluante, il pourrait commettre une appréciation arbitraire des preuves et violer l'art. 9 Cst. (<ref-ruling> consid. 2.3.1 p. 53 et les arrêts cités).
1.1.3. Selon l'<ref-law>, lorsque l'auteur souffre d'un grave trouble mental, le juge peut ordonner un traitement institutionnel si l'auteur a commis un crime ou un délit en relation avec ce trouble et s'il est à prévoir que cette mesure le détournera de nouvelles infractions en relation avec ce trouble.
Selon la jurisprudence, cette dernière condition est réalisée lorsque, au moment de la décision, il est suffisamment vraisemblable qu'un traitement institutionnel entraînera dans les cinq ans de sa durée normale une réduction nette du risque de récidive (<ref-ruling> consid. 3.2.4 p. 9; <ref-ruling> consid. 3.4.1 p. 321 s.).
Le traitement institutionnel s'effectue dans un établissement psychiatrique approprié ou dans un établissement d'exécution des mesures (<ref-law>). Il s'effectue dans un établissement fermé tant qu'il y a lieu de craindre que l'auteur ne s'enfuie ou ne commette de nouvelles infractions. Il peut aussi être effectué dans un établissement pénitentiaire au sens de l'<ref-law>, dans la mesure où le traitement thérapeutique nécessaire est assuré par du personnel qualifié (<ref-law>).
L'exécution de la mesure prévue à l'<ref-law> prime l'exécution d'une peine privative de liberté prononcée conjointement ainsi que celle d'une peine privative de liberté qui doit être exécutée en raison d'une révocation ou d'une réintégration (cf. art. 57 al. 2 1ère phrase CP). La durée de la privation de liberté entraînée par l'exécution de la mesure est imputée sur la durée de la peine (<ref-law>).
La privation de liberté entraînée par le traitement institutionnel ne peut en règle générale excéder cinq ans. Si les conditions d'une libération conditionnelle ne sont pas réunies après cinq ans et qu'il est à prévoir que le maintien de la mesure détournera l'auteur de nouveaux crimes ou de nouveaux délits en relation avec son trouble mental, le juge peut, à la requête de l'autorité d'exécution, ordonner la prolongation de la mesure de cinq ans au plus à chaque fois (<ref-law>).
1.1.4. Aux termes de l'<ref-law>, lorsque l'auteur souffre d'un grave trouble mental, est toxico-dépendant ou souffre d'une autre addiction, le juge peut ordonner un traitement ambulatoire au lieu d'un traitement institutionnel, si l'auteur a commis un acte punissable en relation avec son état et s'il est à prévoir que ce traitement le détournera de nouvelles infractions en relation avec son état.
Si la peine n'est pas compatible avec le traitement, le juge peut suspendre, au profit d'un traitement ambulatoire, l'exécution d'une peine privative de liberté ferme prononcée en même temps que le traitement, l'exécution d'une peine privative de liberté devenue exécutoire à la suite de la révocation du sursis et l'exécution du solde de la peine devenu exécutoire en raison d'une décision de réintégration (art. 63 al. 2 1ère phrase CP). La suspension de la peine revêt un caractère exceptionnel (arrêt 6B_222/2012 du 8 octobre 2012 consid. 2.1 et les arrêts cités). Lorsque le traitement est appliqué en cours d'exécution de peine, la mesure aura le caractère d'une injonction judiciaire, qui obligera la direction de l'établissement d'y donner suite et qui empêchera le condamné de s'y soustraire (arrêt 6B_371/2016 du 10 février 2017 consid. 1.3).
En vertu de l'<ref-law>, le traitement ambulatoire ne peut en règle générale excéder cinq ans. Si, à l'expiration de la durée maximale, il paraît nécessaire de le poursuivre pour détourner l'auteur d'autres crimes ou délits en relation avec son trouble mental, le juge peut, à la requête de l'autorité d'exécution, le prolonger de un à cinq ans à chaque fois.
1.2.
1.2.1. En l'espèce, le Dr G._, médecin responsable de l'unité d'expertise du centre de psychiatrie forensique de Fribourg (pièce C-627), a établi un rapport d'expertise en date du 27 janvier 2016 concernant le recourant. Il en ressort que ce dernier présente une personnalité dyssociale avec des caractéristiques psychopathiques prononcées, mais qu'il y a chez lui une " émotionnalité négative ", qui ne se trouve pas chez les psychopathes primaires et qui est un facteur de protection contre un passage à l'acte comportant une atteinte à l'intégrité corporelle d'autrui. Le risque de récidive est élevé s'agissant d'actes de violence. Ce risque est modulable au moyen d'interventions médico-psychologiques, socio-thérapeutiques et socio-judiciaires. Le recourant présente un potentiel évolutif et son adhésion à une prise en charge psychothérapeutique est envisageable. Se prononcer pour un internement équivaudrait à renoncer à se donner tous les moyens visant à favoriser chez le recourant une thérapie dynamique. Nonobstant le diagnostic de personnalité dyssociale, le fonctionnement du recourant autorise un travail psychothérapeutique pourvu qu'il soit suffisamment intensif. Une bonne alliance thérapeutique du recourant a été évoquée par le passé ainsi que le fait que celui-ci ne présentait pas de velléité de manipulation de la relation thérapeutique à des fins utilitaires. Le suivi psychothérapeutique, dont le recourant avait bénéficié par le passé, ne permettait pas de conclure que tout avait déjà été essayé sans succès. Selon l'expert, un traitement institutionnel ne serait d'aucune plus-value par rapport à un traitement ambulatoire. Au terme de son évaluation psychiatrique, l'expert a considéré qu'il était prématuré de se prononcer en faveur d'une mesure selon l'<ref-law> ou 64 CP au stade actuel de la procédure et qu'on ne ferait pas l'économie d'une nouvelle évaluation expertale avec ce questionnement lorsqu'un allégement du cadre sera envisagé (pièce C-619; cf. <ref-law>). L'expert a partant préconisé un traitement ambulatoire psychothérapeutique et d'ordre psychiatrique, la prison n'y faisant pas obstacle.
1.2.2. Entendu par le ministère public, l'expert a indiqué que le suivi dont le recourant avait bénéficié à la suite de sa précédente condamnation - le 25 janvier 2013 -, soit des séances pour l'essentiel mensuelles, n'avait pas été suffisant pour qu'on puisse dire que le recourant n'était pas amendable. L'expert était même convaincu du contraire, tout en précisant que les séances mensuelles que le recourant avait connues par le passé ne convenait pas pour une thérapie à visée dynamique. Il s'agissait alors d'une thérapie de soutien. Une thérapie dynamique nécessitait pour le moins des séances tous les 15 jours auxquelles devait être intégrée une approche socio-thérapeutique (pièce C-626; <ref-law>).
1.2.3. Selon un rapport médico-psychologique du 2 février 2017, le Service de médecine pénitentiaire des HUG a attesté que le recourant bénéficiait d'un suivi psychothérapeutique hebdomadaire depuis le 15 mars 2016 et qu'il était assidu, se disant motivé et prêt à travailler sur ses difficultés. Au travers de la psychoéducation, le recourant avait pu réaliser que la violence psychologique pouvait également avoir un impact fort, à long terme, sur les victimes. Il avait par ailleurs lui-même identifié son impulsivité comme une source régulière de difficulté. Une évolution positive était constatée, avec une reconnaissance de la notion de violence psychologique en rapport avec ses infractions. Notamment, le recourant n'utilisait plus le fait de ne pas avoir recouru à la violence physique comme un argument pour minimiser les conséquences de ses actes sur ses victimes.
1.2.4. Entendu lors de l'audience de première instance du 7 février 2017, l'expert a confirmé son rapport et ses précédentes déclarations. L'attestation précitée du 2 février 2017 le confortait dans ses propositions. Le rythme hebdomadaire devrait, idéalement, être maintenu. L'évolution du recourant était rapide et dépassait ses espérances.
1.2.5. Le rapport de suivi médico-psychologique du 14 juin 2017 retient une évolution positive concernant la gestion de l'impulsivité. Le travail sur l'empathie devait se poursuivre car le recourant se montrait régulièrement ambivalent avec une tendance à minimiser ses actes délictueux. Il avait pu admettre que la violence psychologique pouvait avoir un impact fort sur les victimes, et ce à long terme, et avait été sensibilisé à la notion de stress post-traumatique. Il avait identifié des discordances entre son souvenir et ceux des victimes mais l'ambivalence demeurait. Son empathie restait limitée au stade cognitif, théorique et sans résonance émotionnelle.
1.2.6. Lors de l'audience d'appel du 25 septembre 2017, l'expert a confirmé ses conclusions et déclarations précédentes et notamment le diagnostic de personnalité dyssociale, précisant que l'on pourrait évoquer celui de psychopathie, en se basant sur l'échelle de Hare. Le risque de récidive était élevé, y compris s'agissant d'infractions comportant une atteinte à la santé psychologique d'autrui, seul le risque d'infractions avec une composante de violence physique étant moindre. L'expert admettait qu'élevé puisse signifier " hautement vraisemblable ".
Répondant à la question de l'autorité précédente, l'expert a admis qu'il serait un peu surpris si on lui apprenait dans 20 ans que, libéré le jour de l'audience, le recourant n'avait pas commis de nouvelles infractions portant atteinte à l'intégrité psychologique d'autrui. L'expert déclarait qu'il le serait un peu moins si cette absence de récidive faisait suite à une longue prise en charge et s'il travaillait normalement. En effet, la seule thérapie ne suffirait pas. Il faudrait qu'à sa sortie, le recourant se trouve dans un contexte psychosocial favorable, avec un travail, des loisirs et un réseau. Une sociothérapie serait une plus-value dans la thérapie globale. L'expert maintenait qu'un internement serait un obstacle à la thérapie, car avec une telle mesure il n'y avait pas d'obligation de fournir une thérapie.
Interpellé sur les conclusions à tirer d'un éventuel mensonge du recourant quant aux pressions dont il disait avoir fait l'objet - mensonge que l'arrêt attaqué a retenu -, l'expert a déclaré que cela signifierait que le recourant peinait toujours à prendre conscience de ses actes et qu'il était plus difficile qu'il y parvienne. Cela indiquerait aussi chez lui une certaine tendance à la manipulation. Cela ne changerait toutefois pas ses conclusions relatives à l'internement car l'expert restait convaincu qu'un suivi médico-psychologique et socio-thérapeutique sur le long terme était susceptible de modifier le fonctionnement du recourant. En tout cas, la question d'un internement était prématurée et devrait être examinée au moment d'un éventuel élargissement des conditions de détention.
Prenant connaissance du rapport de suivi médico-psychologique du 14 juin 2017, l'expert notait qu'il était plus nuancé que le précédent mais jugeait cela normal car il y avait des phases dans le traitement. Ce qui se passait était intéressant mais il fallait un travail au long cours. Pour l'expert, il n'était pas surprenant que le recourant investisse le suivi et considère que celui-ci lui faisait un " bien fou ", car déjà du temps de son précédent traitement aux Établissements de la plaine de l'Orbe, il y avait une bonne alliance. Le recourant était capable d'adhérer véritablement à un traitement, raison pour laquelle l'expert avait préconisé un traitement ambulatoire plutôt qu'une mesure selon l'<ref-law> ou un internement. L'expert restait convaincu qu'il était possible d'obtenir un véritable amendement.
L'expert préconisait un traitement ambulatoire plutôt qu'institutionnel car il partait de l'idée que de toute façon la peine sera longue, soit au moins équivalente à la précédente sanction, soit 5 ans et demi dont un peu moins de 4 ans avaient été purgés. L'expert estimait qu'il revenait au thérapeute de juger de la durée nécessaire du traitement. Il estimait toutefois qu'un traitement devrait durer au moins trois ou quatre ans.
1.3. L'autorité précédente a jugé l'expertise complète, cohérente et non contredite par les éléments au dossier. Elle a en conséquence retenu que le recourant présentait un grave trouble mental. Il avait commis des infractions entrant dans la liste de l'<ref-law> et présentait un risque qualifié d'élevé de récidive de telles infractions. Les conditions d'une mesure pouvant aller jusqu'à l'internement étaient ainsi réalisées.
L'autorité précédente a poursuivi en rappelant que le choix de la mesure revenait au juge. Selon l'expert, un traitement n'était pas voué à l'échec. L'évolution favorable, bien que balbutiante et fluctuante, évoquée dans les deux rapports de suivi médico-psychologique produits confortait l'analyse de l'expert. Pour autant, il fallait également tenir compte de ce que l'expert était loin d'être optimiste, insistant sur le fait qu'une prise en charge psychothérapeutique ne saurait en aucun cas suffire mais devrait être accompagnée d'une socio-thérapie et d'un soutien socio-judiciaire. L'autorité précédente invoque également qu'en audience le recourant avait indiqué qu'il n'était pas malade et n'avait pas de problème ou encore n'avait pas indiqué s'il estimait que le travail était terminé, disant que la question ne se posait pas dans la mesure où il avait été condamné à une longue peine. Ces affirmations n'allaient pas dans le sens d'une véritable intégration de son trouble. Le recourant minimisait également sa responsabilité justifiant son comportement par les prétendues pressions subies et demeurait ambivalent dans le cadre du travail sur l'empathie. En conséquence, l'autorité précédente a estimé que le recourant nécessitai t un encadrement non seulement personnalisé, mais aussi particulièrement strict, à tout le moins dans une première phase qui serait certainement longue, ce qui, selon l'autorité précédente, dépassait le simple traitement ambulatoire de l'<ref-law> et relevait d'un traitement institutionnel de l'<ref-law>. D'ailleurs, l'autorité précédente a estimé que l'expert avait fini par admettre qu'il n'avait pas préconisé cette mesure uniquement parce qu'il était parti de l'idée que le traitement ambulatoire interviendrait dans le contexte d'une longue peine, autrement dit que, dans sa compréhension du système, cela revenait au même. En revanche dès lors qu'il n'était pas permis d'affirmer que le traitement institutionnel paraissait d'emblée voué à l'échec, la question de l'internement - requis par le ministère public - était effectivement prématurée et pourra être reposée, s'il y avait lieu, lors de la levée de la mesure aux conditions posées par l'<ref-law>.
Soulignant que la décision du lieu d'exécution du traitement institutionnel revenait à l'autorité d'exécution et que le juge du fond ne devait que se contenter de formuler des recommandations dans les considérants de sa décision, l'autorité précédente a indiqué qu'à l'évidence seul un traitement institutionnel en milieu fermé au sens de l'<ref-law> était envisageable à ce stade.
1.4.
1.4.1. Le législateur a soumis le prononcé d'un traitement institutionnel comme celui d'un traitement ambulatoire à la même condition qu'il soit à prévoir que le traitement détournera l'intéressé de nouvelles infractions en relation avec son état (cf. respectivement <ref-law> et <ref-law>). Les deux mesures sont en principe prononcées pour une durée maximale de cinq ans, prolongeables (cf. respectivement <ref-law> et <ref-law>). Dans ces conditions, il convient, à l'instar de ce qui a été jugé en matière de traitement institutionnel (cf. supra consid. 1.1.3 2ème paragraphe) de considérer la condition posée par l'<ref-law> comme réalisée si, au moment de la décision, il est suffisamment vraisemblable qu'un traitement ambulatoire entraînera dans les cinq ans une réduction nette du risque de récidive (cf. arrêt 6B_498/2011 du 23 janvier 2012 consid. 2.3). Dans ce cas, et si la condition posée par l'<ref-law> est également remplie, un traitement ambulatoire devra être prononcé, en lieu et place d'un traitement institutionnel (cf. <ref-law>).
La stabilité ou l'encadrement dont bénéficiera le recourant à l'issue de cette période de cinq ans ne sont en revanche pas des conditions subordonnant le prononcé de telle ou telle mesure (cf. arrêt 6B_911/2017 du 27 avril 2018 consid. 6.3).
1.4.2. En l'espèce, l'arrêt attaqué ne contient pas de faits clairs permettant de savoir si au moment de son prononcé il était suffisamment vraisemblable qu'un traitement ambulatoire entraînera dans les cinq ans une réduction nette du risque de récidive. L'expert ne se détermine pas sur cette question, qui ne semble pas lui avoir été posée. L'autorité précédente conclut certes que le recourant aurait besoin, durant une première phase " certainement longue ", d'un encadrement non seulement personnalisé, mais aussi " particulièrement strict " qui dépasserait le simple traitement ambulatoire de l'<ref-law>. Comme le souligne le recourant, aucun élément ne permet de retenir que cette première phase serait de plus de cinq ans, l'expert ayant préconisé un traitement d'au moins trois à quatre ans, sans préciser si le traitement commencé en mars 2016 devait être imputé sur cette durée. La nécessité d'un encadrement " particulièrement strict " n'est pas non plus motivée et ne ressort pas de l'expertise. Enfin l'expert a affirmé à plusieurs reprises que le traitement ambulatoire nécessaire pourrait être effectué en milieu carcéral. Dans ces conditions, l'appréciation, au demeurant peu claire, qu'un tel encadrement " particulièrement strict " dépasserait le simple traitement ambulatoire de l'<ref-law> et relevait d'un traitement institutionnel de l'<ref-law> ne peut être suivie.
On relève au contraire que l'expert mis en oeuvre dans la procédure pénale a répété clairement et de manière constante, notamment après avoir eu connaissance des résultats du traitement ambulatoire suivi par le recourant dans le cadre de l'exécution anticipée de sa peine, que dans les circonstances d'espèce un traitement ambulatoire avait des chances de succès, qu'un tel traitement devrait toutefois durer au moins trois à quatre ans et qu'un traitement institutionnel n'apporterait aucune plus-value. Il a également précisé que le traitement ambulatoire serait mené durant l'exécution de sa peine, condition qu'il estimait remplie dès lors que le recourant devrait purger une longue peine privative de liberté. En l'état, il apparaît qu'au jour de l'arrêt attaqué, la durée de la peine encore à exécuter était supérieure à 8 ans (peine infligée de 11 ans - 853 jours de détention avant jugement). Une hypothétique libération conditionnelle de la peine ne pourrait entrer en considération que quelque 5 ans après le prononcé de l'arrêt attaqué, libération conditionnelle qui impliquera qu'il n'y ait plus lieu de craindre que le recourant ne commette de nouveaux crimes ou de nouveaux délits (art. 86 al. 1 in fine CP). Il apparaît ainsi que le cadre implicitement nécessaire selon l'expert à la bonne exécution d'un traitement ambulatoire allait subsister, au moment de l'arrêt attaqué, pendant les cinq ans suivant au moins.
Comme dit ci-dessus, les faits constatés par l'arrêt attaqué ne permettent pour le surplus pas d'exclure qu'au jour de l'arrêt attaqué il aurait été suffisamment vraisemblable qu'un traitement ambulatoire entraîne dans les cinq ans de sa durée normale une réduction nette du risque de récidive.
Le cas est ainsi distinct de celui traité à l'arrêt 6B_371/2016 du 10 février 2017 sur lequel s'est fondée l'autorité précédente. Dans cette cause, l'intéressé avait une mauvaise compliance au traitement médicamenteux et nécessitait un traitement effectué sur le long terme, dans un cadre contenant et sécurisé. Or lors du jugement d'appel la peine encore à exécuter jusqu'à son terme n'était plus que de 3 ans et six mois et les experts avaient refusé en audience d'appel de trancher entre traitement ambulatoire et traitement institutionnel. Dans ces conditions, le Tribunal fédéral avait jugé proportionné le prononcé d'une mesure thérapeutique institutionnelle.
En l'espèce, le recourant a déjà commencé, dans le cadre de l'exécution anticipée de sa peine, depuis mars 2016, un traitement ambulatoire dont les autorités médicales compétentes ont relevé l'utilité et l'avancement. Dans ces conditions, force est de constater que tel que motivé, le prononcé d'un traitement institutionnel en lieu et place d'un traitement ambulatoire ne respecte pas le principe de proportionnalité.
2.
Il résulte de ce qui précède que le recours doit être admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants.
Le recourant, qui obtient gain de cause, ne supportera pas de frais judiciaires (<ref-law>). Il a droit à des dépens à la charge du canton de Genève (<ref-law>). Cela rend sans objet sa demande d'assistance judiciaire.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Genève versera à l'avocat du recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre pénale d'appel et de révision, et à D._.
Lausanne, le 5 juillet 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod