Faits :
A.
Par arrêt du 3 novembre 1998, la Cour d'assises de la République et canton de Genève a condamné X._ pour viol avec cruauté et rupture de ban à une peine privative de liberté de cinq ans. L'exécution de la peine a été suspendue au profit d'un internement au sens de l'art. 43 aCP.
Le 5 décembre 2008, le Tribunal d'application des peines et mesures de la République et canton de Genève a ordonné le maintien de l'internement de X._ au sens de l'<ref-law>.
Dès le 5 mars 2009, X._ a continué l'exécution de cette mesure au sein des Établissements de la Plaine de l'Orbe (ci-après EPO), sur décision du Service d'application des peines et mesures de la République et canton de Genève (ci-après SAPEM).
B.
Par décision du 12 février 2014, la Direction des EPO a ordonné le transfert de X._ dès le 17 février 2014 à l'établissement de Champ-Dollon à Genève. Même si l'intéressé niait la planification d'une évasion avec l'aide d'une arme, les informations recueillies laissaient apparaître l'existence fondée d'un tel risque.
C.
Le 17 mars 2014, X._ a recouru contre cette décision auprès du juge d'application des peines du canton de Vaud, autorité de recours indiquée au pied de la décision du 12 février 2014. Interpellé, le SAPEM a conclu au rejet du recours, puis s'est finalement vu transmettre le dossier, étant l'autorité compétente pour en connaître.
Par décision de transfert du 8 août 2014, le SAPEM a ordonné le placement de X._ à la prison de Champ-Dollon. Cette autorité constatait la nullité de la décision précitée de la Direction des EPO, non compétente. Le transfert était toutefois justifié vu le risque d'évasion avec prise d'otage découlant des éléments mis en évidence par le rapport du 21 février 2014 de la Direction des EPO. Il se justifiait dès lors de déplacer l'intéressé dans un autre établissement. Au vu de la surpopulation carcérale touchant la Suisse, les délais de transfert étaient de plusieurs mois. A Genève, le seul établissement prévu pour les exécutions de peine en régime ordinaire dans le canton était celui de la Brenaz. Cet établissement n'offrait toutefois pas les garanties sécuritaires suffisantes pour une personne sous mesure d'internement au sens de l'<ref-law>. La seule possibilité restant à la disposition était de placer X._ à la prison de Champ-Dollon.
D.
Le 18 août 2014, X._ a formé recours contre cette décision auprès de l'autorité indiquée au pied de celle-là, soit la Chambre pénale de recours de la Cour de justice de la République et canton de Genève. Cette autorité a procédé à un échange de vues avec la Chambre administrative de la Cour de justice de la République et canton de Genève, au terme duquel celle-ci a fait savoir, le 11 décembre 2014, qu'elle admettait devoir se saisir du dossier pour raison de compétence.
Par arrêt du 23 juin 2015, la Chambre administrative a rejeté le recours formé le 18 août 2014. S'agissant de la décision du SAPEM de transférer X._ à Champ-Dollon, elle a estimé que cette autorité n'avait pas violé son pouvoir d'appréciation. Eu égard à la situation qui se présentait aux EPO où X._ avait été placé, il était conforme au droit, en vertu du principe de précaution, que le SAPEM confirme la décision de la Direction des EPO et décide d'un transfert de X._ à la prison de Champ-Dollon.
La Chambre administrative a également pris acte des plaintes de X._ quant au fait qu'il se trouvait toujours à Champ-Dollon et quant à ses conditions de détention depuis son transfert dans cet établissement. Elle a toutefois indiqué que si elle était compétente en matière de contentieux disciplinaire lié à l'incarcération, son rôle n'était pas de contrôler matériellement la façon dont le Département de la sécurité et de l'économie et le SAPEM exerçaient leurs prérogatives découlant de la loi genevoise d'application du code pénal suisse et d'autres lois fédérales en matière pénale (LaCP/GE; RS/GE E 4 10), le contentieux relatif aux décisions en matière de suivi et de modalités d'exécution des peines et mesures étant traité dans le cadre de l'art. 42 LaCP/GE.
E.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre l'arrêt du 23 juin 2015. Il conclut à son annulation, à être replacé dans la situation qui était la sienne avant la décision de transfert du 12 février 2014 et à l'octroi d'une juste indemnité en dédomma gement du traitement subi. Il sollicite l'assistance judiciaire.

Considérant en droit :
1.
L'arrêt attaqué porte sur l'exécution d'une mesure, de sorte que la voie du recours en matière pénale est ouverte (cf. <ref-law>).
2.
2.1. Les pièces nouvelles produites à l'appui du recours sont irrecevables (<ref-law>). L'est également la conclusion en indemnisation, qui n'avait pas été prise devant l'instance précédente (<ref-law>).
2.2. Eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, le Tribunal fédéral n'examine en principe que les griefs soulevés. Le recourant doit par conséquent critiquer les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 2 p. 116). De plus, le Tribunal fédéral n'examine la violation de droits fondamentaux ou de dispositions de droit cantonal que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 2.3 p. 266).
2.3. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Il n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.3 p. 266). Il ne sera par conséquent pas tenu compte des faits invoqués par le recourant, qui s'écartent de ceux retenus dans l'arrêt entrepris sans que l'arbitraire de leur omission ne soit invoqué et démontré.
2.4. L'objet du recours est l'arrêt du 23 juin 2015. Les remarques que le recourant formule à l'encontre de la motivation des décisions rendues antérieurement sont sans pertinence.
3.
3.1. Le recourant se plaint de son transfert des EPO à Champ-Dollon.
A l'appui de ce grief, il affirme que l'examen de la conformité de la mesure de transfert avec les droits fondamentaux du détenu n'aurait pas été fait en l'espèce. Tel que formulé, un tel grief ne répond pas aux exigences de motivation rappelées ci-dessus.
Le recourant invoque que le SAPEM n'avait pas été sollicité comme l'exigeait le droit applicable et y voit une violation du principe de légalité. On comprend qu'il se plaint que le SAPEM ait statué sans que la Direction des EPO lui ait préalablement présenté une demande en ce sens en application de l'art. 16 al. 4 du Concordat du 10 avril 2006 sur l'exécution des peines privatives de liberté et des mesures concernant les adultes et les jeunes adultes dans les cantons latins (CLDPA; RS/GE E 4 55). En vertu de l'art. 95 let. e LTF, le Tribunal fédéral est habilité à examiner la bonne application du droit concordataire. L'art. 16 al. 4 CLDPA prévoit que si, en cours d'exécution, la direction de l'établissement est de l'avis que la personne détenue doit être transférée, elle adresse une demande à l'autorité compétente du canton de jugement ou de celui dont la personne détenue dépend. Cette disposition n'a pas pour vocation d'empêcher le SAPEM de prendre des décisions dans son domaine de compétence, soit l'exécution des peines et mesures (cf. arrêt attaqué, p. 11 - 12 ch. 2), en l'absence de demande expresse de la direction de l'établissement concerné. L'absence de demande formelle de la part de la direction des EPO n'enlevait ainsi pas au SAPEM la compétence de trancher du transfert du recourant d'un établissement à l'autre. Le grief est infondé. Dans le cadre de celui-ci, le recourant déclare également que l'isolement cellulaire aurait permis de contenir le risque supposé qu'il présentait alors jusqu'à ce qu'une place en un lieu adéquat soit trouvée. Il s'agit d'une simple affirmation du recourant non étayée et contredite par les faits constatés par l'arrêt entrepris, notamment quant au manque de places adéquates et aux longs délais pour en trouver. Or le recourant n'aurait pu rester en isolement cellulaire jusqu'à ce qu'une telle place lui soit trouvée. Le grief est sur ce point également infondé.
Le recourant invoque que son placement dans un établissement inadéquat n'avait rien d'exceptionnel et de temporaire, ce qui était constatable à tout le moins lors de la décision du SAPEM. Le recourant était soupçonné d'avoir participé avec d'autres détenus à la préparation d'une évasion avec usage d'une arme. Il s'agissait clairement d'une situation exceptionnelle propre à justifier des mesures de sécurité, dont l'éloignement les uns des autres des différents détenus soupçonnés, notamment par leur placement dans des établissements distincts. Un tel éloignement était justifié autant de temps que durait la menace de mise à exécution de leur plan. La durée du placement du recourant à Champ-Dollon, en date de la décision du SAPEM, ne saurait par conséquent rendre celle-là illégale.
L'insécurité juridique avancée par le recourant et l'atteinte à sa personne qu'il invoque, sans toutefois en tirer aucune conclusion claire, ne sont pas non plus propres à fonder son recours.
Le recourant invoque une violation du principe de proportionnalité en relation avec le fait que la Direction des EPO ait initialement pris une décision de transfert. Tel que formulé, le grief n'est pas intelligible et est irrecevable.
Le recourant invoque une violation du principe de la célérité et du principe de bonne foi. Si l'on doit effectivement constater que les autorités cantonales, en particulier du fait de tergiversations quant à l'autorité compétente pour statuer en première et en deuxième instance, ont tardé à traiter la cause, on ne voit pas en quoi - et le recourant, assisté, ne l'explique aucunement - de tels éléments devraient conduire à la modification de la décision de transfert confirmée par l'autorité précédente. Les griefs ainsi soulevés doivent être écartés.
3.2. Le recourant invoque ensuite que le traitement reçu porterait atteinte à sa dignité humaine et violerait les <ref-law> et 3 CEDH.
Aux termes de l'<ref-law>, le détenu et la personne exécutant une mesure ont droit au respect de leur dignité. L'exercice de leurs droits ne peut être restreint que dans la mesure requise par la privation de liberté et par les exigences de la vie collective dans l'établissement. En vertu de l'art. 3 CEDH, nul ne peut être soumis à la torture ni à des peines ou traitements inhumains ou dégradants.
Le recourant motive son grief par la manière dont les autorités ont décidé de son transfert et géré, ensuite, la possibilité de le retransférer ailleurs. Une telle gestion ne saurait suffire à constituer une violation de l'<ref-law> ou de l'art. 3 CEDH.
Après avoir réclamé une indemnité pour le tort causé par cette manière de faire, conclusion irrecevable (cf. supra consid. 2.1), le recourant allègue qu'il convient de ne pas " préjuger ici de l'indemnité qu'il pourra réclamer au regard des conditions de détention qui lui sont imposées à Champ-Dollon et qui ne sont évidemment pas conformes aux standards qui s'imposent en l'espèce " (recours, p. 6 ch. 10). Tel qu'évoqué, ce dernier grief ne répond pas aux exigences de motivation rappelées ci-dessus ad consid. 2.2. Il e st irrecevable.
4.
Il résulte de ce qui précède que le recours doit être rejeté dans la mesure où il est recevable. Les conclusions étaient dénuées de chance de succès. La demande d'assistance judiciaire doit être rejetée (<ref-law> a contrario). Le recourant supportera les frais de justice dont la quotité tiendra compte de sa situation financière (art. 65 al. 2 et art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre administrative.
Lausanne, le 4 novembre 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod