Faits :
A.
Par arrêt du 27 juin 2014, la Chambre pénale d'appel et de révision de la Cour de justice du canton de Genève a arrêté l'indemnité du défenseur d'office de A._, Me X._, à 2'570 fr. 40.
B.
Le 21 juillet 2014, Me X._ a formé un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut à son annulation et principalement à ce qu'il lui soit octroyé une somme de 4'450 fr., plus TVA, correspondant au montant établi par l'état des frais du 30 mai 2014, sous déduction de 2'570 fr. 40, soit 1'879 fr. 60, avec intérêts à 5% l'an dès le 10 juillet 2014. Subsidiairement, il requiert le renvoi de la cause à l'autorité précédente afin qu'elle statue dans le sens des considérants. Il sollicite également la condamnation de l'Etat de Genève en tous les dépens, comprenant une indemnité à titre de participation aux frais d'avocat du recourant, à 1'500 francs.
C.
Le même jour, Me X._ a adressé ce recours à la Cour des plaintes du Tribunal pénal fédéral. Par décision du 30 juillet 2014, cette autorité a estimé n'être pas compétente pour connaître de ce recours et l'a déclaré irrecevable.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1.1 p. 252).
1.1. Il ressort du dossier que le recourant, désigné comme défenseur d'office de A._, a défendu les intérêts de cette dernière dans le cadre d'une procédure de libération conditionnelle. L'<ref-law> prescrit que la Confédération et les cantons désignent les autorités compétentes pour l'exécution des peines et des mesures et règlent la procédure; les réglementations spéciales prévues par le CPP et le CP sont réservées. En vertu de la première phrase de cette disposition, il a été jugé que la procédure de libération conditionnelle et les voies de recours n'étaient pas directement régies par le CPP (arrêts 6B_259/2014 du 5 juin 2014 consid. 3; 6B_480/2013 du 2 septembre 2013 consid. 1 et 6B_158/2013 du 25 avril 2013 consid. 2.1). Cette procédure n'est toutefois pas l'objet du litige. Celui-ci porte uniquement sur la quotité de l'indemnité versée au défenseur d'office de A._, que ce conseil critique en son nom propre.
Le défenseur d'office ne compte pas parmi les parties ou autres participants désignés par les art. 104 - 105 CPP (cf. <ref-ruling> consid. 1.4 p. 214). L'<ref-law> lui ouvre néanmoins expressément une voie de recours pour contester la décision fixant son indemnité d'office et précise l'autorité de recours compétente. Cette disposition reprend la jurisprudence rendue avant l'entrée en vigueur du CPP qui reconnaissait au défenseur d'office, indépendamment de la nature de l'affaire pénale dont il s'occupait, la qualité pour recourir contre la décision d'indemnisation au motif que l'indemnisation accordée était arbitrairement basse ou avait été arrêtée en violation de garanties de procédure (cf. arrêt 1P.285/2004 du 1 er mars 2005 consid. 1 non publié in <ref-ruling>; arrêt 6B_586/2010 du 23 novembre 2010 consid. 5.3). L'<ref-law> doit être interprété comme régissant les voies de recours à disposition du défenseur d'office s'agissant de l'indemnisation de son travail, sans distinction de la cause pénale concernée. Il s'agit ainsi d'une réglementation spéciale réservée par l'art. 439 al. 1 deuxième phrase CPP, de sorte qu'elle est applicable même en matière d'exécution des peines et des mesures. Il convient sur ce point de revenir sur ce qui avait été indiqué sans développement dans l'arrêt 6B_445/2013 du 14 janvier 2014 consid. 7. Rien ne justifierait en effet de soumettre un défenseur d'office, qui remplit une mission conférée par l'Etat qu'il n'est pas autorisé sauf motifs exceptionnels à refuser (<ref-ruling> consid. 2.4 p. 220), à des voies de droit fédérales différentes selon qu'il assiste une personne dans le cadre du jugement de sa cause ou dans celui de l'exécution de la peine prononcée. Une telle interprétation s'impose également pour des motifs de cohérence.
1.2. Aux termes de l'<ref-law>, le défenseur d'office peut recourir devant l'autorité de recours contre la décision du ministère public et du tribunal de première instance fixant l'indemnité (let. a) ou devant le Tribunal pénal fédéral contre la décision de l'autorité de recours ou de la juridiction d'appel du canton fixant l'indemnité (let. b).
Lorsque, comme en l'espèce, l'autorité pénale a fixé l'indemnité de défenseur d'office tant pour la procédure de première que de deuxième instance cantonale, la voie de recours ouverte est celle prévue à l'<ref-law> pour l'entier de l'indemnisation. L'autorité de recours compétente est donc le Tribunal pénal fédéral, plus précisément la Cour des plaintes (<ref-law>), à qui il incombe de statuer tant sur l'indemnité de première que de deuxième instance cantonale (<ref-ruling> consid. 1.6 p. 216; arrêts 6B_985/2013 du 19 juin 2014 consid. 1.2; 6B_212/2014 du 9 octobre 2014 consid. 1.3).
Il s'ensuit que le recours en matière pénale n'est pas ouvert auprès du Tribunal fédéral.
2.
Il n'est pas entré en matière sur le recours. Il y a lieu de transmettre la cause au Tribunal pénal fédéral comme objet de sa compétence (<ref-law>). Compte tenu de l'issue de la procédure, il n'est pas perçu d'émolument judiciaire, ni alloué de dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Il n'est pas entré en matière sur le recours et la cause est transmise au Tribunal pénal fédéral comme objet de sa compétence.
2.
Il n'est pas perçu de frais judiciaires, ni accordé de dépens.
3.
Le présent arrêt est communiqué aux parties, à la Cour de justice du canton de Genève, Chambre pénale d'appel et de révision, et au Tribunal pénal fédéral, Cour des plaintes.
Lausanne, le 21 avril 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod