Faits :
A.
A.a. Par ordonnance pénale du 5 août 2013, X._ a été condamné pour faux dans les titres à une peine pécuniaire de 90 jours-amende, à 70 fr. le jour, ainsi qu'aux frais de procédure par 260 francs.
Par ordonnance du 27 janvier 2014, l'opposition formée par X._ contre cette ordonnance pénale a été jugée tardive et des frais de procédure ont été mis à sa charge par 295 francs.
A.b. Par jugement du 25 janvier 2016, rendu dans une affaire pénale distincte, le Tribunal de police de la République et canton de Genève a acquitté X._ des accusations de faux dans les titres et d'infraction à la LEtr. Il lui a accordé une indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure (<ref-law>) de 13'284 francs. Cette décision est entrée en force.
B.
B.a. Par courrier du 15 avril 2016, le conseil de X._ a requis des Services financiers du pouvoir judiciaire de la République et du canton de Genève (ci-après: SFPJ) de lui verser le montant de 13'284 fr. sur son compte bancaire.
B.b. Par courrier du 20 avril 2016, les SFJP ont informé le conseil de X._ que le montant de 13'284 fr., dû à ce dernier dans la procédure pénale exposée sous let. Ab, était compensé avec celui de 6'580 fr., correspondant au solde dû par X._ au pouvoir judiciaire afférant à la procédure exposée sous let. Aa ci-dessus. Seul le solde, par 6'704 fr. lui sera versé. Les SFJP ont maintenu leur position dans plusieurs courriers successifs.
B.c. Par décision du 31 janvier 2017, la Commission de gestion du pouvoir judiciaire de la République et du canton de Genève a estimé que la compensation à laquelle avaient procédé les SFJP était licite.
C.
Par arrêt du 18 juillet 2017, la Chambre administrative de la Cour de justice de la République et canton de Genève a rejeté le recours formé contre cette décision par X._.
D.
Ce dernier forme un recours en matière de droit public auprès du Tribunal fédéral contre l'arrêt du 18 juillet 2017. Il conclut, avec suite de frais et dépens, à ce qu'il soit constaté que les SFPJ n'étaient pas en droit de compenser l'indemnité allouée en vertu de l'<ref-law> dans une procédure pénale avec des montants dus par lui dans une autre. Il sollicite que la somme de 6'580 fr. lui soit versée, avec intérêts, sur le compte de son conseil. Subsidiairement, il requiert l'annulation de l'arrêt du 18 juillet 2017 et le renvoi de la cause à l'autorité précédente pour nouvelle décision.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis.
1.1. L'intitulé erroné du recours ne saurait préjuger de la voie ouverte, ni porter préjudice au recourant, pour autant que son écriture remplisse les conditions formelles de la voie de droit en cause (cf. <ref-ruling> consid. 1.1 p. 370).
En l'espèce, le recours en matière pénale est recevable contre la décision attaquée, dans la mesure où elle porte sur la confirmation de l'exécution d'une peine pécuniaire, par voie de compensation (cf. <ref-law>). La Cour de droit pénal est compétente pour en connaître (<ref-law>). Conformément à l'<ref-law>, la question juridique prépondérante détermine l'attribution d'une affaire à une cour. En l'occurrence, le montant de la peine pécuniaire en jeu constitue un total de 6'300 fr. sur les 6'580 fr. litigieux. Il se justifie par conséquent que l'entier de l'affaire soit attribuée à la Cour de droit pénal.
1.2. Pour le surplus, on peut sérieusement se demander si le recourant a un intérêt personnel à l'annulation ou à la modification de l'arrêt attaqué (cf. <ref-law> et 89 al. 1 let. b et c LTF) : à la suite de la compensation litigieuse opérée, le recourant a vu sa peine pécuniaire acquittée, supprimant ainsi tout risque de non-paiement et donc de devoir exécuter une peine privative de liberté de substitution (<ref-law>). Il voit également sa dette envers l'Etat réduite. Il ne recevra en revanche pas en nature l'entier de l'indemnité fondée sur l'<ref-law>, de sorte que le recouvrement des honoraires éventuellement encore dus à son conseil, non couverts par les provisions demandées, pourrait s'avérer plus difficile. En revanche, en cas d'admission de son recours, le recourant pourrait effectivement plus facilement s'acquitter de tels honoraires, d'autant qu'il conclut que le montant réclamé lui soit versé sur le compte bancaire de son conseil. Il courra en revanche de nouveau les risques précités et sa dette envers l'Etat sera augmentée d'un montant équivalent à celui qui serait versé sur le compte de son avocat. Son intérêt à la modification demandée n'est ainsi pas évident. Cette question peut rester ouverte au vu de ce qui suit.
2.
Le recourant invoque que la compensation à laquelle ont procédé les SFPJ entre l'indemnité allouée en vertu de l'<ref-law> dans une procédure pénale d'une part, la peine pécuniaire et des frais de procédure prononcés dans une autre procédure pénale d'autre part, viole l'<ref-law>. Cette disposition constituerait une lex specialis par rapport à l'<ref-law>, interdirait en matière pénale toute autre compensation que celles citées et serait applicable tant à l'autorité de jugement qu'à celle de recouvrement.
2.1. L'<ref-law> régit le recouvrement des peines pécuniaires. Aux termes de cette disposition, l'autorité d'exécution fixe au condamné un délai de paiement d'un à six mois (al. 1; un à douze mois selon l'<ref-law> dans sa teneur en vigueur jusqu'au 31 décembre 2017). Elle peut autoriser le paiement par acomptes et, sur requête, prolonger les délais. Si l'autorité d'exécution a de sérieuses raisons de penser que le condamné veut se soustraire à la peine pécuniaire, elle peut en exiger le paiement immédiat ou demander des sûretés (al. 2). Si le condamné ne paie pas la peine pécuniaire dans le délai imparti, l'autorité d'exécution intente contre lui une poursuite pour dettes, pour autant qu'un résultat puisse en être attendu (al. 3).
2.2. Le principe de la compensation prévu à l'<ref-law> est une institution reconnue pour être générale, mais qui peut être exclue par le législateur (<ref-ruling> consid. 5.1 p. 245). Les dispositions des <ref-law> sur la compensation sont applicables en droit public, en cas de silence de celui-ci et sous réserve d'incompatibilité (arrêt 2C_432/2010 du 9 novembre 2010 consid. 4.2).
2.3. Le recourant invoque que l'<ref-law> s'opposait à la compensation litigieuse. Il s'appuie à cet égard sur la jurisprudence publiée aux <ref-ruling>.
2.3.1. Aux termes de l'<ref-law>, les autorités pénales peuvent compenser les créances portant sur des frais de procédure avec les indemnités accordées à la partie débitrice dans la même procédure pénale et avec des valeurs séquestrées.
2.3.2. Dans l'arrêt publié aux <ref-ruling>, le Tribunal fédéral a jugé qu'à l'aune de l'<ref-law> l'autorité de jugement est également compétente pour prononcer la compensation. Elle est d'ailleurs seule compétente pour ce faire s'agissant des valeurs séquestrées mentionnées à l'<ref-law> (consid. 1). Contrairement à ce que soutient le recourant, cet arrêt ne dit pas que l'<ref-law> limiterait " en matière pénale " la compensation aux cas visés par cette disposition, ni qu'une telle limitation serait applicable aux autorités de recouvrement. Ces questions ne sont pas examinées par l'arrêt précité.
2.3.3. Le CPP régit la poursuite et le jugement, par les autorités pénales de la Confédération et des cantons, des infractions prévues par le droit fédéral (<ref-law>). Les procédures pénales ne peuvent être exécutées et closes que dans les formes prévues par la loi (<ref-law>). Le titre 2 du CPP désigne les autorités pénales visées par l'<ref-law> et distingue autorités de poursuite pénale (<ref-law>) et tribunaux (<ref-law>).
Le titre 11 du CPP traite quant à lui de l'entrée en force et de l'exécution des décisions pénales. Son chapitre 2 (art. 439 à 444 CPP) traite de l'exécution des décisions pénales. Aux termes de l'<ref-law>, la Confédération et les cantons désignent les autorités compétentes pour l'exécution des peines et des mesures et règlent la procédure. Ils désignent également les autorités chargées du recouvrement des prestations financières (<ref-law>). L'<ref-law> prévoit pour le surplus quelques règles en matière d'exécution des décisions sur le sort des frais de procédure et des autres prestations financières: le recouvrement des frais de procédure, des peines pécuniaires, des amendes et des autres prestations financières découlant d'une procédure pénale est régi par les dispositions de la LP (al. 1); les créances portant sur les frais de procédure se prescrivent par dix ans à compter du jour où la décision sur les frais est entrée en force. L'intérêt moratoire se monte à 5% (al. 2); les autorités pénales peuvent compenser les créances portant sur des frais de procédure avec les indemnités accordées à la partie débitrice dans la même procédure pénale et avec des valeurs séquestrées (al. 4).
Il ressort de ce qui précède que le CPP distingue clairement d'une part la procédure applicable à la poursuite et au jugement d'infractions, réglée par le CPP, de celle de l'exécution des jugements, qui relève de la Confédération et des cantons sous réserve des dispositions prévues aux <ref-law>. Le CPP distingue tout aussi nettement autorités pénales, énumérées aux <ref-law>, et autorités d'exécution visées par les <ref-law>. Cette dernière distinction est clairement reprise dans la jurisprudence publiée aux <ref-ruling> ss et les sources auxquelles elle se réfère. On ne saurait pour ce premier motif déjà, sans autre élément, appliquer une disposition traitant de la compétence et de la possibilité de compenser de l'autorité pénale à l'autorité d'exécution, respectivement de recouvrement.
A cela s'ajoute qu'une éventuelle limitation de la compétence de l'autorité pénale de compenser prévue par l'<ref-law> pourrait se comprendre par le fait que cette autorité, au moment où elle se prononce sur les frais et autres prestations financières, n'est saisie que d'une procédure pénale et ne devrait dès lors pas, sauf exception, traiter du sort de prétentions financières résultant d'autres procédures, dont elle n'est pas saisie. Il n'apparaît en revanche pas dans le cas d'espèce que l'autorité de recouvrement cantonale, qui intervient après la clôture de la procédure pénale, serait limitée dans sa compétence de recouvrement à une procédure précise. Que les dettes et créances en jeu résultent de procédures pénales distinctes ne permet dès lors pas non plus de justifier une limitation de la compétence de l'autorité de recouvrement de les compenser.
Il résulte de ce qui précède que l'<ref-law> ne saurait être interprété comme limitant l'autorité de recouvrement ici visée dans sa capacité de procéder à la compensation qu'elle a opérée. Celle-ci est régie par les <ref-law>. Le grief de violation de l'<ref-law> est dès lors infondé. Que l'une des créances de l'État résulte d'une peine pécuniaire n'empêche en rien la compensation.
3.
Il s'ensuit que le recours doit être rejeté, dans la mesure où il est recevable, aux dépens du recourant qui succombe.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure de sa recevabilité.
2.
Les frais judiciaires, par 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties.
Lausanne, le 18 avril 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod