Faits :
A.
Par jugement du 6 juillet 2015, dont les motifs ont été notifiés le 7 septembre 2015, le Tribunal correctionnel de la République et canton de Genève a condamné A._ à une peine privative de liberté de 30 mois assortie d'un sursis partiel et fixé l'indemnisation de son conseil d'office, Me X._, à 6968 fr. 05.
B.
Par écriture du 28 septembre 2015, A._ a formé une déclaration d'appel au sens de l'<ref-law>. Dans cette même écriture, Me X._ a contesté la quotité de l'indemnisation d'office qui lui avait été allouée.
C.
Par arrêt du 1er mars 2016, la Chambre pénale d'appel et de révision de la Cour de justice de la République et canton de Genève a déclaré irrecevable, car tardif, le recours formé par Me X._ contre la décision d'indemnisation du 6 juillet 2015.
D.
Me X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut à son annulation et au renvoi de la cause à la cour cantonale pour nouvelle décision.

Considérant en droit :
1.
L'indemnité litigieuse a été fixée par une autorité de première instance dont la décision a ensuite fait l'objet d'un recours au plan cantonal. On ne se trouve donc pas dans l'hypothèse visée par l'<ref-law>, qui prévoit un recours devant le Tribunal pénal fédéral lorsque l'indemnité pour la défense d'office est fixée par l'autorité de recours. Le recours en matière pénale est ouvert (cf. <ref-ruling> consid. 1.7 p. 216).
2.
Le recourant reproche à l'autorité précédente d'avoir refusé de se saisir de la contestation de l'indemnisation d'office arrêtée en première instance. Il y voit un déni de justice, proscrit par l'art. 29 al. 1 Cst., ainsi qu'une violation des art. 3 al. 2 let. b, 135 al. 3 et 398 CPP.
2.1. Aux termes de l'<ref-law>, le défenseur d'office peut recourir devant l'autorité de recours contre la décision du ministère public et du tribunal de première instance fixant l'indemnité (let. a) ou devant le Tribunal pénal fédéral contre la décision de l'autorité de recours ou de la juridiction d'appel du canton fixant l'indemnité (let. b).
Le défenseur d'office ne compte pas parmi les parties ou autres participants désignés par les art. 104 et 105 CPP. Sa qualité pour recourir contre la fixation de ses honoraires ne résulte pas de l'<ref-law>, mais de la réglementation spéciale prévue par l'<ref-law>. Seule la voie du recours lui est ouverte (arrêt 6B_654/2016 du 16 décembre 2016 consid. 3.2.2 destiné à la publication; <ref-ruling> consid. 1.4 p. 214 s.; <ref-ruling> consid. 5.2 p. 202).
Il résulte de ce qui précède que seule la voie du recours est ouverte au conseil d'office qui souhaite contester la quotité insuffisante de l'indemnité d'office qui lui a été accordée. Le délai pour former une telle contestation est donc celui fixé en matière de recours, soit dix jours (<ref-law>), et non ceux fixés en matière d'appel (<ref-law>). Le délai fixé par l'<ref-law> court dès la notification du jugement motivé (arrêt 6B_654/2016 précité consid. 3.4), la motivation devant cas échéant être demandée par le conseil d'office lui-même (arrêt 6B_654/2016 précité consid. 3.6).
2.2. En l'espèce, l'autorité précédente ne peut être suivie lorsqu'elle juge que le recours cantonal était tardif car non formé dans le délai de 10 jours dès la notification du jugement non motivé du 6 juillet 2015. Le délai de recours ne commençait à courir que dès la notification du jugement motivé, le 7 septembre 2015. Le recourant n'a toutefois contesté l'indemnité prévue par cette décision que le 28 septembre 2015. Interjeté plus de dix jours après la notification du jugement motivé, son recours était tardif et donc irrecevable.
2.3. Le recourant invoque la jurisprudence publiée aux ATF précités <ref-ruling> consid. 5.6 et 140 IV 213 consid. 1.4. Selon celle-ci, lorsque l'indemnité du conseil d'office pour la première instance est fixée dans le jugement et que celui-ci fait l'objet d'un appel, la question de l'indemnité doit être traitée dans cette procédure de seconde instance, le recours (<ref-law>) du conseil d'office devenant, en raison de la subsidiarité de cette voie de droit, sans objet une fois rendu le jugement sur appel (ATF <ref-ruling> consid. 5.6).
Cette jurisprudence vise à préciser l'autorité compétente pour traiter d'un appel et d'un recours interjetés de manière recevable à l'encontre du même jugement. Elle n'a pas vocation - et ne le pourrait par ailleurs pas - à rendre lettre morte l'<ref-law>, qui ne prévoit explicitement pour le conseil d'office insatisfait de son indemnité que la voie du recours au sens stricte (art. 393 à 397 CPP). Cette jurisprudence n'est d'aucune utilité ici pour le recourant.
2.4. Ce dernier invoque que l'autorité d'appel saisie d'un appel jouit d'un plein pouvoir d'examen, de sorte qu'elle aurait dû, une fois qu'elle avait décidé d'entrer en matière sur l'appel, revoir le jugement dans son entier, autrement dit aussi s'agissant de l'indemnisation du conseil d'office.
La juridiction d'appel jouit d'un plein pouvoir d'examen, mais ce uniquement sur les points attaqués du jugement (<ref-law>). Comme le rappelle l'<ref-law>, elle n'examine que les points attaqués du jugement de première instance. L'<ref-law> - qui prévoit que l'autorité d'appel peut examiner en faveur du prévenu des points du jugement qui ne sont pas attaqués, afin de prévenir des décisions illégales ou inéquitables - est sans portée ici.
Le recourant a, dans une même écriture, formé distinctement une déclaration d'appel au nom de la prévenue d'une part, contesté son indemnisation de défenseur d'office d'autre part Son recours était irrecevable car tardif. Quant à la prévenue, et à l'instar de la jurisprudence développée en rapport avec l'<ref-law> (cf. arrêts 6B_1017/2014 du 3 novembre 2015 consid. 4; 6B_586/2013 du 1er mai 2014 consid. 3.3 et 6B_45/2012 du 7 mai 2012 consid. 1.2), elle n'avait pas d'intérêt juridiquement protégé à obtenir l'augmentation de l'indemnisation fixée en faveur de son conseil d'office. Elle n'avait donc pas qualité pour former appel sur ce point (<ref-law>). Le recourant ne démontre au demeurant pas que la prévenue aurait requis dans son appel, en son nom, l'augmentation de l'indemnité accordée à son conseil d'office, aspect que ne constate pas l'autorité précédente. De la sorte, on ne saurait reprocher à cette autorité, qui n'avait à examiner que l'appel de la prévenue, seule écriture recevable, de n'avoir pas examiné un point qui n'a pas été attaqué par elle, respectivement à l'encontre duquel celle-ci n'avait pas qualité pour former appel. Il n'y a ainsi ni déni de justice, ni violation des art. 398 ou 404 CPP.
2.5. Le recourant invoque en dernier lieu que la formulation " si seule son indemnisation est contestée ", indiquée en pied du jugement de première instance, était de nature à l'induire en erreur. Cette hypothèse, qui indiquait au recourant qu'il fallait dans un tel cas déposer un recours dans les 10 jours, se référant en particulier aux art. 135 al. 3 let. a et <ref-law>, n'était clairement pas réalisée en l'état, le recourant contestant notamment, au nom de la prévenue, le prononcé de culpabilité et la peine. Que cette hypothèse n'est pas été réalisée ne permettait toutefois pas au recourant, avocat au barreau, de penser de bonne foi et sans autre élément, qu' a contrario, si d'autres points du jugement étaient contestés, les règles susmentionnées (voies de droit, délai de recours) n'étaient plus applicables à la contestation par ses soins de son indemnité.
Le recourant estime que la formulation qui précède était d'autant plus trompeuse que l'autorité précédente serait entrée en matière sur " des contestations formulées dans le cadre d'un appel uniquement " et qu'elle aurait sur ce point une " pratique constante " (recours, p. 7 ch. 18). L'existence d'une telle pratique a été écartée par l'autorité précédente, sans que le recourant n'invoque et ne démontre l'arbitraire de son omission. Son grief, fondé sur des faits non constatés par l'arrêt entrepris, est irrecevable. Au demeurant, que ce soit en instance cantonale ou à l'appui du présent recours, le recourant n'a invoqué aucune décision cantonale attestant d'une telle pratique (cf. a contrario arrêt attaqué, p. 4 consid. 2). On ne voit dès lors pas comment on pourrait admettre qu'il aurait été incité en erreur par de telles décisions. Le grief d'abus de droit (<ref-law>) doit être rejeté, dans la mesure de sa faible recevabilité.
3.
Il résulte de ce qui précède que le recours doit être rejeté, dans la mesure de sa recevabilité, aux frais du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 8 février 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod