Faits :
A.
Par jugement du 11 mai 2012, le Tribunal régional du Jura-bernois-Seeland a reconnu X._ coupable d'assassinat, de viol qualifié, de tentative de viol qualifié et de brigandage qualifié (dispositif, ch. III). Il a prononcé une peine privative de liberté à vie et l'internement à vie, l'exécution de la peine précédant l'internement (idem, ch. IV 1 et 2). Il a également astreint X._ au paiement des frais de procédure afférents à la condamnation, composés notamment de débours à hauteur de 161'131 fr. 35, dont 48'568 fr. 30 de frais de l'assistance juridique gratuite pour les parties plaignantes (idem, ch. IV 3). Au ch. V 3 du dispositif, cette autorité a fixé les honoraires de Me H._, conseil d'office de la partie plaignante I._. Elle a distingué le montant total dû par le canton de Berne (22'783 fr. 45) et celui total dû ultérieurement par X._ (5'478 fr. 40) et précisé que celui-ci devrait rembourser, respectivement verser ces montants s'il acquérait une bonne situation financière.
B.
X._ et plusieurs parties plaignantes, dont I._, ont fait appel. Par jugement du 19 septembre 2013, la 2ème Chambre pénale de la section pénale de la Cour suprême du canton de Berne a reconnu X._ coupable d'assassinat, de viol qualifié, de tentative de viol qualifié, de brigandage et de brigandage qualifié (dispositif, let. B I). Elle l'a condamné à une peine privative de liberté de vingt ans et à l'internement à vie, l'exécution de la peine précédant l'internement (idem, let. B II). Elle l'a également astreint à verser à I._, à titre d'indemnité pour ses dépenses occasionnées par la procédure de première instance 10'769 fr. 90 (idem, let. B III 5.2) et dit que cette indemnité revenait au canton de Berne à concurrence de l'indemnité versée à Me H._ pour le mandat d'office en première instance, arrêtée à 10'796 fr. 90 (idem, let. B III 6.2). Le dispositif, let. B IV 3, arrêtait l'indemnité à verser par le canton de Berne à Me H._ pour la procédure de première instance à un total de 11'661 fr. 85.
C.
Me H._ forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut, avec suite de frais et dépens, à l'annulation du ch. B IV 3 du dispositif du jugement du 19 septembre 2013 en ce qui concerne la fixation de son indemnité de conseil juridique gratuit pour la procédure de première instance et à ce qu'il soit constaté que le ch. V 3 du dispositif du jugement du 11 mai 2012 est entré en force. A titre subsidiaire, il sollicite la réforme du ch. B IV 3 en ce sens que les montants prononcés en première instance (cf. supra let. A) sont confirmés.
L'autorité précédente, le ministère public et X._ ont renoncé à se déterminer.

Considérant en droit :
1.
La décision attaquée a trait à la fixation d'une indemnité de conseil juridique gratuit dans le cadre d'une procédure pénale. Le recours en matière pénale est ouvert à cet égard (cf. arrêt 6B_486/2013 du 16 juillet 2013 consid. 1).
2.
Le recourant reproche à l'autorité précédente d'avoir revu, à la baisse, l'indemnité qui lui avait été allouée par l'autorité de première instance pour son activité de conseil juridique gratuit.
2.1. L'<ref-law>, qui régit la déclaration d'appel, prévoit à son alinéa 3 que celle-ci doit indiquer si le jugement est attaqué dans son ensemble ou seulement sur certaines parties. Quiconque attaque seulement certaines parties du jugement est tenu d'indiquer dans la déclaration d'appel, de manière définitive, sur quelles parties porte l'appel (<ref-law>). Aux termes de l'<ref-law> la juridiction d'appel n'examine que les points attaqués du jugement de première instance (al. 1). Elle peut toutefois examiner en faveur du prévenu des points du jugement qui ne sont pas attaqués, afin de prévenir des décisions illégales ou inéquitables (al. 2). L'<ref-law> doit être appliqué avec retenue, sous peine de vider de sa substance la portée des art. 399 al. 3 et al. 4 et 404 al. 1 CPP (cf. MARLÈNE KISTLER VIANIN, in Commentaire romand, Code de procédure pénale suisse, 2011, n° 4 ad <ref-law>; MOREILLON/PAREIN-REYMOND, Petit commentaire du Code de procédure pénale, 2013, n° 5 et 8 ad <ref-law>). L'autorité d'appel n'a ainsi pas à rechercher si des erreurs dans l'application du droit ont été commises par le juge précédent ou à examiner des questions juridiques qui ne se posent pas à elle (arrêt 6B_426/2013 du 18 décembre 2013 consid. 1). Si l'autorité d'appel décide de faire usage de la possibilité prévue par l'<ref-law>, elle doit en informer préalablement les participants à la procédure et leur donner l'occasion de se déterminer (arrêt 6B_634/2012 du 11 avril 2013 consid. 2.3 et références citées).
2.2. Sur le plan cantonal, X._ a formé appel contre la décision de première instance. Précisant la portée de son appel, il a notamment indiqué qu'il était dirigé contre toutes les déclarations de culpabilité selon le ch. III du jugement du 11 mai 2012 et contre tous les éléments de sanction selon le ch. IV dudit jugement. Outre son acquittement, il réclamait une "autre liquidation des frais et dépens" (pièces 2467-2468; <ref-law>). Ainsi X._, s'il a contesté en rapport avec sa condamnation le principe de la mise à sa charge des frais, n'a en revanche pas attaqué leur quotité. S'agissant plus précisément de l'indemnité accordée au recourant par l'autorité de première instance, sa quotité était fixée non par le chiffre IV contesté par X._, mais par le chiffre V non critiqué par celui-ci (jugement entrepris p. 9-10). Le ministère public n'a quant à lui formé ni appel ni appel joint (idem, ch. 10 p. 14).
Il résulte de ces éléments que la quotité de l'indemnité accordée par l'autorité de première instance au recourant ne constituait pas l'un des points attaqués du jugement au sens de l'<ref-law>. Les conditions permettant à l'autorité d'appel d'examiner cette question d'office (<ref-law>) ne sont pas remplies. Au demeurant, l'autorité précédente n'a pas indiqué faire usage de cette possibilité, encore moins n'a interpellé les participants à la procédure pour détermination sur ce point. Dans ces circonstances, l'autorité précédente a violé l'<ref-law> en revoyant librement la quotité de l'indemnité accordée au recourant par l'autorité de première instance.
3.
Il s'ensuit que le recours doit être admis, le jugement attaqué annulé sur ce point et la cause renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants. Les autres griefs soulevés par le recourant sont sans objet.
Le recourant, même s'il a plaidé dans sa propre cause a droit, eu égard à l'objet du litige (<ref-ruling> consid. 5b p. 520), à des dépens à la charge du canton de Berne. L'intimé ayant renoncé à se déterminer, il n'y a pas lieu de mettre des frais à sa charge, ni de lui allouer de dépens. Vu l'issue de la procédure, il ne sera pas perçu de frais (art. 66 al. 1 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, le jugement attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Le canton de Berne versera au recourant une indemnité de 2'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
3.
Il n'est pas perçu de frais judiciaires.
4.
Le présent arrêt est communiqué aux parties et à la Cour suprême du canton de Berne, Section pénale, 2 ème Chambre pénale.
Lausanne, le 3 juin 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : La Greffière :
Mathys Cherpillod