Faits : A. Par jugement du 11 mai 2012, le Tribunal régional du Jura-bernois-Seeland a reconnu X._ coupable d'assassinat, de viol qualifié, de tentative de viol qualifié et de brigandage qualifié (dispositif, ch. III). Il a prononcé une peine privative de liberté à vie et l'internement à vie, l'exécution de la peine précédant l'internement (idem, ch. IV 1 et 2). Il a également astreint X._ au paiement des frais de procédure afférents à la condamnation, composés notamment de débours à hauteur de 161'131 fr. 35, dont 48'568 fr. 30 de frais de l'assistance juridique gratuite pour les parties plaignantes (idem, ch. IV 3). Au ch. V 4 du dispositif, cette autorité a fixé les honoraires de Me F._, conseil d'office de la partie plaignante G._. Elle a distingué le montant total dû par le canton de Berne (17'108 fr. 15) et celui total dû ultérieurement par X._ (3'952 fr. 20), et précisé que celui-ci devrait rembourser, respectivement verser ces montants s'il acquérait une bonne situation financière. B. X._ et plusieurs parties plaignantes, mais non G._, ont fait appel. Par jugement du 19 septembre 2013, la 2ème Chambre pénale de la section pénale de la Cour suprême du canton de Berne a reconnu X._ coupable d'assassinat, de viol qualifié, de tentative de viol qualifié, de brigandage et de brigandage qualifié (dispositif, let. B I). Elle l'a condamné à une peine privative de liberté de vingt ans et à l'internement à vie, l'exécution de la peine précédant l'internement (idem, let. B II). Elle l'a également astreint à verser à G._, à titre d'indemnité pour ses dépenses occasionnées par la procédure de première instance 14'789 fr. 15 (idem, let. B III 5.1) et dit que cette indemnité revenait au canton de Berne à concurrence de l'indemnité versée à Me F._ pour le mandat d'office en première instance, arrêtée à 12'091 fr. 15 (idem, let. B III 6.1; également let. B IV 2). C. Me F._ forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut, avec suite de frais et dépens, à l'annulation du ch. B IV 3 [recte B IV 2] du dispositif du jugement du 19 septembre 2013 en ce qui concerne la fixation de son indemnité de conseil juridique gratuit pour la procédure de première instance et à ce qu'il soit constaté que le ch. V 4 du dispositif du jugement du 11 mai 2012 est entré en force. A titre subsidiaire, il sollicite l'annulation de ce premier chiffre et le renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants, plus subsidiairement la confirmation du ch. V 4 du dispositif de première instance. L'autorité précédente, le ministère public et X._ ont renoncé à se déterminer.