Faits :
A.
Par jugement du 9 février 2015, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné Y._ pour lésions corporelles graves à une peine privative de liberté de dix-huit mois, avec sursis pendant deux ans. Il l'a astreint à verser à X._ 40'000 fr., plus intérêts, à titre d'indemnité pour tort moral, et 29'000 fr., plus intérêts, à titre d'indemnité au sens de l'<ref-law>. Les frais de première instance ont été mis à la charge de Y._.
B.
Par jugement du 12 juin 2015, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a admis partiellement l'appel de Y._ et modifié le jugement du 9 février 2015 en ce sens que l'indemnité pour tort moral accordée à X._ est réduite à 30'000 fr. et l'indemnité au sens de l'<ref-law> à 9'450 francs. Elle a mis les frais d'appel par 3⁄4 à charge de Y._ et par 1⁄4 à charge de X._ et condamné le premier à verser au second 3'780 fr. à titre de juste indemnité pour les dépenses obligatoires occasionnées par la procédure d'appel.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre ce jugement. Invoquant une violation de l'<ref-law>, il conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'une indemnité pour les dépenses obligatoires occasionnées par la procédure lui est accordée pour la procédure de première instance par 29'000 fr., avec intérêts, et pour la procédure d'appel par 6'500 fr., avec intérêts dès le 12 juin 2015. Il requiert également que les frais d'appel soient intégralement mis à la charge de Y._. A titre subsidiaire, il sollicite l'annulation du jugement du 12 juin 2015 et le renvoi de la cause à l'autorité précédente pour nouvelle décision.

Considérant en droit :
1.
Le recours concerne la question des indemnités accordées à la partie plaignante dans le cadre d'une procédure pénale. Le recours est dirigé contre un jugement rendu en matière pénale au sens de l'<ref-law>. La voie du recours en matière pénale est ouverte (<ref-ruling> consid. 1.1.1 p. 45; arrêt 6B_1000/2014 du 23 juin 2015 consid. 1 non publié aux <ref-ruling>).
2.
Le recourant se plaint que l'autorité précédente ait réduit le montant alloué en vertu de l'<ref-law> par l'autorité de première instance, pour la procédure de première instance, de 29'000 fr. à 9450 francs. Il invoque une violation de cette disposition.
2.1. L'<ref-law> permet à la partie plaignante de demander au prévenu une juste indemnité pour les dépenses obligatoires occasionnées par la procédure lorsqu'elle obtient gain de cause. Tel est le cas si ses prétentions civiles sont admises et/ou lorsque le prévenu est condamné (<ref-ruling> consid. 4.1 et 4.3 p. 107 s.).
Aux termes de l'<ref-law>, la partie plaignante adresse ses prétentions à l'autorité pénale. Elle doit les chiffrer et les justifier. Si elle ne s'acquitte pas de cette obligation, l'autorité pénale n'entre pas en matière sur la demande. Selon la jurisprudence, l'<ref-law> s'explique par le fait que la maxime d'instruction ne s'applique pas à l'égard de la partie plaignante: celle-ci doit demeurer active et demander elle-même une indemnisation, sous peine de péremption. Nonobstant l'absence de maxime d'instruction, le juge doit rendre attentive la partie plaignante à son droit d'obtenir le cas échéant une indemnité au sens de l'<ref-law>, comme à son devoir de chiffrer et documenter celle-ci (cf. arrêt 6B_1007/2015 du 14 juin 2016 consid. 1.5.1 et les arrêts cités).
La juste indemnité, notion qui laisse un large pouvoir d'appréciation au juge, couvre les dépenses et les frais nécessaires pour faire valoir le point de vue de la partie plaignante dans la procédure pénale. Il s'agit en premier lieu des frais d'avocat (<ref-ruling> consid. 4.1 p. 107 et consid. 4.5 p. 109). Les démarches doivent apparaître nécessaires et adéquates pour la défense du point de vue de la partie plaignante (arrêt 6B_495/2014 du 6 octobre 2014 consid. 2.1). A l'instar de ce qui prévaut pour l'indemnité selon l'<ref-law>, déterminer si l'assistance d'un avocat procède d'un exercice raisonnable des droits de procédure et si, par conséquent, une indemnité pour frais de défense selon l'<ref-law> peut être allouée à la partie plaignante est une question de droit fédéral que le Tribunal fédéral revoit librement. Il s'impose toutefois une certaine retenue lors de l'examen de l'évaluation faite par l'autorité précédente, particulièrement de la détermination, dans le cas concret, des dépenses qui apparaissent raisonnables (cf. <ref-ruling> consid. 2.3.6 p. 204; arrêt 6B_458/2014 du 25 septembre 2014 consid. 2.1).
2.2. En l'espèce, l'intimé a été condamné. Une indemnité pour tort moral a été mise à sa charge en faveur du recourant. L'hypothèse prévue par l'<ref-law> était donc réalisée et le recourant pouvait demander à l'intimé une juste indemnité pour les dépenses obligatoires occasionnées par la procédure pénale.
L'autorité d'appel a néanmoins estimé que le montant de 29'000 fr. accordé à ce titre par l'autorité de première instance pour la procédure de première instance était très élevé, dans la mesure où il correspondait à une rémunération de plus de 75 heures de travail au tarif horaire de 350 fr., TVA comprise, ce qu'elle jugeait largement excessif. Elle a ensuite exposé qu'il ressortait des notes d'honoraires produites, du reste établies de telle manière qu'il était difficile de déterminer l'affectation précise du temps de travail, qu'un grand nombre d'opérations alléguées concernaient des relations avec l'assurance Z._, sans qu'il résulte du dossier que ces opérations auraient été en relation directe avec la procédure pénale à proprement parler. Au vu des caractéristiques de la cause, en tenant notamment compte du surcroît de travail qui a dû résulter du suivi de l'évolution de la santé du recourant, qui a subi plusieurs interventions médicales successives au cours de la procédure pénale, l'autorité d'appel a estimé qu'il convenait de se fonder sur un total de 25 heures de travail au tarif horaire de 350 francs. L'indemnité fondée sur l'<ref-law> pour la procédure de première instance devait ainsi être arrêtée à 8'750 fr., plus TVA par 700 fr., soit un total de 9450 francs.
2.3. En vertu de l'<ref-law>, les décisions qui peuvent faire l'objet d'un recours au Tribunal fédéral doivent indiquer les motifs déterminants de fait et de droit sur lesquels l'autorité s'est fondée. Si la décision attaquée ne satisfait pas à ces exigences, le Tribunal fédéral peut soit la renvoyer à l'autorité cantonale en invitant celle-ci à la parfaire, soit l'annuler (<ref-law>). Cette disposition concrétise le droit d'être entendu (art. 29 al. 2 Cst. et art. 6 par. 1 CEDH) dont la jurisprudence a déduit le devoir pour l'autorité de motiver sa décision, afin que le destinataire puisse la comprendre et la contester utilement s'il y a lieu et que l'autorité de recours puisse exercer son contrôle (cf. <ref-ruling> consid. 1.3.1 p. 253; <ref-ruling> consid. 2.2 p. 183; arrêt 6B_496/2015 du 6 avril 2016 consid. 2.1). Selon la jurisprudence rendue en matière de dépens, la garantie du droit d'être entendu implique que lorsque le juge statue sur la base d'une liste de frais, il doit, s'il entend s'en écarter, au moins brièvement indiquer les raisons pour lesquelles il tient certaines prétentions pour injustifiées, afin que son destinataire puisse attaquer la décision en connaissance de cause (cf. arrêt 6B_124/2012 du 22 juin 2012 consid. 2.2 et les références citées). Cette jurisprudence vaut aussi pour la fixation d'une indemnité selon l'<ref-law>.
2.4. En l'occurrence, on comprend que l'autorité précédente est entrée en matière sur la demande d'indemnisation, respectivement n'a pas considéré que l'autorité de première instance l'aurait fait à tort. Elle a ainsi admis que la demande d'indemnisation fondée sur l'<ref-law> était suffisamment chiffrée et justifiée (cf. <ref-law>). Retenant un taux horaire de 350 fr., elle a toutefois jugé que, sur les 75 heures estimées, 50 heures n'étaient pas nécessaires à la procédure pénale. Son raisonnement ne permet toutefois pas de comprendre si elle est arrivée à cette conclusion parce que les notes d'honoraires déposées n'étaient pas claires, hypothèse dans laquelle étant entrée en matière sur la demande et le montant total réclamé ayant été accordé en première instance, elle aurait dû donner au recourant l'occasion de préciser ses prétentions avant de statuer, ou parce qu'elle a estimé que les opérations qu'elle identifiait n'étaient pas nécessaires - ce à hauteur de 50 heures - à la procédure pénale. Un rapide examen des notes d'honoraires versées au dossier ne permet à tout le moins pas de confirmer, même sous l'angle limité de l'arbitraire, que le temps consacré aux rapports avec l'assurance Z._ serait de cette importance. Le raisonnement de l'autorité précédente, qui conduit à une réduction massive de l'indemnité accordée en première instance, ne répond ainsi pas aux réquisits de l'<ref-law> et rend impossible pour l'autorité de céans la vérification de la correcte application de l'<ref-law>. Le jugement cantonal doit par conséquent être annulé sur ce point et la cause renvoyée à l'autorité d'appel pour nouvelle décision. Il n'y a pas lieu, à ce stade, de se prononcer sur le retranchement de certaines opérations dès lors qu'il incombera à la cour cantonale de reprendre l'examen de l'entier des notes d'honoraires présentées.
3.
Le recourant se plaint que l'autorité précédente lui ait accordé, pour la procédure d'appel, une indemnité fondée sur l'<ref-law> de 3780 fr. alors qu'il réclamait un montant de 6500 fr. avec intérêts dès le 12 juin 2015.
3.1. L'<ref-law> est applicable en procédure d'appel (<ref-law>).
3.2. L'autorité précédente a estimé que l'intimé et appelant succombant sur le principal objet de l'appel, les frais de la procédure d'appel devaient être mis par 3⁄4 à sa charge, le solde étant mis à la charge du recourant, qui succombait partiellement sur les autres points. L'autorité d'appel a jugé que, pour les mêmes motifs, le recourant avait droit à une indemnité pour la procédure d'appel, en application de l'<ref-law>. Compte tenu du fait qu'il n'obtenait que partiellement gain de cause, elle lui a alloué, à la charge de l'intimé, une indemnité réduite de 3500 fr., plus la TVA par 280 fr., soit un total de 3780 francs.
3.3. Le raisonnement qui précède permet de comprendre qu'au vu de l'admission partielle de l'appel, l'indemnité prévue par l'<ref-law> a été réduite. Cela ne prête dans son principe pas flanc à la critique. On ne comprend en revanche pas pour quel motif, alors que les frais d'appel ne sont mis à la charge de l'intimé qu'à raison des trois quarts, l'indemnité réclamée par le recourant soit réduite non pas d'un quart, mais de plus de 40 %. Faute de toute explication sur ce point, le jugement attaqué ne permet pas de vérifier la correcte application de l'<ref-law>. Cela conduit également à l'annulation du jugement et au renvoi de la cause à l'autorité précédente pour nouvelle décision.
4.
Le recourant conclut à ce que les frais d'appel soient mis intégralement à la charge de l'intimé. Faute de toute motivation justifiant cette conclusion, celle-ci est irrecevable (cf. <ref-law>).
5.
Il résulte de ce qui précède que le recours est admis dans la mesure de sa recevabilité, le jugement attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
Au regard de la nature procédurale du vice examiné et dans la mesure où le Tribunal fédéral n'a pas traité la cause sur le fond, ne préjugeant ainsi pas de l'issue de la cause, il peut être procédé au renvoi sans ordonner préalablement un échange d'écritures (cf. arrêt 6B_432/2015 du 1 er février 2016 consid. 4).
Le recourant qui obtient gain de cause ne supporte pas de frais judiciaires (<ref-law>) et peut prétendre à une indemnité de dépens à la charge du canton de Vaud (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, dans la mesure où il est recevable. Le jugement attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
ll n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera au recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 30 août 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod