Faits :
A.
Par jugement du 9 février 2015, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné Y._ pour lésions corporelles graves à une peine privative de liberté de dix-huit mois, avec sursis pendant deux ans. Il l'a astreint à verser à X._ 40'000 fr., plus intérêts, à titre d'indemnité pour tort moral, et 29'000 fr., plus intérêts, à titre d'indemnité au sens de l'art. 433 CPP. Les frais de première instance ont été mis à la charge de Y._.
B.
Par jugement du 12 juin 2015, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a admis partiellement l'appel de Y._ et modifié le jugement du 9 février 2015 en ce sens que l'indemnité pour tort moral accordée à X._ est réduite à 30'000 fr. et l'indemnité au sens de l'art. 433 CPP à 9'450 francs. Elle a mis les frais d'appel par 3⁄4 à charge de Y._ et par 1⁄4 à charge de X._ et condamné le premier à verser au second 3'780 fr. à titre de juste indemnité pour les dépenses obligatoires occasionnées par la procédure d'appel.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre ce jugement. Invoquant une violation de l'art. 433 CPP, il conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'une indemnité pour les dépenses obligatoires occasionnées par la procédure lui est accordée pour la procédure de première instance par 29'000 fr., avec intérêts, et pour la procédure d'appel par 6'500 fr., avec intérêts dès le 12 juin 2015. Il requiert également que les frais d'appel soient intégralement mis à la charge de Y._. A titre subsidiaire, il sollicite l'annulation du jugement du 12 juin 2015 et le renvoi de la cause à l'autorité précédente pour nouvelle décision.
Considérant en droit :
1.
Le recours concerne la question des indemnités accordées à la partie plaignante dans le cadre d'une procédure pénale. Le recours est dirigé contre un jugement rendu en matière pénale au sens de l'art. 78 al. 1 LTF. La voie du recours en matière pénale est ouverte (ATF 135 IV 43 consid. 1.1.1 p. 45; arrêt 6B_1000/2014 du 23 juin 2015 consid. 1 non publié aux ATF 141 IV 262).
2.
Le recourant se plaint que l'autorité précédente ait réduit le montant alloué en vertu de l'art. 433 CPP par l'autorité de première instance, pour la procédure de première instance, de 29'000 fr. à 9450 francs. Il invoque une violation de cette disposition.
2.1. L'art. 433 al. 1 let. a CPP permet à la partie plaignante de demander au prévenu une juste indemnité pour les dépenses obligatoires occasionnées par la procédure lorsqu'elle obtient gain de cause. Tel est le cas si ses prétentions civiles sont admises et/ou lorsque le prévenu est condamné (ATF 139 IV 102 consid. 4.1 et 4.3 p. 107 s.).
Aux termes de l'art. 433 al. 2 CPP, la partie plaignante adresse ses prétentions à l'autorité pénale. Elle doit les chiffrer et les justifier. Si elle ne s'acquitte pas de cette obligation, l'autorité pénale n'entre pas en matière sur la demande. Selon la jurisprudence, l'art. 433 al. 2 CPP s'explique par le fait que la maxime d'instruction ne s'applique pas à l'égard de la partie plaignante: celle-ci doit demeurer active et demander elle-même une indemnisation, sous peine de péremption. Nonobstant l'absence de maxime d'instruction, le juge doit rendre attentive la partie plaignante à son droit d'obtenir le cas échéant une indemnité au sens de l'art. 433 CPP, comme à son devoir de chiffrer et documenter celle-ci (cf. arrêt 6B_1007/2015 du 14 juin 2016 consid. 1.5.1 et les arrêts cités).
La juste indemnité, notion qui laisse un large pouvoir d'appréciation au juge, couvre les dépenses et les frais nécessaires pour faire valoir le point de vue de la partie plaignante dans la procédure pénale. Il s'agit en premier lieu des frais d'avocat (ATF 139 IV 102 consid. 4.1 p. 107 et consid. 4.5 p. 109). Les démarches doivent apparaître nécessaires et adéquates pour la défense du point de vue de la partie plaignante (arrêt 6B_495/2014 du 6 octobre 2014 consid. 2.1). A l'instar de ce qui prévaut pour l'indemnité selon l'art. 429 al. 1 let. a CPP, déterminer si l'assistance d'un avocat procède d'un exercice raisonnable des droits de procédure et si, par conséquent, une indemnité pour frais de défense selon l'art. 433 CPP peut être allouée à la partie plaignante est une question de droit fédéral que le Tribunal fédéral revoit librement. Il s'impose toutefois une certaine retenue lors de l'examen de l'évaluation faite par l'autorité précédente, particulièrement de la détermination, dans le cas concret, des dépenses qui apparaissent raisonnables (cf. ATF 138 IV 197 consid. 2.3.6 p. 204; arrêt 6B_458/2014 du 25 septembre 2014 consid. 2.1).
2.2. En l'espèce, l'intimé a été condamné. Une indemnité pour tort moral a été mise à sa charge en faveur du recourant. L'hypothèse prévue par l'art. 433 al. 1 let. a CPP était donc réalisée et le recourant pouvait demander à l'intimé une juste indemnité pour les dépenses obligatoires occasionnées par la procédure pénale.
L'autorité d'appel a néanmoins estimé que le montant de 29'000 fr. accordé à ce titre par l'autorité de première instance pour la procédure de première instance était très élevé, dans la mesure où il correspondait à une rémunération de plus de 75 heures de travail au tarif horaire de 350 fr., TVA comprise, ce qu'elle jugeait largement excessif. Elle a ensuite exposé qu'il ressortait des notes d'honoraires produites, du reste établies de telle manière qu'il était difficile de déterminer l'affectation précise du temps de travail, qu'un grand nombre d'opérations alléguées concernaient des relations avec l'assurance Z._, sans qu'il résulte du dossier que ces opérations auraient été en relation directe avec la procédure pénale à proprement parler. Au vu des caractéristiques de la cause, en tenant notamment compte du surcroît de travail qui a dû résulter du suivi de l'évolution de la santé du recourant, qui a subi plusieurs interventions médicales successives au cours de la procédure pénale, l'autorité d'appel a estimé qu'il convenait de se fonder sur un total de 25 heures de travail au tarif horaire de 350 francs. L'indemnité fondée sur l'art. 433 CPP pour la procédure de première instance devait ainsi être arrêtée à 8'750 fr., plus TVA par 700 fr., soit un total de 9450 francs.
2.3. En vertu de l'art. 112 al. 1 let. b LTF, les décisions qui peuvent faire l'objet d'un recours au Tribunal fédéral doivent indiquer les motifs déterminants de fait et de droit sur lesquels l'autorité s'est fondée. Si la décision attaquée ne satisfait pas à ces exigences, le Tribunal fédéral peut soit la renvoyer à l'autorité cantonale en invitant celle-ci à la parfaire, soit l'annuler (art. 112 al. 3 LTF). Cette disposition concrétise le droit d'être entendu (art. 29 al. 2 Cst. et art. 6 par. 1 CEDH) dont la jurisprudence a déduit le devoir pour l'autorité de motiver sa décision, afin que le destinataire puisse la comprendre et la contester utilement s'il y a lieu et que l'autorité de recours puisse exercer son contrôle (cf. ATF 141 IV 249 consid. 1.3.1 p. 253; 139 IV 179 consid. 2.2 p. 183; arrêt 6B_496/2015 du 6 avril 2016 consid. 2.1). Selon la jurisprudence rendue en matière de dépens, la garantie du droit d'être entendu implique que lorsque le juge statue sur la base d'une liste de frais, il doit, s'il entend s'en écarter, au moins brièvement indiquer les raisons pour lesquelles il tient certaines prétentions pour injustifiées, afin que son destinataire puisse attaquer la décision en connaissance de cause (cf. arrêt 6B_124/2012 du 22 juin 2012 consid. 2.2 et les références citées). Cette jurisprudence vaut aussi pour la fixation d'une indemnité selon l'art. 433 CPP.
2.4. En l'occurrence, on comprend que l'autorité précédente est entrée en matière sur la demande d'indemnisation, respectivement n'a pas considéré que l'autorité de première instance l'aurait fait à tort. Elle a ainsi admis que la demande d'indemnisation fondée sur l'art. 433 CPP était suffisamment chiffrée et justifiée (cf. art. 433 al. 2 CPP). Retenant un taux horaire de 350 fr., elle a toutefois jugé que, sur les 75 heures estimées, 50 heures n'étaient pas nécessaires à la procédure pénale. Son raisonnement ne permet toutefois pas de comprendre si elle est arrivée à cette conclusion parce que les notes d'honoraires déposées n'étaient pas claires, hypothèse dans laquelle étant entrée en matière sur la demande et le montant total réclamé ayant été accordé en première instance, elle aurait dû donner au recourant l'occasion de préciser ses prétentions avant de statuer, ou parce qu'elle a estimé que les opérations qu'elle identifiait n'étaient pas nécessaires - ce à hauteur de 50 heures - à la procédure pénale. Un rapide examen des notes d'honoraires versées au dossier ne permet à tout le moins pas de confirmer, même sous l'angle limité de l'arbitraire, que le temps consacré aux rapports avec l'assurance Z._ serait de cette importance. Le raisonnement de l'autorité précédente, qui conduit à une réduction massive de l'indemnité accordée en première instance, ne répond ainsi pas aux réquisits de l'art. 112 al. 1 let. b LTF et rend impossible pour l'autorité de céans la vérification de la correcte application de l'art. 433 CPP. Le jugement cantonal doit par conséquent être annulé sur ce point et la cause renvoyée à l'autorité d'appel pour nouvelle décision. Il n'y a pas lieu, à ce stade, de se prononcer sur le retranchement de certaines opérations dès lors qu'il incombera à la cour cantonale de reprendre l'examen de l'entier des notes d'honoraires présentées.
3.
Le recourant se plaint que l'autorité précédente lui ait accordé, pour la procédure d'appel, une indemnité fondée sur l'art. 433 CPP de 3780 fr. alors qu'il réclamait un montant de 6500 fr. avec intérêts dès le 12 juin 2015.
3.1. L'art. 433 al. 1 let. a CPP est applicable en procédure d'appel (art. 436 al. 1 CPP).
3.2. L'autorité précédente a estimé que l'intimé et appelant succombant sur le principal objet de l'appel, les frais de la procédure d'appel devaient être mis par 3⁄4 à sa charge, le solde étant mis à la charge du recourant, qui succombait partiellement sur les autres points. L'autorité d'appel a jugé que, pour les mêmes motifs, le recourant avait droit à une indemnité pour la procédure d'appel, en application de l'art. 433 CPP. Compte tenu du fait qu'il n'obtenait que partiellement gain de cause, elle lui a alloué, à la charge de l'intimé, une indemnité réduite de 3500 fr., plus la TVA par 280 fr., soit un total de 3780 francs.
3.3. Le raisonnement qui précède permet de comprendre qu'au vu de l'admission partielle de l'appel, l'indemnité prévue par l'art. 433 CPP a été réduite. Cela ne prête dans son principe pas flanc à la critique. On ne comprend en revanche pas pour quel motif, alors que les frais d'appel ne sont mis à la charge de l'intimé qu'à raison des trois quarts, l'indemnité réclamée par le recourant soit réduite non pas d'un quart, mais de plus de 40 %. Faute de toute explication sur ce point, le jugement attaqué ne permet pas de vérifier la correcte application de l'art. 433 CPP. Cela conduit également à l'annulation du jugement et au renvoi de la cause à l'autorité précédente pour nouvelle décision.
4.
Le recourant conclut à ce que les frais d'appel soient mis intégralement à la charge de l'intimé. Faute de toute motivation justifiant cette conclusion, celle-ci est irrecevable (cf. art. 42 al. 2 LTF).
5.
Il résulte de ce qui précède que le recours est admis dans la mesure de sa recevabilité, le jugement attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
Au regard de la nature procédurale du vice examiné et dans la mesure où le Tribunal fédéral n'a pas traité la cause sur le fond, ne préjugeant ainsi pas de l'issue de la cause, il peut être procédé au renvoi sans ordonner préalablement un échange d'écritures (cf. arrêt 6B_432/2015 du 1 er février 2016 consid. 4).
Le recourant qui obtient gain de cause ne supporte pas de frais judiciaires (art. 66 al. 1 LTF) et peut prétendre à une indemnité de dépens à la charge du canton de Vaud (art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, dans la mesure où il est recevable. Le jugement attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
ll n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera au recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 30 août 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod