Faits :
A.
Par jugement du 9 janvier 2014, le Tribunal de police de l'arrondissement de Lausanne a condamné X._ pour lésions corporelles simples à 90 jours-amendes, à 40 fr. le jour avec sursis pendant deux ans. X._ a été astreint à verser à A._ une indemnité pour tort moral et un montant à titre de dépens pénaux et à assumer les frais de justice.
B.
Par jugement du 10 avril 2014, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel formé par X._ et confirmé la décision de première instance.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral, concluant à son acquittement et à ne pas être reconnu débiteur des montants mis à sa charge. Il sollicite l'assistance judiciaire.

Considérant en droit :
1.
Le recourant invoque une appréciation arbitraire des preuves, arguant qu'il ne pouvait, au vu d'une chronologie qu'il a établie, être sur les lieux des deux agressions successives de l'intimé au moment de leur perpétration.
1.1. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Il n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.3 p. 266).
1.2. En l'espèce, l'autorité précédente s'est fondée pour retenir que le recourant était l'auteur des deux agressions commises au préjudice de l'intimé le 23 juin 2012 sur la version de ce dernier, corroborée par celle de la personne l'accompagnant, tout deux l'ayant formellement identifié, ainsi que par plusieurs autres éléments (cf. jugement entrepris, p. 11 à 13 ch. 3.2.2). Elle a ainsi a contrario jugé non probante la version divergente donnée par le recourant, par son amie et par la soeur de cette dernière, alors l'amie de l'intimé.
1.3. A l'appui de son grief, le recourant en appelle à une chronologie exposant la journée de l'intimé, d'une part, et la sienne, d'autre part, après l'agression probable de l'amie de l'intimé par ce dernier. Il en déduit qu'il ne pouvait objectivement être sur les lieux des agressions de l'intimé au moment de celles-ci.
La question de savoir quand ont commencé les deux journées détaillées par le recourant peut rester ouverte. En effet, la description du déroulement de la journée du recourant, fournie par ses soins et ceux des deux soeurs, n'a pas été retenue par l'autorité précédente, ces preuves n'ayant pas été jugées probantes. Afin de pouvoir se fonder sur le déroulement de la journée qu'il allègue le concernant, le recourant devait par conséquent invoquer et démontrer, d'une part, que l'appréciation des preuves précitées était insoutenable et, d'autre part, que sur la base de ces preuves appréciées de manière correcte, le déroulement de sa journée, tel qu'il l'a décrit, aurait dû, sous peine d'arbitraire, être retenu par l'autorité précédente. Faute d'y procéder, le grief qu'il tire du prétendu déroulement de sa journée et de l'impossibilité qui en résultait pour lui d'être sur les lieux des agressions est irrecevable.
2.
Il résulte de ce qui précède que le recours est irrecevable.
Les conclusions étaient dénuées de chance de succès. La demande d'assistance judiciaire doit être rejetée (<ref-law> a contrario). Le recourant supportera les frais de justice dont la quotité tiendra compte de sa situation financière (art. 65 al. 2 et art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 24 août 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod