Faits :
A.
Par jugement du 25 février 2011, le Tribunal pénal de l'arrondissement de la Broye a reconnu X._ coupable d'agression, de tentative de lésions corporelles graves, de rixe, de vol d'usage, de conduite sans permis ou malgré un retrait et de contraventions à la LStup et à la loi d'application du Code pénal. Il l'a condamné à une peine privative de liberté de vingt-quatre mois, dont douze avec sursis pendant quatre ans, et à une amende de 400 fr., peine complémentaire à celle prononcée le 16 octobre 2008. Il l'a également astreint à verser à A._, victime de l'agression et de la tentative de lésions corporelles graves, solidairement avec deux autres coprévenus, 6'000 fr., avec intérêts, à titre d'indemnité pour tort moral et 21'136 fr. 80 de dépens.
B.
Par arrêt du 26 juin 2013, la Cour d'appel pénal du Tribunal cantonal du canton de Fribourg a partiellement admis l'appel de X._ et a rejeté l'appel joint du Ministère public. Réformant le jugement de première instance, elle a maintenu les prononcés relatifs à la culpabilité mentionnés ci-dessus, sous réserve de celui d'agression, X._ étant acquitté de ce chef d'accusation. Elle l'a condamné à une peine privative de liberté de vingt-quatre mois, dont seize avec sursis pendant quatre ans, et au paiement d'une amende de 400 fr., peine complémentaire à celle prononcée le 16 octobre 2008. Elle a également maintenu la condamnation en paiement en faveur de A._.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut, avec suite de frais et dépens, à l'annulation de l'arrêt du 26 juin 2013 et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Subsidiairement, il sollicite la réforme de cet arrêt en ce sens qu'il est également acquitté du chef d'accusation de lésions corporelles graves, qu'il est condamné à une peine privative de quatre mois avec sursis pendant deux ans ainsi qu'au paiement d'une amende de 400 fr. et que les conclusions civiles formées par A._ sont rejetées.

Considérant en droit :
1.
Le recourant conteste son implication dans l'agression de l'intimé. Après examen des preuves, il subsisterait un doute sérieux sur sa culpabilité. Il invoque une violation du principe "in dubio pro reo".
1.1. La présomption d'innocence, garantie par les art. 32 al. 1 Cst. et 10 CPP, et son corollaire le principe "in dubio pro reo" concernent tant le fardeau de la preuve que l'appréciation des preuves. Comme règle régissant l'appréciation des preuves, telle qu'elle est invoquée dans le présent recours, la présomption d'innocence est violée si le juge se déclare convaincu de faits défavorables au prévenu sur lesquels, compte tenu des éléments de preuve qui lui sont soumis, il aurait au contraire dû, objectivement, éprouver des doutes. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Dans cette mesure, la présomption d'innocence se confond avec l'interdiction générale de l'arbitraire (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 41).
Pour qu'il y ait arbitraire, il ne suffit pas que la décision attaquée apparaisse discutable ou même critiquable. Il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat (<ref-ruling> consid. 2.1 p. 18 s.; <ref-ruling> consid. 7 p. 82). Lorsque l'autorité cantonale a forgé sa conviction sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit être examinée dans son ensemble. Il n'y a pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs sont fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêt 6B_118/2009 du 20 décembre 2011 consid. 7.2.2 non reproduit in <ref-ruling>).
Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4 p. 313). Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 2.2 p. 232). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 10.1 p. 445).
1.2. L'arrêt attaqué expose en détail, p. 10 à 14, les preuves collectées et pour quel motif celles à charge sont convaincantes, au contraire du déni du recourant et de ses comparses. Le recourant se borne à émettre des hypothèses, nier - contre toute évidence - la valeur probante de certaines preuves à charge, invoquer des faits qui n'ont pas été retenus par l'autorité précédente - sans démontrer l'arbitraire de leur omission - et enfin, présenter son interprétation des preuves au dossier, sans démontrer que celle de l'autorité précédente serait insoutenable. Il procède de manière purement appellatoire. Tel qu'il est motivé, le grief invoquant la persistance d'un doute sérieux est irrecevable.
2.
Le recours est irrecevable et doit être écarté en application de l'<ref-law>. Le recourant supporte les frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer des dépens à l'intimé, qui n'a pas été invité à procéder (<ref-law>).

Par ces motifs, le Juge unique prononce:
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Fribourg, Cour d'appel pénal.
Lausanne, le 4 juin 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge unique: La Greffière :
Denys Cherpillod