Faits :
A.
Par jugement du 27 avril 2016, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ pour lésions corporelles simples qualifiées à une peine privative de liberté de 15 mois, peine indépendante à celle prononcée le 2 octobre 2014 par le Tribunal de police de Lausanne et le 5 février 2016 par le Ministère public de l'arrondissement de Lausanne. Il l'a acquitté des chefs d'accusation de vol, de brigandage et d'agression. X._ et B._, co-prévenu, ont été reconnus débiteurs solidaires de 5'000 fr. à titre de réparation du tort moral de A._, le tout avec suite de frais et dépens.
B.
Par jugement du 9 novembre 2016, la Cour d'appel pénale du Tribunal cantonal a partiellement admis l'appel de X._ en ce sens qu'elle a fixé une peine privative de liberté de douze mois. Elle l'a rejeté pour le surplus.
En bref, la Cour d'appel pénale a retenu les faits suivants. Le 30 janvier 2014, X._, accompagné de B._, a interpellé A._ au sujet d'une somme d'argent que celui-ci aurait dû lui remettre. La situation s'étant rapidement envenimée, B._ et X._ ont frappé A._ à plusieurs reprises à coup de poings et de pieds dans le thorax, aux épaules et au visage. B._ a également porté un coup sur la tête de A._ au moyen d'une barre en métal. Ce dernier, blessé, a été acheminé aux urgences du centre hospitalier universitaire vaudois (ci-après désigné CHUV) par ambulance. A._ présentait un traumatisme crânien mineur avec perte de connaissance anamnestique ainsi qu'une plaie pariétale droite de 4 cm. Le rapport concluait qu'il n'y avait pas lieu de craindre de dommage permanent, mais qu'un syndrome post-traumatique accompagné entre autres de troubles de la concentration et de céphalées persistantes était possible.
Dans un certificat établi le 13 avril 2016, la Dresse C._, médecin-assistante auprès de D._, a expliqué que A._ ne se sentait pas bien depuis 2014, que les symptômes s'aggravaient, qu'il avait gardé des séquelles invalidantes au quotidien, des céphalées et des douleurs à la partie droite du visage intermittentes, la sensation de tête lourde diffusément et des acouphènes bilatéraux, en particulier durant la nuit, parfois insomniants.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 9 novembre 2016. Il conclut, avec suite de frais et dépens, principalement à une peine qui n'excède pas six mois et à l'exonération de l'indemnité pour tort moral, subsidiairement, à une peine compatible avec le sursis partiel, le sursis portant sur une partie de la peine fixée à six mois et le délai d'épreuve fixé à dire de justice mais n'excédant pas quatre ans, ainsi qu'à la réduction de l'indemnité pour tort moral à un montant fixé à dire de justice mais n'excédant pas 1'000 fr., et, plus subsidiairement, au renvoi de l'affaire à l'autorité inférieure pour nouvelle décision dans le sens des considérants. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Invoquant la violation du droit d'être entendu, le recourant reproche à la cour cantonale d'avoir refusé d'entendre le témoin E._.
1.1. Le droit d'être entendu, garanti à l'art. 29 al. 2 Cst., comprend notamment celui de produire ou de faire administrer des preuves, à condition qu'elles soient pertinentes et de nature à influer sur la décision à rendre (<ref-ruling> consid. 6.3.1 p. 229 et les arrêts cités). Le droit d'être entendu n'empêche pas le juge de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de se forger une conviction et que, procédant de manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, il a la certitude qu'elles ne pourraient pas l'amener à modifier son opinion (<ref-ruling> consid. 3.3 p. 64 et l'arrêt cité). Ce refus d'instruire ne viole ainsi le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a procédé, est entachée d'arbitraire (<ref-ruling> consid. 3.3 p. 64 et les références citées).
1.2. Procédant à l'appréciation anticipée du moyen de preuve offert, la cour cantonale a considéré que l'audition du témoin n'était pas nécessaire. Elle a indiqué qu'une tentative de médiation avait été conduite sous l'égide dudit témoin mais qu'elle s'était soldée par le dépôt d'une plainte pénale, le 23 mai 2016, de l'intimé contre le témoin pour voies de fait et menaces. La cour pouvait donc sans arbitraire considérer que l'audition de ce dernier n'était pas nécessaire pour l'examen des infractions reprochées aux co-prévenus. En particulier, le fait que l'intimé ait pu adopter un comportement violent face au témoin ne signifie nullement, comme se contente de le soutenir le recourant de façon appellatoire, que les violences dont il a fait l'objet seraient dépourvues de séquelles physiques. Le recourant ne fait qu'exposer sa propre opinion et ne démontre nullement en quoi l'appréciation de la cour cantonale serait insoutenable. Son grief ne répond pas aux exigences de motivation accrues de l'<ref-law>.
2.
Dans un deuxième grief, le recourant invoque une violation du droit d'obtenir une décision motivée. Selon lui, la cour cantonale a accordé foi au certificat médical du 13 avril 2016 sans motiver sa décision sur ce point.
2.1. L'obligation de motiver, telle qu'elle découle du droit d'être entendu (art. 29 al. 2 Cst.; cf. aussi art. 3 al. 2 let. c et 107 CPP), est respectée lorsque le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 3.4.3 p. 47 et les références citées). L'autorité n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais elle peut au contraire se limiter à ceux qui lui paraissent pertinents (<ref-ruling> consid. 4.2 p. 157).
2.2. La cour cantonale a constaté que les lésions corporelles simples qualifiées avaient été retenues, de sorte que le recourant devait être reconnu débiteur d'une indemnité à titre de réparation morale. Elle a souligné que l'intimé avait vécu une violente agression à la suite de laquelle il a subi un traumatisme crânien mineur avec perte de connaissance et plaie suturée de sept points, et elle a indiqué que l'intimé se plaignait auprès de son médecin de céphalées et de douleurs au niveau du visage. Elle a ainsi accordé foi aux déclarations de l'intimé rapportées par son médecin. Par ailleurs, contrairement aux allégations du recourant sur ce point, la cour cantonale a constaté que l'intimé ne souffrait d'aucune conséquence d'ordre psychologique, tout en retenant l'existence de séquelles invalidantes physiques au quotidien.
Il s'ensuit que la cour cantonale a suffisamment exposé les motifs de sa décision. Le grief de violation du droit d'être entendu est infondé.
3.
Le recourant invoque également une appréciation arbitraire des preuves en lien avec le principe in " dubio pro reo ", la cour cantonale ayant, selon lui, accordé foi à un certificat médical dépourvu de toute force probante.
3.1. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. La notion d'arbitraire a été rappelée récemment dans l'arrêt publié aux <ref-ruling>, auquel on peut se référer. En bref, une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation, mais aussi dans son résultat (<ref-ruling> consid. 4.3 p. 380; <ref-ruling> consid. 1.2 p. 308 s.). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.3 p. 266 et les références citées). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; <ref-ruling> consid. 2.4 p. 368). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.4 p. 368 et les références citées). Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence à la présomption d'innocence (art. 6 par. 2 CEDH, 32 al. 1 Cst. et 10 CPP), le principe " in dubio pro reo " n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
3.2. Dans la mesure où l'argumentation développée par le recourant répond aux exigences accrues de l'<ref-law>, elle n'est pas susceptible de démontrer que la cour cantonale aurait versé dans l'arbitraire en retenant que l'intimé souffrait encore de séquelles invalidantes. En effet, la cour cantonale a indiqué dans sa motivation que le " plaignant se plaint toujours à son médecin de céphalées et de douleurs au niveau du visage intermittentes ". Elle n'a pas, comme le soutient le recourant, retenu qu'il s'agirait des conclusions d'un expert. Elle a procédé à une appréciation de la preuve, le certificat médical, qui fait état des plaintes de l'intimé sur les suites physiques de l'agression comme les céphalées, les douleurs au visage et les acouphènes bilatéraux. Ces problèmes ne sont pas en contradiction avec les suites possibles des coups reçus telles qu'indiquées dans le rapport du CHUV. La cour cantonale a également pris en compte la gravité de l'atteinte, l'intimé ayant subi un traumatisme crânien mineur avec perte de connaissance et plaie suturée de sept points. Le recourant rediscute librement l'appréciation des preuves à laquelle s'est livrée la cour cantonale pour tenter de jeter le discrédit sur les déclarations de l'intimé à son médecin sans cependant apporter d'éléments probants en sa faveur. Le grief est rejeté dans la mesure de sa recevabilité.
4.
Le recourant conteste la mesure de la peine qui lui a été infligée et conclut à une réduction de moitié de celle fixée par la cour cantonale.
4.1. La cour cantonale a constaté que le recourant s'était rendu coupable de lésions corporelles simples qualifiées et que sa culpabilité était lourde. On se trouvait en présence d'une agression commise à deux en lien avec le remboursement d'une prétendue dette d'argent et les coups donnés, notamment les coups de pieds au visage, étaient graves. Il fallait également tenir compte, à charge, du lourd passé judiciaire du recourant. A sa décharge, la cour cantonale a pris en considération ses aveux relativement spontanés et sa situation financière précaire.
L'autorité précédente a observé que le recourant avait été condamné à des peines pécuniaires de 180 jours-amende le 2 octobre 2014 et de 30 jours-amende le 5 février 2016. Rappelant qu'il ne peut y avoir de peine complémentaire que lorsque les peines sont du même genre et que le prononcé d'une peine pécuniaire complémentaire n'est envisageable que si la peine totale ne dépasse pas 360 jours, la cour cantonale a constaté qu'au regard de l'importance de la culpabilité du recourant pour les faits de la présente affaire, la peine globale prononcée pour l'ensemble des infractions de 2014 et 2016 devait de toute façon dépasser 360 jours, ce qui excluait le prononcé d'une peine pécuniaire complémentaire. La peine infligée dans le cadre de la présente affaire ne pouvait dès lors qu'être une peine privative de liberté. Il fallait néanmoins veiller à ce que le prévenu ne soit pas sanctionné plus sévèrement que s'il avait été jugé en une seule fois pour toutes les infractions. Dans ce contexte, la peine de quinze mois prononcée par les premiers juges, ajoutée aux peines précédentes de 30 et 180 jours-amende, impliquait une condamnation totale à une peine de vingt-deux mois, ce qui paraissait excessif au vu de sa culpabilité. La cour cantonale a donc réduit la nouvelle peine à douze mois.
4.2. Le raisonnement de l'autorité précédente échappe à toute critique. En tant que le recourant soutient que la peine prononcée est excessive car elle ne tiendrait pas compte du fait qu'un retrait de plainte contre paiement d'une somme d'argent à l'intimé aurait été discuté, cette argumentation n'est pas pertinente. Le juge fixe la peine d'après la culpabilité de l'auteur: il doit tenir compte de tous les éléments objectifs pertinents qui ont trait à l'acte lui-même, à savoir notamment la gravité de la lésion, le caractère répréhensible de l'acte et son mode d'exécution. Du point de vue subjectif, sont également pris en compte l'intensité de la volonté délictuelle ainsi que les motivations et les buts de l'auteur. A ces composantes de la culpabilité, il faut ajouter les facteurs liés à l'auteur lui-même, à savoir les antécédents, la réputation, la situation personnelle (état de santé, âge, obligations familiales, situation professionnelle, risque de récidive, etc.), la vulnérabilité face à la peine, de même que le comportement après l'acte et au cours de la procédure pénale (<ref-ruling> consid. 6.1.1 p. 66 s.). Les éléments invoqués par le recourant, sans rapport avec l'infraction commise, ne sont pas adéquats pour évaluer sa culpabilité.
La peine privative de liberté de douze mois, fixée en conformité avec les principes évoqués ci-dessus, ne viole pas le droit fédéral.
5.
Enfin le recourant reproche à la cour cantonale de lui avoir refusé l'octroi d'un sursis partiel.
5.1. Selon l'<ref-law>, le juge peut suspendre partiellement l'exécution d'une peine pécuniaire, d'un travail d'intérêt général ou d'une peine privative de liberté d'un an au moins et de trois ans au plus afin de tenir compte de façon appropriée de la faute de l'auteur (al. 1). La partie à exécuter ne peut excéder la moitié de la peine (al. 2). En cas de sursis partiel à l'exécution d'une peine privative de liberté, la partie suspendue, de même que la partie à exécuter, doivent être de six mois au moins. Les règles d'octroi de la libération conditionnelle (art. 86) ne lui sont pas applicables (al. 3).
5.2. Le passé judiciaire du recourant est lourd. Son casier judiciaire mentionne six condamnations pour la période antérieure aux faits reprochés, de 2009 à 2013 (cf. jugement attaqué, p. 16 s.). Sa propension à commettre des infractions est grande. C'est à juste titre que la cour cantonale a posé un pronostic défavorable. La décision attaquée ne viole donc pas le droit fédéral.
6.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure de sa recevabilité.
Le recours était d'emblée voué à l'échec, de sorte que l'assistance judiciaire requise en relation avec la présente procédure doit être refusée (<ref-law>). Le recourant, qui succombe, devra donc supporter les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière (<ref-law>). L'issue du litige rend sans objet la requête d'effet suspensif.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 20 décembre 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy