Faits :
A.
Par jugement du 10 mars 2016, rectifié le 17 mars 2016, le Tribunal correctionnel de l'arrondissement de Lausanne a reconnu X._ coupable de rixe, d'infraction à la loi fédérale sur les étrangers et de contravention à la loi fédérale sur les stupéfiants et les substances psychotropes. Il l'a condamné à une peine privative de liberté de six mois, sous déduction d'un jour de détention avant jugement, peine partiellement complémentaire à celle prononcée le 11 septembre 2015 par le Ministère public de l'arrondissement du Nord vaudois, ainsi qu'à une amende de 300 fr. et a dit que la peine privative de liberté de substitution en cas de non-paiement fautif serait de trois jours. Par ce même jugement, A._ et B._ ont également été reconnus coupables de rixe.
B.
Par jugement du 6 septembre 2016, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté les appels et appel joint formés contre ce jugement par A._, B._ et X._.
En bref, la condamnation de X._ pour participation à une rixe repose sur les faits suivants:
Le 29 juillet 2015, vers 17h30, B._ et A._ se sont rencontrés sur l'Esplanade de Montbenon à Lausanne, où ils ont consommé de la bière, avant d'être rejoints par X._. Pour une raison indéterminée, une altercation physique a alors éclaté entre A._ et X._, au cours de laquelle B._ s'est immiscé. Des coups de poings ont alors été échangés entre A._ et X._ avant que le premier nommé ne plaque le second contre le muret de la fontaine. A un moment donné, B._ a ramassé une bouteille de bière qu'il a brisée sur le rebord de la fontaine avant de porter des coups, au moyen du tesson de celle-ci, au niveau du visage de X._, en faisant des mouvements de balayage. A._ et B._ ont ensuite poussé X._ dans les buissons qui, après avoir chuté, s'est relevé et a poursuivi B._ qui s'enfuyait. Ce dernier s'est emparé de la trottinette de X._ et l'a frappé avec cet objet. Malgré ses blessures, X._ est parvenu à rattraper B._ et plusieurs coups ont été échangés entre eux avant que X._ ne le morde à l'oreille droite. A._ a alors frappé ce dernier au moyen d'une bouteille pleine au niveau des jambes et de l'épaule. X._ et B._ ont été blessés au cours des événements.
C.
X._ interjette un recours en matière pénale au Tribunal fédéral. Il conclut à son acquittement du chef d'infraction de rixe et à ce qu'il soit condamné à une peine privative de liberté d'un mois, sous déduction d'un jour de détention avant jugement, peine partiellement complémentaire à celle prononcée le 11 septembre 2015, pour les autres chefs d'infractions retenus. Il requiert en outre l'assistance judiciaire.

Considérant en droit :
1.
Le recourant se plaint de l'établissement manifestement inexact des faits (art. 97 al. 1 LTF) et de la violation du principe in dubio pro reo. Selon lui, la cour cantonale a versé dans l'arbitraire en retenant que A._ avait participé activement à la bagarre. L'infraction de rixe ne serait ainsi pas réalisée.
1.1. Selon l'art. 133 CP, celui qui aura pris part à une rixe ayant entraîné la mort d'une personne ou une lésion corporelle sera puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire (al. 1). N'est pas punissable celui qui se sera borné à repousser une attaque, à défendre autrui ou à séparer les combattants (al. 2).
1.1.1. La rixe est une altercation physique réciproque entre au moins trois personnes qui y participent activement. Le comportement punissable consiste à participer à la bagarre. La notion de participation doit être comprise dans un sens large. Il faut ainsi considérer comme un participant celui qui frappe un autre protagoniste, à savoir toute personne qui prend une part active à la bagarre en se livrant elle-même à un acte de violence (<ref-ruling> consid. 2 p. 151; <ref-ruling> consid. 3e p. 252; BERNARD CORBOZ, Les infractions en droit suisse, vol. I, 3ème éd., n. 5 ad art. 133 CP).
1.1.2. Lorsqu'une personne a une attitude purement passive, ne cherche qu'à se protéger et ne donne aucun coup, on ne peut soutenir qu'elle participe à la rixe. En effet, celle-ci exige une certaine forme de participation, à savoir un combat actif, effectif et réciproque entre au moins trois personnes. Si l'une des trois ne se bat pas et n'use pas de violence pour repousser l'attaque, il n'y a pas de rixe. Dans un tel cas, on retiendra l'agression, les voies de fait, les lésions corporelles ou l'homicide. En revanche, quand une personne a une attitude active mais purement défensive ou de séparation, c'est-à-dire distribue des coups, mais exclusivement pour se protéger, défendre autrui ou séparer les combattants, on a alors affaire à une rixe. Cette personne peut toutefois bénéficier de l'impunité prévue par l'art. 133 al. 2 CP, puisque, par son comportement, elle s'est bornée à défendre sa personne ou autrui ou à séparer les combattants (<ref-ruling> consid. 2.1.2 p. 153; arrêt 6B_407/2016 du 28 juin 2016 consid. 4.3).
1.2. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (art. 105 al. 1 LTF), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, à savoir pour l'essentiel l'arbitraire dans la constatation des faits (sur cette notion, <ref-ruling> consid. 3.4 p. 53; <ref-ruling> consid. 6.1 p. 205 et les références citées). En bref, une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais aussi dans son résultat. En matière d'appréciation des preuves et d'établissement des faits, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.3 p. 266).
La présomption d'innocence, garantie par les art. 10 CPP, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe in dubio pro reo, concernent tant l'appréciation des preuves que le fardeau de la preuve (<ref-ruling> consid. 2a p. 40 s.). Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe in dubio pro reo, celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82). Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (art. 106 al. 2 LTF), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3.1 p. 253; <ref-ruling> consid. 2.3 p. 266). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
2.
2.1. La cour cantonale a retenu que A._ ne s'était pas contenté de séparer les deux autres protagonistes ou de se défendre, mais qu'il s'était effectivement battu, prêtant main forte à B._ avant et après que celui-ci avait assené au recourant des coups au moyen du tesson de bouteille, puis encore dans la phase finale de l'altercation lorsque B._ s'était fait mordre. Partant, les trois prévenus s'étaient rendus coupables de rixe au sens de l'art. 133 al. 1 CP.
2.2. Le recourant conteste l'échange de coups de poing entre A._ et lui et fait valoir que le témoignage de C._ sur lequel s'est fondée la cour cantonale n'aurait pas dû être retenu, les autres témoins n'ayant rien affirmé de tel. Or, ce n'est pas parce que le témoignage de C._ n'est pas corroboré point par point par les autres témoins de la scène qu'il en perd sa force probante.
C'est en vain que le recourant soutient que la cour cantonale a arbitrairement retenu qu'il avait été frappé par A._ avec une bouteille pleine. La cour cantonale a fondé sa conviction sur les propres déclarations du recourant à la police et devant le Ministère public ainsi que sur le rapport médical du CHUV faisant état d'une contusion de l'épaule et de la jambe gauche, corroborant ainsi ses dires selon lesquels il avait été tapé sur les jambes et sur l'épaule. Elle a jugé que les rétractions du recourant en audience n'étaient pas crédibles en ce qu'elles visaient à mettre hors de cause un des protagonistes pour échapper à une condamnation pour rixe. Elle a également relevé que le témoin C._ avait vu A._ le menacer avec une bouteille. Le recourant n'établit pas l'arbitraire dans cette appréciation fondée sur des preuves convergentes. Pour ôter toute valeur probante à ses premières déclarations incriminant A._ et justifier sa rétractation, il se borne à soutenir de manière appellatoire, en introduisant des faits nouveaux irrecevables, qu'il n'était pas à son affaire lorsqu'il avait été entendu. Contrairement à ce qu'il soutient, la cour cantonale n'a pas considéré que le rapport du CHUV était une preuve suffisante que A._ l'avait frappé, elle a seulement retenu que ce rapport corroborait les dires du recourant au vu des traces de coups relevées. Enfin, que le témoin C._ ait parlé d'un tesson de bouteille plutôt que d'une bouteille ne suffit pas à considérer la prise en considération de ce témoignage insoutenable, ce d'autant qu'il ne fait que confirmer les propres déclarations du recourant.
Le recourant conteste de manière tout aussi irrecevable les constatations cantonales selon lesquelles, au cours de l'altercation, A._ l'a plaqué contre le muret de la fontaine, puis plus tard poussé dans les buissons. Il tente en vain de décortiquer les témoignages et preuves sur lesquels la cour cantonale s'est fondée pour retenir ces faits ou substituer sa propre appréciation des preuves sans établir le moindre arbitraire dans leur appréciation.
2.3. En définitive, c'est sans arbitraire ni violation du principe in dubio pro reo que la cour cantonale a rejeté la version des faits du recourant tendant à exclure la participation active de A._ à l'altercation. Partant, c'est sans violation du droit fédéral qu'elle a condamné le recourant pour participation à une rixe dont la réalisation des autres conditions d'application n'est pas contestée.
3.
Le recours doit être rejeté dans la mesure où il est recevable. Les conclusions étaient manifestement dénuées de chance de succès. La demande d'assistance judiciaire doit être rejetée (art. 64 al. 1 LTF a contrario). Le recourant supportera les frais de justice (art. 66 al. 1 LTF), dont le montant sera toutefois fixé en tenant compte de sa situation financière (art. 65 al. 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 27 janvier 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke