Faits :
A.
A.a. Dans la nuit du 30 au 31 octobre 2010, au moment de la fermeture de l'établissement G._ à Yverdon-les-Bains dans lequel il avait passé la soirée, A._ a eu une altercation avec l'un des agents de sécurité du club. Une fois dehors, A._ a demandé à son frère, B._, et à son cousin, C._, de le rejoindre. Avec des clients du club non identifiés, ils ont formé un attroupement devant l'établissement. Lorsque les agents de sécurité du club sont sortis pour fermer l'établissement, ils se sont retrouvés face à cet attroupement. Parmi les agents se trouvait X._. Ce dernier, comme C._, ont d'abord tenté de calmer les esprits, notamment A._, qui était passablement excité et qui se plaignait avec insistance d'avoir été frappé par les membres du service de sécurité. A un moment donné, après des échanges d'insultes, la situation a dégénéré en une violente bagarre à laquelle ont participé activement les agents de sécurité D._, E._ et X._, d'une part, ainsi que A._ et son frère, d'autre part. Des coups de pied et de poing ont été échangés. A._ a notamment frappé X._ dans le dos. Ce dernier et les autres agents de sécurité se sont alors rués sur A._ et l'ont frappé, notamment à coups de poing et de pied. B._ a lancé en direction de X._ un marteau à viande sans toutefois l'atteindre. D'autres personnes non identifiées ont par la suite participé à la cohue générale. Deux patrouilles de la police municipale sont ainsi intervenues vers 5 h 10 et ont dispersé les combattants. A._ a été blessé au cours de la bagarre.
A.b. Dans le courant du mois d'octobre 2011, X._ a consommé de la cocaïne, du MDMA et des amphétamines.
Le 23 octobre 2011, vers 5 h 10, sur l'autoroute A1 entre Crissier et Neuchâtel, X._ a circulé à vive allure au volant du véhicule automobile appartenant à son épouse, alors qu'il était sous l'influence de l'alcool (taux le plus favorable: 1.05%) et qu'il n'avait pas de permis de conduire valable en Suisse. Une patrouille de police l'a repéré et a rattrapé le véhicule en le suivant sur une distance de 2'000 mètres à une vitesse variant entre 220 et 240 km/h. Ignorant les signes d'arrêt de la police, X._ a continué de rouler à vive allure, cherchant à distancer la police. Dans une courbe à gauche, limitée à 40 km/h, X._ été surpris par la configuration des lieux et s'est déporté vers la droite. Rattrapé par la police qui arrivait à sa hauteur et malgré les signes d'arrêt, il a tenté à nouveau de repartir. Son véhicule a toutefois été bloqué contre un mur par le véhicule de la police, qui a été endommagé.
A.c. Entre 2001 et 2009, X._ a été condamné à des peines privatives de liberté avec sursis, puis fermes en particulier pour diverses violations des règles de la circulation routière, violation des devoirs en cas d'accident et circulation sans permis de conduire.
B.
Par jugement du 24 janvier 2014, le Tribunal de police de l'arrondissement de la Broye et du Nord vaudois a reconnu X._ coupable de rixe, violation grave des règles de la circulation, conduite en état d'ébriété qualifiée, tentative d'opposition ou dérobade aux mesures visant à déterminer l'incapacité de conduire, circulation sans permis de conduire et contravention à la LStup (loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes; RS 812.121). Il l'a condamné à une peine privative de liberté d'un an et à une amende de 500 francs.
C.
Par arrêt du 12 août 2014, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel formé par X._ contre ce jugement.
D.
X._ interjette un recours en matière pénale au Tribunal fédéral et conclut à son acquittement du chef d'infraction de rixe et à ce qu'il soit condamné à une peine pécuniaire de 250 jours-amende à 10 fr. par jour ainsi qu'à une amende de 500 fr. à titre de sanction immédiate pour les autres infractions. Subsidiairement il conclut à une peine privative de liberté de 12 mois dont 6 mois fermes et 6 mois avec sursis avec une période probatoire de 2 ans, ainsi qu'à une amende de 500 fr. à titre de sanction immédiate. Il requiert en outre l'assistance judiciaire.

Considérant en droit :
1.
Le recourant se plaint de l'établissement manifestement inexact des faits (<ref-law>) et de la violation du principe in dubio pro reo. Selon lui, la cour cantonale a versé dans l'arbitraire en considérant qu'il avait participé activement à la rixe, sur la seule base des déclarations de la famille A._.
1.1. Selon l'<ref-law>, celui qui aura pris part à une rixe ayant entraîné la mort d'une personne ou une lésion corporelle sera puni de l'emprisonnement ou de l'amende (al. 1). N'est pas punissable celui qui se sera borné à repousser une attaque, à défendre autrui ou à séparer les combattants (al. 2).
La rixe est une altercation physique réciproque entre au moins trois personnes qui y participent activement. Le comportement punissable consiste à participer à la bagarre. La notion de participation doit être comprise dans un sens large. Il faut ainsi considérer comme un participant celui qui frappe un autre protagoniste, soit toute personne qui prend une part active à la bagarre en se livrant elle-même à un acte de violence (<ref-ruling> consid. 2 p. 151; <ref-ruling> consid. 3e p. 252; BERNARD CORBOZ, Les infractions en droit suisse, vol. I, 3ème édition, ad art. 133, no 5 p. 200).
1.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). La partie recourante ne peut ainsi critiquer ces faits que s'ils ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.3 p. 266; sur la notion d'arbitraire: <ref-ruling> consid. 6.1 p. 205), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le Tribunal fédéral n'examine, en général, que les questions juridiques que la partie recourante soulève conformément aux exigences légales relatives à la motivation du recours (<ref-law>; <ref-ruling> consid. 2.1 p. 93). De plus, il n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux que s'ils ont été invoqués et motivés de manière précise (<ref-law>). L'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits violés et préciser en quoi consiste la violation (<ref-ruling> consid. 2.2 p. 69; <ref-ruling> consid. 1.3.1 p. 68 et les références citées). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 5.1 p. 356 et les références citées). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité (<ref-law>).
1.3. La présomption d'innocence, garantie par les art. 32 al. 1 Cst., 10 CPP, 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe in dubio pro reo, concernent tant le fardeau de la preuve que l'appréciation des preuves (<ref-ruling> consid. 2c p. 36 et les références citées). Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe in dubio pro reo, celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
1.4. La cour cantonale considère que la participation de X._ à la bagarre, telle qu'établie, est corroborée par plusieurs déclarations constantes et concordantes qui ne font apparaître aucun doute raisonnable. Parmi celles-ci, A._ avait déclaré avoir reçu des coups du recourant alors qu'il était à terre. Il avait d'ailleurs immédiatement fait mention de X._ à la police lors de sa première audition. Il avait par la suite confirmé ces déclarations. B._ avait également indiqué avoir été attaqué par le recourant qui avait aussi donné des coups à son frère. Enfin, C._, le cousin de la victime, avait déclaré que le recourant avait donné des coups, propos qu'il avait quelque peu modéré aux débats en rapportant qu'il y avait cinq personnes qui frappaient A._ et que X._ était autour de celui-ci. La cour cantonale a écarté en raison de son imprécision le témoignage de F._.
1.5. En tant que le recourant reproche à la cour cantonale de s'être fondée uniquement sur les déclarations de la famille A._, il n'expose pas en quoi l'appréciation de ces déclarations serait arbitraire. Il ne saurait se limiter à citer certains extraits desdits témoignages pour relever qu'ils sont moins affirmatifs que ce qu'en retient la cour cantonale, sans discuter les passages des déclarations retenus par celle-ci qui le mettent expressément en cause. Que le recourant ait voulu calmer les esprits dans un premier temps comme relaté par certains témoins ne contredit en rien les constatations selon lesquelles il a participé activement à la bagarre dans un second temps. Le grief est rejeté dans la faible mesure de sa recevabilité.
C'est sans violation du droit fédéral que la cour cantonale a retenu que le recourant avait participé activement à la rixe.
2.
Le recourant invoque la violation de l'<ref-law>. Il estime que son comportement passif et son attitude de protection lui permettent de bénéficier, à titre subsidiaire, de l'impunité prévue par cette disposition.
2.1. Se borne à repousser une attaque, à défendre autrui ou à séparer les combattants au sens de l'<ref-law>, celui qui participe effectivement à la rixe par son engagement physique, mais qui a pour but exclusif de se protéger, protéger un tiers ou séparer les protagonistes. Il agit alors seulement pour défendre sa personne ou d'autres individus ou pour séparer les adversaires. Par son comportement, il ne provoque ni n'alimente le combat d'une quelconque manière. Il n'augmente pas les risques propres à la rixe, voire cherche à les éliminer (<ref-ruling> consid. 2.1.2 p. 153).
2.2. La cour cantonale a retenu qu'il ne ressortait nullement du dossier que le recourant aurait donné des coups uniquement pour se défendre ou dans le but de séparer les protagonistes. Son comportement ne pouvait être considéré comme une défense proportionnée au sens de l'<ref-law> en considération du fait qu'il s'était rué sur A._ et l'avait frappé.
2.3. Le recourant s'écarte de manière irrecevable des faits retenus lorsqu'il soutient avoir eu une attitude purement défensive. Qu'il ait assené un seul ou plusieurs coups à la victime est à cet égard sans pertinence quant à la conclusion qu'il n'a pas agi uniquement pour se défendre. Le grief est rejeté dans la mesure où il est recevable.
3.
Le recourant conteste la nature de la peine qui lui a été infligée. Il fait valoir que la cour cantonale a omis de prendre en considération certains éléments et estime que les conditions d'une peine pécuniaire seraient réunies.
3.1. Selon l'<ref-law>, le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1), étant précisé que cet aspect de prévention spéciale ne permet que des corrections marginales, la peine devant toujours rester proportionnée à la faute (arrêt 6B_14/2007 du 17 avril 2007 consid. 5.2). La culpabilité est déterminée par la gravité de la lésion ou de la mise en danger du bien juridique concerné, par le caractère répréhensible de l'acte, par les motivations et les buts de l'auteur et par la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (<ref-law>). L'<ref-law> confère un large pouvoir d'appréciation au juge. Par conséquent, celui-ci ne viole le droit fédéral en fixant la peine que s'il sort du cadre légal, s'il se fonde sur des critères étrangers à l'<ref-law>, s'il omet de prendre en considération des éléments d'appréciation prévus par cette disposition ou, enfin, si la peine qu'il prononce est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (<ref-ruling> consid. 5.6 p. 61; <ref-ruling> consid. 2.1 p. 19; <ref-ruling> consid. 6.1 p. 20 et les références citées).
3.2. Quant au choix de la sanction, la peine pécuniaire constitue la sanction principale. Les peines privatives de liberté ne doivent être prononcées que lorsque l'Etat ne peut garantir d'une autre manière la sécurité publique. En vertu du principe de la proportionnalité, il y a en général lieu, lorsque plusieurs peines entrent en considération et apparaissent sanctionner de manière équivalente la faute, de choisir celle qui restreint le moins sévèrement la liberté personnelle de l'intéressé, respectivement qui le touche le moins durement (<ref-ruling> consid. 4.1 p. 85 et les références citées). Pour choisir la nature de la peine, le juge doit prendre en considération l'opportunité de la sanction déterminée, ses effets sur l'auteur et son milieu social, ainsi que son efficacité préventive. A ce titre, la peine pécuniaire peut notamment être exclue pour des motifs de prévention spéciale (<ref-ruling> consid. 4 p. 100 ss; arrêts 6B_1100/2014 du 14 octobre 2015 consid. 6.1; 6B_709/2013 du 27 janvier 2014 consid. 2).
3.3. En substance, la cour cantonale a retenu que la culpabilité de X._ était lourde. Outre sa participation à la rixe, les infractions à la loi sur la circulation routière, qui ont été qualifiées d'objectivement très graves par l'autorité précédente, démontraient qu'il n'hésitait pas à mettre les autres usagers de la route en grand danger uniquement pour servir ses intérêts personnels à éviter un contrôle. La cour cantonale a également tenu compte, à charge du recourant, du concours d'infractions et des antécédents pénaux faisant état d'une récidive spéciale dans le domaine de la circulation routière. À sa décharge, elle a retenu la situation familiale stable de l'intéressé, le fait qu'il ait d'abord tenté de calmer la situation au début de la rixe ainsi que l'absence de récidive depuis les infractions à la LCR d'octobre 2011. Seule une peine privative de liberté était suffisamment dissuasive dès lors que l'appelant avait récidivé après avoir été condamné par le passé à des peines privative de liberté, à un travail d'intérêt général et à une peine pécuniaire.
3.4. Au vu des précédentes condamnations du recourant, en particulier pour des infractions à la loi sur la circulation routière, à des peines privatives de liberté prononcées avec sursis ou fermes, la cour cantonale pouvait retenir l'absence de tout effet dissuasif des précédentes peines et considérer sans violation du droit fédéral que seule une peine privative de liberté entrait en considération, à l'exclusion d'une peine pécuniaire pour des motifs de prévention spéciale.
3.5. Autant que le recourant discute la quotité de la peine en faisant valoir qu'il risque de perdre son autorisation de séjour, ce critère n'est pas pertinent dans la fixation de la peine. Au demeurant, la jurisprudence a considéré que la durée de la peine privative de liberté à partir de laquelle la révocation, respectivement le non-renouvellement de l'autorisation de séjour peuvent être prononcés en application de l'art. 62 let. b LEtr devait être d'une durée supérieure à douze mois (<ref-ruling> consid. 2 p. 299; <ref-ruling> consid. 4.2 p. 381); il n'y a donc pas lieu d'examiner l'opportunité d'une réduction de la peine afin de lui permettre d'échapper à une éventuelle mesure administrative qui pourrait être prononcée à son encontre (non-renouvellement de l'autorisation de séjour). S'agissant de sa situation familiale, il est inévitable qu'une peine privative de liberté d'une certaine durée ait des répercussions sur les membres de la famille du condamné. Cette conséquence ne peut conduire à une réduction de la peine qu'en cas de circonstances extraordinaires (arrêts 6B_716/2010 du 15 novembre 2010 consid. 2.3; 6B_751/2009 du 4 décembre 2009 consid. 3), non réalisées en l'espèce.
Les arguments avancés par le recourant - à savoir qu'il était blessé, qu'il n'avait pas réalisé dans un premier temps que c'était la police qui le poursuivait, qu'il était dépassé par les événements - pour relativiser l'appréciation de la gravité de sa culpabilité en lien avec les motifs qui l'ont conduit à commettre un excès de vitesse sont irrecevables, car inaptes à démontrer l'arbitraire de la cour cantonale qui n'a rien constaté de tel. Elle a retenu sa seule volonté de fuir la police car rien ne justifiait qu'il n'obtempère pas aux injonctions de la patrouille alors qu'il avait vu les gyrophares enclenchés sur le véhicule de police.
Le recourant se prévaut aussi d'une mise en danger réduite du fait qu'il y avait peu de circulation sur l'autoroute à cette heure matinale. Il ne fait toutefois que renouveler un argument présenté devant la cour cantonale sans exposer en quoi la motivation cantonale qui l'a réfuté serait critiquable (<ref-law>). Au demeurant, si dans le domaine des excès de vitesse l'importance de la mise en danger et celle de la faute doivent néanmoins être appréciées au regard des circonstances du cas concret afin de fixer la sanction (cf. 47 CP; arrêts 6B_580/2015 du 18 avril 2016 consid. 1.3, 6B_264/2007 du 19 septembre 2007 consid. 3.1), on ne décèle nulle violation du droit fédéral dans l'appréciation cantonale qui a considéré que le recourant ne pouvait dans le cas d'espèce se prévaloir d'une mise en danger amoindrie, compte tenu de l'importance des excès de vitesse qui se montaient à près du double de la vitesse autorisée sur les tronçons autoroutiers.
Les griefs du recourant sont infondés dans la mesure de leur recevabilité.
4.
Le recourant soutient que les conditions du sursis, à tout le moins partiel, sont réalisées.
4.1. Selon l'<ref-law>, le juge suspend en règle générale l'exécution d'une peine pécuniaire, d'un travail d'intérêt général ou d'une peine privative de liberté de six mois au moins et de deux ans au plus lorsqu'une peine ferme ne paraît pas nécessaire pour détourner l'auteur d'autres crimes ou délits. L'<ref-law> prévoit que le juge peut suspendre partiellement l'exécution d'une peine pécuniaire, d'un travail d'intérêt général ou d'une peine privative de liberté d'un an au moins et de trois ans au plus afin de tenir compte de façon approprié de la faute de l'auteur.
4.2. Lorsque la durée de la peine privative de liberté se situe, comme en l'espèce, entre un et deux ans, permettant donc le choix entre le sursis complet (<ref-law>) et le sursis partiel (<ref-law>), l'octroi du sursis au sens de l'<ref-law> est la règle et le sursis partiel l'exception. Celui-ci ne doit être prononcé que si, sous l'angle de la prévention spéciale, l'octroi du sursis pour une partie de la peine ne peut se concevoir que moyennant exécution de l'autre partie. La situation est comparable à celle où il s'agit d'évaluer les perspectives d'amendement en cas de révocation du sursis (<ref-ruling>). Lorsqu'il existe, notamment en raison de condamnations antérieures, de sérieux doutes sur les perspectives d'amendement de l'auteur, qui ne permettent cependant pas encore, à l'issue de l'appréciation de l'ensemble des circonstances, de motiver un pronostic concrètement défavorable, le tribunal peut accorder un sursis partiel au lieu du sursis total. On évite de la sorte, dans les cas de pronostics très incertains, le dilemme du " tout ou rien ". Un pronostic défavorable, en revanche, exclut tant le sursis partiel que le sursis total (<ref-ruling> consid. 5.3.1 p. 10).
S'agissant du pronostic, la question de savoir si le sursis est de nature à détourner le prévenu de commettre de nouvelles infractions doit être tranchée sur la base d'une appréciation d'ensemble, tenant compte des circonstances de l'infraction, des antécédents de l'auteur, de sa réputation et de sa situation personnelle au moment du jugement, notamment de l'état d'esprit qu'il manifeste. Le pronostic doit être posé sur la base de tous les éléments propres à éclairer l'ensemble du caractère du prévenu et ses chances d'amendement. Le juge dispose d'un large pouvoir d'appréciation en la matière (<ref-ruling> consid. 5.2. p. 9).
4.3. La cour cantonale a exclu le sursis, y compris partiel. Dans sa motivation, elle constate que le pronostic à poser quant au comportement futur de X._ est défavorable, le casier judiciaire de ce dernier comporte déjà cinq condamnations et il n'y a pas le moindre début de prise de conscience quant à l'illicéité et à la gravité de ses agissements.
4.4. En l'espèce, le casier judiciaire du recourant comporte plusieurs condamnations à des peines privatives de liberté de courte durée, prononcées avec sursis, puis fermes, avec révocation des sursis antérieurs dont quatre pour infractions à la LCR prononcées entre 2002 et 2009. Il s'agit là de circonstances défavorables que la cour cantonale pouvait prendre en considération pour en conclure que le recourant s'était montré insensible à la sanction pénale jusqu'à ce jour. Le changement dans sa situation familiale invoqué par le recourant ne change rien à cette appréciation. Il est sans pertinence que le recourant n'ait commis aucune infraction depuis octobre 2011, dès lors qu'un tel comportement correspond à ce que l'on doit attendre de tout un chacun (arrêts 6B_237/2015 du 16 février 2016 consid. 3.2; 6B_610/2015 du 7 septembre 2015 consid. 2.3). Pour le surplus, le recourant se borne de manière irrecevable, faute de toute motivation, à contester son défaut de prise de conscience. Au demeurant, le recourant ne semble pas particulièrement regretter son comportement, en particulier dans le domaine de la circulation routière, dans la mesure où il persiste à tenter de justifier sa course poursuite avec la police.
L'ensemble des circonstances précitées dans le jugement entrepris permettait ainsi, sans violation du droit fédéral, de retenir un pronostic défavorable excluant tant le sursis total que partiel.
5.
Le recours est rejeté, dans la mesure de sa recevabilité. Dès lors que les conclusions étaient vouées à l'échec, la requête d'assistance judiciaire doit être rejetée (<ref-law>). Le recourant qui succombe supportera les frais judiciaires, qui seront fixés en tenant compte de sa situation économique (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1600 fr., sont à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 31 mai 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy