Faits : A. A.a. Dans la nuit du 30 au 31 octobre 2010, au moment de la fermeture de l'établissement G._ à Yverdon-les-Bains dans lequel il avait passé la soirée, A._ a eu une altercation avec l'un des agents de sécurité du club. Une fois dehors, A._ a demandé à son frère, B._, et à son cousin, C._, de le rejoindre. Avec des clients du club non identifiés, ils ont formé un attroupement devant l'établissement. Lorsque les agents de sécurité du club sont sortis pour fermer l'établissement, ils se sont retrouvés face à cet attroupement. Parmi les agents se trouvait X._. Ce dernier, comme C._, ont d'abord tenté de calmer les esprits, notamment A._, qui était passablement excité et qui se plaignait avec insistance d'avoir été frappé par les membres du service de sécurité. A un moment donné, après des échanges d'insultes, la situation a dégénéré en une violente bagarre à laquelle ont participé activement les agents de sécurité D._, E._ et X._, d'une part, ainsi que A._ et son frère, d'autre part. Des coups de pied et de poing ont été échangés. A._ a notamment frappé X._ dans le dos. Ce dernier et les autres agents de sécurité se sont alors rués sur A._ et l'ont frappé, notamment à coups de poing et de pied. B._ a lancé en direction de X._ un marteau à viande sans toutefois l'atteindre. D'autres personnes non identifiées ont par la suite participé à la cohue générale. Deux patrouilles de la police municipale sont ainsi intervenues vers 5 h 10 et ont dispersé les combattants. A._ a été blessé au cours de la bagarre. A.b. Dans le courant du mois d'octobre 2011, X._ a consommé de la cocaïne, du MDMA et des amphétamines. Le 23 octobre 2011, vers 5 h 10, sur l'autoroute A1 entre Crissier et Neuchâtel, X._ a circulé à vive allure au volant du véhicule automobile appartenant à son épouse, alors qu'il était sous l'influence de l'alcool (taux le plus favorable: 1.05%) et qu'il n'avait pas de permis de conduire valable en Suisse. Une patrouille de police l'a repéré et a rattrapé le véhicule en le suivant sur une distance de 2'000 mètres à une vitesse variant entre 220 et 240 km/h. Ignorant les signes d'arrêt de la police, X._ a continué de rouler à vive allure, cherchant à distancer la police. Dans une courbe à gauche, limitée à 40 km/h, X._ été surpris par la configuration des lieux et s'est déporté vers la droite. Rattrapé par la police qui arrivait à sa hauteur et malgré les signes d'arrêt, il a tenté à nouveau de repartir. Son véhicule a toutefois été bloqué contre un mur par le véhicule de la police, qui a été endommagé. A.c. Entre 2001 et 2009, X._ a été condamné à des peines privatives de liberté avec sursis, puis fermes en particulier pour diverses violations des règles de la circulation routière, violation des devoirs en cas d'accident et circulation sans permis de conduire. B. Par jugement du 24 janvier 2014, le Tribunal de police de l'arrondissement de la Broye et du Nord vaudois a reconnu X._ coupable de rixe, violation grave des règles de la circulation, conduite en état d'ébriété qualifiée, tentative d'opposition ou dérobade aux mesures visant à déterminer l'incapacité de conduire, circulation sans permis de conduire et contravention à la LStup (loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes; RS 812.121). Il l'a condamné à une peine privative de liberté d'un an et à une amende de 500 francs. C. Par arrêt du 12 août 2014, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel formé par X._ contre ce jugement. D. X._ interjette un recours en matière pénale au Tribunal fédéral et conclut à son acquittement du chef d'infraction de rixe et à ce qu'il soit condamné à une peine pécuniaire de 250 jours-amende à 10 fr. par jour ainsi qu'à une amende de 500 fr. à titre de sanction immédiate pour les autres infractions. Subsidiairement il conclut à une peine privative de liberté de 12 mois dont 6 mois fermes et 6 mois avec sursis avec une période probatoire de 2 ans, ainsi qu'à une amende de 500 fr. à titre de sanction immédiate. Il requiert en outre l'assistance judiciaire.