Faits : A. Par jugement du 11 septembre 2014, le Tribunal correctionnel de l'arrondissement de La Broye et du Nord vaudois a condamné A._ pour lésions corporelles graves, omission de prêter secours et contravention à la LStup (RS 812.121) à une peine privative de liberté de 26 mois et à une amende de 200 fr. - convertible en cas de non-paiement fautif en une peine privative de liberté de substitution de 2 jours -, peines complémentaires à celles infligées le 21 janvier 2012 par le Ministère public du canton de Genève et le 17 avril 2012 par le Ministère public de l'arrondissement de Lausanne. Il a par ailleurs dit que A._ était débiteur de X._ de 20'000 fr., avec intérêt à 5% l'an dès le 17 novembre 2011, à titre de réparation du tort moral subi. B. Statuant sur l'appel de A._ et sur l'appel joint de X._, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud les a rejetés par jugement du 18 février 2015. En bref, il en ressort les faits suivants. Le 16 novembre 2011, à Orbe, vers 19h15, pour une raison qui n'a pas pu être établie, A._ et X._, tous deux requérants d'asile, se sont insultés dans leurs langues respectives. Quelques instants plus tard, X._, qui était sous l'influence de l'alcool et agressif, s'est agrippé à A._, en brisant au passage une chaînette que celui-ci portait autour du cou, lui a asséné un coup de poing qui l'a fait saigner au niveau du nez, puis a tenté de le frapper avec une pierre, sans toutefois y parvenir, des tiers l'en ayant empêché. Après cette altercation, les intéressés ont regagné l'abri PC, dans lequel ils logeaient, aux alentours de 19h30. Toutefois, énervé par cet événement, A._ a entrepris de se venger. Entre 20h00 et 20h30, X._ a quitté l'abri PC. Arrivé sur le parking de la rue des Philosophes, il a croisé A._ qui était accompagné de B._. Un échange verbal houleux s'est engagé entre les trois hommes. X._ a insulté A._ en arabe, en lui disant notamment « fils de pute, va te faire foutre ». A._ lui a aussitôt asséné deux ou trois coups de poing à la tête au niveau de la tempe, qui l'ont fait chuter au sol, où il est resté inconscient. Malgré l'état dans lequel se trouvait X._, A._ n'a rien entrepris pour lui venir en aide. Il a regagné l'abri PC et en passant à côté des camarades de X._, il leur a déclaré que leur « copain arabe était mort ». Ce n'est qu'aux alentours de 21h20 que X._ a été retrouvé, inconscient, par des personnes, au nombre desquelles A._ ne figurait pas, qui ont pu alerter les secours. En raison de l'apparition d'une hypertension intracrânienne réfractaire au traitement de première intention, X._ a été plongé dans un coma barbiturique le 18 novembre 2011, dont il n'est sorti que le 18 janvier 2012. Il a ensuite été transféré à la Clinique X._ à Bâle pour une réhabilitation, qui a duré jusqu'au 16 mars 2012. Selon les médecins du Centre universitaire romand de médecine légale, les lésions constatées par les cliniciens et les radiologues ont mis en danger la vie de X._. C. X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 18 février 2015, concluant principalement, avec suite de frais et dépens, à sa réforme en ce sens que A._ est son débiteur et lui doit immédiat paiement de la somme de 40'000 fr., avec intérêt à 5% l'an dès le 17 novembre 2011, à titre de réparation du tort moral subi. Subsidiairement, il requiert l'annulation du jugement attaqué et le renvoi de la cause à l'autorité cantonale pour nouvelle décision. Il sollicite en outre l'assistance judiciaire.