Faits :
A.
Par jugement du 11 septembre 2014, le Tribunal correctionnel de l'arrondissement de La Broye et du Nord vaudois a condamné A._ pour lésions corporelles graves, omission de prêter secours et contravention à la LStup (RS 812.121) à une peine privative de liberté de 26 mois et à une amende de 200 fr. - convertible en cas de non-paiement fautif en une peine privative de liberté de substitution de 2 jours -, peines complémentaires à celles infligées le 21 janvier 2012 par le Ministère public du canton de Genève et le 17 avril 2012 par le Ministère public de l'arrondissement de Lausanne. Il a par ailleurs dit que A._ était débiteur de X._ de 20'000 fr., avec intérêt à 5% l'an dès le 17 novembre 2011, à titre de réparation du tort moral subi.
B.
Statuant sur l'appel de A._ et sur l'appel joint de X._, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud les a rejetés par jugement du 18 février 2015.
En bref, il en ressort les faits suivants.
Le 16 novembre 2011, à Orbe, vers 19h15, pour une raison qui n'a pas pu être établie, A._ et X._, tous deux requérants d'asile, se sont insultés dans leurs langues respectives. Quelques instants plus tard, X._, qui était sous l'influence de l'alcool et agressif, s'est agrippé à A._, en brisant au passage une chaînette que celui-ci portait autour du cou, lui a asséné un coup de poing qui l'a fait saigner au niveau du nez, puis a tenté de le frapper avec une pierre, sans toutefois y parvenir, des tiers l'en ayant empêché.
Après cette altercation, les intéressés ont regagné l'abri PC, dans lequel ils logeaient, aux alentours de 19h30. Toutefois, énervé par cet événement, A._ a entrepris de se venger.
Entre 20h00 et 20h30, X._ a quitté l'abri PC. Arrivé sur le parking de la rue des Philosophes, il a croisé A._ qui était accompagné de B._. Un échange verbal houleux s'est engagé entre les trois hommes. X._ a insulté A._ en arabe, en lui disant notamment « fils de pute, va te faire foutre ». A._ lui a aussitôt asséné deux ou trois coups de poing à la tête au niveau de la tempe, qui l'ont fait chuter au sol, où il est resté inconscient.
Malgré l'état dans lequel se trouvait X._, A._ n'a rien entrepris pour lui venir en aide. Il a regagné l'abri PC et en passant à côté des camarades de X._, il leur a déclaré que leur « copain arabe était mort ». Ce n'est qu'aux alentours de 21h20 que X._ a été retrouvé, inconscient, par des personnes, au nombre desquelles A._ ne figurait pas, qui ont pu alerter les secours.
En raison de l'apparition d'une hypertension intracrânienne réfractaire au traitement de première intention, X._ a été plongé dans un coma barbiturique le 18 novembre 2011, dont il n'est sorti que le 18 janvier 2012. Il a ensuite été transféré à la Clinique X._ à Bâle pour une réhabilitation, qui a duré jusqu'au 16 mars 2012. Selon les médecins du Centre universitaire romand de médecine légale, les lésions constatées par les cliniciens et les radiologues ont mis en danger la vie de X._.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 18 février 2015, concluant principalement, avec suite de frais et dépens, à sa réforme en ce sens que A._ est son débiteur et lui doit immédiat paiement de la somme de 40'000 fr., avec intérêt à 5% l'an dès le 17 novembre 2011, à titre de réparation du tort moral subi. Subsidiairement, il requiert l'annulation du jugement attaqué et le renvoi de la cause à l'autorité cantonale pour nouvelle décision. Il sollicite en outre l'assistance judiciaire.

Considérant en droit :
1.
La dernière instance cantonale a statué aussi bien sur l'aspect pénal que sur les prétentions civiles. Quand bien même les conclusions prises par le recourant devant le Tribunal fédéral portent uniquement sur les conclusions civiles, c'est la voie du recours en matière pénale qui est ouverte (cf. <ref-law>; <ref-ruling> consid. 2.1 p. 702 s.).
2.
Le recourant soutient que la cour cantonale aurait violé le droit fédéral (art. 44 et 47 CO), voire apprécié les preuves de manière arbitraire, en admettant l'existence d'un lien de causalité naturelle et adéquate entre le comportement qui lui est reproché et la survenance du préjudice. Il invoque aussi dans ce cadre une motivation insuffisante (art. 29 Cst. et 3 CPP).
2.1. Le grief tiré d'une motivation insuffisante ne fait l'objet d'aucun développement topique et est inintelligible. Il est irrecevable.
2.2. En vertu de l'<ref-law>, le juge peut, en tenant compte de circonstances particulières, allouer à la victime de lésions corporelles une indemnité équitable à titre de réparation morale.
La possibilité de réduire une indemnité pour tenir compte d'une faute concomitante, résultant de l'<ref-law>, existe également dans le cas d'une indemnité pour tort moral (cf. <ref-ruling> consid. 8 p. 21; <ref-ruling> consid. 4.2 p. 54).
Il y a faute concomitante lorsque le lésé omet de prendre des mesures que l'on pouvait attendre de lui et qui étaient propres à éviter la survenance ou l'aggravation du dommage; autrement dit, si le lésé n'a pas pris les mesures qu'une personne raisonnable, placée dans les mêmes circonstances, aurait pu et dû prendre dans son propre intérêt (cf. <ref-ruling> consid. 2b p. 158; plus récemment arrêt 6B_234/2013 du 8 juillet 2013 consid. 4.2). La faute concomitante suppose que l'on puisse reprocher au lésé un comportement blâmable, en particulier un manque d'attention ou une attitude dangereuse, alors qu'il n'a pas déployé les efforts d'intelligence ou de volonté que l'on pouvait attendre de lui pour se conformer aux règles de la prudence (arrêt 4A_66/2010 du 27 mai 2010 consid. 2.2).
La réduction de l'indemnité - dont la quotité relève de l'appréciation du juge (cf. <ref-ruling> consid. 9.2 p. 70 et les références citées; cf. également <ref-ruling> consid. 2.1 p. 254) - suppose que le comportement reproché au lésé soit en rapport de causalité naturelle (<ref-ruling> consid. 5.3 p. 601) et adéquate avec la survenance du préjudice (<ref-ruling> consid. 2d p. 197 et les références citées).
Un comportement est la cause naturelle d'un résultat s'il en constitue l'une des conditions sine qua non, c'est-à-dire si, sans lui, le résultat ne se serait pas produit. La constatation du rapport de causalité naturelle relève du fait (<ref-ruling> consid. 4.1.3 p. 61; <ref-ruling> consid. 4.2.3.3 p. 9). Lorsque la causalité naturelle est établie, il faut encore rechercher si le comportement incriminé est la cause adéquate du résultat. Tel est le cas lorsque, d'après le cours ordinaire des choses et l'expérience de la vie, le comportement était propre à entraîner un résultat du genre de celui qui s'est produit. Il s'agit d'une question de droit que le Tribunal fédéral revoit librement (<ref-ruling> consid. 4.1.3 p. 61; <ref-ruling> consid. 6.1 p. 168).
2.2.1. Sur la base des rapports médicaux, les premiers juges ont qualifié de graves les lésions corporelles subies par le recourant. Ils ont cependant estimé, pour réduire la quotité du montant alloué à titre de réparation morale, qu'aucun de ces documents ne permettait de dire avec certitude que les lésions constatées étaient directement liées aux faits survenus le 16 novembre 2011. La cour cantonale n'a pas suivi cette argumentation, considérant qu'elle était contradictoire et au demeurant pas pertinente. L'auteur des lésions corporelles directes (coups de poing) ou indirectes (lésions corporelles occasionnées par la chute) était bien l'intimé, et ce même si les médecins étaient restés prudents quant à leurs causes directes (chute, coups reçus au niveau de la tête ou combinaison des deux). En tout état, il était établi que le recourant s'en était pris en premier à l'intimé faisant naître chez celui-ci un mobile de vengeance; quelques heures avant son agression, il avait ainsi provoqué l'intimé, notamment en lui donnant un coup de poing ce qui l'avait fait saigner, puis en tentant de le frapper avec une pierre. De plus, il ressortait du dossier que le recourant était coutumier des actes violents. Il se justifiait dès lors de tenir compte de la faute concomitante du recourant comme facteur de réduction de l'indemnité pour tort moral. La cour cantonale a ainsi jugé que le montant de 20'000 fr. alloué par l'autorité de première instance apparaissait adéquat et devait être confirmé.
2.2.2. Le recourant prétend qu'il n'existerait aucun lien de causalité naturelle, ni a fortiori adéquate entre le fait qu'il serait coutumier d'actes violents - qui auraient eu lieu à d'autres occasions que celle objet de la présente cause - et la survenance du préjudice qu'il a subi dans le cas particulier. S'il s'en était pris à l'intimé quelques heures avant son agression, le conflit entre les intéressés aurait toutefois débuté par des insultes réciproques. En tout état, il n'existerait pas de lien de causalité adéquate entre ces premiers évènements, lors desquels il y a eu des insultes réciproques ainsi qu'un coup de poing donné à l'intimé et une tentative de le frapper avec une pierre, et les « deux ou trois coups de poing à la tête au niveau de la tempe » donnés quelques heures plus tard par l'intimé, dans un esprit de vengeance. Dès lors qu'il n'existerait aucun comportement fautif de la part du recourant qui serait en lien de causalité avec l'atteinte qu'il a subie, la cour cantonale aurait violé le droit fédéral en retenant que l'indemnité pour tort moral devait être réduite.
2.2.3. Contrairement à ce que le recourant soutient, il résulte des faits constatés - au sujet desquels l'arbitraire n'est pas invoqué - que le comportement qui lui est reproché constitue une condition sine qua non des événements qui se sont produits, même s'il n'en est pas la cause unique, respectivement immédiate. En effet, l'attitude de l'intimé doit être mise en perspective avec celle du recourant, qui s'en est d'abord pris physiquement à celui-là, dans un contexte d'insultes réciproques, et l'a injurié lors d'un échange houleux dans les deux heures suivantes. Ainsi, la cour cantonale n'a pas arbitrairement apprécié les preuves en retenant de manière implicite que la causalité naturelle était établie entre le comportement du recourant et les lésions subies.
Il faut encore que la causalité puisse être qualifiée d'adéquate. En l'occurrence, il ressort du jugement attaqué que le recourant a contribué à la réaction de l'intimé en l'injuriant, alors que l'ambiance était déjà tendue entre eux, le recourant s'en étant déjà pris physiquement au prénommé quelque deux heures avant, alors que des insultes avaient fusé de part et d'autre. Le recourant a contribué à provoquer une situation conflictuelle qui a dégénéré et son attitude a eu une influence certaine sur les événements qui ont suivi. Comme l'a retenu la cour cantonale, la faute concomitante du recourant a favorisé la survenance du préjudice qu'il a subi.
Dans ces conditions, la cour cantonale n'a pas violé le droit fédéral en réduisant l'indemnité pour tort moral en raison d'une faute concomitante du recourant. Le grief doit par conséquent être rejeté.
3.
Sur le vu de ce qui précède, le recours doit être rejeté dans la mesure de sa recevabilité.
Le recours était d'emblée voué à l'échec, de sorte que l'assistance judiciaire requise en relation avec la présente procédure doit être refusée (<ref-law>). Les frais judiciaires seront mis à la charge du recourant (<ref-law>). Ils seront toutefois fixés en tenant compte de sa situation financière qui n'apparaît pas favorable (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 5 avril 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Nasel