Faits :
A.
Le 5 juin 2013, aux alentours de 14 heures, dans un restaurant-bar situé dans un centre commercial du quartier B._, à C._, X._, agent de sécurité, est intervenu pour séparer deux individus, à savoir un inconnu et A._, qui se disputaient en s'empoignant. A._ n'a pas accepté de se faire repousser par X._, s'est emparé d'une cuillère à café posée sur une table qui se trouvait à proximité et, en la brandissant, s'est élancé contre X._. Ce dernier a effectué un pas d'esquive et a aussitôt asséné un coup de poing au visage de A._, qui est tombé à terre. Sa tête a heurté le sol et il a perdu connaissance.
Selon le rapport médical établi par des médecins de l'Hôpital D._ le 21 octobre 2013, A._ a souffert d'un important traumatisme crânien avec de multiples contusions, qui a eu pour conséquence une cécité bilatérale complète permanente. Il a été hospitalisé à l'Hôpital D._ jusqu'en septembre 2013, puis a été transféré à l'hôpital de E._.
B. Par jugement du 18 avril 2016, le Tribunal de police de l'arrondissement de Lausanne a considéré, en rapport avec les faits précités, que les conditions de la légitime défense étaient réunies et que X._ devait être libéré du chef d'accusation de lésions corporelles graves retenu à son encontre par le ministère public, renvoyant A._ à agir par la voie civile.
Dans le cadre de ce même jugement, le Tribunal de police de l'arrondissement de Lausanne a également constaté, en rapport avec un autre complexe de faits, que X._ s'était rendu coupable de lésions corporelles graves et de dommages à la propriété au préjudice de F._, l'a condamné à une peine pécuniaire de 180 jours-amende à 100 fr. le jours-amende et suspendu l'exécution de la peine pécuniaire prononcée, lui fixant un délai d'épreuve de 3 ans. Il l'a condamné à une amende de 1000 fr., arrêtant la peine privative de substitution en cas de défaut de paiement à 10 jours.
C.
Par jugement du 24 novembre 2016, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par A._ à l'encontre du jugement de première instance. La Cour d'appel pénale a considéré à son tour que X._ avait agi en état de légitime défense à l'égard de A._.
D.
A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement de la Cour d'appel pénale du 24 novembre 2016. Il conclut, avec suite de frais et dépens, à la réforme du jugement attaqué, en ce sens que X._ soit reconnu coupable de lésions corporelles graves à son encontre, qu'il soit reconnu être son débiteur et lui devoir immédiat paiement de la somme de 60'000 fr. avec intérêts à 5% l'an dès le 5 juin 2013 à titre de tort moral et qu'il lui soit donné acte de ses réserves civiles s'agissant de tous les autres dommages subis, dont, notamment, ceux liés au préjudice corporel et ménager. Subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à l'autorité inférieure pour nouvelle instruction et nouvelle décision. Il sollicite également l'octroi de l'assistance judiciaire.
E.
Invitée à se déterminer, la cour cantonale y a renoncé et s'est référée aux considérants du jugement, à l'instar du ministère public. L'intimé a déposé une réponse, concluant au rejet du recours et à l'allocation d'une indemnité pour l'exercice de ses frais de défense au sens de l'<ref-law> de 1'500 francs. Dite réponse a été communiquée au recourant, qui a précisé ne pas avoir d'observations à formuler.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 197).
1.1. Aux termes de l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent des prétentions civiles celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law> (<ref-ruling> consid. 1.1 p. 4).
L'allocation d'une indemnité pour tort moral fondée sur l'<ref-law> suppose que l'atteinte présente une certaine gravité objective et qu'elle ait été ressentie par la victime, subjectivement, comme une souffrance morale suffisamment forte pour qu'il apparaisse légitime qu'une personne dans ces circonstances s'adresse au juge pour obtenir réparation (arrêt 6B_539/2016 du 1er novembre 2017 consid. 1.2 et les références citées).
1.2. En l'espèce, le recourant a pris part à la procédure de dernière instance cantonale. Il a conclu à l'allocation d'une indemnité de 60'000 fr. pour tort moral en instance cantonale à raison des lésions subies. Il a été renvoyé à agir au plan civil. Il reprend ses conclusions en paiement devant le Tribunal fédéral. Il convient ainsi d'admettre qu'il dispose d'un intérêt juridique à l'annulation ou à la modification de la décision attaquée et qu'il a donc qualité pour recourir au Tribunal fédéral.
2.
Dans un premier moyen, le recourant se plaint d'arbitraire dans l'établissement des faits (art. 9 Cst.).
2.1. Le Tribunal fédéral n'est pas une autorité d'appel devant laquelle les faits établis en dernière instance cantonale peuvent être librement rediscutés. Il est lié par les constatations de faits de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (art. 97 al. 1 et 105 al. 2 LTF), soit, pour l'essentiel, de façon arbitraire (art. 9 Cst.; <ref-ruling> consid. 2.3.1 p. 244; <ref-ruling> consid. 6.3 p. 375). Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 4.3 p. 380; <ref-ruling> consid. 1.2 p. 308 s.; <ref-ruling> consid. 3.4 p. 53). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont la prohibition de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; <ref-ruling> consid. 2.4 p. 368). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.4 p. 368; <ref-ruling> consid. 1.3.1 p. 253).
2.2. En l'espèce, la cour cantonale a précisé s'en tenir à l'état de fait retenu par le premier juge, en tant qu'il correspondait à la version présentée par G._ et H._. A la suite du premier juge, l'autorité précédente a également écarté la version des faits présentée par I._. A cet égard, la cour cantonale a relevé que G._ et H._ ne connaissaient pas le recourant, se trouvaient à des endroits différents du restaurant-bar lors des faits et avaient, chacun de leur côté, expliqué le déroulement précis de l'altercation. A l'inverse, elle a retenu que I._ connaissait le recourant depuis environ dix ans, était comme lui originaire de Casablanca et lui avait rendu visite à l'hôpital à six reprises avant son audition par la police. Surtout, son récit était affecté d'incohérences. Il était en particulier incompréhensible qu'il n'ait pas vu le recourant se saisir et brandir une cuillère face à l'intimé ou qu'il prétende avoir observé ce dernier tirer le recourant sur cinq mètre environ avant de lui asséner un coup de poing au visage, ce en contradiction flagrante avec la version des deux autres témoins de la scène. Au regard de ces éléments, la cour cantonale était fondée à qualifier de neutres et désintéressés les témoignages de G._ et H._, et, à l'inverse, pouvait considérer sans arbitraire que les déclarations de I._ étaient clairement orientées. Dès lors qu'elle s'est fondée sur différents éléments d'appréciation, on ne saurait faire grief à l'autorité précédente, contrairement à ce que soutient le recourant, d'avoir écarté la version de I._ sur la seule foi de leur origine commune. Au demeurant, les fonctions d'agent de sécurité de l'intimé au sein du centre commercial où se situe le restaurant-bar dans lequel G._ travaille n'implique pas, quoi qu'en dise le recourant, un lien de proximité ou d'intérêts suffisamment étroit pour mettre en doute la neutralité de cette dernière.
Les déclarations de la prénommée corroborent de surcroît l'absence d'acharnement de la part du recourant constaté par la cour cantonale. On cherche en vain les prétendues contradictions que le recourant tente de mettre en exergue sur ce plan. L'appréciation des preuves doit de surcroît être examinée dans son ensemble (cf. arrêt 6B_246/2017 du 28 décembre 2017 consid. 3.1 et les références citées). A cet égard, le constat selon lequel l'intimé a asséné un coup de poing au visage du recourant, qui est tombé par terre, sa tête heurtant le sol avant qu'il perde connaissance (jugement querellé, p. 10), renvoie aux déclarations de G._ (procès-verbal d'audition du 18 novembre 2013, p. 2, R. 4). Que celles-ci divergent sur ce point de celles de H._, selon lequel la tête du recourant n'aurait pas heurté le sol (procès-verbal d'audition du 1er novembre 2013, p. 3, R. 7), ne rend pas en soi insoutenable, du moins dans son résultat, l'appréciation de la cour cantonale. Le recourant ne lui fait d'ailleurs pas grief d'avoir insuffisamment motivé sa décision à ce propos. Quoi qu'il en soit, la portée attribuée par la cour cantonale à ces éléments au niveau de l'appréciation de la proportionnalité de l'acte de défense sera reprise ci-après.
3.
Dans un deuxième grief, le recourant invoque une violation de l'<ref-law>, aux termes duquel, quiconque, de manière contraire au droit, est attaqué ou menacé d'une attaque imminente a le droit de repousser l'attaque par des moyens proportionnés aux circonstances.
3.1. La légitime défense suppose une attaque, c'est-à-dire un comportement visant à porter atteinte à un bien juridiquement protégé, ou la menace d'une attaque, soit le risque que l'atteinte se réalise. Il doit s'agir d'une attaque actuelle ou à tout le moins imminente, ce qui implique que l'atteinte soit effective ou qu'elle menace de se produire incessamment (arrêt 6B_600/2014 du 23 janvier 2015 consid. 5.1 non publié in <ref-ruling>; cf. également <ref-ruling> consid. 2a p. 14). L'acte de celui qui est attaqué ou menacé de l'être doit tendre à la défense. Un comportement visant à se venger ou à punir ne relève pas de la légitime défense. Il en va de même du comportement qui tend à prévenir une attaque certes possible mais encore incertaine, c'est-à-dire à neutraliser l'adversaire selon le principe que la meilleure défense est l'attaque (<ref-ruling> p. 83; plus récemment: arrêt 6B_346/2016 du 31 janvier 2017 consid. 2.1.2).
La défense doit apparaître proportionnée au regard de l'ensemble des circonstances. A cet égard, on doit notamment examiner la gravité de l'attaque, les biens juridiques menacés par celle-ci et par les moyens de défense, la nature de ces derniers ainsi que l'usage concret qui en a été fait (<ref-ruling> consid. 3.2 p. 51; <ref-ruling> consid. 2a p. 68; <ref-ruling> p. 120). La proportionnalité des moyens de défense se détermine d'après la situation de celui qui voulait repousser l'attaque au moment où il a agi (<ref-ruling> consid. 3.2 p. 51). Il convient également de prendre en compte ses capacités individuelles (GÜNTER STRATENWERTH, Schweizerisches Strafrecht, Allgemeiner Teil: Die Straftat, 4e éd. 2011, p. 260, n° 76; STRATENWERTH/WOHLERS, Schweizerisches Strafgesetzbuch, Handkommentar, 2e éd. 2012, n° 7 ad <ref-law>). Le moyen de défense employé doit être le moins dommageable possible pour l'assaillant (GÜNTER STRATENWERTH, loc. cit.), tout en devant permettre d'écarter efficacement le danger (<ref-ruling> consid. 4.2 p. 53; <ref-ruling> consid. 3b p. 15; KURT SEELMANN, in Basler Kommentar, Strafrecht, 3e éd. 2013, n° 12 ad <ref-law>; TRECHSEL/ GERTH, in TRECHSEL/PIETH, Schweizerisches Strafgesetzbuch, Praxiskommentar, 3e éd. 2018, n° 10 ad <ref-law>; WOHLERS/PFLAUM, Todesgefährliche Notwehr, in JOSITSCH/SCHWARZENEGGER/WOHLERS, Festschrift für Andreas Donatsch, Zurich 2017, p. 302). Doivent aussi être pris en considération les effets de l'acte de défense et l'état dans lequel se trouvait celui qui s'est défendu au moment des faits (<ref-ruling> p. 189; KURT SEELMANN, loc. cit.). Les autorités judiciaires ne doivent pas se livrer à des raisonnements a posteriori trop subtils pour déterminer si l'auteur des mesures de défense n'aurait pas pu ou dû se contenter d'avoir recours à des moyens différents, moins dommageables. Il est aussi indispensable de mettre en balance les biens juridiquement protégés qui sont menacés de part et d'autre. Encore faut-il que le résultat de cette pesée des dangers en présence soit reconnaissable sans peine par celui qui veut repousser l'attaque, l'expérience enseignant qu'il doit réagir rapidement (<ref-ruling> consid. 3.2 p. 51 s.; ATF <ref-ruling> consid. 3 p. 15; <ref-ruling> consid. 2a p. 68).
On peut attendre de la part d'un professionnel de la sécurité qu'il soit en mesure de gérer une situation conflictuelle avec un minimum de violence et n'en vienne aux coups qu'en toute dernière extrémité (arrêt 6B_255/2007 du 11 octobre 2007 consid. 4.2). Un professionnel de la sécurité doit ainsi faire preuve de davantage de maîtrise et de retenue que tout un chacun (GILLES MONNIER, in Commentaire romand, Code Pénal I, 2009, n° 18 ad <ref-law>).
Si l'auteur, en repoussant l'attaque, a excédé les limites de la légitime défense au sens de l'<ref-law>, le juge atténue la peine (<ref-law>). Si cet excès provient d'un état excusable d'excitation ou de saisissement causé par l'attaque, l'auteur n'agit pas de manière coupable (<ref-law>).
3.2. En l'espèce, il ressort du jugement entrepris que l'intimé est intervenu, en sa qualité d'agent de sécurité, pour mettre un terme à une altercation qui opposait le recourant à un inconnu. Celui-ci s'est exécuté, au contraire du recourant, qui n'a pas supporté l'intervention de l'intimé. Tenant des propos menaçants et agressifs à son endroit, le recourant a saisi une cuillère à café, en la tenant par le cuilleron, le manche dirigé vers l'extérieur, avant de la brandir et de s'élancer contre l'intimé. Ce dernier a immédiatement réagi en effectuant un pas d'esquive et en assénant au recourant un coup de poing au visage.
3.3. La cour cantonale a retenu à bon droit l'existence d'une attaque illicite. A juste titre, le recourant ne le discute pas.
3.4. Dans son appréciation de la proportionnalité du moyen de défense, l'autorité précédente a retenu que le coup de poing porté par l'intimé au recourant représentait une réaction simultanée à l'attaque et que l'enchaînement rapide des évènements ne lui laissait guère d'autre choix que de porter un tel coup pour se défendre de façon efficace. Jugeant la réaction de l'intimé proportionnée, elle a considéré que les conséquences tragiques du coup, soit une cécité bilatérale permanente, n'étaient pas pertinentes. Par surabondance, la cour cantonale a relevé que le rapport médical établi le 9 juillet 2014 par le Dr J._ retenait qu'un traumatisme d'une telle gravité résultait d'un impact sur le crâne qui devait avoir été causé par un choc d'une violence exceptionnelle. Considérant que les lésions constatées chez le recourant résultaient de sa chute, à l'issue de laquelle sa tête a heurté le sol, et non du coup de poing en tant que tel, la cour cantonale a jugé que cet élément permettait d'apprécier encore davantage le caractère proportionné de l'acte de défense. Pour appuyer cette appréciation, l'intimé fait quant à lui valoir, dans ses observations, que l'instrument avec lequel le recourant l'avait attaqué, qui s'est avéré être une cuillère à café, aurait très bien pu être un couteau.
Le jugement querellé n'évoque toutefois pas l'hypothèse d'une confusion entre de tels objets. Il ressort en outre des déclarations de l'intimé en cours d'instruction qu'il avait vu que l'objet que tenait le recourant n'était pas un couteau (procès-verbal d'audition de l'intimé du 1 er novembre 2013, p. 3 R. 4). L'intimé ne saurait donc en tirer quoi que ce soit en sa faveur.
Cela étant, il ressort du jugement entrepris (<ref-law>), que l'intimé est actif dans le domaine de la sécurité depuis une trentaine d'années, qu'il pratique de longue date des sports de combat et qu'il a suivi diverses formations dispensées à l'interne par ses employeurs successifs. La cour cantonale n'en a pas tenu compte et n'a pas non plus pris en considération la retenue que l'on pouvait attendre de l'intimé en raison de ses qualités professionnelles (supra consid. 3.1). Malgré ses qualités et sa longue expérience professionnelle, l'intimé n'a ni cherché à repousser le recourant, ni à le maîtriser, mais l'a directement frappé au visage, soit en un endroit particulièrement vulnérable (cf. arrêt 6B_926/2009 du 15 décembre 2009 consid. 3.4). Le jugement querellé retient en outre (<ref-law>) qu'ensuite du coup de poing qui lui a été porté, le recourant est tombé à terre et que sa tête a lourdement heurté le sol. Au bénéfice du doute, la cour cantonale était fondée à retenir en faveur de l'intimé que le choc d'une violence exceptionnelle décrit par le Dr J._ résultait de la chute et non du coup de poing. Pour autant, cet élément ne revêt pas la portée que lui confère la cour cantonale s'agissant de l'appréciation de la proportionnalité de la réaction du recourant. Il ne saurait conduire à minimiser la violence du coup que révèle en tout état l'enchaînement factuel retenu par les juges précédents, étant rappelé que le coup a été de surcroît porté en un endroit particulièrement vulnérable. C'est également à tort que la cour cantonale a jugé non pertinentes les lésions subies par le recourant dans l'appréciation de la proportionnalité de la réaction de l'intimé, dès lors que les effets de l'acte de défense comptent parmi les critères d'appréciation. Pareilles conséquences devaient donc elles aussi, aux côtés des qualités professionnelles de l'intimé, de la retenue qu'elle lui imposait et du fait qu'il a porté au recourant un violent coup à la tête, être prises en considération pour apprécier la proportionnalité de la réaction de l'intimé. Or, ces différents éléments contrebalancent ceux retenus par la cour cantonale. Ils amènent à retenir que ce dernier a réagi de façon disproportionnée et a excédé les limites de la légitime défense.
3.5. En définitive, le grief de violation de l'<ref-law> s'avère bien fondé.
4.
Il découle de ce qui précède que le recours doit être admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision. Il appartiendra à l'autorité cantonale de reprendre la qualification juridique des faits, y compris sous l'angle de l'élément subjectif, et d'examiner l'application de l'<ref-law>.
5.
Une partie des frais judiciaires est mise à la charge de l'intimé, qui succombe, le canton de Vaud n'ayant pas à en supporter (art. 66 al. 1 et 4 LTF). Au vu du sort de la cause, les conclusions prises par l'intimé en référence à l'<ref-law> doivent être rejetées. Le recourant peut quant à lui prétendre à une indemnité de dépens, à la charge pour moitié chacun, d'une part, du canton de Vaud et, d'autre part, de l'intimé (art. 68 al. 1 et 2 LTF). Cela rend sans objet sa demande d'assistance judiciaire.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, le jugement attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Une partie des frais judiciaires, arrêtée à 1500 fr., est mis à la charge de l'intimé.
3.
Une indemnité de 3000 fr., à verser au recourant à titre de dépens, est mise pour moitié à la charge du canton de Vaud et pour moitié à la charge de l'intimé.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 27 février 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Dyens