Faits :
A.
Le 1er octobre 2016, aux environs de 4h - 4h 30, a eu lieu une altercation entre plusieurs personnes devant un établissement public à la Chaux-de-Fonds. A._ et B._, fortement alcoolisés, ont été blessés. X._ a été identifié comme l'auteur des coups portés à ces derniers.
B.
Par jugement du 17 mai 2018, le Tribunal de police des Montagnes et du Val-de-Ruz a reconnu X._ coupable de lésions corporelles simples et graves. Il l'a condamné à une peine privative de liberté ferme de douze mois, dont à déduire 3 jours de détention avant jugement. Il a prononcé son expulsion pour une durée de cinq ans. Il a également astreint X._ à verser à A._ une indemnité pour tort moral de 20'000 francs.
C.
Par jugement du 2 novembre 2018, la Cour pénale du Tribunal cantonal du canton de Neuchâtel a admis partiellement l'appel formé par X._. Elle l'a reconnu coupable de lésions corporelles simples et de lésions corporelles graves par négligence au préjudice de A._ et de lésions corporelles simples au préjudice de B._. Elle l'a condamné à une peine privative de liberté de douze mois, dont à déduire 3 jours de détention avant jugement et dont six mois ferme et six mois avec sursis pendant quatre ans. Elle a renoncé à prononcer l'expulsion du condamné et l'a astreint à verser à A._ une indemnité pour tort moral de 12'000 francs.
D.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre ce jugement. Il requiert, avec suite de frais et dépens, son acquittement des chefs d'accusation de lésions corporelles simples et de lésions corporelles graves par négligence au préjudice de A._ et la suppression de l'indemnité pour tort moral mis à sa charge en faveur de ce dernier. Il conclut à sa condamnation à une peine pécuniaire seulement, à 10 fr. le jour, avec sursis durant deux ans. Il prend en outre des conclusions subsidiaires dont l'annulation du jugement cantonal et le renvoi de la cause à l'autorité précédente pour instruction complémentaire et nouvelle décision. Il sollicite l'effet suspensif et le bénéfice de l'assistance judiciaire.
L'autorité intimée et le ministère public ont renoncé à se déterminer. A._ a conclu, avec suite de frais et dépens, au rejet du recours.

Considérant en droit :
1.
Le recourant se plaint que l'autorité précédente n'ait pas ordonné la réaudition de plusieurs personnes. Il invoque notamment une violation des art. 6 et 343 al. 3 CPP, de son droit d'être entendu et de l'interdiction de l'arbitraire.
1.1. La maxime de l'instruction est consacrée par l'art. 6 CPP. Selon cette disposition, les autorités pénales recherchent d'office tous les faits pertinents pour la qualification de l'acte et le jugement du prévenu (al. 1). Elles instruisent avec un soin égal les circonstances qui peuvent être à la charge et à la décharge du prévenu (al. 2).
La maxime de l'instruction n'oblige toutefois pas le tribunal à administrer des preuves d'office, respectivement requises lorsque les preuves administrées lui ont permis de se forger une conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée d'autres preuves, il a la certitude qu'elles ne pourraient pas l'amener à modifier son opinion (art. 139 al. 2 CPP; cf. arrêts 6B_503/2015 du 24 mai 2016 consid. 7.1, non publié in <ref-ruling>; 6B_288/2015 du 12 octobre 2015 consid. 1.3.2).
1.2. La procédure de recours continue la procédure pénale. Aux termes de l'art. 389 al. 1 CPP, elle se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance. Ce principe n'est toutefois applicable que si les preuves sur lesquelles l'autorité de recours veut s'appuyer ont été administrées conformément aux règles de procédure (<ref-ruling> consid. 1.4.1 p. 299). L'administration des preuves du tribunal de première instance doit ainsi être répétée par l'autorité d'appel si les dispositions en matière de preuves ont été enfreintes, l'administration des preuves était incomplète ou les pièces relatives à l'administration des preuves ne semblent pas fiables (art. 389 al. 2 CPP; <ref-ruling> consid. 1.4.1 p. 299). L'administration directe du moyen de preuve doit également être réitérée durant la procédure orale d'appel conformément aux art. 343 al. 3 CPP, applicable par renvoi de l'art. 405 al. 1 CPP à la procédure d'appel, lorsque la connaissance directe du moyen de preuve apparaît nécessaire au prononcé du jugement (<ref-ruling> consid. 1.4.1 p. 299; arrêt 6B_1469/2017 du 18 juin 2018 consid. 1.3). Tel est le cas si la force du moyen de preuve dépend de manière décisive de l'impression suscitée au moment de sa présentation, notamment quand des déclarations constituent l'unique moyen de preuve - à défaut de tout autre indice - et qu'il existe une situation de " déclarations contre déclarations " (cf. <ref-ruling> consid. 4.4.2 p. 199 s.; arrêts 6B_535/2018 du 15 novembre 2018 consid. 4; 6B_800/2016 du 25 octobre 2017 consid. 9.2 non publié à l'<ref-ruling>).
Le juge dispose d'un pouvoir d'appréciation afin de déterminer si la réadministration de la preuve, par lui, est nécessaire (<ref-ruling> consid. 4.4.2 p. 199 s.; arrêt 6B_800/2016 précité consid. 9.2 non publié à l'<ref-ruling>).
En outre, une administration immédiate des preuves par la juridiction d'appel en application de l'art. 343 al. 3 CPP peut s'imposer lorsque celle-ci envisage de s'écarter des constatations de fait de première instance (<ref-ruling> consid. 4.4.1 p. 199).
1.3. Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., n'accorde pas de droits plus étendus en matière d'administration de preuves que ceux découlant des art. 343 et 389 CPP (arrêts 6B_1469/2017 précité consid. 1.3; 6B_1251/2014 du 1er juin 2015) ou de la maxime de l'instruction (cf. arrêt 6B_128/2018 du 8 février 2019 consid. 3.2).
1.4. En l'espèce, le recourant reproche à l'autorité précédente de n'avoir pas réentendu les personnes entendues par la police, sans préciser lesquelles. Il invoque à l'appui de ce grief la jurisprudence développée dans l'arrêt 6B_383/2012 du 29 novembre 2012 consid. 7.2 et l'<ref-ruling> consid. 4.4.1 Il allègue que l'autorité précédente a retenu qu'il avait causé à A._ (ci-après: l'intimé) des lésions corporelles graves non intentionnellement, mais par négligence. Or, la résolution de cette question relevait d'une question de fait que par conséquent l'autorité précédente avait revue.
1.4.1. Selon la jurisprudence précitée, l'administration de preuve par l'autorité d'appel peut se révéler nécessaire lorsque cette autorité envisage de s'écarter des constatations de fait de première instance (<ref-ruling> consid. 4.4.1 p. 199).
1.4.2. En l'espèce, l'autorité précédente a estimé qu'il n'était pas possible de retenir que le coup donné par le recourant à l'intimé était violent et que faute de prédominance physique du premier sur le second, un coup porté à ce dernier ne devait pas forcément avoir de graves répercussions. Cela étant, elle a considéré que celui qui frappe un tiers, visiblement alcoolisé, d'un violent coup au visage doit s'attendre à le blesser et à le faire tomber, mais ne prend pas forcément en compte la possibilité d'infliger de graves lésions. Des lésions graves n'étaient donc pas raisonnablement prévisibles pour le recourant. En conséquence l'autorité d'appel a considéré qu'il devait être jugé que celui-ci les avait commises non intentionnellement comme retenu par les premiers juges, mais par négligence.
1.4.3. On constate de ce qui précède que le fait qui n'a pas été retenu par l'autorité précédente était la prévisibilité pour le recourant de l'atteinte grave qu'il causait. La renonciation à retenir ce fait est favorable au recourant. Un tel fait n'a en outre rien à voir avec les griefs ici soulevés par le recourant, qui souhaite non pas que la question de l'élément subjectif soit revue, mais que le Tribunal fédéral retienne qu'il aurait été frappé ou menacé auparavant et qu'il aurait en conséquence agi en état de légitime défense, voire de défense excusable. Or sur ce point, le recourant n'indique pas que l'autorité précédente aurait apprécié les faits différemment. L'hypothèse visée par la jurisprudence précitée ne lui est par conséquent d'aucun secours. Une réaudition des personnes déjà entendues ne s'imposait pas au motif que l'autorité précédente s'était écartée sur un point, qui n'est plus litigieux à ce stade, des faits retenus par les premiers juges.
1.5. Le recourant reproche à l'autorité précédente d'avoir refusé de réentendre lors de l'audience d'appel C._, qui était avec lui lors des faits et qui n'avait été entendu qu'à titre de prévenu, par la police.
En l'occurrence, le recourant concentre son argumentation à exposer pour quelles raisons les déclarations de C._ auraient dû être jugées pleinement crédibles, ce de manière purement appellatoire et donc irrecevable (cf. infra consid. 3.1). Il n'expose en revanche pas en quoi l'appréciation dûment motivée de l'autorité précédente que sa réaudition par elle n'était pas nécessaire (cf. jugement entrepris, p. 10 - 11 ch. 3) procéderait d'un abus ou d'un excès du pouvoir d'appréciation revenant sur ce point à cette autorité. En particulier, rien n'indique que son réaudition aurait été nécessaire afin non pas d'entendre ce que l'intéressé pouvait vouloir dire, mais la manière dont il le dirait. Un changement de statut de l'intéressé lors de son audition ou un changement d'identité de l'autorité procédant à son audition ne suffisait pas dans le cas d'espèce à imposer sa réaudition par l'autorité d'appel. Le grief est infondé.
1.6. Le recourant reproche à l'autorité précédente de n'avoir pas réentendu d'office B._, autre victime du recourant. A l'appui de son grief, il invoque que B._ avait une alcoolémie de 1,4 pour mille au moment de son audition.
Le recourant n'allègue pas que l'audition de B._ aurait été faite en violation de règles de procédure au sens de l'art. 389 al. 2 CPP. Il n'invoque pas non plus que l'autorité précédente aurait constaté une incapacité de cette personne à témoigner, respectivement qu'elle serait tombée dans l'arbitraire en ne le faisant pas. La lecture du procès-verbal d'audition de B._ permet au contraire de constater que cet homme avait des propos cohérents et précis quant au déroulement de la soirée. Le fait pour l'autorité précédente de n'avoir par ordonné la réaudition d'office de cette personne, au motif qu'elle était alcoolisée au moment de son audition, ne saurait par conséquent être considéré comme une violation du pouvoir d'appréciation lui revenant s'agissant de la nécessité d'entendre elle-même un témoin. Il ressort au demeurant du jugement attaqué que la version des faits retenue ne l'a pas été sur la seule base de ce témoignage, dont l'autorité précédente a jugé qu'il devait être relativisé, vu l'implication de B._ dans le litige (jugement attaqué, p. 16).
1.7. Le recourant se plaint de ne pas avoir été confronté, en audience d'appel, à D._, entendu par la police comme personne appelée à donner des renseignements, ce avant que le recourant ne soit mis en prévention et qu'il soit assisté d'un conseil. Il y voit une violation des art. 6 CEDH et 32 al. 2 Cst.
1.7.1. L'art. 6 par. 3 let. d CEDH garantit à tout accusé le droit d'interroger ou de faire interroger les témoins à charge et d'obtenir la convocation et l'interrogation des témoins à décharge dans les mêmes conditions que les témoins à charge. Cette disposition exclut qu'un jugement pénal soit fondé sur les déclarations de témoins sans qu'une occasion appropriée et suffisante soit au moins une fois offerte au prévenu de mettre ces témoignages en doute et d'interroger les témoins, à quelque stade de la procédure que ce soit (<ref-ruling> consid. 2.2 p. 480 s.; arrêt 6B_956/2016 du 19 juillet 2017 consid. 2.3.1). En tant qu'elle concrétise le droit d'être entendu (art. 29 al. 2 Cst.), cette exigence est également garantie par l'art. 32 al. 2 Cst. (<ref-ruling> consid. 2.2 p. 480). Ce droit est absolu lorsque la déposition du témoin en cause est d'une importance décisive, notamment lorsqu'il est le seul témoin ou que sa déposition constitue une preuve essentielle (<ref-ruling> consid. 2.2 p. 480 s. et les références citées).
Aux termes de l'art. 147 CPP, les parties ont le droit d'assister à l'administration des preuves par le ministère public et les tribunaux et de poser des questions aux comparants. La présence des défenseurs lors des interrogatoires de police est régie par l'art. 159 CPP. Selon l'art. 147 al. 3 CPP, une partie ou son conseil juridique peuvent demander que l'administration des preuves soit répétée lorsque, pour des motifs impérieux, le conseil juridique ou la partie non représentée n'a pas pu y prendre part. Il peut être renoncé à cette répétition lorsqu'elle entraînerait des frais et démarches disproportionnés et que le droit des parties d'être entendues, en particulier celui de poser des questions aux comparants, peut être satisfait d'une autre manière. Selon l'art. 147 al. 4 CPP, les preuves administrées en violation de l'art. 147 CPP ne sont pas exploitables à la charge de la partie qui n'était pas présente.
La partie ou son conseil juridique peut renoncer à participer à l'administration d'une preuve (<ref-ruling> consid. 2.2 p. 481; arrêt 6B_529/2014 du 10 décembre 2014 consid. 5.2 non publié aux <ref-ruling>). La preuve qui n'a pas été administrée en présence de la partie ou de son conseil juridique pourra être utilisée à son encontre lorsqu'aucune requête tendant à une confrontation n'a été déposée en temps utile. Le prévenu doit requérir la confrontation et son silence à cet égard permet de déduire qu'il y a renoncé (arrêts 6B_1167/2018 du 23 janvier 2019 consid. 2.1; 6B_100/2017 du 9 mars 2017 consid. 3.2; 6B_710/2014 du 23 novembre 2015 consid. 2.2; 6B_529/2014 précité consid. 5.2 non publié aux <ref-ruling>).
1.7.2. En l'occurrence, il n'apparaît pas que les déclarations de D._ seraient d'une importance telle que toute l'accusation reposerait sur elles. Il ne ressort ensuite pas des faits constatés par l'autorité précédente que le recourant, assisté de deux conseils successifs depuis le 3 octobre 2016, aurait requis la confrontation avec D._, entendu le 2 octobre 2016, avant de procéder devant le Tribunal fédéral le 7 décembre 2018. Le recourant lui-même ne prétend pas que tel serait le cas. Il ne soutient pas non plus qu'il en aurait été empêché. Dans ces circonstances, il y a lieu d'admettre que par son silence durant toute la procédure il a renoncé à une telle confrontation, ce qui rend exploitable l'audition en question. Le recourant ne saurait par conséquent de bonne foi fonder aujourd'hui son grief relatif à la réaudition, d'office, par l'autorité précédente de D._ sur le fait qu'il n'a pas été confronté à ce dernier plus tôt dans la procédure.
1.7.3. Pour le surplus, le recourant invoque à l'appui de son grief que D._ présentait une alcoolémie de 0,2 pour mille lors de son audition et conteste la valeur probante accordée par l'autorité précédente à ce témoignage. De tels éléments n'imposaient toutefois pas à eux seuls l'audition par l'autorité précédente de D._, rien ne démontrant que cette audition était nécessaire non pas au vu du contenu des déclarations à intervenir mais de la manière dont celles-ci seraient faites. Le grief est infondé.
2.
Le recourant se plaint d'une violation de l'art. 341 al. 3 CPP.
2.1. Selon l'art. 341 al. 3 CPP, applicable à la procédure d'appel par renvoi de l'art. 405 al. 1 CPP, au début de la procédure probatoire, la direction de la procédure interroge le prévenu de façon détaillée sur sa personne, sur l'accusation et sur les résultats de la procédure préliminaire.
Le fait que le prévenu eût déjà été interrogé, dans le cadre de la procédure de première instance, sur sa personne et sur l'accusation, ne rend pas son audition superflue lors de la procédure orale d'appel. D'une part, même s'il figure dans une section intitulée " procédure probatoire ", l'art. 341 al. 3 CPP ne sert pas exclusivement à des fins de preuves, mais prend également en considération la position du prévenu. Il garantit à ce dernier un droit personnel de participation dans la procédure pénale conduite à son encontre, en tant que composante du droit d'être entendu, et empêche que le prévenu ne soit réduit à être l'objet de l'activité de l'Etat. D'autre part, l'interrogatoire du prévenu revêt une importance particulière s'agissant de la preuve de la culpabilité et du prononcé de la peine. L'intensité de l'interrogatoire dépend en particulier du degré de gravité de l'acte d'accusation ainsi que de l'ensemble des preuves. Dans la mesure où le prévenu a déjà été interrogé sur l'accusation lors de la procédure de première instance, il n'est pas nécessaire de l'interroger de façon aussi détaillée au cours des débats d'appel. Ainsi, l'art. 389 CPP ne conduit pas à renoncer à l'interrogatoire du prévenu lors des débats d'appel, mais relativise néanmoins la manière et l'ampleur de l'interrogatoire, dans la mesure où celui-ci ne doit porter que sur les points contestés et où les dépositions déjà recueillies - conformes au droit de procédure - demeurent utilisables (<ref-ruling> consid. 1.4.2 p. 291 s.; également <ref-ruling> consid. 6.2.2 p. 415). A cet égard, il est sans importance que le prévenu ait eu la possibilité de s'exprimer une dernière fois au terme des plaidoiries (cf. art. 347 al. 1 CPP). Il appartient à la direction de la procédure de donner au prévenu la possibilité de s'exprimer sur les accusations portées contre lui et de faire valoir les circonstances qui pourraient servir sa défense ainsi que la clarification de l'état de fait. Le fait que la défense ne demande pas l'interrogatoire du prévenu durant les débats d'appel n'y change rien, car il appartient à l'autorité d'appel de garantir d'office une administration des preuves conforme à la loi. Les parties n'ont pas à pallier, par des questions, une absence d'interrogatoire par l'autorité d'appel (<ref-ruling> consid. 1.4.3 p. 292). Cette dernière ne peut en principe renoncer à interroger le prévenu que lorsque l'état de fait est incontesté et ne fait pas l'objet du recours (<ref-ruling> consid. 1.4.4 p. 293; arrêt 6B_308/2018 du 23 juillet 2018 consid. 3.1).
2.2. Le recourant a, dans son appel, contesté les faits à l'appui de sa condamnation, arguant avoir été attaqué par l'intimé et donc avoir agi en état de légitime défense, respectivement de défense excusable. Il a également nié avoir agi intentionnellement. L'autorité précédente a constaté que les versions divergent sur ce qui s'est passé lors de l'altercation (jugement attaqué, p. 14). Lors de l'audience d'appel, le recourant a été interrogé, outre sur sa situation personnelle, sur le fait de savoir ce qu'il pensait de ce qui était arrivé à l'intimé. A cette question, il a répondu qu'il n'aurait jamais pensé que ça finirait comme ça et qu'il se retrouverait ici. Il a ajouté qu'il n'aurait pas pensé qu'en se défendant contre l'intimé et en lui donnant un coup de poing, il perdrait l'équilibre et se blesserait. On comprend ici que le recourant a pris position sur l'accusation et s'est derechef prévalu d'une attitude de défense de sa part à l'encontre d'une agression qu'il dit avoir subie. Quoique succinct, cet interrogatoire respecte, dans les circonstances du cas d'espèce, les exigences du droit fédéral.
3.
Le recourant estime que l'autorité précédente a établi les faits de la cause de manière arbitraire et contraire à la présomption d'innocence.
3.1. Le Tribunal fédéral est lié par les faits établis par l'autorité précédente (art. 105 al. 1 LTF), à moins qu'ils n'aient été constatés en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.1 p. 503). Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs sont fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêts 6B_435/2018 du 19 septembre 2018 consid. 3.2.1; 6B_697/2018 du 23 août 2018 et les arrêts cités). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.4 p. 368).
Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence à la présomption d'innocence (art. 10 al. 1 CPP; 6 par. 2 CEDH), le principe " in dubio pro reo " n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.1 p. 503).
Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (art. 106 al. 2 LTF), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 1.2.2 p. 286).
3.2. L'autorité précédente a procédé à une appréciation détaillée de la valeur probante à donner aux témoignages des six personnes présentes au moment des faits (cf. jugement attaqué, p. 14 - 17). On peut y renvoyer. Sur la base de cette appréciation, elle a estimé que l'intimé n'avait pas frappé le recourant avant que celui-ci ne le frappe et frappe B._.
3.3. Les faits allégués par le recourant qui ne résultent pas du jugement attaqué et qui ne sont pas accompagnés d'un grief d'arbitraire sont irrecevables. Il en va en particulier des faits exposés en pages 5 à 15 du recours, une telle présentation étant inutile.
3.4. Le recourant se plaint que l'autorité précédente n'ait pas jugé probantes l'entier des déclarations de C._.
Le seul fait que certaines déclarations de C._, ami du recourant et qui a admis en cours de procédure avoir menti pour lui, seraient confirmées par le recourant n'imposaient pas de les juger probantes, encore moins dans leur entier. L'argumentation est sur ce point appellatoire et partant irrecevable. Pour le surplus, le recourant se réfère à plusieurs déclarations de C._ qui seraient confirmées par d'autres preuves s'agissant de plusieurs faits. On peut ici se borner à constater qu'aucun de ces faits, même admis, ne rendrait la décision attaquée arbitraire. Ces faits sont au contraire sans pertinence ici. Accorder une valeur probante au témoignage de C._ sur ces points n'imposait au surplus pas d'en donner à l'ensemble de son témoignage et notamment à la déclaration de C._ que le recourant aurait été frappé par l'intimé avant qu'il ne le frappe lui-même.
3.5. Le recourant se plaint que l'autorité précédente n'ait pas pris en compte la déclaration de l'intimé, faite en cours d'enquête, qu'il avait frappé le recourant avant que celui-ci ne lui assène un coup.
L'autorité précédente a exposé pour quels motifs elle jugeait non probante cette première déclaration de l'intimé (cf. jugement attaqué, p. 16). Le recourant n'y oppose qu'une argumentation appellatoire, donc irrecevable.
3.6. Le recourant reproche à l'autorité précédente d'avoir relativisé ses propos.
Qu'il ait gardé la même ligne de défense durant toute la procédure n'imposait pas de le croire. Quant au fait qu'il aurait lui-même demandé à ce que les images de la caméra de surveillance soient examinées, ce fait ne résulte pas du jugement attaqué, sans que le recourant ne démontre l'arbitraire de son omission. Il est irrecevable. Les pièces auxquelles il se réfère ne l'établissent au demeurant pas.
Le recourant reproche à l'autorité précédente de n'avoir pas examiné si l'intimé avait retiré ses lunettes lors de l'altercation, ce qui aurait démontré selon le recourant l'intention de l'intimé d'en venir aux mains. Le recourant invoque à l'appui de ce fait ses propres déclarations et celles de C._. Pour les motifs qui précèdent, les déclarations du recourant et de son ami n'étaient pas suffisantes pour imposer de retenir le fait litigieux. Le grief est sur ce point infondé.
3.7. Le recourant conteste la valeur probante accordée aux déclarations de B._.
Comme exposé ci-dessus, l'autorité précédente a émis des réserves s'agissant de ces déclarations, compte tenu des liens unissant cette personne à l'intimé. Le recourant invoque qu'au moment de son audition, B._ présentait une alcoolémie de 1,4 pour mille, ce que l'autorité précédente n'aurait pas mentionné. Comme exposé ci-dessus un tel état ne l'a pas empêché de faire des déclarations claires, concises et cohérentes. Un tel état n'imposait par conséquent pas de nier toute valeur probante aux déclarations de cette personne. Le grief est infondé.
3.8. Le recourant conteste la valeur probante donnée aux propos de D._.
Son argumentation, purement appellatoire, est irrecevable. Il résulte au demeurant de l'appréciation de l'autorité précédente des autres preuves au dossier, dont l'arbitraire n'a pas été démontré, que cette autorité n'a pas établi les faits de la cause sur la base de ce seul témoignage.
3.9. Sur la base des critiques qui précèdent relatives à l'appréciation des preuves, le recourant conteste la version des faits retenue par l'autorité précédente, arguant encore que tous les protagonistes sauf C._ étaient ivres et que personne n'aurait vu la scène dans son ensemble du début à la fin. Ici encore une telle argumentation, appellatoire et fondée sur des faits non constatés par l'autorité précédente, est irrecevable.
4.
Le recourant reproche à l'autorité précédente de ne pas avoir admis qu'il était en état de légitime défense (art. 15 CP), respectivement de défense excusable (art. 16 CP). Il conteste sa condamnation pour lésions corporelles simples et lésions corporelles graves par négligence à l'encontre de l'intimé.
Dans la mesure où son moyen se fonde sur l'admission des griefs d'appréciation des preuves et de constatation des faits arbitraires exposés ci-dessus ou sur des faits qui ne sont pas constatés dans le jugement attaqué, sans que l'arbitraire de l'omission de ces faits soit invoqué et démontré, il est irrecevable. Il en va en particulier du fait que le recourant aurait été, nonobstant l'absence de coup de la part de l'intimé, menacé par ce dernier avant de frapper.
Au vu des faits retenus par l'autorité précédente (cf. supra consid. 3.2), l'autorité précédente n'a pas violé le droit fédéral en niant que le recourant puisse se prévaloir des art. 15 ou 16 CP. Il n'y a pas eu d'attaque précédant ses coups.
5.
Le recourant critique l'indemnité pour tort moral accordée à hauteur de 12'000 fr. à l'intimé.
5.1. Dès lors que son grief se fonde sur le prononcé de son acquittement par le Tribunal fédéral, il est irrecevable au vu de ce qui précède.
5.2. Le recourant invoque que la faute concomitante de l'intimé imposait la suppression, à tout le moins la réduction de l'indemnité litigieuse. Il y voit une violation des art. 44 et 49 CO.
5.2.1. L'art. 49 al. 1 CO dispose que celui qui subit une atteinte illicite à sa personnalité a droit à une somme d'argent à titre de réparation morale, pour autant que la gravité de l'atteinte le justifie et que l'auteur ne lui ait pas donné satisfaction autrement.
L'art. 44 al. 1 CO permet également au juge de réduire le montant de l'indemnité pour tort moral pour tenir compte d'une faute concomitante, (cf. <ref-ruling> consid. 4.1 p. 152; <ref-ruling> consid. 4g p. 736). Il y a faute concomitante lorsque le lésé omet de prendre des mesures que l'on pouvait attendre de lui et qui étaient propres à éviter la survenance ou l'aggravation du dommage; autrement dit, si le lésé n'a pas pris les mesures qu'une personne raisonnable, placée dans les mêmes circonstances, aurait pu et dû prendre dans son propre intérêt (cf. <ref-ruling> consid. 2b p. 158 ; plus récemment arrêt 6B_267/2016 du 15 février 2017 consid. 8.2). La faute concomitante suppose que l'on puisse reprocher au lésé un comportement blâmable, en particulier un manque d'attention ou une attitude dangereuse, alors qu'il n'a pas déployé les efforts d'intelligence ou de volonté que l'on pouvait attendre de lui pour se conformer aux règles de la prudence (arrêts 6B_434/2018 du 12 septembre 2018 consid. 2.1). La réduction de l'indemnité - dont la quotité relève de l'appréciation du juge (cf. <ref-ruling> consid. 9.2 p. 70) - suppose que le comportement reproché au lésé soit en rapport de causalité naturelle et adéquate avec la survenance du préjudice (<ref-ruling> consid. 2d p. 197, plus récemment arrêt 6B_434/2018 précité consid. 2.1).
5.2.2. Le recourant argue que lors de l'arrivée à l'hôpital de l'intimé, à la suite des faits, il a été constaté dans l'organisme de ce dernier la présence de THC.
Ce fait n'est pas constaté par l'autorité précédente et le recourant n'articule à son sujet aucun grief d'arbitraire. Il est irrecevable. Au demeurant la pièce à laquelle le recourant se réfère, si elle permet de retenir la présence de THC, n'indique rien quant à son importance, encore moins quant à l'effet que cette substance aurait pu avoir sur l'intimé au moment des faits. Dans ces conditions, un tel élément n'imposait pas de retenir un rapport de causalité naturelle entre un comportement blâmable de l'intimé, constitué le cas échéant par la prise d'une telle substance, et le préjudice subi.
5.2.3. Le recourant invoque que lors de son arrivée à l'hôpital l'intimé présentait également une alcoolémie de 2,6 pour mille. Selon le recourant, dans ces conditions, la chute de l'intimé ne pouvait être évitée à la suite du coup qu'il lui a asséné.
Le recourant a frappé l'intimé, sans préambule, en plein visage d'un coup de poing. On ne saurait reprocher à l'intimé un comportement blâmable au sens de la jurisprudence précitée du fait qu'à cause de son état d'ébriété il n'aurait pas réussi à rester debout malgré le coup porté. C'est ici renverser les responsabilités. Le taux d'alcool de l'intimé ne constitue pas un élément justifiant de réduire l'indemnité pour tort moral prononcée.
5.2.4. Pour le surplus, le recourant fonde son grief sur des circonstances factuelles qui ne résultent pas du jugement attaqué, sans invoquer et démontrer l'arbitraire de leur omission. Le moyen est irrecevable.
6.
Il résulte de ce qui précède que le recours est rejeté dans la mesure de sa recevabilité.
Le recourant a requis le bénéfice de l'assistance judiciaire. Sa demande est rejetée, ses conclusions étant vouées à l'échec (art. 64 al. 1 LTF). Le recourant supportera par conséquent les frais de justice, fixés en tenant compte de sa situation financière (art. 65 al. 2 LTF). Il doit pour le surplus être astreint à verser des dépens à l'intimé qui s'est déterminé (art. 68 al. 1 LTF).
La cause étant jugée, la requête d'effet suspensif est sans objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, par 1'200 fr., sont mis à la charge du recourant.
4.
Une indemnité de 3'000 fr., à verser à l'intimé à titre de dépens pour la procédure devant le Tribunal fédéral, est mise à la charge du recourant.
5.
Le présent arrêt est communiqué aux parties et à la Cour pénale du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 12 mars 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod