Faits : A. Le 1er octobre 2016, aux environs de 4h - 4h 30, a eu lieu une altercation entre plusieurs personnes devant un établissement public à la Chaux-de-Fonds. A._ et B._, fortement alcoolisés, ont été blessés. X._ a été identifié comme l'auteur des coups portés à ces derniers. B. Par jugement du 17 mai 2018, le Tribunal de police des Montagnes et du Val-de-Ruz a reconnu X._ coupable de lésions corporelles simples et graves. Il l'a condamné à une peine privative de liberté ferme de douze mois, dont à déduire 3 jours de détention avant jugement. Il a prononcé son expulsion pour une durée de cinq ans. Il a également astreint X._ à verser à A._ une indemnité pour tort moral de 20'000 francs. C. Par jugement du 2 novembre 2018, la Cour pénale du Tribunal cantonal du canton de Neuchâtel a admis partiellement l'appel formé par X._. Elle l'a reconnu coupable de lésions corporelles simples et de lésions corporelles graves par négligence au préjudice de A._ et de lésions corporelles simples au préjudice de B._. Elle l'a condamné à une peine privative de liberté de douze mois, dont à déduire 3 jours de détention avant jugement et dont six mois ferme et six mois avec sursis pendant quatre ans. Elle a renoncé à prononcer l'expulsion du condamné et l'a astreint à verser à A._ une indemnité pour tort moral de 12'000 francs. D. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre ce jugement. Il requiert, avec suite de frais et dépens, son acquittement des chefs d'accusation de lésions corporelles simples et de lésions corporelles graves par négligence au préjudice de A._ et la suppression de l'indemnité pour tort moral mis à sa charge en faveur de ce dernier. Il conclut à sa condamnation à une peine pécuniaire seulement, à 10 fr. le jour, avec sursis durant deux ans. Il prend en outre des conclusions subsidiaires dont l'annulation du jugement cantonal et le renvoi de la cause à l'autorité précédente pour instruction complémentaire et nouvelle décision. Il sollicite l'effet suspensif et le bénéfice de l'assistance judiciaire. L'autorité intimée et le ministère public ont renoncé à se déterminer. A._ a conclu, avec suite de frais et dépens, au rejet du recours.