Citation: 6B_524/2019 E. 4

Il s'ensuit que le recours doit être partiellement admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision. Pour le surplus, le recours est rejeté dans la mesure où il est recevable. Le recourant ne supportera pas de frais et peut prétendre à une indemnité de dépens réduite, à la charge du canton de Neuchâtel, relativement à l'admission partielle de son recours (art. 68 al. 1 LTF). Succombant pour le surplus, il supportera des frais judiciaires réduits (art. 66 al. 1 LTF). L'intimé, qui ne s'est finalement pas déterminé, n'a pas droit à des dépens. Par ces motifs, le Tribunal fédéral prononce :