Considérant en fait et en droit :
1.
A._, né en 1961, travaillait en qualité d'infirmier au sein de l'Hôpital neuchâtelois (anciennement: Etablissement hospitalier multisite cantonal). Par décision du 28 novembre 2016, l'employeur a résilié le contrat de travail de A._ avec effet au 28 février 2017 tout en retirant l'effet suspensif à un éventuel recours. Le prénommé a recouru contre cette décision par mémoire déposé le 13 janvier 2017. Dans ses observations sur recours du 3 février 2017, l'Hôpital neuchâtelois a conclu au rejet du recours. Par arrêt du 17 février 2017, la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel a rejeté le recours et dit que la requête de restitution de l'effet suspensif était sans objet.
2.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant au renvoi de la cause à la juridiction cantonale pour nouvelle décision au sens des considérants.
Une demande d'effet suspensif est jointe au recours. Par ordonnance du 5 décembre 2017, le juge instructeur de la Ire Cour de droit social a rejeté la requête d'effet suspensif.
L'Hôpital neuchâtelois conclut au rejet du recours tandis que la Cour cantonale a renoncé à se déterminer.
3.
La présente cause est une contestation pécuniaire en matière de rapports de travail de droit public, qui ne tombe pas sous le coup de l'exception de l'art. 83 let. g LTF. Quant au seuil de la valeur litigieuse de 15'000 fr. (art. 85 al. 1 let. b LTF), il est largement dépassé. Pour le surplus, interjeté en temps utile et dans les formes requises contre une décision finale prise par un tribunal cantonal de dernière instance, le recours respecte les exigences des art. 42, 86 al. 1 let. d, 90 et 100 al. 1 LTF.
4.
Le recourant fait grief à la juridiction cantonale d'avoir violé son droit de réplique inconditionnel tel qu'il est garanti par les art. 29 Cst. et 6 par. 1 CEDH. Il fait valoir qu'il n'a pas disposé du temps nécessaire pour déposer ses déterminations sur les observations de l'intimé remises le 3 février 2017.
4.1. Compris comme l'un des aspects de la notion générale de procès équitable au sens de l'art. 29 Cst., le droit d'être entendu garantit notamment au justiciable le droit de s'expliquer avant qu'une décision ne soit prise à son détriment, d'avoir accès au dossier, de prendre connaissance de toute argumentation présentée au tribunal et de se déterminer à son propos, dans la mesure où il l'estime nécessaire, que celle-ci contienne ou non de nouveaux éléments de fait ou de droit, et qu'elle soit ou non concrètement susceptible d'influer sur le jugement à rendre (ATF 139 II 489 consid. 3.3 p. 496; 139 I 189 consid. 3.2 p. 191 s.; 138 I 484 consid. 2.1 p. 485 s.; 138 I 154 consid. 2.3.3 p. 157; 137 I 195 consid. 2.3.1 p. 197). Il appartient aux parties, et non au juge, de décider si une prise de position ou une pièce nouvellement versée au dossier contient des éléments déterminants qui appellent des observations de leur part (ATF 139 I 189 consid. 3.2 p. 192).
Il est du devoir du tribunal de garantir aux parties un droit de réplique effectif dans chaque cas particulier. Toute prise de position ou pièce nouvelle versée au dossier doit dès lors être communiquée aux parties pour leur permettre de décider si elles veulent ou non faire usage de leur faculté de se déterminer (ATF 139 I 189 consid. 3.2 p. 192 et les références; arrêt 5D_81/2015 du 4 avril 2016 consid. 2.3.2 et les références). Pour que le droit de réplique soit garanti, il faut que le tribunal laisse un laps de temps suffisant à la partie concernée, entre la remise de la prise de position ou des pièces nouvelles et le prononcé de sa décision, pour qu'elle ait la possibilité de déposer des observations si elle l'estime nécessaire à la défense de ses intérêts.
Selon la jurisprudence, le délai d'attente sur lequel doit compter le tribunal ne saurait, en règle générale, être inférieur à dix jours (arrêts 5A_1022/2015 du 29 avril 2016 consid. 3.2.2 et les références; 5D_81/2015 précité consid. 2.3.2 et 2.4.2 et les références). Ce délai d'attente comprend le temps nécessaire au plaideur pour faire parvenir son éventuelle réplique au tribunal (arrêt 5D_81/2015 précité).
4.2. En l'espèce, la juridiction cantonale a notifié pour information le 8 février 2017 les déterminations de l'Hôpital neuchâtelois sur le recours de A._ remises le 3 février 2017 au tribunal cantonal (cf. tampon du greffe du Tribunal cantonal au dos de la page 18 des déterminations, selon lequel un double de cette écriture a été transmise au mandataire du recourant). On notera que cette détermination comportait pas moins de 18 pages, dont la moitié d'exposé des faits et le reste consacré, dans une large mesure, à la discussion des allégués du recourant. Le jugement attaqué a été rendu le 17 février 2017, soit moins de 10 jours à compter de la notification au recourant de la prise de position de l'Hôpital neuchâtelois. Il suit de ce qui précède que le droit d'être entendu (art. 29 al. 2 Cst.) du recourant a été violé.
4.3. Le droit d'être entendu est un droit de nature formelle dont la violation entraîne l'annulation de l'arrêt attaqué indépendamment des chances de succès du recours sur le fond (ATF 127 V 431 consid. 3d/aa p. 437; cf. également ATF 139 I 189 consid. 3 p. 191). Il s'ensuit que le recours sera admis et que l'arrêt cantonal sera annulé, sans qu'il soit nécessaire d'examiner les autres griefs soulevés dans le recours. La cause sera renvoyée à la cour cantonale afin qu'elle donne l'occasion à A._ de se déterminer sur les observations de l'Hôpital neuchâtelois formulées le 3 février 2017, puis statue à nouveau.
5.
Compte tenu de l'issue du litige, les frais de justice doivent être mis à la charge de l'intimé (art. 66 al. 1 LTF), lequel supportera également l'indemnité de dépens à laquelle a droit le recourant (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée au Tribunal cantonal pour nouveau jugement.
2.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge de l'intimé.
3.
L'intimé versera au recourant la somme de 2'800 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public.
Lucerne, le 25 janvier 2018
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Fretz Perrin