Faits :
A.
A._ a été engagé dès le 1er décembre 2013 en qualité d'infirmier par le Centre neuchâtelois de psychiatrie (CNP). Son contrat, tout d'abord de durée déterminée, a été renouvelé pour une durée indéterminée à partir du 21 novembre 2014 par avenant au contrat de travail de droit public. Dès cette date, il a été affecté à la direction des soins, au département B._.
Par décision du 9 avril 2019, le CNP a suspendu A._ de ses fonctions avec effet immédiat. Il lui a en même temps signifié qu'il envisageait de mettre un terme à son contrat de travail avec effet immédiat. Il lui était reproché d'avoir entretenu une relation affective avec dame R. à la suite de l'hospitalisation de cette dernière et de s'être dénoncé auprès de son responsable hiérarchique uniquement au moment où il s'était senti menacé par dame R. qui envisageait d'informer le CNP de la situation. Il a en outre été convoqué à un entretien le 23 avril 2019. A._, représenté par son mandataire, s'est déterminé par écriture du 16 avril 2019. Il a contesté les allégations formulées dans le courrier du 9 avril 2019, précisant que la relation avec dame R. s'était nouée après la fin de son hospitalisation, laquelle avait eu lieu du 19 au 25 janvier 2018, et qu'il avait spontanément révélé cette relation à sa hiérarchie au cas où une nouvelle hospitalisation de dame R. aurait lieu et non pas sous une quelconque menace de celle-ci de révéler cette relation.
Au cours de l'entretien du 23 avril 2019, A._ a notamment expliqué qu'il avait pris contact avec son infirmier-chef d'unité de soins (ICUS) parce que la prise en charge ambulatoire de dame R., qui était suivie depuis six ans par le même psychiatre, était difficile et qu'il pensait que cette dernière pourrait avoir besoin du Centre d'urgences psychiatriques où il exerçait comme infirmier. Il a confirmé avoir été l'infirmier référent de dame R. pendant son hospitalisation mais avoir eu pendant cette période la distance thérapeutique nécessaire. Après son hospitalisation, l'intéressée l'avait contacté par le biais d'un site de rencontre. C'est au moment de la rencontre physique qu'ils avaient constaté qu'ils se connaissaient déjà. Ils avaient eu une relation sérieuse, avaient emménagé et eu un enfant ensemble. Selon l'infirmier, dame R. avait toutes ses capacités et allait bien au début de leur relation; elle n'était plus une patiente pour lui.
Par décision du 25 avril 2019, le CNP a résilié avec effet immédiat le contrat de travail de A._ pour les mêmes motifs que ceux déjà avancés.
B.
A._ a recouru contre cette décision devant la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel. Il a conclu à l'annulation de la décision prononçant son licenciement immédiat et à sa réintégration en tant qu'infirmier auprès du CNP.
Par arrêt du 4 septembre 2019, la cour cantonale a rejeté le recours.
C.
A._ forme un recours en matière de droit public dans lequel il conclut à l'annulation de l'arrêt attaqué et à sa réintégration.
Le CNP conclut au rejet du recours.

Considérant en droit :
1.
Le jugement entrepris a été rendu dans une cause en matière de rapports de travail de droit public au sens de l'art. 83 let. g LTF. Dans la mesure où la contestation au fond porte principalement sur la réintégration du recourant, il s'agit d'une contestation de nature pécuniaire, de sorte que le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération. La valeur litigieuse atteint par ailleurs le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public en ce domaine (art. 51 al. 2 et 85 al. 1 let. b LTF).
Pour le surplus, interjeté en temps utile et dans les formes requises contre une décision finale prise par un tribunal cantonal, le recours respecte a priori les exigences des art. 42, 86 al. 1 let. d, 90 et 100 al. 1 et 106 al. 2 LTF. Il convient, en conséquence, d'entrer en matière.
2.
2.1. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2 p. 190) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>). Il n'entre pas en matière sur des critiques appellatoires portant sur l'appréciation des preuves ou l'établissement des faits par l'autorité précédente (<ref-ruling> consid. 1.3.1 p. 253; <ref-ruling> consid. 2 p. 215; <ref-ruling> consid. 2.3 p. 266).
2.2. Sauf dans les cas cités expressément à l'<ref-law>, le recours ne peut pas être formé pour violation du droit cantonal en tant que tel. En revanche, il est toujours possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres principes constitutionnels (<ref-ruling> consid. 2.1 p. 372; <ref-ruling> consid. 2 p. 149; <ref-ruling> consid. 1.2 p. 145). Appelé à revoir l'application ou l'interprétation d'une norme cantonale ou communale sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motif objectif et en violation d'un droit certain (<ref-ruling> consid. 5.2 p. 61). En revanche, si l'application de la loi défendue par l'autorité cantonale n'est pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution éventuellement plus judicieuse paraît possible (<ref-ruling> consid. 3.1 p. 372; <ref-ruling> consid. 4.2 p. 516). En outre, il ne suffit pas que les motifs de la décision critiquée soient insoutenables; encore faut-il que cette dernière soit arbitraire dans son résultat (<ref-ruling> consid. 3.1 et <ref-ruling> consid. 4.2 précités).
3.
Le litige porte sur la question de savoir si la juridiction cantonale est tombée dans l'arbitraire en admettant qu'il existait de justes motifs de résiliation immédiate des rapports de travail du recourant.
4.
4.1. La juridiction cantonale a retenu qu'il n'était pas admissible que le recourant ait entamé une relation intime avec une ancienne patiente à peine quelques jours après la fin de son hospitalisation, tout en sachant qu'elle bénéficiait encore d'un suivi ambulatoire au CNP. Au vu des risques de dépendance notamment, ce comportement n'était ni compatible avec une pleine conscience professionnelle, ni avec une conduite personnelle honorant la profession d'infirmier en psychiatrie et ne renforçait pas non plus la confiance du public dans le personnel infirmier.
4.2. Le recourant reproche à la cour cantonale d'avoir fait preuve d'arbitraire en retenant qu'il avait commis une faute, de surcroît grave, en constatant que son comportement était contraire à l'art. 61 de la loi sur la santé du canton de Neuchâtel, respectivement au code déontologique du CII pour la profession d'infirmière. Il fait valoir que l'art. 61 LS/NE, selon lequel l'infirmier doit exercer son activité avec soin et conscience professionnelle, est une clause générale s'inspirant largement de l'<ref-law> qui doit être concrétisée par des règles déontologiques d'associations professionnelles. Or il n'existerait aucune norme claire, directive ou ligne directrice édictée par l'employeur ou auquel celui-ci renverrait permettant de retenir que son comportement serait contraire à l'art. 61 LS/NE ou à la CCT Santé 21. Son contrat de travail ne renverrait pas davantage à une réglementation prohibant le comportement qui lui est reproché. En retenant qu'il avait commis un manquement, alors qu'il n'avait violé aucune règle et qu'il n'avait mis personne en danger, ni nui à la réputation de l'institution - comme le démontrerait le fait que dame R. n'avait pas fait l'objet d'une hospitalisation entre le début de leur relation et son licenciement -, la cour cantonale aurait versé dans l'arbitraire.
5.
5.1.
5.1.1. Aux termes de l'art. 8.1 de la Convention collective de travail du secteur de la santé du canton de Neuchâtel (CCT Santé 21; version droit public 2017-2020), l'employé (e) est tenu de respecter les normes professionnelles et légales en vigueur, ainsi que les directives émises par l'employeur. Selon l'art. 61 de la loi cantonale de santé du 6 février 1995 (LS; RSN 800.1), les professionnel-le-s du domaine de la santé au sens de l'art. 53 doivent exercer leur activité avec soin et conscience professionnelle et respecter les limites des compétences qu'ils ont acquises dans le cadre de leur formation universitaire ou autre, de leur formation postgrade et de leur formation continue (al. 1). Ils-elles doivent garantir les droits du-de la patient-e (al. 2). Selon l'art. 53 LS, les professionnel-le-s du domaine de la santé soumis-e-s à la loi sont les personnes qui, à titre professionnel, fournissent des soins à des patients-es ou leur offrent d'autres prestations de santé et dont l'activité doit être contrôlée pour des raisons de santé publique (al. 1).
5.1.2. Les premiers juges ont tout d'abord constaté que l'art. 61 LS/NE avait quasiment la même teneur que l'art. 40 let. a de la loi fédérale du 23 juin 2006 sur les professions médicales universitaires (LPMéd; RS 811.11) applicable aux médecins, dentistes, chiropraticiens, pharmaciens et vétérinaires (<ref-law>) et que de ce fait, ces deux dispositions pouvaient être interprétées de manière analogue. Or, l'<ref-law> constituait une clause générale dont le but était de prévenir des infractions aux règles de l'art de nature exclusivement technique, par commission ou omission, mais qui contenait également une obligation générale d'entretenir des relations adéquates avec les patients. En outre, les devoirs formulés de manière générale par l'<ref-law> pouvaient être précisés par les règles déontologique des associations professionnelles. En l'occurrence toutefois, l'intimé ne se prévalait d'aucun règlement, directive ou ligne directrice qui porterait sur les relations entre les soignants et leurs patients. Le Code déontologique du CII pour la profession infirmière, auquel se référait l'Association suisse des infirmiers et infirmières (ASI), ne prévoyait rien non plus à ce sujet. Celui-ci indiquait toutefois que l'infirmière fait preuve en tout temps d'une conduite personnelle qui honore sa profession et renforce la confiance du public dans le personnel infirmier (ch. 2; cf. arrêt attaqué, consid. 4c p. 8 s.).
5.2.
5.2.1. Il est vrai qu'il n'existe pas en Suisse de règle écrite interdisant explicitement tout lien d'ordre affectif, sentimental ou sexuel entre un professionnel de la santé et un (e) patient (e), comme le prévoit par exemple le Code de déontologie des infirmières et infirmiers du Québec (www.legisquebec.gouv.qc.ca/fr/showdoc/cr/I-8,%20r.%209, consulté le 3 décembre 2020). Dans sa Section II ("Relation entre l'infirmière ou l'infirmier et le client") sous § 3 ("Comportements prohibés"), ce dernier contient un chiffre 38 aux termes duquel, pendant la durée de la relation professionnelle, l'infirmière ou l'infirmier ne peut établir de liens d'amitié, intimes, amoureux ou sexuels avec le client; pour déterminer la durée de la relation professionnelle, l'infirmière ou l'infirmier doit tenir compte, notamment, de la vulnérabilité du client, de son problème de santé, de la durée de l'épisode de soin et de la probabilité d'avoir à redonner des soins à ce client. La réglementation précitée part d'un interdit de toute relation intime entre soignant et patient pendant la durée de la relation professionnelle avant de le relativiser en énonçant, au deuxième paragraphe, les principaux critères à prendre en considération afin d'établir la durée de la relation professionnelle. La relation thérapeutique fait partie intégrante de la relation professionnelle. Or la relation thérapeutique se traduit par l'interaction entre l'infirmier (ère) et le client lorsqu'il (elle) lui prodigue des soins et des traitements requis par son état de santé. Cette période correspond à l'épisode de soins. La relation thérapeutique prend fin au moment où le client reçoit son congé. La relation professionnelle, elle, peut se poursuivre sur une plus longue période. La détermination d'un délai précis applicable à toutes les situations n'est pas envisageable. En effet, les soignants interviennent auprès de nombreux clients dans diverses situations. Il convient dès lors d'analyser chaque situation.
5.2.2. En Suisse, on peut supposer que les futurs professionnels de la santé sont sensibilisés à cet interdit durant la formation infirmière. On soulignera à cet égard que la Commission centrale d'éthique de l'Académie suisse des sciences médicales (ASSM) a élaboré des directives médico-éthiques à l'intention des médecins et des autres professionnels de la santé. Dans sa brochure concernant l'enseignement de l'éthique aux professions de la santé, l'ASSM précise que les contenus de l'enseignement éthique sont organisés selon quatre domaines, à savoir les connaissances, les compétences, les attitudes et les capacités réflexives. Dans la partie "Fondements de l'éthique médicale" du domaine des connaissances, les futurs professionnels de la santé sont introduits aux thèmes de la déontologie et des devoirs professionnels, lesquels incluent les directives médico-éthiques en vigueur, d'une part, et la relation entre le professionnel de la santé et le patient (et ses proches), d'autre part.
5.2.3. En l'occurrence, indépendamment de toute réglementation écrite prohibant expressément les relations intimes entre un (e) professionnel (le) de la santé et un (e) patient (e), le recourant n'a jamais prétendu ignorer qu'il devait garder ses distances à l'égard de dame R. pendant le séjour hospitalier de cette dernière, soit pendant la durée de la relation thérapeutique. Le recourant se prévaut du fait que sa liaison avec dame R. n'avait commencé qu'après la sortie d'hôpital de cette dernière, soit à un moment où celle-ci n'était plus une patiente et ne se trouvait dès lors plus dans une relation thérapeutique avec lui. Cela étant, vu que dame R. présentait une problématique de nature psychique pour laquelle elle avait dû être hospitalisée à un moment donné, le recourant ne pouvait pas simplement partir de l'idée que postérieurement à ce séjour hospitalier et du fait qu'elle n'avait plus besoin d'être hospitalisée pour des soins aigus, dame R. était complètement guérie. Bien que l'on ne sache pas de quels troubles psychiques elle souffrait exactement et même si elle n'avait plus besoin de soins aigus en milieu stationnaire au terme de son séjour, il y a lieu d'admettre que dame R. présentait une certaine vulnérabilité, au demeurant connue du recourant, et qu'une rechute ne pouvait pas être exclue. Il ressort à cet égard des faits constatés par les premiers juges que dame R. était suivie depuis près de six ans par un psychiatre de manière ambulatoire et qu'elle continuerait de l'être après sa sortie d'hôpital. Aussi, dans les circonstances données, c'est-à-dire très peu de temps après la sortie de l'hôpital psychiatrique, il ne pouvait y avoir aucun doute sérieux pour le recourant qu'il devait garder ses distances et n'était dès lors pas autorisé à s'engager dans une relation intime avec dame R., avec pour conséquence de surcroît la naissance d'un enfant déjà environ dix mois après la sortie de l'hôpital psychiatrique de cette dernière.
5.2.4. Indépendamment du fait que les contours de la relation entre le professionnel de la santé et le patient au-delà de la relation thérapeutique ne découlent pas directement de la loi et que les directives éthiques ("déontologiques") professionnelles peuvent être floues à ce sujet et/ou pas universellement reconnues, la juridiction cantonale n'est pas tombée dans l'arbitraire en considérant qu'en débutant une liaison avec une ancienne patiente peu de jours après sa sortie d'hôpital et tout en sachant qu'elle présentait encore un état de santé psychique fragile, le recourant avait eu un comportement incompatible avec une pleine conscience professionnelle, lequel résultait d'une violation de l'obligation générale d'entretenir des relations adéquates avec les patients au sens de l'art. 61 LS/NE. Le recourant était du reste également conscient de la composante éthique de son comportement, puisqu'il ressort des faits constatés par les premiers juges qu'il avait fini par "dévoiler" sa relation à son supérieur hiérarchique.
5.2.5. Reste à examiner si la juridiction cantonale est tombée dans l'arbitraire en qualifiant ce comportement de suffisamment grave pour justifier un licenciement immédiat.
6.
6.1. Selon les modalités du contrat de travail du recourant, ce dernier était soumis à la CCT Santé 21. Sous le chapitre "Fin des rapports de travail", l'art. 3.2.1 de la CCT Santé 21 prévoit que l'employé (e) ou l'employeur peut résilier le contrat de travail moyennant le respect d'un délai variable en fonction du temps d'activité (al. 1). En cas de résiliation pour justes motifs, la résiliation prend effet immédiatement (al. 3). Selon l'art. 3.2.2 de la CCT Santé 21, toute résiliation signifiée par l'employeur doit être précédée d'un entretien (al. 2). Si l'employeur invoque une violation des obligations incombant à l'employé (e), la résiliation doit avoir été précédée, en sus, d'un avertissement écrit, lequel précise les objectifs, le délai pour les réaliser et les moyens mis à disposition. L'avertissement peut entraîner la non-attribution de l'échelon annuel, à condition que cette mesure soit mentionnée par écrit. En cas de justes motifs, il n'y a pas d'avertissement (al. 4).
6.2. La résiliation immédiate pour justes motifs est une mesure exceptionnelle. Conformément aux principes dégagés par la jurisprudence en droit privé, mais qui peuvent être appliqués par analogie au droit de la fonction publique (<ref-ruling> consid. 7.3 p. 456; arrêts 8C_501/2013 du 18 novembre 2013 consid. 3.1; 8C_468/2019 du 28 février 2020 consid. 4.1), elle doit être admise de manière restrictive. Seul un manquement particulièrement grave du travailleur justifie son licenciement immédiat; lorsqu'il est moins grave, le manquement ne peut entraîner une résiliation immédiate que s'il a été répété malgré un avertissement (<ref-ruling> consid. 4.2 p. 579 et les arrêts cités). Par manquement du travailleur, on entend en règle générale la violation d'une obligation découlant du contrat de travail, mais d'autres incidents peuvent également justifier une résiliation immédiate (<ref-ruling> consid. 4.1 p. 31; <ref-ruling> consid. 2.2 p. 382 s.). Ce qui est déterminant, c'est que les faits invoqués à l'appui du renvoi immédiat aient entraîné la perte du rapport de confiance qui constitue le fondement des rapports de service (<ref-ruling> consid. 2.1.1 p. 304; arrêt 8C_468/2019 précité consid. 4.1). Les justes motifs de renvoi avec effet immédiat d'un titulaire de fonction publique peuvent procéder de toutes les circonstances qui, selon les règles de la bonne foi, excluent la poursuite des rapports de service; de toute nature, ils peuvent relever d'évènements ou de circonstances que l'intéressé ne pouvait pas éviter ou, au contraire, d'activités, de comportements ou de situations qui lui sont imputables. Les conditions justifiant une résiliation ne se déterminent pas de façon abstraite ou générale, mais dépendent concrètement de la position et des responsabilités de l'intéressé, de la nature et de la durée des rapports de travail ainsi que du genre et de l'importance du manquement (<ref-ruling> précité consid. 4.2; arrêts 8C_800/2016 du 12 décembre 2017 consid. 3.4; 4A_112/2017 du 30 août 2017 consid. 3.2 et les nombreuses références citées).
6.3. En l'espèce, la cour cantonale a considéré que s'il pouvait certes être retenu, en faveur du recourant, que son manquement n'avait été commis qu'à une seule occasion et que depuis un peu plus de quatre ans, son travail au service du CNP avait donné entière satisfaction, le manquement reproché devait néanmoins être qualifié de grave compte tenu de la position du recourant par rapport à l'intéressée (infirmier référent), de la nature de son travail le confrontant à des personnes en difficultés psychiques et du fait que ce manquement touchait une patiente récente. Selon les premiers juges, ces éléments étaient de nature à rompre irrémédiablement le rapport de confiance avec l'employeur du recourant. En outre, compte tenu du but visé par le licenciement avec effet immédiat (intérêt public à la protection des patients dans leur santé, intérêt de la réputation du personnel infirmier ainsi que de celle du CNP en tant qu'employeur et de fournisseur de soins), cette mesure paraissait, selon les premiers juges, proportionnée aux circonstances.
7.
7.1. Le recourant conteste l'existence d'une faute grave justifiant son licenciement avec effet immédiat. Il fait valoir qu'il avait averti son employeur de l'existence de sa relation le 27 mars 2019 et que ce dernier n'avait réagi que le 9 avril 2019, soit près de 14 jours plus tard. Un tel délai avant sa mise à pied démontrerait que l'intimé ne tenait pas la poursuite des relations de travail comme impossible puisqu'elles avaient pu continuer sans problèmes pendant deux semaines. Dans ces circonstances, la rupture définitive du lien de confiance invoquée par l'employeur ne serait qu'un prétexte, faisant apparaître son licenciement avec effet immédiat comme arbitraire. Son comportement ne saurait au demeurant être qualifié de grave car il n'avait jamais utilisé sa position pour séduire dame R. qui n'était plus une patiente au moment de leur rencontre; ils avaient au demeurant noué une relation sérieuse. Le recourant soutient encore qu'il était insoutenable de le licencier avec effet immédiat alors que dans une autre affaire où un infirmier du CNP avait commis des actes de harcèlement à l'égard de deux stagiaires, celui-ci n'avait pas été licencié mais simplement averti.
7.2.
7.2.1. Le recourant se réfère à la jurisprudence relative à l'<ref-law>, selon laquelle la partie qui résilie un contrat de travail en invoquant de justes motifs ne dispose que d'un court délai de réflexion pour signifier la rupture immédiate des relations de travail.
Le Tribunal fédéral a résumé les critères à prendre en considération en cas de déclaration de résiliation immédiate des rapports de travail dans le droit privé et dans le droit public (<ref-ruling> consid. 6 p. 115 ss). Il a notamment rappelé que la jurisprudence relative à l'<ref-law>, selon laquelle la partie qui résilie un contrat de travail en invoquant de justes motifs ne dispose que d'un court délai de réflexion pour signifier la rupture immédiate des relations de travail (<ref-ruling> consid. 4.4 p. 34), n'était pas sans autre transposable en matière de rapports de travail de droit public. En ce domaine, le licenciement se fait en général par voie de décision motivée; il est souvent précédé d'une enquête, en particulier quand il s'agit d'étayer ou d'infirmer des soupçons. Durant l'enquête, l'intéressé bénéficie des garanties propres à la procédure administrative. En particulier, le droit d'être entendu doit être respecté. Indépendamment de ces garanties, les contingences liées aux procédures internes d'une administration ne permettent souvent pas de prendre une décision immédiate, surtout lorsque la décision ne peut pas être prise par le supérieur hiérarchique direct mais qu'elle dépend d'une autorité de nomination qui se réunit périodiquement seulement et qui doit confier une instruction à l'un de ses membres ou à un enquêteur externe à l'administration (arrêt 8C_170/2009 du 25 août 2009 consid. 6.2.1, JdT 2010 I 101). Le Tribunal fédéral a néanmoins précisé que si les spécificités de la procédure administrative qui s'imposaient à l'employeur de droit public pour mettre fin aux rapports de service permettaient de lui accorder un délai de réaction plus long qu'en droit privé, il ne devait pas pour autant laisser traîner les choses, ni tarder à informer l'employé qu'une résiliation immédiate des rapports de service était envisagée (<ref-ruling> précité, consid. 6.5 p. 121).
7.2.2. En l'espèce, il n'apparaît pas que le recourant aurait invoqué la péremption du droit de son employeur de le licencier avec effet immédiat devant la juridiction cantonale. Certes, une argumentation juridique nouvelle est recevable en instance fédérale, mais pour autant qu'elle repose sur les faits retenus par la juridiction cantonale (<ref-ruling> consid. 5.2 p. 420). Or il ne ressort pas des faits constatés dans l'arrêt entrepris ni de ceux ressortant des actes au dossier que le recourant aurait averti son employeur de l'existence de sa liaison le 27 mars 2019 mais seulement qu'il avait dévoilé sa liaison à son ICUS, lequel n'était pas l'employeur du recourant mais tout au plus son supérieur hiérarchique. L'employeur du recourant était l'intimé, à savoir le CNP, représenté par la Direction des soins et celle des Ressources humaines, comme cela ressort tant du contrat d'engagement du recourant que de la décision de suspension de ses fonctions avec effet immédiat du 9 avril 2019 et de la décision de licenciement pour justes motifs du 25 avril 2019. Par conséquent, l'argumentation du recourant, laquelle est fondée sur des faits qui ne ressortent pas de l'arrêt attaqué ni des actes au dossier, apparaît irrecevable (<ref-law>; <ref-ruling> consid. 4.1 p. 366 s.; <ref-ruling> consid. 5.3.2 p. 651; arrêt 5A_736/2015 du 14 janvier 2016 consid. 2.1).
7.2.3. Par ailleurs, c'est en vain que le recourant tente de minimiser les conséquences du manquement constaté sur le lien de confiance indispensable au maintien des rapports de service en affirmant, en particulier, qu'il n'avait jamais utilisé sa position pour séduire dame R. et que pour lui, elle n'était plus une patiente au moment de leur rencontre. Le recourant méconnaît qu'un licenciement immédiat pour justes motifs relève de toutes circonstances qui, selon les règles de la bonne foi, excluent la poursuite des rapports de service, même en l'absence de faute. En l'espèce, le recourant a débuté sa liaison avec dame R. alors que celle-ci venait tout juste de séjourner en hôpital psychiatrique où il avait été son infirmier référent et où il avait eu accès à des données sensibles sur sa personne et son profil psychiatrique. Indépendamment du fait que dame R. n'était plus une patiente pour le recourant au moment où leur liaison avait commencé et qu'il n'a, selon ses dires, pas profité de sa position pour la séduire, la gravité de sa faute réside dans le fait qu'il a débuté une liaison intime avec une ancienne patiente alors qu'il savait pertinemment que celle-ci était encore vulnérable et qu'elle pourrait à nouveau avoir besoin de soins aigus. On rappellera en outre qu'il ressort des faits constatés par les premiers juges que le recourant avait lui-même admis, lors de son entretien du 23 avril 2019, qu'il s'était interrogé sur le caractère éthique de sa liaison et qu'il n'était pas très à l'aise avec cette situation puisqu'il avait songé à démissionner. Il avait malgré tout voulu donner une chance à cette relation sans aborder ces questions avec sa hiérarchie. Pour toutes ces raisons, les premiers juges pouvaient, à tout le moins sans arbitraire, considérer que le comportement du recourant avait rompu la relation de confiance avec l'employeur au sens de l'art. 61 LS/NE et permettait à celui-ci de résilier les rapports de service dans le cadre de l'art. 3.2.1 al. 3 CCT Santé 21. La sanction prononcée est certes sévère, mais pas disproportionnée au point d'apparaître arbitraire.
7.2.4. Quoi qu'en dise le recourant, la présente cause n'est guère comparable à celle évoquée par la juridiction cantonale dans laquelle un infirmier travaillant également au CNP avait eu un comportement inadéquat et importun à l'égard de deux stagiaires et pour lequel il n'avait pas été licencié mais avait fait l'objet d'un avertissement. Dans ce dernier cas, le comportement de l'infirmier a essentiellement entravé la bonne marche du service alors que dans le cas du recourant, c'est avant tout la protection des patients et la confiance de ces derniers dans l'institution qui était en jeu. En tout état de cause, il ne s'impose pas de comparer la présente situation avec d'autres affaires tranchées par la jurisprudence, chaque cas devant être apprécié concrètement au regard de l'ensemble des circonstances. Sous l'angle de l'arbitraire, des situations qui présentent des similitudes peuvent néanmoins conduire à des solutions différentes et des situations qui présentent des différences peuvent à l'inverse conduire à des solutions identiques. Ainsi qu'on l'a vu, une décision n'est pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale apparaitrait concevable, voire préférable (cf. consid. 2.2 supra).
7.3. Enfin, le recourant soutient que ce serait de manière arbitraire que la juridiction cantonale a considéré qu'un avertissement ne se justifiait pas en l'espèce. Selon lui, il eût été parfaitement possible pour son employeur de l'avertir que son comportement n'était pas toléré par l'institution et qu'il devait s'abstenir à l'avenir de tout rapprochement avec une ancienne patiente.
Dès lors que l'art. 3.2.2 al. 4 CCT Santé 21 (cf. consid. 6.1 supra) prévoit expressément qu'en cas de justes motifs de licenciement, celui-ci n'est pas précédé d'un avertissement, il n'est pas nécessaire d'examiner plus avant l'argument du recourant. Quoi qu'il en soit, un avertissement aurait été inutile en l'espèce, puisque le recourant avait attendu plus d'une année avant de révéler sa liaison à son employeur, alors même qu'il savait que son comportement pourrait poser problème. On ne voit par ailleurs pas, dans les circonstances du cas d'espèce, que l'employeur aurait raisonnablement pu donner le choix au recourant, moyennant un avertissement, entre son activité professionnelle d'infirmier au CNP et la poursuite de sa liaison sentimentale avec dame R.
8.
Il ressort de qui précède que le jugement attaqué n'est pas critiquable et que le recours doit être rejeté. Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public.
Lucerne, le 28 janvier 2021
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Fretz Perrin