Faits :
A.
A.a. B._ (ci-après: l'employée), née en 1959, a obtenu en 1982 un "diplôme d'infirmier de secteur psychiatrique" français. Elle a été engagée dès le 1 er août 1988 comme infirmière à 100 % par l'Hôpital C._, lequel a été intégré au 1 er janvier 2009 au Centre A._.
A compter du 1 er décembre 2014, la description de sa fonction et sa collocation ont été modifiées en ce sens qu'elle occupait désormais la fonction d'infirmière à 50 % et était affectée à la direction des soins, au département de la psychiatrie de l'adulte; la description de la fonction mentionnait, à titre de "formations demandées", "avoir un diplôme HES ou un diplôme infirmier en psychiatrie".
En raison d'une maladie, l'employée a été en incapacité de travail à 100 % du 27 mars 2019 au 12 janvier 2020.
A.b. Le 5 novembre 2019, le Centre A._ a informé l'employée qu'en raison de révisions législatives, elle avait l'obligation de faire reconnaître son diplôme étranger auprès de la Croix-Rouge suisse jusqu'au 1 er janvier 2020, sous peine de ne plus être autorisée à exercer sa profession et de voir la validité de son contrat remise en question. Le 28 novembre 2019, faisant référence à son incapacité de travail prolongée, il l'a informée qu'il envisageait de résilier son contrat de travail avec effet au 31 mars 2020. Divers entretiens, dont certains téléphoniques, ont eu lieu les 16 décembre 2019, 14 mai 2020 et 18 mai 2020.
Le 28 mai 2020, le Centre A._, relevant ne disposer d'aucune information quant aux démarches de reconnaissance de diplôme requises, a convoqué sa collaboratrice à un entretien, fixé au 2 juin 2020 mais plusieurs fois reporté. Le 17 juin 2020, il lui a octroyé un dernier délai au 31 juillet 2020 pour faire aboutir ses démarches.
Le 8 juillet 2020, un entretien ayant pour but un "droit d'être entendue avant éventuelle résiliation des rapports de travail, avant éventuel avertissement et/ou entretien de reprise" s'est tenu au Centre A._; un point de situation a été fait avec l'intéressée notamment sur ses démarches en vue d'obtenir la reconnaissance de son diplôme. Le 15 juillet 2020, la Croix-Rouge suisse a confirmé disposer d'un dossier complet pour traiter la demande de reconnaissance de diplôme déposée le 18 mai 2020 par l'employée.
A.c. Le 2 septembre 2020, le Centre A._ a adressé à l'employée un courrier dans lequel il exposait qu'elle n'était légalement plus autorisée à exercer sa profession dans le canton faute de diplôme reconnu; il lui a indiqué qu'iI envisageait, en lieu et place d'un licenciement, de la rétrograder au poste d'aide-soignante, de maintenir son salaire actuel durant les mois de septembre, octobre et novembre malgré cette rétrogradation, et de la réaffecter à ses fonctions antérieures lorsqu'elle fournirait la preuve de l'obtention de la reconnaissance de son diplôme.
Entendue le 22 septembre 2020, l'employée a opposé à l'exigence de reconnaissance de son diplôme le fait que cette obligation légale existait depuis des années et que les autorités de santé publique n'avaient pas imparti de délai péremptoire à cet égard; elle a en outre exprimé son refus de travailler en tant qu'aide-soignante.
Par décision du 6 octobre 2020, le Centre A._ a résilié le contrat de travail de l'employée en respectant un délai de congé de trois mois, pendant lequel il lui a confié des tâches d'aide-soignante. A l'appui de sa décision, il a invoqué sa mise en conformité à la loi et l'absence de diplôme valable de l'employée pour effectuer des tâches infirmières.
A.d. Le 2 novembre 2020, la Croix-Rouge suisse - compétente pour la reconnaissance des diplômes étrangers (art. 1 let. a et art. 2 al. 1 de l'ordonnance du 13 décembre 2019 sur la reconnaissance des professions de la santé [ORPSan; RS 811.214]) visée à l'<ref-law> (cf. consid. 3.2 infra) - a rendu une décision partielle concernant la demande de reconnaissance qui lui avait été soumise le 18 mai 2020 par l'employée. Il ressort de cette décision que, pour que le titre d'infirmière puisse être reconnu à l'intéressée, celle-ci doit accomplir avec succès des mesures de compensation (cf. <ref-law>) sous la forme soit d'un stage d'adaptation de six mois dans les soins somatiques aigus (consistant à exercer la profession d'infirmière en Suisse sous la responsabilité de professionnels qualifiés et donnant lieu à une évaluation), soit d'une épreuve d'aptitude dans les soins somatiques aigus.
B.
Par arrêt du 10 février 2021, la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel a admis le recours formé par l'employée contre la décision du Centre A._ du 6 octobre 2020 (cf. let. A.c supra), qu'elle a annulée.
C.
Le Centre A._ interjette un recours en matière de droit public contre cet arrêt, en concluant à son annulation et à la constatation de la validité de la décision de résiliation des rapports de service du 6 octobre 2020, subsidiairement au renvoi de la cause à la cour cantonale pour nouveau jugement.
L'intimée conclut au rejet du recours. La cour cantonale ne s'est pas déterminée.

Considérant en droit :
1.
1.1. L'arrêt entrepris a été rendu en matière de rapports de travail de droit public au sens de l'art. 83 let. g LTF. Dans la mesure où la contestation porte sur la résiliation de ces rapports, il s'agit d'une contestation de nature pécuniaire (arrêt 8C_448/2012 du 17 janvier 2013 consid. 1.1, non publié in <ref-ruling>), de sorte que le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération. La valeur litigieuse atteint par ailleurs le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public en ce domaine (art. 51 al. 2 et 85 al. 1 let. b LTF).
1.2. La jurisprudence concernant la recevabilité du recours en matière de droit public (<ref-law>, notamment <ref-law>) admet qu'une collectivité publique - ou, comme en l'espèce, un établissement de droit public - n'agit certes pas, en tant qu'employeur, au même titre qu'un particulier dans une contestation découlant de rapports de travail régis par le droit public, mais a néanmoins un intérêt spécifique digne de protection à l'annulation ou à la modification d'une décision d'un tribunal favorable à son agent; l'employeur public se trouve en effet dans une situation juridique analogue à celle d'un employeur privé parce que les prestations pécuniaires qu'il conteste devoir fournir (notamment un salaire ou une indemnité pour licenciement abusif) pourraient être dues par tout employeur dans une situation comparable; il en va de même d'une décision cantonale qui oblige l'employeur public à réintégrer un employé (<ref-ruling> consid. 5.2; <ref-ruling> consid. 4.1 et les références).
1.3. Par ailleurs, interjeté en temps utile et dans les formes requises contre une décision finale prise par un tribunal supérieur statuant en dernière instance cantonale, le recours respecte les exigences des art. 42, 86 al. 1 let. d, 90 et 100 al. 1 LTF. Il est donc recevable.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral contrôle librement le respect du droit fédéral, du droit international et du droit intercantonal (art. 95 let. a, b et e LTF; <ref-law>). Toutefois, il n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (<ref-ruling> consid. 2.4; <ref-ruling> consid. 1.3). Sauf exceptions non pertinentes en l'espèce (cf. art. 95 let. c, d et e LTF), le recours devant le Tribunal fédéral ne peut pas être formé pour violation du droit cantonal en tant que tel; en revanche, il est possible de faire valoir que l'application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels (<ref-ruling> consid. 6.1). Le Tribunal fédéral n'examine alors de tels moyens que s'ils sont formulés conformément aux exigences de motivation qualifiée prévues à l'<ref-law> (<ref-ruling> consid. 3.2).
2.2. Appelé à revoir l'interprétation d'une norme cantonale sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - même préférable - paraît possible (<ref-ruling> consid. 7.1).
3.
Il y a lieu tout d'abord d'exposer ci-après la motivation topique de l'arrêt attaqué.
3.1. La cour cantonale a commencé par rappeler qu'à l'appui de sa décision de résiliation du contrat de travail de l'intimée, le recourant avait indiqué avoir entamé un processus visant à ce que plus aucun employé n'exerce en son sein sans diplôme reconnu, tout en concédant n'avoir déjà que trop tardé à s'assurer que son personnel soignant respecte la loi; se référant à son courrier du 17 juin 2020, il avait souligné avoir imparti à l'ensemble de ses employés concernés un ultime délai au 31 juillet 2020 pour fournir la preuve de la reconnaissance de leur diplôme; la résiliation du contrat de travail de l'intimée était ainsi justifiée par le fait que celle-ci ne respectait plus les conditions lui permettant d'exercer ses fonctions et qu'elle avait décliné la proposition qui lui avait été faite d'être rétrogradée à un poste d'aide-soignante.
Le litige consistait dès lors à déterminer si le recourant pouvait, à bon droit, invoquer une obligation légale, enjoindre à l'intimée de présenter une reconnaissance de diplôme, en lui fixant un délai péremptoire pour s'exécuter, refuser que celle-ci exerce sa fonction d'infirmière au sein du Centre A._ aussi longtemps qu'elle n'aurait pas obtenu cette reconnaissance, et enfin la licencier pour ce motif.
3.2. Les premiers juges ont ensuite exposé qu'au 1 er février 2020 est entrée en vigueur la loi fédérale du 30 septembre 2016 sur les professions de la santé (LPSan; RS 811.21). Cette loi, qui s'applique entre autres aux infirmiers (<ref-law>), règle notamment la reconnaissance des diplômes étrangers (art. 2 al. 2 let. c LPSan) et l'exercice des professions de la santé sous propre responsabilité (art. 2 al. 2 let. d et <ref-law>). L'exercice d'une profession de la santé sous propre responsabilité professionnelle requiert une autorisation du canton où la profession est exercée (<ref-law>). L'octroi de cette autorisation présuppose notamment, s'agissant des infirmiers, un Bachelor of science HES/HEU en soins infirmiers ou un diplôme d'infirmier ES ou un diplôme étranger reconnu (art. 12 al. 1 let. a et al. 2 let. a LPSan).
Selon l'<ref-law>, un diplôme étranger est reconnu si son équivalence avec un diplôme suisse est prévue dans un traité sur la reconnaissance conclu avec l'État concerné ou avec une organisation supranationale (let. a) ou si elle est prouvée dans le cas concret par le niveau, le contenu et la durée de la formation ainsi que par les qualifications pratiques comprises dans la filière de formation (let. b). L'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses États membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681) est un traité au sens de l'<ref-law> (cf. Message du 18 novembre 2015 concernant la LPSan, FF 2015 p. 7956 [recte: 7993]).
L'<ref-law> dispose qu'afin de faciliter aux ressortissants des États membres de la Communauté européenne et de la Suisse l'accès aux activités salariées et indépendantes et leur exercice, ainsi que la prestation de services, les parties contractantes prennent les mesures nécessaires, conformément à l'annexe III, concernant la reconnaissance mutuelle des diplômes, certificats et autres titres et la coordination des dispositions législatives, réglementaires et administratives des parties contractantes concernant l'accès aux activités salariées et non salariées et l'exercice de celles-ci ainsi que la prestation de services. Dans son annexe III, l'ALCP décrit les actes juridiques déterminants en matière de reconnaissance des diplômes. Le principe est que la Suisse et l'Union européenne appliquent dans ce domaine les directives déjà en vigueur dans l'Union. Les règles sur la reconnaissance réciproque des diplômes professionnels ont force de droit en Suisse depuis l'entrée en vigueur de l'ALCP le 1 er juin 2002.
3.3. La cour cantonale a ensuite exposé que dans le cadre de l'adaptation de la loi cantonale neuchâteloise de santé (LS/NE; RSN 800.1) aux nouvelles dispositions fédérales de la LPSan (modification du 5 novembre 2019, entrée en vigueur le 1 er janvier 2020), il avait notamment été introduit un nouvel art. 55a. Cette disposition, qui constitue une exception au principe de l'autorisation de pratiquer ancré à l'art. 54 LS/NE, prévoit à son al. 2 que le Conseil d'État définit les catégories de professionnels du domaine de la santé pouvant pratiquer sans autorisation, dès lors qu'ils travaillent sous la responsabilité et la surveillance d'un professionnel autorisé à pratiquer dans la même profession "et qu'ils sont titulaires du diplôme suisse ou d'un titre étranger correspondant reconnu". Les juges cantonaux ont relevé que ce dernier membre de phrase, non prévu dans le rapport du Conseil d'État au Grand Conseil du 19 juin 2019 (rapport n° 19.016), avait été ajouté et adopté sur proposition de la commission parlementaire Santé. Sur la base d'un amendement du groupe PopVertsSol, visant à obtenir que l'art. 55a LS/NE précise que les professionnels de la santé concernés par cette disposition ayant obtenu leur diplôme à l'étranger soient au bénéfice d'une reconnaissance par les autorités fédérales compétentes ou tenus d'effectuer une démarche de reconnaissance de leur diplôme étranger auprès de celles-ci, la commission avait en effet débattu de la nature des diplômes des professionnels de la santé non soumis à autorisation de pratiquer et travaillant sous la surveillance d'un professionnel du domaine de la santé ayant une autorisation. Une enquête réalisée par le Service de la santé publique auprès des principales institutions de soins du canton dans le cadre de cette proposition d'amendement avait permis de constater que le respect de l'exigence selon laquelle le diplôme étranger doit être reconnu par les autorités fédérales compétentes pour que le professionnel de la santé qui en est le porteur puisse exercer sa profession, figurant dans l'ALCP et la LPSan, n'allait pas de soi et que des démarches devaient être entreprises pour que cela soit rapidement le cas, sans remettre en cause la prise en charge des patients de ces institutions. En ce sens, la commission avait considéré que le rappel à la loi (droit fédéral) prévu par l'amendement n'était pas inutile, dans une mesure plus restreinte toutefois que celle proposée dans celui-ci, afin de ne pas contrevenir au droit fédéral, qui ne prévoit pas de disposition transitoire pour les professionnels de la santé concernés pour se conformer à l'exigence précitée.
Comme le recourant soutenait que le diplôme étranger de l'intimée, obtenu en 1982, devait désormais être reconnu sur la base de la nouvelle législation entrée en vigueur au 1 er janvier 2020 (LS/NE), respectivement au 1 er février 2020 (LPSan), la cour cantonale a estimé qu'il convenait de déterminer ce que le législateur cantonal avait entendu à l'art. 55a LS/NE par "sont titulaires du diplôme suisse ou d'un titre étranger correspondant reconnu". A cet égard, le conseiller d'État en charge du Département des finances et de la santé avait, dans son intervention devant le Grand Conseil en lien avec l'art. 55a LS/NE (procès-verbal de séance du 5 novembre 2019, p. 38), expliqué que l'adjonction en question avait pour but d'appliquer strictement le nouveau droit fédéral. Or les premiers juges ont relevé qu'aux termes de l'<ref-law>, réglant les dispositions transitoires, les diplômes suisses délivrés en vertu de l'ancien droit et les diplômes étrangers reconnus équivalents sont équivalents aux diplômes visés à l'<ref-law> pour l'octroi de l'autorisation de pratiquer. Dès lors, quand bien même la LPSan ne concernait pas l'exercice des professions de la santé sous la responsabilité et la surveillance d'un professionnel autorisé à pratiquer dans la même profession, qui relevait de la compétence des cantons, on voyait mal que le droit cantonal - et donc l'art. 55a LS/NE - pût ne pas tenir compte des diplômes reconnus sous l'ancien droit pour les personnes travaillant sous la responsabilité et la surveillance d'un pair autorisé, alors que le droit fédéral en tenait compte et les jugeait suffisants pour les personnes exerçant sous propre responsabilité professionnelle.
3.4. La cour cantonale a rappelé qu'en l'espèce, l'intimée avait obtenu en 1982 un "diplôme·d'infirmier de secteur psychiatrique" français, que sur la base de ce diplôme, elle avait été engagée dès le 1 er août 1988 comme infirmière par l'Hôpital C._ et qu'elle avait depuis lors poursuivi sans interruption son activité professionnelle dans le cadre du Centre A._, sous la direction et donc la surveillance de pairs. Son engagement avait précédé l'entrée en vigueur de l'ALCP de plus de dix ans et la profession d'infirmière avait, depuis ses études, connu de profondes transformations. Alors que la France connaissait jusqu'en 1992 deux formations d'infirmier distinctes, à savoir d'une part une formation menant au diplôme d'État d'infirmier et d'autre part une formation menant au diplôme d'infirmier de secteur psychiatrique, avec un champ de compétences limité aux seuls lieux d'exercice luttant contre les maladies mentales, ces deux filières avaient dès la rentrée de septembre 1992 été remplacées par une formation unique conduisant à un diplôme d'État d'infirmier polyvalent. Comme le rappelait la Croix-Rouge suisse dans sa décision du 2 novembre 2020, les titulaires d'un diplôme français d'infirmier de secteur psychiatrique ne pouvaient aujourd'hui exercer leur profession en France que dans un nombre limité d'établissements énumérés par la loi (art. L4311-6 du code français de la santé publique). En Suisse également, la formation d'infirmier avait évolué. Depuis l'entrée en vigueur de la loi fédérale sur la formation professionnelle (LFPr) le 1 er janvier 2004 et de l'ex-loi fédérale sur les hautes écoles spécialisées le 5 octobre 2005 (entretemps abrogée par la LEHE), la Confédération avait la compétence de réglementer les formations dans le domaine de la santé; auparavant, la Croix-Rouge suisse réglementait nombre de professions sur mandat de la Conférence des directeurs cantonaux des affaires sanitaires (rapport explicatif relatif à l'ordonnance sur la reconnaissance des professions de la santé [consultable sur le site internet https://www.fhschweiz.ch/gesbg_fr], p. 6/8).
En l'espèce, s'il n'était pas contesté que l'intimée exerçait une profession subordonnée à l'obtention d'un diplôme, force était de constater qu'elle en possédait un, qui avait manifestement été jugé suffisant lors de son engagement en 1988, à la lumière des critères alors en vigueur. A l'époque, une Convention entre les cantons et la Croix-Rouge suisse concernant la formation du personnel infirmier, médico-technique et médico-thérapeutique, avait été conclue en 1976 et ratifiée par le canton de Neuchâtel en 1977 (cf. RS/NE 414.295.2). Elle prévoyait, d'une part, l'enregistrement par la Croix-Rouge suisse des titulaires de diplômes et certificats obtenus à l'étranger pour une formation dont elle assurait, en Suisse, la surveillance - ce qui était le cas de la formation de base d'infirmier diplômé en psychiatrie (cf. annexe à la convention ch. 1) - à condition qu'ils justifient d'une qualification professionnelle répondant à ses exigences (art. 2.3 al. 2). D'autre part, elle réglementait la reconnaissance par les cantons des diplômes et certificats contresignés et enregistrés par la Croix-Rouge suisse (art. 3.2). Dès lors, en sa qualité de titulaire d'un diplôme français d'infirmier de secteur psychiatrique, l'intimée avait, selon toute vraisemblance, déjà fait l'objet d'un enregistrement puis d'une reconnaissance de son diplôme par le canton de Neuchâtel, en l'absence desquels elle n'aurait jamais pu être engagée au mois d'août 1988 par l'Hôpital C._ en qualité d'infirmière, puis nommée à cette fonction au 1 er août 1989. En tous les cas, soit le diplôme de l'intimée avait déjà été reconnu, soit il aurait très vraisemblablement pu ou dû l'être en 1988, en application des règles alors en vigueur. Dans ces conditions, et compte tenu du principe selon lequel les diplômes étrangers reconnus comme équivalents aux diplômes délivrés en vertu de l'ancien droit gardent leur équivalence (cf. consid. 3.3 supra), y compris s'agissant des formations antérieures reconnues par la Croix-Rouge suisse et enregistrées auprès de cette dernière, il n'apparaissait pas concevable de remettre en cause aujourd'hui la validité du diplôme sur la base duquel l'intimée avait été engagée à la fonction d'infirmière qu'elle occupait au service du recourant depuis 31 ans. Pour ce motif déjà, la décision de résiliation de son contrat de travail ne pouvait pas être confirmée.
3.5. Dans une motivation subsidiaire, les premiers juges ont exposé que - à supposer que l'ALCP, en tant qu'il réglemente la reconnaissance des diplômes étrangers à compter de son entrée en vigueur le 1 er juin 2002, s'applique rétroactivement au cas d'un diplôme étranger préalablement reconnu selon le droit en vigueur en 1988, ce qui paraissait douteux - l'exigence de reconnaissance de diplôme, rappelée dans la LPSan entrée en vigueur le 1 er février 2020, n'était ni nouvelle, ni renforcée, et aucune disposition transitoire de droit fédéral ne fixait de date butoir pour la respecter. Dès lors, quand bien même une étude neuchâteloise, menée à l'occasion de cette nouvelle loi fédérale, avait provoqué une remise à l'ordre des institutions de soins cantonales par les autorités de santé publique et avait incité le législateur à inclure un rappel de cette exigence à l'art. 55a LS/NE (cf. consid. 3.3 supra), force était de constater qu'aucune base légale ne permettait au recourant d'exiger de l'intimée une reconnaissance de son diplôme français au plus tard au 31 juillet 2020, et encore moins de la licencier faute de reconnaissance obtenue dans ce délai. Cette exigence soudaine, imposée par le Centre A._, était d'autant plus incompréhensible qu'elle intervenait après qu'une modification de description de fonction, entrée en vigueur au 1 er décembre 2014, avait confirmé l'intimée à une fonction d'infirmière requérant expressément un diplôme HES ou un diplôme infirmier en psychiatrie - dont elle était titulaire - sans aucune restriction, alors que l'exigence de reconnaissance de diplôme, aujourd'hui alléguée, découlait de la loi depuis longtemps déjà. En licenciant l'intimée pour le motif qu'elle n'avait pas obtenu la reconnaissance de son diplôme français au 31 juillet 2020, alors qu'elle exerçait à son service la fonction d'infirmière depuis 1988, dans un secteur correspondant au titre dont elle était titulaire et à son entière satisfaction, comme l'attestait un certificat de travail du 27 avril 2020, le recourant était tombé dans l'arbitraire.
3.6. Les premiers juges ont encore relevé par surabondance que selon l'<ref-law>, les autorisations de pratiquer sous propre responsabilité professionnelle qui ont été octroyées en conformité avec le droit cantonal avant l'entrée en vigueur conservent leur validité dans le canton en question (al. 1) et les personnes qui, avant l'entrée en vigueur de la LPSan, n'avaient pas besoin d'une autorisation en vertu du droit cantonal pour exercer une profession de la santé sous leur propre responsabilité professionnelle doivent être titulaires d'une autorisation au plus tard cinq ans après l'entrée en vigueur de la LPSan (al. 2). La cour cantonale a estimé que dans ces circonstances, l'exigence de reconnaissance de diplôme imposée à l'intimée sans période transitoire, et au surplus pour lui permettre de continuer à exercer sa profession sous la surveillance d'un pair, était excessive et contraire à l'esprit de la LPSan. En effet, même au sens de la nouvelle législation, l'intimée n'était pas soumise à autorisation. Elle ne saurait par conséquent être soumise à des conditions plus sévères que les professionnels exerçant sous propre responsabilité, auxquels elle restait hiérarchiquement subordonnée, et ne pas bénéficier comme eux du maintien de ses acquis.
3.7. Pour tous ces motifs, les juges cantonaux ont annulé la décision de résiliation du contrat de travail de l'intimée, tout en précisant que si le diplôme de l'intimée lui permettait d'exercer la fonction d'infirmière conformément à la description de fonction en vigueur depuis le 1 er décembre 2014, c'est-à-dire sous la responsabilité d'un infirmier chef d'unité de soins, et d'être exemptée d'autorisation de pratiquer au sens de l'art. 55a LS/NE, il ne l'autorisait en revanche pas en l'état à exercer des fonctions d'infirmière dans tout autre secteur de soins, non couvert par sa formation d'infirmière de secteur psychiatrique.
4.
Il sied d'examiner, à la lumière des griefs soulevés par le recourant (cf. consid. 2.1 supra), si le raisonnement de la cour cantonale exposé ci-avant viole le droit fédéral ou le droit international ou s'il consacre une application arbitraire du droit cantonal (cf. consid. 2.2 supra).
4.1.
4.1.1. Selon la jurisprudence, lorsque la décision attaquée comporte plusieurs motivations indépendantes, alternatives ou subsidiaires, toutes suffisantes pour sceller le sort de la cause, le recourant doit développer dans l'acte de recours des griefs à l'encontre de chacune de ces motivations, sous peine d'irrecevabilité (<ref-ruling> consid. 2.4 et les références).
4.1.2. En l'espèce, l'arrêt attaqué repose sur plusieurs motivations.
Dans une motivation principale, les juges cantonaux ont considéré que soit le diplôme de l'intimée avait déjà été reconnu, soit il aurait très vraisemblablement pu ou dû l'être en 1988, en application des règles alors en vigueur, de sorte que le recourant ne pouvait pas remettre en cause aujourd'hui la validité du diplôme sur la base duquel l'intimée avait été engagée à la fonction d'infirmière qu'elle occupait à son service depuis 31 ans (cf. consid. 3.3 et 3.4 supra).
Dans une motivation subsidiaire, les juges cantonaux ont considéré qu'à supposer que le diplôme étranger de l'intimée doive être reconnu sur la base de la nouvelle législation entrée en vigueur au 1 er janvier 2020 (LS/NE), respectivement au 1 er février 2020 (LPSan), aucune base légale ne permettait au recourant d'exiger de l'intimée une reconnaissance de son diplôme français au plus tard au 31 juillet 2020, ni donc de la licencier faute de reconnaissance obtenue dans ce délai (cf. consid. 3.5 supra).
Enfin, les premiers juges ont considéré par surabondance que l'intimée ne pouvait pas être soumise à des conditions plus sévères que celles posées par l'<ref-law> pour les professionnels exerçant sous leur propre responsabilité (cf. consid. 3.6 supra).
4.1.3. Conformément à la jurisprudence précitée (cf. consid. 4.1.1 supra), le recourant présente des griefs à l'encontre de chacune de ces motivations indépendantes, qu'il y a lieu d'examiner ci-après.
4.2.
4.2.1. A l'encontre de la motivation principale de l'arrêt attaqué, le recourant soutient que rien dans le dossier ne permet de retenir que le diplôme français de l'intimée aurait fait l'objet d'une reconnaissance par le canton de Neuchâtel antérieurement à l'entrée en vigueur de la LPSan et de l'art. 55a LS/NE, la cour cantonale elle-même ne tenant d'ailleurs ce fait que pour "vraisemblable". Se référant aux constatations de l'autorité cantonale sur la genèse de l'art. 55a LS/NE (cf. consid. 3.3 supra), le recourant relève que c'est bien parce que le législateur cantonal avait constaté que nombre de diplômes étrangers de soignants exerçant dans le canton n'avaient pas fait l'objet de procédures de reconnaissance et parce qu'il souhaitait que les professionnels exerçant à titre dépendant oeuvrent désormais au bénéfice de diplômes reconnus qu'il a adopté cette disposition. Le recourant fait en outre valoir que la Convention conclue en 1976 entre les cantons et la Croix-Rouge suisse concernant la formation du personnel infirmier, médico-technique et médico-thérapeutique (cf. consid. 3.4 supra) ne prévoyait aucune obligation pour les cantons de faire reconnaître tous les titres du personnel infirmier exerçant sur leur territoire. Jusqu'à l'entrée en vigueur de l'art. 55a LS/NE le 1 er janvier 2020, il n'existait pas d'obligation pour le personnel infirmier exerçant à titre dépendant de disposer d'un diplôme reconnu, et il était de la responsabilité des employeurs de déterminer quels titres ils jugeaient appropriés à l'exercice de la profession considérée.
4.2.2. Ces griefs se révèlent fondés. En effet, s'il peut être admis que les diplômes étrangers qui ont été reconnus sous l'ancien droit n'ont pas besoin de faire l'objet d'une nouvelle procédure de reconnaissance selon les nouvelles dispositions entrées en vigueur le 1 er février 2020 (art. 55a LS/NE) respectivement le 1 er février 2020 (LPSan), il n'est en l'espèce pas établi que le diplôme français de l'intimée ait été reconnu lors de son engagement en 1988. Le fait qu'il aurait pu l'être, en application des règles alors en vigueur, n'est pas pertinent à cet égard et ne permet pas d'exempter l'intimée de l'obligation de disposer d'un diplôme reconnu. Il en va de même du fait que le recourant ait estimé, lorsqu'il a engagé l'intimée en 1988 puis lorsqu'il l'a confirmée en 2014 à une fonction requérant un diplôme HES ou un diplôme infirmier en psychiatrie, qu'elle avait les qualifications requises pour exercer la fonction d'infirmière dans le domaine des soins psychiatriques, puisqu'il n'était alors pas exigé, pour exercer cette profession à titre dépendant, d'être titulaire du diplôme suisse correspondant ou d'un diplôme étranger reconnu équivalent. Une telle exigence ne résultait ni du droit cantonal, ni de la Convention de 1976 précitée.
Il est ainsi insoutenable de retenir, comme l'ont fait les premiers juges, que le diplôme de l'intimée n'avait pas besoin d'être reconnu selon les dispositions entrées en vigueur en 2020 au motif qu'il avait vraisemblablement déjà été reconnu antérieurement ou qu'il aurait pu ou dû l'être. L'intimée ne conteste d'ailleurs pas que la situation juridique ait changé avec l'introduction de l'art. 55a LS/NE, mais relève que c'est plutôt la manière dont le recourant a entendu imposer l'obligation ainsi introduite - à savoir l'obligation pour les professionnels du domaine de la santé qui travaillent sous la responsabilité et la surveillance d'un professionnel autorisé à pratiquer dans la même profession d'être titulaires du diplôme suisse ou d'un titre étranger correspondant reconnu - qui heurte le sentiment de la justice et de l'équité, ce qui relève de la motivation subsidiaire de l'arrêt attaqué.
4.3.
4.3.1. A l'encontre de ladite motivation subsidiaire, le recourant fait valoir que la directive 2005/36/CE du Parlement européen et du Conseil du 7 septembre 2005 relative à la reconnaissance des qualifications professionnelles - applicable à la reconnaissance du diplôme de l'intimée conformément à l'<ref-law> et à l'annexe III dudit accord (cf. consid. 3.2 supra) - opère une distinction entre le régime général de la reconnaissance des titres de formation et la reconnaissance automatique. Comme le diplôme d'infirmière en psychiatrie - contrairement à celui d'infirmière en soins généraux - ne figure pas parmi les titres de formation pouvant faire l'objet d'une reconnaissance automatique en Suisse, il y a lieu d'examiner le diplôme de l'intimée selon le régime général, comme l'a fait la Croix-Rouge suisse dans sa décision de reconnaissance partielle du 2 novembre 2020 (cf. let. A.d supra). Cela étant, le recourant soutient qu'une application correcte du droit international pertinent aurait dû conduire la cour cantonale à retenir que l'intimée ne disposait pas d'une reconnaissance de son diplôme étranger.
4.3.2. L'argumentation du recourant manque sa cible. En effet, la motivation subsidiaire de l'arrêt attaqué vise précisément l'hypothèse dans laquelle on admet que le diplôme français de l'intimée doit faire l'objet d'une reconnaissance sur la base de la nouvelle législation entrée en vigueur au 1 er janvier 2020 (LS/NE), respectivement au 1 er février 2020 (LPSan), et qu'une telle reconnaissance n'avait pas été obtenue au moment de la résiliation des rapports de service. Les juges cantonaux ont toutefois relevé que si le législateur neuchâtelois avait introduit à l'art. 55a LS/NE l'obligation pour les professionnels du domaine de la santé qui travaillent sous la responsabilité et la surveillance d'un professionnel autorisé à pratiquer dans la même profession - dont celle d'infirmière (cf. art. 1b let. a du règlement du Conseil d'État neuchâtelois concernant l'exercice des professions médicales universitaires et des autres professions de la santé [RS/NE 801.100]) - d'être titulaires du diplôme suisse ou d'un titre étranger correspondant reconnu (cf. <ref-law>), il n'avait fixé aucune date butoir pour le respect de cette obligation. Ils ont ainsi considéré qu'aucune base légale ne permettait au recourant d'exiger de l'intimée une reconnaissance de son diplôme français au plus tard au 31 juillet 2020 et qu'il n'était donc pas en droit de la licencier faute de reconnaissance obtenue dans ce délai, alors qu'elle exerçait à son service la fonction d'infirmière depuis plus de trente ans, dans un secteur correspondant au titre dont elle était titulaire et à son entière satisfaction.
Or le recourant n'entreprend même pas de démontrer en quoi ce raisonnement procéderait d'une interprétation ou d'une application arbitraire du droit cantonal. De fait, on ne voit qu'il soit insoutenable de considérer que l'art. 55a LS/NE ne permettait pas au recourant de licencier l'intimée, qui exerçait depuis plus de trente ans à son service la fonction d'infirmière dans un secteur correspondant au diplôme français d'infirmier de secteur psychiatrique dont elle était titulaire, pour le motif qu'elle n'avait pas fait aboutir les démarches de reconnaissance de son diplôme sept mois après l'entrée en vigueur de cette disposition. Une telle conclusion apparaît d'autant moins insoutenable que, s'agissant des personnes qui n'avaient pas besoin d'une autorisation avant l'entrée en vigueur de la LPSan pour exercer une profession de la santé sous leur propre responsabilité professionnelle, l'<ref-law> prévoit un délai transitoire de cinq ans après l'entrée en vigueur de la loi pour obtenir une autorisation au sens de l'<ref-law>.
On ne voit par ailleurs pas qu'il en irait de l'intérêt public que l'intimée cesse immédiatement d'exercer la fonction d'infirmière en psychiatrie au service du recourant, sous la responsabilité et la surveillance d'un infirmier chef d'unité de soins, sans qu'il lui soit accordé le temps nécessaire pour satisfaire aux conditions de reconnaissance de son diplôme français (cf. let. A.d supra). Tel est d'autant moins le cas que selon l'<ref-law>, les diplômes d'infirmiers en psychiatrie qui avaient été délivrés en Suisse en vertu de l'ancien droit et qui avaient été reconnus par la Croix-Rouge suisse sont considérés équivalents aux diplômes d'infirmier visés à l'<ref-law>; or il n'est pas prétendu que ces titres de formation incluaient la formation en soins somatiques aigus qui manque en l'état à l'intimée pour obtenir la reconnaissance de son diplôme français d'infirmier de secteur psychiatrique (cf. let. A.d supra).
4.4. Il résulte de ce qui précède que la motivation subsidiaire de l'arrêt attaqué échappe à la critique, ce qui scelle le sort du recours. Dès lors, il n'est pas nécessaire d'examiner les griefs soulevés par le recourant à l'encontre de l'argumentation superfétatoire de la cour cantonale selon laquelle l'intimée ne saurait être soumise à des conditions plus sévères que celles applicables selon l'<ref-law> aux professionnels exerçant sous propre responsabilité (cf. consid. 3.6 supra).
5.
Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>) et versera à l'intimée une indemnité de dépens pour la procédure fédérale (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3.
Le recourant versera à l'intimée la somme de 2800 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public.
Lucerne, le 30 août 2021
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant : Wirthlin
La Greffière : Elmiger-Necipoglu