Faits :
A.
A._, né en 1956, a été engagé à compter du 1 er mai 2013 au Service des migrations en qualité de concierge au centre d'accueil de B._. Dès le 1 er janvier 2014, il a été engagé en tant que veilleur de centres d'accueil, d'abord par contrat de droit privé d'une durée indéterminée, puis à titre provisoire par contrat de droit public, avant d'être finalement nommé à plein temps à cette fonction le 1 er avril 2015.
Par courrier du 3 octobre 2018, le chef du service des ressources humaines a invité A._ à se déterminer quant au projet du Conseil d'Etat de la République et canton de Neuchâtel (ci-après: le Conseil d'Etat) de supprimer le poste de veilleur qu'il occupait au vu de la fermeture d'un centre d'accueil en raison des faibles arrivées de requérants d'asile dans le canton. Le prénommé ne s'est pas déterminé. Par décision du 24 octobre 2018, le Conseil d'Etat a mis un terme aux rapports de service au 30 avril 2019 en relevant que la fermeture d'un centre d'accueil engendrait de facto une diminution en personnel.
B.
A._ a recouru devant la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel. Dans ses observations, l'Etat de Neuchâtel a confirmé qu'après l'étude minutieuse des différents dossiers des veilleurs occupant un poste similaire et des différents critères légaux et jurisprudentiels servant à la décision, le poste de A._ apparaissait comme celui devant être supprimé. Sa décision s'appuyait sur les motifs suivants: un seul contrat de droit privé avait été maintenu, celui d'une veilleuse car il apparaissait indispensable de disposer d'une collaboratrice femme dans l'encadrement des migrantes notamment. Son statut de femme avait ainsi été un critère valorisant et avait compensé l'absence d'engagement temporaire en droit public. Cette collaboratrice disposait en outre d'une ancienneté plus importante que celle de A._, était plus qualifiée que ce dernier et avait connu d'importants problèmes de santé, lesquels avaient été pris en compte dans les comparaisons. Les autres postes concernaient quatre collaborateurs hommes engagés par un contrat de droit public et disposant tous de plus de cinq ans d'expérience. Trois d'entre eux étaient - tout comme A._ - âgés de plus de 55 ans mais - contrairement au prénommé - avaient une famille à charge. L'un d'entre eux avait par ailleurs de gros problèmes de santé et avait eu régulièrement des avis de saisie de salaire, si bien que sa situation matérielle était plus compliquée que celle de A._. Le quatrième collaborateur, plus jeune et sans enfants disposait de plus de 20 ans d'expérience au sein de l'administration neuchâteloise et jouissait de bonnes compétences. De manière générale, les quatre autres veilleurs ont été considérés comme plus compétents que A._, qui avait obtenu de mauvaises appréciations. Le prénommé a répliqué le 18 février 2019.
Par arrêt du 26 février 2019, la cour cantonale a rejeté le recours.
C.
A._ interjette un recours en matière de droit public et un recours constitutionnel subsidiaire contre ce jugement, en concluant à son annulation et au renvoi de la cause à l'instance précédente pour nouvelle décision.
L'intimé conclut au rejet du recours. Le recourant a répliqué le 5 juillet 2019. La juridiction cantonale a renoncé à se déterminer.

Considérant en droit :
1.
1.1. Le jugement entrepris a été rendu en matière de rapports de travail de droit public au sens de l'art. 83 let. g LTF. Dans la mesure où la contestation porte sur l'annulation d'une décision de résiliation des rapports de travail, elle est de nature pécuniaire, de sorte que le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération. La valeur litigieuse, qui porte sur plusieurs mois de salaire, atteint par ailleurs le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public en ce domaine (<ref-law>). Partant, en raison de son caractère subsidiaire, le recours constitutionnel subsidiaire n'est pas recevable (<ref-law>). Pour le surplus, interjeté en temps utile et dans les formes requises contre une décision finale prise en dernière instance cantonale, le recours est recevable au regard des art. 42, 86 al. 1 let. d, 90 et 100 al. 1 LTF.
1.2. En l'espèce, le recourant se limite à conclure à l'annulation du jugement attaqué et au renvoi de la cause à l'instance précédente sans indiquer ce qu'il entend obtenir au fond. Il formule ainsi des conclusions cassatoires qui sont en principe insuffisantes dès lors que le recours en matière de droit public se caractérise comme un recours en réforme (<ref-law>). Il ressort néanmoins assez clairement de la motivation de son recours qu'il remet en question le choix porté sur sa personne pour la résiliation des rapports de service et non sur ses collègues occupant un poste identique. Il convient donc d'interpréter ses conclusions (cf. <ref-ruling> consid. 6.2) en ce sens qu'il demande à ce qu'il soit constaté qu'un autre poste que le sien doive être supprimé.
2.
2.1. Sauf exceptions non pertinentes en l'espèce (cf. art. 95 let. c, d et e LTF), le recours ne peut pas être formé pour violation du droit cantonal. En revanche, il est toujours possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits ou principes constitutionnels (<ref-ruling> consid. 2 p. 149; <ref-ruling> consid. 1.2 p. 145). Le Tribunal fédéral n'examine alors de tels moyens que s'ils sont formulés conformément aux exigences de motivation qualifiée prévues à l'<ref-law> (<ref-ruling> consid. 3.2 p. 579 et la référence). Appelé à revoir l'interprétation d'une norme cantonale ou communale sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - même préférable - paraît possible. En outre, pour qu'une décision soit annulée au titre de l'arbitraire, il ne suffit pas qu'elle se fonde sur une motivation insoutenable; encore faut-il qu'elle apparaisse arbitraire dans son résultat (<ref-ruling> consid. 7.1 p. 124).
2.2. L'art. 44 de la loi cantonale neuchâteloise sur le statut de la fonction publique du 28 juin 1995 (LSt; RS/NE 152.510) a la teneur suivante:
1 La décision par laquelle l'autorité de nomination supprime un poste n'est pas susceptible de recours.
1bis Lorsqu'un poste est supprimé, l'autorité de nomination met fin aux rapports de service moyennant un avertissement écrit donné six mois à l'avance:
a) pour la fin d'un semestre scolaire s'agissant des membres du personnel enseignant;
b) pour la fin d'un mois dans les autres cas.
2 Le Conseil d'Etat prend toutes les mesures utiles pour offrir à l'intéressé un emploi de nature équivalente au service de l'Etat, d'une commune, d'une institution paraétatique ou d'une entreprise privée.
3 Si la démarche entreprise par le Conseil d'Etat a pour effet de faire perdre à l'intéressé son statut de titulaire de fonction publique, une indemnité égale à trois mois de traitement lui est versée.
4 Si aucun poste ou fonction ne peut être proposé au titulaire de fonction publique, ou s'il a un motif fondé de refuser le poste ou la fonction qui lui est offert, une indemnité supplémentaire égale à un mois de traitement par tranche de cinq années de service ininterrompu lui est allouée en sus de l'indemnité prévue à l'alinéa 3.
3.
3.1. Les premiers juges ont tout d'abord écarté le grief de violation du droit d'être entendu invoqué par le recourant. En effet, si le Conseil d'Etat n'avait certes pas motivé son choix, dans son prononcé du 24 octobre 2018, de désigner le recourant en tant que collaborateur dont le poste devait être supprimé, il l'avait toutefois fait dans ses observations sur le recours. Ses explications étaient suffisantes et le recourant avait eu la possibilité de se déterminer, ce qu'il avait d'ailleurs fait en date du 18 février 2019.
3.2. Sur le fond, la cour cantonale a retenu que la décision du Conseil d'Etat de supprimer un poste de veilleur était basée sur des motifs objectifs. Quant au choix de la personne devant supporter la suppression de poste, la décision de l'intimé n'apparaissait pas dénuée de tout fondement. Les observations faites concernant la comparaison entre l'intéressé et les autres veilleurs dont les postes ont été conservés paraissaient en effet défendables; elles étaient détaillées et tenaient compte des critères retenus par la jurisprudence cantonale (Recueil de jurisprudence neuchâteloise [RJN] 2006 p. 195), à savoir la situation matérielle et familiale, l'âge, les possibilités de trouver un nouvel emploi, les compétences de chacun et la préférence accordée à un collaborateur soumis à la LSt, plutôt qu'à celui engagé selon le droit privé et aux employés nommés s'ils ont tous un statut de droit public régi par cette loi. Il en allait de même du maintien du poste de veilleuse de la seule femme de l'effectif. Apparaissait en effet défendable l'explication de l'intimé selon laquelle la nécessité de compter sur une veilleuse femme pour l'encadrement des migrantes, qui plus est avec de l'ancienneté au sein de l'Etat de Neuchâtel et de bonnes connaissances linguistiques, prévalait sur le fait que celle-ci ne bénéficiait que d'un contrat de droit privé. Partant, les premiers juges ont considéré que la résiliation des rapports de service du recourant au 30 avril 2019 n'était pas arbitraire.
4.
Le recourant se plaint d'une application arbitraire du droit cantonal, plus particulièrement de l'art. 44 LSt et d'une violation du principe de l'égalité de traitement. Selon lui, l'intimé - dont l'appréciation aurait été intégralement reprise par la juridiction cantonale - n'aurait jamais tenu compte de son âge et ne l'aurait pas comparé à celui de ses collègues. Pourtant, en tant que doyen de l'effectif proche de la retraite, le recourant estime qu'il aurait dû être le dernier concerné par une suppression de poste et une résiliation des rapports de service. Il soutient en outre que ses compétences ne pouvaient être appréciées que de manière arbitraire puisque l'intimé pouvait lui reprocher des manquements, mais passer sous silence d'éventuels événements à charge des autres collaborateurs. Enfin, il reproche à l'intimé d'avoir considéré sa collègue veilleuse comme titulaire de la fonction publique alors qu'elle ne l'était pas et que rien ne permettait d'étayer l'affirmation selon laquelle elle le deviendrait ultérieurement.
5.
5.1. En l'espèce, la cour cantonale a confirmé la décision de l'intimé, lequel a clairement tenu compte - contrairement à ce que soutient le recourant - de l'âge de celui-ci et l'a comparé avec celui de ses collègues. S'agissant du critère des compétences, l'argument du recourant selon lequel ses collègues auraient également pu connaître des incidents tels que ceux qui lui étaient reprochés, notamment les absences sur son lieu de travail, il constitue une simple hypothèse qui ne repose sur aucun élément concret. Il ne permet pas d'établir qu'un autre collègue aurait dû supporter la suppression de poste ni, a fortiori, de démontrer que l'autorité cantonale aurait fait preuve d'arbitraire en considérant le choix de l'intimé comme défendable. Quant à sa collègue féminine, le recourant se méprend à nouveau lorsqu'il soutient que l'intimé l'a considérée comme titulaire de la fonction publique. Celui-ci a indiqué que quand bien même au moment du prononcé de la décision de résiliation des rapports de service la collaboratrice ne disposait que d'un contrat de travail relevant du droit privé, c'est l'ensemble des critères qui avaient abouti au maintien de son poste au détriment de celui du recourant. La cour cantonale a jugé cette argumentation soutenable, ce que le recourant ne discute pas. Les griefs se révèlent mal fondés.
5.2. Enfin, en tant que le recourant se plaint d'une violation de son droit d'être entendu en estimant "regrettable" que la cour cantonale n'ait pas tenu compte dans la répartition des frais judiciaires et des dépens du fait que l'intimé n'a motivé sa décision qu'au stade de ses observations, son grief est insuffisamment motivé et, partant, n'est pas admissible (<ref-law>; cf. consid. 2. 1 supra).
6.
Vu ce qui précède, le recours doit être rejeté. Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>). Bien qu'il obtienne gain de cause, l'intimé n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière de droit public est rejeté.
3.
Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public.
Lucerne, le 1er mai 2020
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Paris