Faits :
A.
A.a. A._, né en 1972, a été employé par l'Office de l'assurance-invalidité du canton de Neuchâtel (ci-après: l'OAI-NE) dès le 18 novembre 1995 en qualité d'instructeur auxiliaire, puis dès le 1er janvier 2012 en tant que chargé de sécurité et d'infrastructures. Depuis le 22 septembre 2015, sa capacité de travail a oscillé entre 0 % et 100 % selon les périodes. Le 11 avril 2017, il a été informé par l'OAI-NE que la fonction de chargé de sécurité et d'infrastructures et, partant, son poste seraient supprimés.
Lors d'une séance qui s'est tenue le 25 avril 2017, l'OAI-NE lui a remis en main propre la décision de suppression du poste de chargé de sécurité et d'infrastructures. Cette décision précisait que, du fait que son droit à une rente d'invalidité était en cours d'examen auprès de l'Office de l'assurance-invalidité du canton du Jura (ci-après: l'OAI-JU) - auquel la demande de prestations AI qu'il avait déposée avait été transmise pour des questions d'indépendance -, les démarches utiles pour lui offrir un emploi de nature équivalente étaient en l'état suspendues, du fait qu'en cas d'octroi d'une rente, les obligations de l'employeur quant à la prise de telles mesures perdraient leur sens et une indemnité pour suppression de poste ne saurait être due. Ladite décision du 25 avril 2017 indiquait encore que les rapports de service prendraient fin au plus tard au 31 octobre 2017, sous réserve de l'octroi d'une rente qui aurait pour effet de mettre un terme à la relation de travail plus rapidement.
A.b. Par courrier du 18 octobre 2017, l'OAI-NE a invité A._, par sa mandataire, à lui signaler à quel stade se trouvait l'instruction de sa demande de rente d'invalidité, respectivement s'il avait trouvé du travail, et ce afin de pouvoir évaluer la nécessité de la prise de mesures utiles pour lui offrir un emploi de nature équivalente. Rappelant que, compte tenu de l'examen du droit à une rente pendante auprès de l'OAI-JU, il n'avait pas encore entrepris de telles démarches, l'OAI-NE relevait encore avoir reçu un certificat médical de la psychiatre-psychothérapeute traitante de A._ mentionnant que celui-ci avait recouvré une pleine capacité de travail dans une activité adaptée depuis le 5 octobre 2017. Il s'en est suivi un échange de courriers et la confirmation le 30 novembre 2017 par l'OAI-NE que sa responsable des ressources humaines avait contacté la responsable de la mobilité professionnelle de l'État de Neuchâtel, qui se tenait à disposition pour recevoir A._ afin de discuter des éventuelles possibilités d'emploi.
A.c. Du 5 février au 4 août 2018, A._ a effectué un stage à 50 % au sein du service des ressources humaines de l'État de Neuchâtel. Par lettre du 10 août 2018, il a été engagé, selon le statut de la fonction publique, en qualité d'agent de sécurité publique pour le compte de la Ville de B._ à un taux d'activité de 100 % à partir du 1er septembre 2018.
B.
B.a. Le 31 octobre 2018, A._ a saisi la Cour de droit public du Tribunal cantonal du canton de Neuchâtel d'une demande d'indemnisation pour suppression de poste, en concluant au paiement par l'OAI-NE d'une indemnité de 54'212 fr. 50, correspondant à sept mois de traitement, avec intérêts à 5 % dès le 31 octobre 2017. Il alléguait qu'il avait perdu son statut de fonctionnaire ensuite de la suppression de son poste, l'activité qu'il avait retrouvée par ses propres moyens à compter du 1er septembre 2018 ne lui accordant pas ce statut, et que le défendeur n'avait entrepris aucune démarche concrète pour lui offrir un poste équivalent.
B.b. Par jugement du 9 août 2019, la Cour de droit public du Tribunal cantonal du canton de Neuchâtel a condamné le défendeur à verser au demandeur une indemnité de 54'212 fr. 50, plus intérêt à 5 % l'an dès le 30 octobre 2018, ainsi qu'un montant de 2653 fr. 70 à titre de dépens.
C.
L'OAI-NE interjette un recours en matière de droit public contre ce jugement, en concluant principalement à sa réforme en ce sens que la demande soit rejetée. A titre subsidiaire, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants.
L'intimé conclut au rejet du recours dans la mesure où il est recevable. L'autorité cantonale n'a pas déposé d'observations.

Considérant en droit :
1.
Le jugement entrepris a été rendu par une autorité cantonale de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF) en matière de rapports de travail de droit public. S'agissant d'une contestation de nature pécuniaire, le motif d'exclusion de l'art. 83 let. g LTF ne s'applique pas, et la valeur litigieuse dépasse largement le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public en ce domaine (art. 51 al. 1 let. a et 85 al. 1 let. b LTF). Le défendeur, établissement autonome de droit public doté de la personnalité juridique (art. 8 al. 2 de la loi cantonale neuchâteloise d'application de la LAVS et de la LAI [RS/NE 820.10]), a succombé dans ses conclusions libératoires prises devant l'autorité précédente et est atteint de la même manière qu'un particulier dans sa situation juridique (cf. <ref-ruling> consid. 2.3.3.2 et 2.3.3.3), de sorte qu'il a qualité pour recourir au regard de l'<ref-law>. Pour le surplus, déposé en temps utile et dans les formes requises, le recours est recevable au regard des art. 42, 90 et 100 al. 1 LTF.
2.
Sauf dans les cas cités expressément à l'<ref-law>, le recours ne peut pas être formé pour violation du droit cantonal en tant que tel. En revanche, il est toujours possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres principes constitutionnels (<ref-ruling> consid. 2 p. 149; <ref-ruling> consid. 1.2 p. 145). Appelé à revoir l'application ou l'interprétation d'une norme cantonale ou communale sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motif objectif et en violation d'un droit certain (<ref-ruling> consid. 5.2 p. 61). En revanche, si l'application de la loi défendue par l'autorité cantonale n'est pas déraisonnable ou manifestement contraire au sens et au but de la législation en cause, elle sera confirmée, même si une autre solution éventuellement plus judicieuse paraît possible; en outre, il ne suffit pas que les motifs de la décision critiquée soient insoutenables; encore faut-il que cette dernière soit arbitraire dans son résultat (<ref-ruling> consid. 2.1 p. 168).
3.
3.1. Selon l'exposé figurant dans le jugement entrepris, l'OAl-NE est un établissement autonome de droit public dont le personnel est soumis aux dispositions de la loi cantonale du 28 juin 1995 sur le statut de la fonction publique (LSt; RS/NE 152.510). La direction de l'OAI-NE a la qualité d'autorité de nomination en matière de fonction publique, en lieu et place du Conseil d'État, et intervient en lieu et place de ce dernier en cas de suppression de poste au sens de l'art. 44 LSt.
Aux termes de l'art. 44 LSt, lorsqu'un poste est supprimé, l'autorité de nomination met fin aux rapports de service moyennant un avertissement écrit donné six mois à l'avance pour la fin d'un mois pour les employés qui ne sont pas membres du corps enseignant (al. 1bis let. b). Le Conseil d'État prend toutes mesures utiles pour offrir à l'intéressé un emploi de nature équivalente au service de l'État, d'une commune, d'une institution paraétatique ou d'une entreprise privée (al. 2). Si la démarche entreprise par le Conseil d'État a pour effet de faire perdre à l'intéressé son statut de titulaire de fonction publique, une indemnité égale à trois mois de traitement lui est versée (al. 3). Si aucun poste ou fonction ne peut être proposé au titulaire de fonction publique ou s'il a un motif fondé de refuser le poste ou la fonction qui lui est offert, une indemnité supplémentaire égale à un mois de traitement par tranche de cinq années de service ininterrompu lui est allouée en sus de l'indemnité prévue à l'al. 3 (al. 4).
3.2. En l'espèce, la cour cantonale a considéré que l'on ne saurait reprocher au défendeur - compte tenu notamment d'une situation médicale non stabilisée, à tout le moins jusqu'au 4 octobre 2017, et du manque de renseignements transmis par le demandeur - une violation de son obligation découlant de l'art. 44 al. 2 LSt d'entreprendre toutes mesures utiles pour offrir au demandeur un emploi de nature équivalente au poste supprimé.
Cela étant, les juges cantonaux ont constaté que, quoi qu'il en fût des démarches entreprises ou non par le défendeur, le demandeur avait perdu son statut de titulaire de fonction publique puisque, à la fin de son délai de congé, soit au 31 octobre 2017, il n'avait fait l'objet d'aucun engagement, et ce alors même qu'il avait recouvré une pleine capacité de travail depuis le 5 octobre 2017. Ce n'était qu'à partir du 1er septembre 2018 que le demandeur avait à nouveau occupé un poste, soumis - quoi qu'il en pensât - à un statut de la fonction publique. Dès lors, la perte du statut de titulaire de fonction publique au 31 octobre 2017 entraînait l'obligation pour le défendeur de verser une indemnité égale à trois mois de traitement au sens de l'art. 44 al. 3 LSt. A cet égard, il importait peu·de savoir si le demandeur pouvait se voir reprocher une absence de collaboration aux mesures utiles pour lui proposer un emploi de nature équivalente, dans la mesure où cette absence de collaboration était postérieure à la fin des rapports de service.
La cour cantonale a ensuite exposé que, comme elle avait déjà eu l'occasion de le dire, la systématique de l'art. 44 LSt était claire en ce sens que ses al. 3 et 4 fixaient les conditions posées à l'octroi d'une indemnité ensuite d'une suppression de poste, ainsi qu'une règle pour en déterminer le montant (trois mois de salaire + un mois par tranche de cinq ans de service). L'art. 44 al. 4 LSt comprenait la formule "indemnité supplémentaire", ce qui impliquait nécessairement le versement préalable de l'indemnité prévue à l'art. 44 al. 3 LSt en raison de la perte du statut de titulaire de fonction publique. La formulation de l'al. 3 de l'art. 44 LSt impliquait que si l'intéressé était licencié ou qu'un emploi lui était retrouvé dans une entreprise privée, il avait droit à une indemnité de base de trois mois de salaire. En cas de licenciement (aucun poste n'avait pu être proposé ou l'intéressé avait un motif fondé de le refuser) s'ajoutait automatiquement l'indemnité prévue à l'al. 4 (arrêts non publiés du 10 avril 2013 [CDP.2011.299] consid. 3c/cc et [CDP.2011.300] consid. 3c/cc).
En l'espèce, dans la mesure où le demandeur avait perdu le statut de titulaire de fonction publique au 31 octobre 2017, sans qu'aucun poste ait pu lui être proposé, il avait droit à une indemnité supplémentaire selon l'art. 44 al. 4 LSt égale à quatre mois de salaire, qui venait s'ajouter à celle égale à trois mois de traitement de l'art. 44 al. 3 LSt.
4.
4.1. Le recourant reproche à l'autorité cantonale d'avoir fait une application trop littérale et arbitraire (cf. art. 9 Cst.) de l'art. 44 LSt en considérant que le seul fait que l'intimé avait perdu son statut de fonctionnaire au 31 octobre 2017 justifiait l'octroi d'indemnités. Si l'indemnisation d'une perte définitive du statut de fonctionnaire répond à la volonté du législateur, tel ne saurait selon le recourant être le cas d'une perte temporaire, sous peine d'aboutir à une indemnisation injustifiée de fonctionnaires qui, comme l'intimé, retrouvent un statut de titulaire de fonction publique peu de temps après la fin des rapports de service. Le recourant fait valoir que, comme l'a retenu l'autorité cantonale, il a satisfait à son obligation de prendre toutes mesures utiles pour offrir à l'intimé un emploi de nature équivalente. A l'issue du délai de congé, il était matériellement impossible de proposer un poste à l'intimé en raison de son état de santé, qui ne s'était amélioré qu'à la fin des rapports de travail. Grâce aux démarches initiées alors par le recourant, l'intimé avait pu effectuer un stage à 50 % du 5 février au 4 août 2018, ce qui lui avait permis de se relancer et de retrouver dès le 1er septembre 2018 un emploi avec un statut similaire. Verser une indemnité dans de telles circonstances heurterait le sentiment de l'équité et engendrerait une inégalité entre les fonctionnaires qui perdent définitivement leur statut, voire un emploi, et ceux qui reçoivent une indemnisation alors même qu'ils retrouvent un statut similaire.
Toujours selon le recourant, le jugement entrepris violerait également l'interdiction de l'abus de droit (cf. art. 5 al. 3 et 9 Cst.). En effet, alors que l'art. 44 LSt vise à atténuer les conséquences d'un licenciement, respectivement de la perte du statut de titulaire de fonction publique, la décision entreprise permettrait au contraire au fonctionnaire de s'enrichir alors même qu'il retrouve un statut similaire à brève échéance. Le comportement de l'intimé serait en outre abusif dans la mesure où, ayant retrouvé un statut de fonctionnaire à brève échéance, il réclame les indemnités prévues par l'art. 44 LSt alors qu'il n'avait pas renseigné le recourant sur son état de santé et sur le type d'activité qu'il pouvait effectuer après qu'il avait recouvré une certaine capacité de travail.
4.2. L'argumentation du recourant ne permet pas de considérer que l'autorité cantonale aurait fait une application arbitraire de l'art. 44 LSt. En effet, il est constant que l'intimé a perdu le statut de titulaire de fonction publique au 31 octobre 2017, à la fin des rapports de service qui le liaient au recourant, sans qu'aucun poste ait pu lui être proposé, et qu'il n'a retrouvé un emploi, avec un statut similaire, qu'à compter du 1er septembre 2018. On ne voit pas en quoi il serait insoutenable, au regard du texte clair de la loi, de considérer qu'il avait ainsi droit à l'indemnité prévue par l'art. 44 al. 3 LSt pour la perte du statut de titulaire de fonction publique ainsi qu'à l'indemnité supplémentaire prévue par l'art. 44 al. 4 LSt lorsqu'aucun poste ou fonction ne peut être proposé. L'art. 44 LSt ne prévoit aucune condition temporelle liée au fait de retrouver un emploi, respectivement le statut de titulaire de fonction publique, postérieurement à la fin des rapports de service ensuite de la suppression de poste. Au demeurant, dans le cas d'espèce, où l'intimé n'a retrouvé un emploi, avec un statut similaire, que dix mois après que la suppression de son poste avait pris effet, l'octroi d'une indemnité correspondant à sept mois de salaire ne lui permet pas de s'enrichir et ne conduit pas à un résultat choquant. Pour les mêmes motifs, aucun abus de droit ne peut être reproché à l'intimé.
5.
Il résulte de ce qui précède que le recours doit être rejeté.
6.
Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>) et versera à l'intimé une indemnité à titre de dépens (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3.
Le recourant versera à l'intimé la somme de 2800 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et à la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel.
Lucerne, le 21 novembre 2019
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
Le Greffier : Beauverd