Faits :
A.
A.a. A._, né en 1969, a été engagé à titre provisoire par l'Etat de Neuchâtel à partir du 14 mai 2001 en qualité de chef du personnel et de la comptabilité à B._. Il a été nommé à cette fonction à compter du 1 er janvier 2003, puis a exercé la fonction d'adjoint au chef du Service C._. Ensuite de la suppression de ce poste, A._ a été nommé chef de la section de la protection de la population avec effet au 1er août 2019.
A.b. A._ a été en incapacité totale de travail dès le 2 septembre 2019.
A.c. Le 27 septembre 2019, une procédure d'avertissement a été initiée par le chef du Service C._. Invité à faire valoir son droit d'être entendu, A._ a indiqué qu'il n'était pas en mesure de se déterminer, certificats médicaux à l'appui. Le 3 mars 2020, le chef du Service des Ressources humaines de l'Etat de Neuchâtel lui a fait part de ce qu'une résiliation des rapports de service était envisagée. Le 16 mars 2020, il l'a informé de la réduction de son droit au traitement en raison du cumul de 180 jours d'absence au 25 février 2020. Invité à se prononcer sur la question de la résiliation des rapports de service, A._ a fait savoir, par l'intermédiaire de son mandataire, qu'il ne pouvait pas se déterminer.
A.d. Par décision du 23 mars 2020, le Conseil d'Etat a résilié les rapports de service avec effet au 30 juin 2020, au motif que l'incapacité de travail de A._ depuis le 2 septembre 2019 perturbait le bon fonctionnement du service.
B.
A._ a recouru contre cette décision auprès de la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel (ci-après: la Cour de droit public), en concluant principalement à son annulation et subsidiairement au renvoi de la cause au Conseil d'Etat pour nouvelle décision.
Par arrêt du 17 juin 2020, la Cour de droit public a rejeté le recours.
C.
A._ forme un recours en matière de droit public contre cet arrêt, en concluant principalement à sa réforme en ce sens que la continuation des rapports de travail soit admise, subsidiairement au renvoi de la cause à l'autorité précédente pour nouvelle décision au sens des considérants.
L'intimé s'en rapporte à justice quant à la recevabilité du recours et conclut au rejet de ce dernier. La Cour de droit public ne s'est pas déterminée.

Considérant en droit :
1.
L'arrêt entrepris a été rendu en matière de rapports de travail de droit public au sens de l'art. 83 let. g LTF. Dans la mesure où la contestation porte sur l'annulation d'une décision de résiliation des rapports de travail, elle est de nature pécuniaire, de sorte que le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération. La valeur litigieuse, qui porte sur plusieurs mois de salaire, atteint par ailleurs le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public en ce domaine (art. 85 al. 1 let. b LTF).
Pour le surplus, interjeté en temps utile (art. 46 al. 1 et. b LTF, 100 al. 1 LTF) contre une décision finale (art. 90 LTF) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF), le recours en matière de droit public est recevable.
2.
2.1. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). L'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier, ou lorsque l'autorité ne tient pas compte, sans raison sérieuse, d'un élément propre à modifier la décision, se trompe sur le sens et la portée de celui-ci ou, se fondant sur les éléments recueillis, en tire des conclusions insoutenables (<ref-ruling> consid. 2.3 et les références).
2.2. Sauf exceptions non pertinentes en l'espèce (cf. art. 95 let. c, d et e LTF), le recours ne peut pas être formé pour violation du droit cantonal. En revanche, il est toujours possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits ou principes constitutionnels (<ref-ruling> consid. 2; <ref-ruling> consid. 1.2). Le Tribunal fédéral n'examine alors de tels moyens que s'ils sont formulés conformément aux exigences de motivation qualifiée prévues à l'art. 106 al. 2 LTF (<ref-ruling> consid. 3.2 et la référence). Appelé à revoir l'interprétation d'une norme cantonale ou communale sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - même préférable - paraît possible. En outre, pour qu'une décision soit annulée au titre de l'arbitraire, il ne suffit pas qu'elle se fonde sur une motivation insoutenable; encore faut-il qu'elle apparaisse arbitraire dans son résultat (<ref-ruling> consid. 7.1).
3.
3.1. Dans un premier grief, le recourant se plaint d'une constatation manifestement inexacte des faits (art. 97 LTF) à deux égards. D'une part, il reproche à l'autorité cantonale de ne pas avoir fait mention d'un certificat médical du 15 octobre 2019 indiquant qu'il était "actuellement dans l'incapacité à se déterminer dans sa situation professionnelle" et d'avoir conclu que le contenu d'un certificat médical du 13 mai 2020 était identique aux précédents. D'autre part, il reproche à l'autorité cantonale d'avoir conclu à son inaptitude à travailler sur la base de ce second certificat, alors que le document indiquait uniquement qu'il était contre-indiqué qu'il reprenne le travail à son poste actuel en raison du risque de rechute mais qu'une reprise du travail à court/moyen terme était possible à un poste adapté.
3.2. En l'espèce, on ne saurait reprocher à l'autorité cantonale de ne pas avoir fait mention du certificat du 15 octobre 2019 dans la mesure où ce dernier était antérieur à la communication de l'intention du Conseil d'Etat de mettre fin aux rapports de service. L'autorité cantonale n'a en tout état pas retenu que les certificats déposés par le recourant étaient identiques mais simplement que l'on ne pouvait inférer d'aucun d'entre eux que ce dernier n'était pas capable de se déterminer par l'intermédiaire d'un représentant professionnel. Contrairement à ce que prétend le recourant, l'autorité cantonale n'a pas non plus jugé qu'il n'était pas apte à travailler, mais uniquement qu'une réintégration à son poste de travail dans un avenir proche n'était pas établie. La possibilité, évoquée dans le certificat médical du 13 mai 2020, d'une reprise du travail à court/moyen terme dans un poste adapté ne fait en tout cas pas apparaître les constatations des premiers juges comme étant arbitraires. Le grief doit dès lors être rejeté.
4.
4.1. Dans un deuxième moyen, le recourant se plaint d'une violation de son droit d'être entendu au motif qu'il n'aurait pas été en mesure de se déterminer quant à l'intention du Conseil d'Etat de mettre fin aux rapports de service et à l'ouverture d'une procédure d'avertissement à son encontre. Il fait plus particulièrement valoir qu'il ne lui aurait jamais été possible de relater les faits qui ont conduit à l'introduction de la procédure d'avertissement et de se prononcer sur les éléments factuels ayant présidé à la décision de fin des rapports de service. Dûment attestée médicalement, cette impossibilité n'avait pas à être remise en cause par son représentant et il fallait distinguer le fait du droit.
4.2. Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision soit prise touchant sa situation juridique, d'avoir accès au dossier, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 4.1 et les arrêts cités). Le droit d'être entendu est à la fois une institution servant à l'instruction de la cause et une faculté de la partie, en rapport avec sa personne, de participer au prononcé de décisions qui lèsent sa situation juridique (arrêt 4A_364/2015 du 13 avril 2016 consid. 2.2, non publié in <ref-ruling>; <ref-ruling> consid. 2a/aa et les arrêts cités). Le droit de s'exprimer sur tous les points importants avant qu'une décision soit prise s'applique sans restriction pour les questions de fait.
Le droit d'être entendu est une garantie de nature formelle, dont la violation entraîne en principe l'annulation de la décision attaquée, indépendamment des chances de succès du recours sur le fond (<ref-ruling> consid. 5.3; <ref-ruling> consid. 2.2). Selon la jurisprudence, sa violation peut cependant être réparée lorsque la partie lésée a la possibilité de s'exprimer devant une autorité de recours jouissant d'un plein pouvoir d'examen (<ref-ruling> consid. 4.4; <ref-ruling> consid. 2.8.1 et les arrêts cités). Toutefois, une telle réparation doit rester l'exception et n'est admissible, en principe, que dans l'hypothèse d'une atteinte aux droits procéduraux de la partie lésée qui n'est pas particulièrement grave (ATF <ref-ruling> consid. 2.8.1 précité).
Le droit d'être entendu est concrétisé à l'art. 47 de la loi cantonale neuchâteloise du 28 juin 1995 sur le statut de la fonction publique (LSt; RS/NE 152.510), invoqué par le recourant, selon lequel avant de prendre sa décision, l'autorité de nomination entend l'intéressé en lui indiquant les faits ou omissions qui lui sont reprochés, ainsi que les moyens de défense dont il dispose, conformément à la loi du 27 juin 1979 sur la procédure et la juridiction administratives (LPJA; RS/NE 152.130), en particulier son droit de consulter le dossier et de se faire assister d'un mandataire. Le recourant ne prétend pas que cette norme accorderait une garantie du droit d'être entendu allant au-delà de celle de l'art. 29 al. 2 Cst., de sorte que son grief peut être examiné exclusivement à la lumière de la disposition constitutionnelle fédérale.
4.3. En l'espèce, l'autorité cantonale a estimé que le certificat médical du 13 mai 2020, comme du reste les précédents, ne permettait pas de conclure à une incapacité du recourant de se déterminer. Le médecin attestait certes qu'il était contre-indiqué que le patient soit confronté à nouveau à sa situation professionnelle et qu'il reprenne le travail à son poste actuel en raison du risque de rechute. L'on ne pouvait cependant pas déduire du certificat médical que, représenté par un mandataire professionnel, le recourant ne pouvait pas se déterminer sur la résiliation des rapports de service envisagée, ce que démontrait d'ailleurs le dépôt du recours.
4.4. En se contentant d'affirmer que l'impossibilité de relater les faits à son mandataire serait attestée médicalement, le recourant ne fait qu'opposer son appréciation à celle de l'autorité cantonale sans démontrer le caractère insoutenable de cette dernière. Il n'explique plus particulièrement pas en quoi l'autorité cantonale aurait fait preuve d'arbitraire en considérant que, tel que formulé, le certificat médical du 13 mai 2020 ne signifiait pas qu'il n'était pas en mesure de se déterminer par le biais de son mandataire professionnel. Pour le reste, il n'est pas contesté que le recourant a été invité à s'exprimer avant que la décision de résiliation des rapports de service soit prise. Le grief doit dès lors être rejeté.
5.
5.1. Dans un dernier grief, le recourant se plaint d'une violation de la maxime inquisitoire (art. 14 LPJA) et de l'art. 28 al. 2 LSt, selon lequel les titulaires de fonctions publiques peuvent être tenus de justifier le motif de leur absence et, au besoin, de se faire examiner par un médecin désigné par l'autorité de nomination selon les modalités arrêtées par le Conseil d'Etat. Il fait valoir que si par hypothèse, non réalisée en l'espèce (sic), des doutes subsistaient quant à son impossibilité de se déterminer sur sa situation professionnelle, les premiers juges auraient dû renvoyer la cause au Conseil d'Etat pour qu'il complète l'état de fait, et n'auraient dès lors pas dû se contenter de remarquer que le certificat médical n'était pas motivé. Il affirme que l'argumentation de l'autorité cantonale, selon laquelle on ne pouvait pas reprocher au Conseil d'Etat de ne pas avoir désigné un médecin puisque l'incapacité de travail n'était pas remise en cause, serait discutable. Il prétend en effet que le Conseil d'Etat aurait remis en cause la validité des certificats et reproche à l'autorité cantonale d'opérer une distinction entre sa maladie et son impossibilité de se prononcer sur sa situation professionnelle.
5.2. En l'espèce, comme semble d'ailleurs le reconnaître le recourant au vu de la formulation de son grief, l'impossibilité de se déterminer lui-même sur sa situation professionnelle - tout comme son incapacité de travail - n'a pas été remise en question par l'autorité précédente, laquelle a considéré qu'il était en mesure de faire valoir ses droits par le biais d'un mandataire professionnel. Dans ces conditions, on ne voit pas que les juges cantonaux aient violé le droit cantonal en renonçant à ordonner un complément d'instruction sur ce point. Partant, le grief de violation du droit cantonal est d'emblée mal fondé et doit être rejeté.
6.
Le recourant, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF). Bien qu'il obtienne gain de cause, l'intimé n'a pas droit à des dépens (art. 68 al. 3 LTF; voir aussi arrêt 8C_151/2010 du 31 août 2010 consid. 6.1 et les références).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel.
Lucerne, le 27 mai 2021
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Castella