Faits :
A.
A.a. A._, né en 1972, a été engagé à compter du 1er avril 2011 en qualité d'assistant [...] au sein du service B._ de La Chaux-de-Fonds à un taux d'activité de 80 % et nommé par le Conseil communal de la Ville de la Chaux-de-Fonds (ci-après: le Conseil communal) avec effet au 1er janvier 2012. A compter du 1er janvier 2013, le taux d'activité de A._ a été augmenté à 90 %.
Lors d'un entretien le 10 décembre 2012 avec C._, alors cheffe de service, celle-ci a qualifié l'année écoulée de difficile, soulignant néanmoins le potentiel d'amélioration et la capacité de remise en question de A._. Le 25 mars 2013, A._ a fait l'objet d'une mise en garde de sa hiérarchie. Ce dernier était informé que ses objectifs n'étaient pas atteints et que des erreurs conséquentes subsistaient dans la gestion des dossiers. Lors d'une rencontre ultérieure avec C._ le 14 août 2013, il a été considéré que les objectifs étaient pour la plupart atteints, que la situation avait évolué positivement et que le cahier des charges était désormais rempli à satisfaction, même si des erreurs subsistaient.
Suite à la publication d'un rapport du 12 novembre 2015 de l'Office D._ établissant que A._ avait commis de nombreuses erreurs dans la gestion de ses dossiers et qu'il n'avait pas réagi aux interpellations de l'Office D._, la cheffe de service ainsi que la responsable [...] ont convoqué A._ à un nouvel entretien le 19 novembre 2015. Le 25 octobre 2016, constatant que la situation ne s'était pas améliorée, la cheffe de service a informé A._ qu'un avertissement lui serait signifié si aucun changement n'était constaté d'ici au 31 décembre 2016.
Le 31 mai 2017, un certificat de travail intermédiaire a été établi, mentionnant que A._ était "un collaborateur appliqué et constant" et qu'il accomplissait ses tâches à la satisfaction de sa hiérarchie.
Le taux d'activité de A._ est brièvement passé à 100 % entre le 1er novembre 2017 et le 31 janvier 2018 pour pallier une absence.
A.b. Le 27 novembre 2019, l'assistante [...] responsable du groupe a fait parvenir à A._ une liste détaillée des dossiers dans lesquels des corrections et des explications étaient toujours exigées de sa part. Le 28 mai 2020, un entretien a eu lieu entre A._ et la conseillère communale alors en charge du dicastère des affaires [...] ainsi que les adjointes à la cheffe du service B._ et à la cheffe du service des ressources humaines. Il a alors été constaté que la situation ne s'était pas améliorée et que les faits reprochés étaient de nature à rompre le lien de confiance. Ainsi, une intention de licenciement émanant du Conseil communal avait été remise à A._.
A._ a demandé à ce que lui soient remis l'audit concernant le fonctionnement du service B._ ainsi que son dossier complet. Le dossier de la cause lui a été envoyé le 22 juin 2020. Le service des ressources humaines a en revanche refusé de communiquer le rapport d'audit au motif que ce dernier faisait l'objet d'une procédure en vertu de la Convention intercantonale relative à la protection des données et à la transparence dans les cantons du Jura et de Neuchâtel.
A._ s'est déterminé le 31 juillet 2020 en invoquant plusieurs exemples de dysfonctionnements au sein du service B._ démontrant selon lui qu'il n'était pas responsable des carences du service.
Le 12 août 2020, de nouvelles pièces ont été communiquées à A._, à savoir un rapport intermédiaire de l'Office D._ du 10 août 2020 établi suite à un contrôle effectué au service B._, un relevé de contrôle informatique du 11 juin 2020 concernant l'usage d'internet ainsi que "deux des (nombreuses) plaintes de bénéficiaires ressortant au portefeuille de M. A._".
A.c. Par décision du 24 septembre 2020, le Conseil communal a mis fin pour de justes motifs à l'engagement de A._ pour le 31 janvier 2021, l'a libéré de l'obligation de travailler dans l'intervalle et a retiré l'effet suspensif à un éventuel recours contre ce prononcé. Il a considéré que le lien de confiance était rompu du fait des manquements constatés dans le comportement, la motivation, la gestion, le suivi des dossiers, la communication avec les bénéficiaires, les collègues et la hiérarchie, ainsi que dans le respect des délais.
Le 27 octobre 2020, le service des ressources humaines a informé A._ que le dossier actualisé qu'il demandait était déjà en sa possession.
Le 4 novembre 2020, le conseil communal a refusé d'entrer en matière sur la demande de réexamen/révision déposée par A._ suite aux révélations par voie de presse concernant l'audit réalisé au sein du service B._.
B.
A._ a recouru contre la décision du Conseil communal du 24 septembre 2020 auprès de la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel (ci-après: la Cour de droit public). Il concluait principalement à son annulation et à ce qu'il lui soit donné acte qu'il offrait dès à présent sa force de travail, sous réserve de sa situation médicale. Subsidiairement, il concluait à l'annulation de la décision et au renvoi de la cause à l'intimé pour nouvelle décision au sens des considérants. Il sollicitait également l'assistance judiciaire. Il demandait en outre la restitution de l'effet suspensif à son recours "à tout le moins" la condamnation [du Conseil communal] "à assurer la différence de salaire entre [son] traitement actuel [...] et les indemnités journalières qu'il percevra de l'assurance-chômage à compter du 1er février 2021". Il requerrait enfin du Conseil communal, outre le dossier officiel, la production de l'audit réalisé en 2019 au sein du service B._.
Par arrêt du 26 janvier 2021, la Cour de droit public a rejeté le recours.
C.
A._ forme un recours en matière de droit public et un recours constitutionnel subsidiaire contre cet arrêt, concluant principalement à son annulation et à ce qu'il soit dit que "les rapports de service [...] perdurent à ce jour en raison de la nullité de la décision du 24 septembre 2020 du Conseil communal" et à ce qu'il soit "donné acte au Conseil communal de La Ville de La Chaux-de-Fonds qu'[il] offre sa force de travail, sous réserve de sa situation médicale". Subsidiairement, il conclut à l'annulation de la décision et au renvoi de la cause à la Cour de droit public pour nouvelle décision dans le sens des considérants. A._ sollicite également le bénéfice de l'assistance judiciaire pour la procédure fédérale. Il requiert en outre "de l'autorité intimée la production de l'intégralité du dossier officiel de la cause portant la référence CDP.2020.367-FONC".
L'intimé conclut au rejet du recours et la Cour de droit public renonce à se déterminer. Le recourant a déposé une brève réplique, exposant qu'à la suite de la séance du 15 juin 2021, la Ville de La Chaux-de-Fonds avait rendu accessible sur son site officiel une version caviardée des rapports d'audit organisationnel du service B._ mené les 25 septembre et 8 octobre 2019 par la société E._ et en produisant une copie.

Considérant en droit :
1.
1.1. L'arrêt entrepris a été rendu en matière de rapports de travail de droit public. Dans la mesure où la contestation porte sur une décision de résiliation des rapports de service pour motif fondé, il s'agit d'une contestation pécuniaire, de sorte que le motif d'exclusion de l'art. 83 let. g LTF ne s'applique pas (voir par exemple l'arrêt 8C_17/2019 du 3 août 2020 consid. 1.1). En outre, la valeur litigieuse dépasse le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public en ce domaine (art. 51 al. 1 let. a et al. 2 et art. 85 al. 1 let. b LTF). Pour le surplus, déposé en temps utile et dans les formes requises, le recours est recevable au regard des art. 42, 90 et 100 al. 1 LTF.
Le recours de droit public étant recevable, le recours constitutionnel subsidiaire formé simultanément est par conséquent irrecevable (art. 113 LTF a contrario).
1.2. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.1) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). En bref, il ne suffit pas, pour qu'il y ait arbitraire, que la décision attaquée apparaisse discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais aussi dans son résultat. Par conséquent, le recourant doit exposer, de manière détaillée et pièces à l'appui, que les faits retenus l'ont été d'une manière absolument inadmissible, et non seulement discutable ou critiquable. Il ne saurait se borner à plaider à nouveau sa cause, contester les faits retenus ou rediscuter la manière dont ils ont été établis comme s'il s'adressait à une juridiction d'appel (<ref-ruling> consid. 3). Le Tribunal fédéral n'entre ainsi pas en matière sur des critiques appellatoires portant sur l'appréciation des preuves ou l'établissement des faits par l'autorité précédente (<ref-ruling> consid. 1.3.1).
1.3. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Toutefois, il n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant (art. 106 al. 2 LTF). Sauf exceptions non pertinentes en l'espèce (cf. art. 95 let. c, d et e LTF), on ne peut pas invoquer la violation du droit cantonal ou communal en tant que tel devant le Tribunal fédéral (art. 95 LTF a contrario). Il est néanmoins possible de faire valoir que son application viole le droit fédéral, en particulier l'interdiction de l'arbitraire (art. 9 Cst.) ou d'autres droits constitutionnels. Le Tribunal fédéral n'examine alors de tels moyens que s'ils sont formulés conformément aux exigences de motivation qualifiée prévues à l'art. 106 al. 2 LTF (<ref-ruling> consid. 3.2 et la référence).
1.4. Appelé à revoir l'interprétation d'une norme cantonale sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - même préférable - paraît possible (<ref-ruling> consid. 7.1).
2.
2.1. Le recourant se plaint dans un premier temps d'une violation de son droit d'être entendu, sous l'angle du droit de consulter le dossier, à plusieurs titres.
2.2. Le droit de consulter le dossier est un aspect du droit d'être entendu garanti par l'art. 29 al. 2 Cst (<ref-ruling> consid. 3.2). Ce droit s'étend à toutes les pièces de la procédure qui sont à la base de la décision et garantit que les parties puissent en prendre connaissance et s'exprimer à leur sujet. L'exercice du droit ne peut être refusé au motif que les pièces dont la consultation est demandée sont sans importance pour l'issue du litige (<ref-ruling> consid. 3.2; <ref-ruling> consid. 3.2; <ref-ruling> consid. 4.1; cf. aussi, parmi d'autres, arrêt 8C_72/2018 du 13 novembre 2018 consid. 5.2).
2.3.
2.3.1. Le recourant fait tout d'abord valoir que les seules plaintes de bénéficiaires versées au dossier ne permettent pas de se forger une idée quant à la réelle ampleur des critiques dirigées contre lui. Il souligne en outre que seules des plaintes de deux bénéficiaires figurent au dossier alors qu'il gérait près d'une centaine de dossiers. Il reproche par ailleurs à l'autorité cantonale d'avoir déprécié le rôle joué par ces plaintes des bénéficiaires dans la décision de licenciement, faisant valoir qu'elles constituent au contraire l'un des premiers éléments cités dans la décision du 24 septembre 2020.
2.3.2. La Cour cantonale a jugé que les plaintes des bénéficiaires n'avaient joué qu'un rôle secondaire dans la décision de licenciement. Dans tous les cas, les quelques plaintes au dossier étaient suffisantes pour saisir la nature des reproches formulés tout comme l'indication dans la décision de licenciement que les autres plaintes portaient sur l'absence de réponse aux sollicitations et aux questions des personnes intéressées. Connaissant la teneur des critiques dont il faisait l'objet de la part des bénéficiaires, le recourant n'a dès lors pas été empêché de s'exprimer sur les éléments pertinents avant que la décision de licenciement ne soit prise.
2.3.3. Il est de prime abord surprenant que l'ensemble des plaintes des bénéficiaires visées dans la décision de résiliation des rapports de service du 24 septembre 2020 ne figure pas au dossier et que l'autorité intimée n'ait pas pris des mesures d'instruction pour pallier à ce manquement au cours de la procédure. Cela étant, il faut reconnaître avec l'autorité cantonale que ces plaintes n'ont effectivement joué qu'un rôle secondaire - voire aucun - dans la décision de résiliation des rapports de service. S'il est vrai que les plaintes des bénéficiaires constituent l'un des premiers reproches mentionnés dans la partie en fait de la décision du 24 septembre 2020, il s'agit en réalité des reproches qui ont été adressés au recourant avant la publication du rapport de l'Office D._, la première partie du courrier du 24 septembre 2020 reproduisant essentiellement le contenu du procès-verbal de l'entretien du 28 mai 2020, lors duquel le Conseil communal a fait part au recourant de son intention de le licencier. Il sied à cet égard de souligner que la décision du 24 septembre 2020 indique le nom d'un certain nombre de bénéficiaires et mentionne expressément l'objet des plaintes des bénéficiaires - que le recourant ne conteste d'ailleurs pas. Il résulte en outre de la partie en droit de la décision du 24 septembre 2020 que ce sont bien plutôt les constatations des responsables de service et le rapport de l'Office D._ qui ont conduit à la résiliation des rapports de service. Il n'est du reste pas fait mention des plaintes des bénéficiaires dans la partie en droit de la décision du 24 septembre 2020. L'autorité cantonale pouvait dès lors valablement considérer que le droit d'être entendu du recourant n'avait pas été violé.
2.4.
2.4.1. Le recourant reproche ensuite à l'autorité cantonale d'avoir jugé que le Conseil communal n'avait pas violé son droit d'être entendu en lui refusant de consulter à nouveau le dossier le 20 octobre 2020. Il fait valoir que ni la jurisprudence ni la doctrine ne limitent le nombre de fois auquel l'intéressé peut exercer son droit d'accéder au dossier, ce droit ne pouvant être restreint qu'en vue de sauvegarder un intérêt public prépondérant, un intérêt d'un particulier ou pour préserver des pièces secrètes. Il estime qu'en l'espèce, le Conseil communal ne se serait prévalu d'aucun de ces motifs.
2.4.2. L'autorité cantonale a jugé que l'intimé n'avait pas entravé le recourant dans son droit de consulter le dossier en refusant de lui faire parvenir des documents qu'il possédait déjà. Elle a à cet égard relevé que le recourant n'amenait aucun élément pouvant laisser penser que l'intimé se serait livré à d'autres actes d'instruction pour prendre sa décision en omettant volontairement de les faire figurer au dossier.
2.4.3. En l'espèce, le recourant ne saurait se plaindre d'une violation de son droit de consulter le dossier puisqu'il est établi qu'il possède une copie de l'ensemble du dossier existant et qu'aucune pièce supplémentaire n'a été versée au dossier, étant précisé que l'autorité doit en tout état informer les parties lorsque de nouvelles pièces essentielles, qu'elles ne connaissent pas et ne peuvent pas non plus connaître, sont ajoutées au dossier (ATF 132 I 387 consid. 6.2).
2.5.
2.5.1. Le recourant fait en outre valoir que l'autorité cantonale l'a "entravé dans son droit qui tend à produire des preuves pertinentes". Il expose que le rapport d'audit du service B._ réalisé en 2019 est un élément déterminant dont le contenu était nécessaire pour établir que les reproches qui lui étaient opposés relevaient en réalité d'un important dysfonctionnement régnant au sein du service B._ et qui s'était répercuté sur l'ensemble des collaborateurs. Ce rapport aurait démontré que les manquements reprochés ne pouvaient pas lui être imputés et qu'il avait géré ses dossiers avec le professionnalisme et la conscience utiles dans une situation totalement désordonnée qui avait échappé au contrôle des autorités de la Ville de La Chaux-de-Fonds.
2.5.2. L'autorité cantonale a relevé que le recourant ne prétendait pas que l'audit du service B._ le visait directement ou qu'il aurait dû figurer au dossier. Elle a estimé qu'il critiquait en réalité l'absence de production, respectivement de prise en compte dans l'appréciation de la cause de l'audit de 2019. Elle a, dans ce cadre, jugé que le dossier ne permettait pas de conclure que les manquements dénoncés le 27 novembre 2019 étaient dus à une mauvaise marche du service, et non à ses capacités professionnelles. Les contrôles effectués par l'Office D._ avaient montré qu'aucun autre collaborateur n'avait commis autant d'erreurs de manière systématique. En outre, le suivi mis en place ainsi que les délais et instructions claires fournies au recourant permettaient de retenir que le service, et en particulier l'encadrement des collaborateurs, n'était pas à ce point défaillant qu'il ait pu être la cause des mauvaises compétences professionnelles du recourant. La production de l'audit réalisé au sein du service B._ en 2019 n'était pas de nature à modifier cette appréciation et il ne pouvait dès lors pas être reproché à l'intimé d'avoir renoncé à en obtenir la production.
2.5.3. C'est seulement dans le cadre de la procédure fédérale que le recourant a finalement pu produire les rapports d'audits, dont il avait demandé la production en cours de procédure administrative et devant la juridiction cantonale. Il fait valoir que ces rapports viendraient appuyer son argumentaire et démontreraient un dysfonctionnement important au sein du service B._ qui se serait répercuté sur l'ensemble des collaborateurs et donc également sur lui.
A la lecture des rapports, on constate qu'ils contiennent des recommandations à caractère général et structurel, visant à restaurer le bon fonctionnement du service. Or, le recourant ne se réfère à aucun élément concret et précis contenu dans les rapports, qui le déchargerait des manquements qui lui sont reprochés par l'intimé dans la gestion de son travail. Il ne parvient ainsi pas à démontrer le caractère arbitraire de l'appréciation des preuves ayant conduit la cour cantonale à rejeter sa requête en production des rapports d'audit. En effet, il n'apparaît pas insoutenable - et le recourant ne l'allègue pas - de considérer que la production préalable des rapports d'audit n'aurait rien changé à la conviction des juges cantonaux, acquise sur la base de l'historique des relations entre les parties et des constatations de l'Office D._, que les manquements graves et répétés invoqués par l'intimé à l'appui de la décision de licenciement étaient avérés (cf. concernant l'appréciation des preuves anticipée: <ref-ruling> consid. 4.1 et les arrêts cités). Dans ces conditions, la question de savoir si les rapports d'audits constituent des moyens de preuve nouveaux inadmissibles au sens de l'art. 99 al. 1 LTF peut demeurer ouverte.
3.
3.1. Dans un second grief, le recourant se plaint d'arbitraire dans l'application des articles 13 et 18 du Règlement général pour le personnel de l'administration communale de la Ville de La Chaux-de-Fonds du 10 novembre 1986 (ci-après: RPGA). Il reproche à l'autorité cantonale d'avoir retenu que la qualité de son travail s'était à nouveau péjorée dès 2019 alors que les critiques formées à son encontre découlaient à toute évidence du grave dysfonctionnement révélé par l'audit du service B._. Il fait valoir qu'il s'est démené tant bien que mal pour faire face à l'importante surcharge de travail ainsi qu'à l'absence de management du service. Il considère que l'autorité cantonale a fait preuve d'arbitraire en exposant que l'encadrement des collaborateurs n'était pas à ce point défaillant qu'il ait pu être la cause de ses mauvaises compétences professionnelles car son raisonnement ne s'appuierait sur aucun élément du dossier.
3.2. Selon l'art. 18 RPGA, il peut être mis fin à l'engagement pour justes motifs. Le délai de préavis est de quatre mois (al. 1). Les opinions, notamment syndicales et politiques, ne constituent pas pour l'autorité un juste motif (al. 2). L'autorité a de justes motifs de mettre fin à la fonction lorsque l'intérêt public à la cessation de l'activité l'emporte sur l'intérêt privé au maintien de l'emploi. Constituent notamment de justes motifs l'incapacité professionnelle, les possibilités de changement de poste ayant été étudiées, l'inaptitude à observer les devoirs de fonction, et la disparition d'une condition dont dépendait la nomination (al. 3). Une telle décision peut intervenir qu'il y ait ou qu'il n'y ait pas de faute de la part du fonctionnaire (al. 4).
3.3. L'autorité cantonale a relevé que le recourant ne contestait pas directement les manquements reprochés. Par ailleurs, l'amélioration constatée en 2013, l'augmentation du temps de travail et le certificat de travail du 31 mai 2017 (dont la teneur positive devait être relativisée, la fiche de recueil de données faisant notamment état de difficultés durables de compréhension et de performances très inégales) n'empêchaient aucunement que dès 2019 la qualité du travail du recourant se soit à nouveau détériorée au point de conduire à de nouveaux reproches de la part de ses supérieurs. Elle a par ailleurs relevé que la répétition de comportements que le recourant s'était engagé à corriger tendait à prouver qu'il n'était pas en mesure d'y parvenir de manière durable. L'autorité cantonale a ainsi jugé que les manquements dûment documentés par l'Office D._ et les supérieurs directs du recourant constituaient des circonstances qui, d'après les règles de la bonne foi, permettaient d'admettre que la continuation de la collaboration n'était en l'occurrence plus possible. Le lien de confiance ayant été rompu, l'intimé pouvait dès lors, sans abuser de son pouvoir d'appréciation, mettre fin aux rapport de service du recourant.
3.4. En l'espèce, il n'apparaît pas que l'autorité cantonale ait abusé de son pouvoir d'appréciation en niant qu'une amélioration passagère des prestations - dont elle a au demeurant relativisé la portée sans être contredite par le recourant - n'excluait pas une nouvelle péjoration et en retenant les manquements tels qu'établis par le rapport de l'Office D._ et la hiérarchie du recourant. En tant que ce dernier se contente de se prévaloir du rapport d'audit du service B._ sans discuter les éléments d'appréciation retenus par l'autorité cantonale, sa critique ne saurait prospérer. A supposer qu'il soit recevable, le moyen est ainsi dépourvu de fondement.
4.
Il résulte de ce qui précède que le recours de droit public doit être rejeté. Le recourant, qui invoque son indigence, a bénéficié de l'assistance judiciaire en instance cantonale. Son recours au Tribunal fédéral n'étant pas apparu d'emblée manifestement dépourvu de chances de succès au sens de l'art. 64 al. 1 LTF, il y a lieu de le mettre au bénéfice de la même mesure pour la procédure fédérale. Le recourant est cependant rendu attentif au fait qu'il devra rembourser la caisse du Tribunal fédéral s'il retrouve ultérieurement une situation financière lui permettant de le faire (art. 64 al. 4 LTF).
Bien qu'il obtienne gain de cause, l'intimé n'a pas droit à des dépens (art. 68 al. 3 LTF; voir aussi arrêt 8C_151/2010 du 31 août 2010 consid. 6. 1 et les références).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours de droit public est rejeté.
2.
Le recours constitutionnel subsidiaire est irrecevable.
3.
La demande judiciaire du recourant est admise et M e Frédéric Hainard lui est désigné comme avocat d'office pour la procédure fédérale.
4.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant, mais ils sont provisoirement supportés par la Caisse du Tribunal fédéral.
5.
Une indemnité de 2800 fr. est allouée à l'avocat du recourant à titre d'honoraires à payer par la Caisse du Tribunal fédéral.
6.
Le présent arrêt est communiqué aux parties et à la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel.
Lucerne, le 8 septembre 2021
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Elmiger-Necipoglu