Faits :
A.
A._, né en 1966, a été engagé en 1991 par la Ville de Genève (ci-après : la Ville) en tant que menuisier au service logistique et technique de la division B._. Il est actuellement rattaché au service C._.
Le 26 août 2020, le Conseil administratif de la Ville (ci-après: le Conseil administratif) a décidé d'ouvrir une enquête administrative à l'encontre de A._, car la hiérarchie de ce dernier lui avait fait remonter des problèmes récurrents qu'elle rencontrait avec lui en matière de comportement, de temps de travail, de planification des vacances et de durée des pauses. La hiérarchie soupçonnait également l'usage de ressources professionnelles à des fins personnelles, ainsi que la consommation d'alcool au travail. Le Conseil administratif a confié l'enquête à deux juristes du service juridique de la Ville, à savoir D._ et E._.
Le 7 septembre 2020, A._ a interjeté recours auprès de la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Chambre administrative) contre la décision du Conseil administratif d'ouvrir une enquête administrative à son encontre. Par courrier du même jour, il a informé les enquêteurs qu'il demandait leur récusation, en mettant en cause leur indépendance au regard du contexte particulier de la mission qui leur avait été confiée. Par décision du 9 septembre 2020, déclarée exécutoire nonobstant recours, le Conseil administratif a rejeté la demande de récusation des enquêteurs.
B.
A._ a interjeté recours auprès de la Chambre administrative contre cette décision. Par la suite, les 2 octobre 2020 et 17 décembre 2020, il a déposé deux nouvelles demandes de récusation des enquêteurs, que le Conseil administratif a rejetées par décisions des 14 octobre 2020 et 13 janvier 2021. A._ a fait parvenir ces deux décisions à la Chambre administrative par courriers des 26 octobre 2020 et 25 janvier 2021, en indiquant que ceux-ci devaient en tant que de besoin être traités comme des compléments au recours ou de nouveaux recours.
Par arrêt du 2 mars 2021, la Chambre administrative a rejeté le recours déposé contre la décision du Conseil administratif du 9 septembre 2020. Elle a précisé que le recours portait uniquement sur cette décision, mais que les courriers relatifs aux deuxième et troisième décisions de récusation prises par le Conseil administratif étaient admissibles en tant que preuves nouvelles.
C.
A._ interjette un recours constitutionnel subsidiaire contre cet arrêt, en concluant principalement à sa réforme en ce sens que les enquêteurs conduisant l'enquête administrative dirigée contre lui soient récusés, et subsidiairement à son annulation, la cause étant renvoyée à la cour cantonale pour nouvelle décision au sens des considérants.
L'intimée conclut au rejet du recours dans la mesure de sa recevabilité. La Chambre administrative déclare s'en remettre à justice s'agissant de la recevabilité du recours et persister dans les considérants et le dispositif de son arrêt. Le recourant a répliqué.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office (<ref-law>) et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2; <ref-ruling> consid. 1).
1.1. En vertu de l'art. 83 let. g LTF, la voie du recours en matière de droit public n'est pas ouverte contre les décisions en matière de rapports de travail de droit public qui concernent une contestation non pécuniaire, sauf si elles touchent à la question de l'égalité des sexes. En l'occurrence, le recourant, qui est lié à l'intimée par des rapports de travail de droit public, conteste le rejet d'une requête de récusation des enquêteurs désignés pour mener une enquête administrative à son encontre. Quand bien même l'enquête administrative pourrait au final déboucher sur un licenciement, la décision présentement entreprise ne semble pas concerner une contestation de nature pécuniaire, de sorte que la voie du recours de droit public ne paraît pas ouverte (cf. arrêt 8C_639/2009 du 9 octobre 2009 consid. 3.2). Seule la voie du recours constitutionnel subsidiaire (cf. <ref-law>) - choisie par le recourant - paraît dès lors ouverte en l'espèce. La question peut toutefois rester indécise dans la mesure où la qualification exacte du recours déposé céans n'a pas d'incidence sur sa recevabilité ni sur le pouvoir d'examen du Tribunal fédéral puisque la problématique se limite à l'examen de droits constitutionnels (cf. arrêts 8C_128/2021 du 10 septembre 2021 consid. 1.1; 2C_187/2021 du 11 mai 2021 consid. 1.1).
1.2. Pour le reste, le recours a été déposé en temps utile (art. 100 al. 1 et 117 LTF), dans les formes prescrites par la loi (<ref-law>), contre une décision prise par un tribunal qui a statué sur recours en dernière instance cantonale (art. 86 al. 1 let. d et 114 LTF) et par le destinataire de l'arrêt attaqué (<ref-law>). Ce dernier porte sur une demande de récusation et peut donc faire l'objet d'un recours immédiat quand bien même il ne met pas fin à la procédure (art. 90 et 92 al. 1 LTF). Il y a dès lors lieu d'entrer en matière sur le recours.
2.
2.1. La garantie minimale d'un tribunal indépendant et impartial, telle qu'elle résulte des art. 30 al. 1 Cst. et 6 par. 1 CEDH, permet de demander la récusation d'un juge dont la situation ou le comportement est de nature à susciter des doutes quant à son impartialité. Elle vise à éviter que des circonstances extérieures à l'affaire puissent influencer le jugement en faveur ou au détriment d'une partie. Elle n'impose pas la récusation seulement lorsqu'une prévention effective du juge est établie, car une disposition interne de sa part ne peut guère être prouvée; il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Cependant, seules les circonstances objectivement constatées doivent être prises en considération; les impressions purement individuelles d'une des parties au procès ne sont pas décisives (<ref-ruling> consid. 4.3; <ref-ruling> consid. 3.2; <ref-ruling> consid. 4.2.2).
Selon la jurisprudence, des décisions ou des actes de procédure qui se révèlent par la suite erronés ne fondent pas en soi une apparence objective de prévention; seules des erreurs particulièrement lourdes ou répétées, constitutives de violations graves des devoirs du magistrat, peuvent fonder une suspicion de partialité, pour autant que les circonstances dénotent que la personne en cause est prévenue ou justifient à tout le moins objectivement l'apparence de prévention. La procédure de récusation n'a pas pour objet de permettre aux parties de contester la manière dont est menée l'instruction et de remettre en cause les différentes décisions incidentes prises par la direction de la procédure (ATF <ref-ruling> consid. 3.2; <ref-ruling> consid. 3.2.3).
2.2. Pour les autorités non judiciaires, l'art. 30 al. 1 Cst. et l'art. 6 par. 1 CEDH ne s'appliquent pas. En revanche, on déduit la garantie d'un traitement équitable et l'exigence d'impartialité de l'art. 29 al. 1 Cst., qui dispose que toute personne a droit, dans une procédure judiciaire ou administrative, à ce que sa cause soit traitée équitablement. Dans sa substance, la garantie d'impartialité impose tant au juge qu'à l'autorité administrative qu'ils ne se soient pas déjà déterminés sur les faits à apprécier. Les exigences qui valent pour les tribunaux ne se transposent toutefois pas telles quelles dans la procédure administrative. Ce sont justement les impondérables liés au système de la procédure interne à l'administration qui ont conduit à la création d'instances judiciaires indépendantes (<ref-ruling> consid. 5.2 et les références; arrêt 1C_44/2019 du 29 mai 2019 consid. 4.2).
En d'autres termes, les dispositions sur la récusation sont, en principe, moins sévères pour les membres des autorités administratives et gouvernementales que pour les autorités judiciaires (<ref-ruling> consid. 5.2; <ref-ruling> consid. 5.2). Contrairement à l'art. 30 al. 1 Cst., qui ne concerne que les procédures judiciaires, l'art. 29 al. 1 Cst. n'impose en effet pas l'indépendance et l'impartialité comme maxime d'organisation d'autorités gouvernementales, administratives ou de gestion et n'offre pas, dans ce contexte, une garantie équivalente à celle applicable aux tribunaux (<ref-ruling> consid. 3f, 209 consid. 8a; arrêt 1C_44/2019 consid. 4.2 précité). Comme pour la récusation des juges (cf. arrêt 1P.742/1999 du 15 février 2000 consid. 2b), l'apparence de partialité peut découler d'un comportement déterminé d'un membre de l'autorité ou de circonstances de nature fonctionnelle ou organisationnelle (<ref-ruling> consid. 5.1; <ref-ruling> consid. 4.2.2). Cependant, les demandes de récusation dirigées contre des personnes qui participent à une décision administrative par une activité de conseil ou d'instruction ne doivent pas être admises à la légère; les circonstances faisant redouter une apparence de partialité doivent être examinées concrètement dans chaque cas d'espèce, en tenant compte de la fonction et de l'organisation de l'autorité administrative (ATF <ref-ruling> consid. 5.2 et les références).
2.3. Sur le plan cantonal, l'art. 15 al. 1 de la loi cantonale genevoise sur la procédure administrative du 12 septembre 1985 (LPA; RS/GE E 5 10) dispose que les membres des autorités administratives appelés à rendre ou à préparer une décision doivent se récuser s'ils ont un intérêt personnel dans l'affaire (let. a), s'ils sont parents ou alliés d'une partie en ligne directe ou jusqu'au troisième degré inclusivement en ligne collatérale ou s'ils sont unis par mariage, fiançailles, par partenariat enregistré ou mènent de fait une vie de couple (let. b), s'ils représentent une partie ou ont agi pour une partie dans la même affaire (let. c) ou s'il existe des circonstances de nature à faire suspecter leur partialité (let. d).
Dans un arrêt du 23 juin 2015 (cf. ATA/657/2015, consid. 3), la Chambre administrative a considéré que le fait que les deux enquêteurs désignés par le Conseil administratif, respectivement directeur général adjoint à la direction générale de l'administration municipale et juriste, dépendaient directement ou indirectement du secrétaire général ne permettait pas, en l'absence d'autres indices concrets, de mettre en doute leur objectivité. Dans un arrêt du 20 juin 2017 (cf. ATA/678/2017, consid. 7), elle a considéré que la possibilité de nommer des enquêteurs internes, dont dispose la Ville à l'art. 97 al. 1 de son Statut du personnel du 29 juin 2010 (LC 21 151), était de nature à augmenter le risque qu'une apparence de partialité soit créée, dont le corollaire devait être l'exigence que les enquêteurs portent une attention toute particulière au déroulement serein de l'enquête et fassent preuve dans la conduite de celle-ci de la plus grande neutralité avec pour seul but d'établir les faits visés par celle-ci.
3.
3.1. Compris comme l'un des aspects de la notion générale de procès équitable au sens de l'art. 29 Cst., le droit d'être entendu garantit notamment au justiciable le droit de s'expliquer avant qu'une décision soit prise à son détriment, le droit d'avoir accès au dossier et le droit d'obtenir qu'il soit donné suite à ses offres de preuve pertinentes, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 4.1; <ref-ruling> consid. 3.2; <ref-ruling> consid. 2.3). Le droit du justiciable de faire administrer des preuves n'empêche toutefois pas le juge de renoncer à l'administration de certaines preuves offertes lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, il a la certitude que ces dernières ne pourraient pas l'amener à modifier son opinion (<ref-ruling> consid. 4.1; <ref-ruling> consid. 3.1.3).
3.2. Le droit d'être entendu confère aussi au justiciable le droit de prendre connaissance de toute argumentation présentée au tribunal et de se déterminer à son propos, dans la mesure où il l'estime nécessaire, que celle-ci contienne ou non de nouveaux éléments de fait ou de droit, et qu'elle soit ou non concrètement susceptible d'influer sur le jugement à rendre (<ref-ruling> consid. 4.1.1 et les arrêts cités).
4.
On exposera ci-après la motivation de l'arrêt attaqué, avant d'examiner les griefs du recourant.
4.1.
4.1.1. La cour cantonale a d'abord examiné le grief tiré par le recourant d'une violation de son droit d'être entendu du fait que la procédure décisionnelle menée par le Conseil administratif s'était déroulée en moins de deux jours, sans qu'il puisse accéder au dossier remis à cette autorité ni compléter sa requête. Les juges cantonaux ont considéré à cet égard que la procédure de récusation avait été initiée par une requête du recourant, si bien que celui-ci n'avait pas à être encore entendu avant la prise de décision, cette dernière ne faisant pas ressortir d'éléments auxquels il ne pouvait pas s'attendre. Quant à l'accès au dossier administratif ayant justifié l'ouverture d'une enquête administrative, il s'agissait d'un point extérieur au litige portant sur la récusation des enquêteurs.
4.1.2. Ensuite, après avoir rappelé les principes relatifs à la récusation et la jurisprudence cantonale topique (cf. consid. 2 supra), la juridiction cantonale a considéré que le simple fait que les deux enquêteurs appartenaient au service juridique de la Ville et étaient subordonnés au directeur général de l'administration municipale ne suffisait pas à retenir qu'ils seraient prévenus. Cela restait valable quand bien même la supérieure hiérarchique du recourant aurait préféré que fussent nommées une ou des personnes extérieures à l'administration, choix qui serait à l'évidence préférable de manière générale, en termes d'indépendance et d'impartialité des enquêteurs, mais que le droit n'imposait en l'état pas aux communes. Quant aux comportements des enquêteurs subséquemment dénoncés par le recourant dans ses deuxième et troisième demandes de récusation, il ne s'agissait à tout le moins pas d'erreurs procédurales graves et répétées susceptibles de conduire à leur récusation. Enfin, les juges cantonaux ont exposé n'avoir pas de raison objective de douter de l'affirmation de l'intimée lorsqu'elle déclarait qu'en l'espèce, les enquêteurs n'avaient pas dû traiter eux-mêmes des procédures judiciaires liées à l'enquête administrative qu'ils conduisaient.
4.2.
4.2.1. Le recourant se plaint d'une violation de son droit à la réplique (cf. consid. 3.2 supra) et critique à cet égard le raisonnement de la cour cantonale exposé au consid. 4.1.1 ci-dessus. Ce raisonnement ferait fi du courrier de demande d'ouverture d'une enquête administrative du 5 juin 2020, dans lequel la directrice du Département F._ mentionnait que "vu les qualités de Monsieur A._ et l'aspect très délicat de ses relations professionnelles avec ses collègues et sa hiérarchie, il semblerait opportun de confier cette enquête à une personne choisie à l'extérieur de l'administration municipale". Selon le recourant, la décision du 9 septembre 2020 aurait ainsi fait ressortir un élément auquel il ne pouvait pas s'attendre, en ce sens que le Conseil administratif avait sciemment décidé de passer outre la recommandation contenue dans le courrier du 5 juin 2020.
4.2.2. Ce grief tombe à faux. L'intimée a relevé dans sa réponse, sans être contredite par le recourant dans sa réplique, qu'une copie complète du dossier du recourant avait été remise à ce dernier le 1 er septembre 2020, soit une semaine avant qu'il dépose le 7 septembre 2020 sa requête de récusation ainsi qu'un recours contre la décision du Conseil administratif d'ouvrir une enquête administrative à son encontre, dans lequel il s'est prévalu verbatim du courrier du 5 juin 2020.
4.3.
4.3.1. Le recourant reproche à la cour cantonale de n'avoir pas vu de raison objective de douter de l'affirmation de l'intimée lorsqu'elle déclarait qu'en l'espèce, les enquêteurs n'avaient pas dû traiter eux-mêmes des procédures judiciaires liées à l'enquête administrative qu'ils conduisaient (cf. consid. 4.1.2 supra). Ce faisant, les juges cantonaux auraient violé son droit à la preuve en ne donnant pas suite à l'offre de preuve formulée dans sa réplique du 25 janvier 2021, dans laquelle il indiquait qu'"il y a lieu de mettre fin à ce mélange des genres, voyant le voisin de bureau des enquêteurs, membre du même service - si ce n'est pas eux directement, ce que le recourant offre de prouver par enquêtes notamment -, rédiger des observations et des décisions en tant qu'employeur du recourant tout en faisant mine par ailleurs d'offrir une enquête indépendante et impartiale en sa faveur".
4.3.2. Ce grief est dénué de fondement. Au vu de la formulation de l'offre de preuve toute générale concernant la pure hypothèse - ne reposant sur aucun indice concret - selon laquelle les enquêteurs auraient pu être amenés à traiter eux-mêmes des procédures liées à l'enquête administrative qu'ils conduisaient, la cour cantonale pouvait sans arbitraire donner foi aux déterminations de l'intimée sur ce point et renoncer à administrer des preuves.
4.4.
4.4.1. Sur le fond, le recourant fait grief à la Chambre administrative d'avoir violé les art. 29 al. 1 Cst. et 9 Cst. en lien avec l'art. 15 LPA en niant l'apparence de prévention des enquêteurs. Rappelant que sa propre supérieure hiérarchique avait indiqué qu'il lui semblait opportun de confier l'enquête administrative à une personne choisie à l'extérieur de l'administration municipale, choix dont la cour cantonale elle-même a considéré qu'il serait à l'évidence préférable de manière générale, le recourant soutient que l'art. 29 al. 1 Cst. imposerait de censurer pareille configuration. En effet, celle-ci serait constitutive d'une "prévention systémique" des enquêteurs, au regard tant des liens de subordination entre ceux-ci et la hiérarchie du recourant que de leurs liens avec leurs collègues du même service suivant la procédure. A cela s'ajouteraient les différents épisodes, en lien avec les deuxième et troisième demandes de récusation, portés à la connaissance de la cour cantonale, lesquels témoigneraient indubitablement des graves erreurs procédurales répétées des enquêteurs qui auraient dû conduire à leur récusation.
4.4.2. Dans la mesure où le recourant n'entreprend même pas de démontrer en quoi l'arrêt attaqué procéderait d'une application arbitraire de l'art. 15 LPA et de la jurisprudence cantonale en la matière (cf. consid. 2.3 supra), son argumentation ne répond pas aux exigences de motivation accrues posées par l'<ref-law> pour l'invocation de la violation de droits fondamentaux ou de dispositions de droit cantonal (cf. <ref-ruling> consid. 2.1; <ref-ruling> consid. 2). Quant à l'art. 29 al. 1 Cst., le recourant ne démontre pas en quoi les liens de subordination entre les enquêteurs et la hiérarchie du recourant ou leurs liens avec leurs collègues du même service suivant la procédure devraient conduire à retenir une apparence de partialité au regard de cette garantie constitutionnelle et de la jurisprudence y relative (cf. consid. 2.2 supra). Enfin, le recourant ne démontre pas en quoi les comportements des enquêteurs subséquemment dénoncés dans ses deuxième et troisième demandes de récusation devraient être qualifiés d'erreurs procédurales graves et répétées justifiant leur récusation (cf. consid. 2.1 supra), se contentant sur ce point d'opposer sa propre appréciation à celle de la cour cantonale.
5.
Il résulte de ce qui précède que le recours doit être rejeté. Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>). Bien qu'elle obtienne gain de cause, l'intimée n'a pas droit à des dépens (<ref-law>; arrêt 8C_151/2010 du 31 août 2010 consid. 6 et les références).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 1000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Chambre administrative de la Cour de justice de la République et canton de Genève.
Lucerne, le 4 novembre 2021
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
Le Greffier : Ourny