Faits:
A. B._ travaille depuis de nombreuses années au service de sécurité de la Commune X._. Le 6 octobre 2008, le syndicat des services publics a demandé au maire de la commune l'ouverture d'une enquête administrative à son encontre. Il alléguait une attitude de harcèlement psychologique de la part du fonctionnaire à l'égard de certains de ses collègues. Le 8 décembre 2008, le conseil administratif de la commune a informé B._ qu'il avait décidé d'ouvrir une enquête administrative à son endroit. Celui-ci serait dispensé d'exercer ses fonctions pendant l'enquête, sous réserve de missions ponctuelles. Son traitement continuerait à lui être versé en totalité. L'enquête était confiée à S._, secrétaire général adjoint de la commune. Il serait assisté de Me R._, en qualité de greffière. Le 19 décembre 2008, B._ a recouru contre cette décision devant le Tribunal administratif du canton de Genève, en contestant notamment le choix de confier à R._ la fonction de greffière dans l'enquête.
B. Le 14 janvier 2009, B._ a d'autre part écrit à S._ pour exiger sa récusation en raison de faits survenus en 2004 et qui, selon lui, faisaient obstacle à la désignation de ce dernier comme enquêteur, les circonstances donnant l'apparence d'une prévention et faisant redouter un comportement partial de sa part dans le déroulement de l'enquête. La commune a rejeté cette demande par décision du 20 janvier 2009. B._ a également recouru contre cette décision devant le Tribunal administratif.
C. Statuant le 23 juin 2009, le Tribunal administratif a déclaré irrecevable le recours interjeté contre la décision d'ouverture d'enquête du 8 décembre 2008, au motif que cette décision n'était pas propre à causer un préjudice irréparable (ATA/305/2009). Ce jugement n'a fait l'objet d'aucun recours.
Le 23 juin 2009 également, le Tribunal administratif a rejeté le recours contre la décision du 20 janvier 2009 (ATA/306/2009). Par arrêt du 9 octobre 2009, le Tribunal fédéral a rejeté le recours formé contre ce jugement par B._ (arrêt 8C_639/2009).
D. Le 5 novembre 2009, B._ a derechef remis en cause la participation de R._ en qualité de greffière dans la procédure d'enquête. Cette contestation a donné lieu à une nouvelle procédure judiciaire devant le Tribunal administratif (cause A/4184/ 2009). Au cours de cette procédure, S._ a été amené à prendre position. Dans une écriture du 4 décembre 2009, il s'est exprimé en ces termes:
B._ abusait de la procédure. Il savait pertinemment que la présence de R._ avait fait l'objet d'une décision définitive du Tribunal administratif. Il avait combattu une précédente décision de la commune confiant au président de la Cour de justice le soin de procéder à l'enquête litigieuse. Depuis lors, B._ n'avait de cesse de vouloir écarter l'enquêteur, ainsi que sa greffière, dans le but d'empêcher par tous les moyens de permettre à l'enquête administrative d'arriver à son terme. Cet acharnement procédurier était intolérable et le Tribunal administratif était invité à y mettre fin. En sa qualité de fonctionnaire de la police municipale, B._ avait le devoir, plus que quiconque, de se soumettre à la décision de la commune et de ne pas l'entraver par des moyens dilatoires. Cette attitude ne le priverait d'aucun des droits que lui reconnaissent la loi et la pratique administrative. Quant aux avocats de B._, ils accusaient continuellement l'enquêteur d'être incompétent et de violer la loi. Ces affirmations étaient d'autant plus blessantes et injustes à son égard que les mandataires ne l'avaient jamais rencontré ni n'avaient assisté à une audience d'enquête, tout ayant été mis en oeuvre pour que des mesures d'instruction ne puissent pas avoir lieu. S._ se disait victime d'un mauvais procès d'intention. Il priait le tribunal de le laisser mener son enquête à l'encontre de B._, lequel pourrait toujours contester la décision du conseil administratif de la commune prise au terme de la procédure.
Le 10 décembre 2009, B._ a de nouveau demandé à la commune la récusation de S._ en raison cette fois des propos précités. Le 29 janvier 2010, la commune a rejeté cette demande.
E. Par écriture du 3 mars 2010, B._ a recouru devant le Tribunal administratif contre cette décision. Il a conclu à son annulation et demandé au tribunal de prononcer la récusation de S._ dans l'enquête administrative ordonnée le 8 décembre 2008. Dans leur réponse du 19 mars 2010, la commune et S._ ont conclu au rejet du recours.
B._ a répliqué le 12 avril 2010. Il déplorait en particulier que S._ n'eût pas été invité par la commune à se déterminer sur sa propre récusation. Dans une brève duplique, datée du 15 avril 2010, la commune a précisé que S._ avait bien été interpellé sur la demande de récusation dont il était l'objet et qu'il avait clairement indiqué qu'il n'entendait pas se récuser.
Par lettre du 20 avril 2010 adressée à la présidente du Tribunal administratif, B._ a demandé l'autorisation de s'exprimer sur ce dernier point soulevé par la commune. Invité à faire part de ses observations, B._ s'est plaint, dans une écriture du 3 mai 2010, de n'avoir pas été interpellé par la commune «sur cette étape procédurale, pourtant d'importance s'agissant de la détermination du principal intéressé». Il y voyait une omission constitutive d'une violation de son droit d'être entendu, non susceptible d'être réparée. Le 4 mai 2010, l'avocat des intimés a précisé qu'il était intervenu, depuis le début de la procédure, tant au nom de la commune que de celui de S._, lequel avait, par son entremise, clairement manifesté son désaccord quant à la demande de récusation, en particulier dans la réponse au recours du 19 mars 2010. B._ a produit d'ultimes déterminations le 11 mai 2010.
Par ordonnance du 23 juin 2010, les parties ont été informées que la cause serait gardée à juger.
Statuant le 29 juin 2010, le Tribunal administratif a rejeté le recours dirigé contre la décision de la municipalité du 29 janvier 2010 (ATA/461/2010).
F. Contre ce jugement, B._ exerce un recours constitutionnel subsidiaire dans lequel il conclut derechef à la récusation de S._ dans l'enquête ouverte le 8 décembre 2008. Subsidiairement, il conclut au renvoi de la cause à l'autorité cantonale pour nouvelle décision. Dans une écriture commune la municipalité X._ et S._ concluent au rejet du recours.
G. Le 15 novembre 2010, B._ a demandé au tribunal l'autorisation de répliquer. Par ordre du juge instructeur, la chancellerie du Tribunal fédéral lui a répondu qu'il ne se justifiait pas, en l'espèce, d'ordonner un échange ultérieur d'écritures. En revanche, les parties étaient libres de déposer spontanément des déterminations sur des écritures nouvelles. A ce jour, B._ n'a pas produit de nouvelles déterminations.

Considérant en droit:
1. 1.1 Selon l'<ref-law>, les décisions préjudicielles et incidentes qui sont notifiées séparément et qui portent sur la compétence ou sur une demande de récusation peuvent faire l'objet d'un recours (al. 1). Ces décisions ne peuvent plus être attaquées ultérieurement (al. 2). En l'espèce, on est en présence d'une décision incidente qui porte sur la récusation et qui est donc susceptible de faire l'objet d'un recours immédiat. Bien que cette condition ne soit pas expressément prévue par la loi, il va par ailleurs de soi qu'en vertu du principe de l'unité de la procédure, le recours contre une décision incidente est exclu si le recours contre la décision finale n'est pas recevable (<ref-ruling> consid. 2.2 p. 647).
1.2 Au stade actuel de la procédure, aucune sanction n'a été prononcée à l'encontre du recourant. Rien ne dit que la commune pourrait être amenée à prendre des sanctions disciplinaires susceptibles d'avoir une incidence directe sur le traitement du recourant. On doit donc admettre que l'exception prévue à l'art. 83 let. g LTF s'applique en l'espèce. Seule la voie - choisie par le recourant - du recours constitutionnel subsidiaire (<ref-law>) est ouverte. En tant que partie à la procédure cantonale, disposant de surcroît d'un intérêt juridique à l'annulation de la décision attaquée, le recourant a qualité pour agir au sens de l'<ref-law>.
2. 2.1 Le recourant se plaint d'une violation de l'art. 29 Cst. Il fait valoir que les premiers juges n'ont pas traité le grief qu'il avait soulevé dans ses écritures (des 20 avril 2010 et 11 mai 2010) relativement au fait que l'enquêteur ne s'était pas déterminé en première instance, soit au stade de la procédure administrative, sur la demande de récusation formulée à son encontre. La commune aurait clairement indiqué que l'enquêteur avait été invité à se déterminer sur sa demande de récusation, sans que le recourant n'en fût informé ni mis en situation de réagir à ce propos. En ignorant complètement cet aspect du litige, l'autorité cantonale aurait commis un déni de justice formel et violé le droit d'être entendu du recourant.
2.2 La jurisprudence a déduit du droit d'être entendu l'obligation pour l'autorité de motiver sa décision, afin que l'intéressé puisse la comprendre, l'attaquer utilement s'il y a lieu et que l'autorité de recours puisse exercer son contrôle. La motivation d'une décision est suffisante lorsque l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. L'autorité ne doit toutefois pas se prononcer sur tous les moyens des parties; elle peut se limiter aux questions décisives (<ref-ruling> consid. 4.1 p. 88 et les arrêts cités).
2.3 En l'espèce, le jugement attaqué se prononce sur la question litigieuse - et centrale - de la récusation de S._. Il est vrai que les premiers juges ne se sont pas exprimés sur la controverse soulevée par le recourant à propos des déterminations de l'enquêteur sur sa propre récusation. Le recourant ne démontre toutefois pas en quoi cette circonstance était pertinente pour l'issue du litige. Il n'indique pas davantage en quoi l'élément invoqué l'aurait empêché de comprendre et d'attaquer utilement la décision entreprise. Le moyen soulevé ici doit être écarté.
3. 3.1 Invoquant les art. 6 CEDH et 29 al. 2 Cst., le recourant se plaint ensuite d'une violation de son droit à la réplique. Il fait valoir à ce propos qu'il n'aurait pas été informé du fait que l'enquêteur a été invité par le conseil administratif de la commune à se déterminer sur sa récusation. Il n'a pas non plus pu obtenir un tirage de la détermination de l'enquêteur.
3.2 On ne voit pas au juste le sens de cette argumentation. Il est en tout cas douteux qu'elle satisfasse aux exigences de motivation des <ref-law> et 106 al. 2 LTF. Quoi qu'il en soit, il n'apparaît pas que S._ ait produit des déterminations écrites au sujet de la demande de récusation au stade de la procédure administrative. Le recourant ne prétend pas le contraire. L'enquêteur s'est en revanche exprimé dans ses écritures en procédure cantonale sur lesquelles le recourant a pu se déterminer. Partant, on ne discerne aucune violation du droit d'être entendu du recourant et plus spécialement de son droit à la réplique.
4. 4.1 Le recourant invoque le droit à une autorité impartiale qu'il déduit de l'art. 29 al. 1 Cst., en raison des propos tenus par l'enquêteur dans son écriture du 4 décembre 2009, dans la procédure connexe relative à la participation de R._ à l'enquête.
4.2 S'agissant des fonctionnaires et des membres des autorités administratives sans responsabilité politique, ils sont tenus de se récuser s'ils ont un intérêt personnel à l'affaire. De manière plus générale, il peut exister d'autres motifs de récusation. Cependant, de par la nature de leurs fonctions, les exigences en ce qui les concerne en matière de récusation sont moins sévères que celles qui sont requises pour les juges. Il convient de tenir compte de cette différence quand il s'agit d'examiner si des circonstances objectives donnent l'apparence d'une prévention (arrêts I 478/04 du 5 décembre 2006 consid 2.2.2; 2P.106/1999 du 18 juin 1999 consid. 4a; 2A.426/1997 du 30 janvier 1998 consid. 2a; cf. aussi FELIX UHLMANN, in: Basler Kommentar, Bundesgerichtsgesetz, 2008, n° 10 ad <ref-law>, note de bas de page 37).
4.3 Les premiers juges ont considéré que les propos incriminés n'étaient pas de nature à faire douter de l'impartialité de S._. Ces propos sont intervenus dans un contexte de mise en cause récurrente des actes relatifs à l'accomplissement de sa mission d'enquêteur, qu'il ne peut mener à bien en raison des obstacles qui sont perpétuellement dressés. Ils répondent, de manière certes ferme, à ces mises en cause et marquent une opposition à une stratégie judiciaire abusive utilisée par le recourant, sans toutefois laisser transparaître de motifs de prévention qui influeraient sur le bon déroulement de l'enquête et sur les conclusions qui seraient prises à son terme.
4.4 Ce point de vue doit être confirmé.
En substance, l'enquêteur a exprimé l'avis que le recourant usait de procédés dilatoires. Il a en outre contesté les accusations d'incompétence portées contre lui par le recourant et s'est dit victime d'un procès d'intention. Les termes utilisés par l'enquêteur étaient maladroits dans leur expression et on pouvait attendre de lui qu'il s'abstienne de prendre position sur un ton qui pouvait, dans une certaine mesure tout au moins, apparaître polémique. Ses propos peuvent toutefois se comprendre par le souci de l'enquêteur de pouvoir commencer son enquête après de nombreux mois de procédure émaillée par des incidents liés à sa récusation et à celle de sa greffière. Il pouvait voir dans ces incidents une volonté de retarder au maximum le début de l'enquête. Or, il importait que l'autorité veille à ce qu'une issue de la procédure intervienne dans un délai raisonnable, surtout dans une situation où, comme en l'espèce, le fonctionnaire conserve son droit au traitement tout en étant dispensé de fournir un travail. Dans un tel contexte, le fait de reprocher - à tort ou à raison - au recourant d'user de mesures dilatoires ne suffit pas pour mettre en doute l'impartialité de l'enquêteur. Dans la procédure précédente de récusation, le recourant avait par ailleurs fait valoir que l'enquêteur devait être récusé parce qu'il n'avait pas les compétences nécessaires pour mener à bien sa mission (voir le consid. 4.1 de l'arrêt 8C_639/2009). Les propos en question de S._ peuvent donc aussi témoigner d'une certaine irritation quant à ce reproche d'incompétence dont l'enquêteur pouvait légitiment penser qu'il était formulé de manière tout à fait gratuite. Toujours est-il que s'agissant du déroulement de la procédure à venir et sur son issue, l'enquêteur n'a pas manifesté d'opinion préconçue. Dans ces conditions, les propos incriminés ne suffisent pas, s'agissant d'un fonctionnaire, pour fonder une obligation de ce dernier de se récuser. Sur ce point également, le grief soulevé doit être écarté.
5. De ce qui précède, il résulte que le recours est mal fondé. Succombant, le recourant supportera les frais judiciaires (<ref-law>). Il versera en outre une indemnité de dépens à S._ qui obtient gain de cause avec l'assistance d'un avocat. Bien qu'elle obtienne également gain de cause, la commune intimée n'a pas droit à des dépens (<ref-law>; arrêt 8C_151/2010 du 31 août 2010 consid. 6.2).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Une indemnité de 1'000 fr. est allouée à S._, à titre de dépens, à la charge du recourant.
4. Le présent arrêt est communiqué aux parties, à S._ et à la Chambre des assurances sociales de la Cour de justice du canton de Genève.
Lucerne, le 24 janvier 2011
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Ursprung Fretz Perrin