Faits :
A.
A._ a été engagé par la commune de B._ en qualité de cantonnier à partir du 3 février 1992. Dès le 1 er janvier 1996, il est devenu secrétaire de la commune. Le 1 er septembre 2007, il a été nommé chef du secteur voirie du service Transport, Voirie et Espaces verts (STVE). A partir du 1 er octobre 2012, parallèlement à son activité de chef de secteur, il a occupé la fonction de suppléant du chef de service du STVE.
Le 20 août 2013, le Procureur général a ordonné l'ouverture d'une enquête pénale à l'encontre du prénommé. Cette mesure faisait suite à une dénonciation de la Cour des comptes qui avait mené une mission d'audit dans la commune et déclaré avoir rassemblé des informations susceptibles de fonder une suspicion de réalisation des éléments constitutifs d'une infraction à l'<ref-law>. Des auditions étaient encore en cours.
Le 27 août 2013, la Cour des comptes a rendu le rapport n o 67 consistant en un audit de légalité et de gestion de la commune. Il ressortait notamment de la synthèse de ce rapport que la Cour des comptes avait "identifié des manquements potentiels concernant l'intégrité et l'éthique de la gestion et des activités au sein d'un service de la Ville de B._". Après avoir ordonné l'ouverture d'une enquête administrative à l'encontre de A._ et pris connaissance des conclusions de l'enquêteur, la commune de B._ a résilié les rapports de service du prénommé pour le 31 décembre 2014 (décision du 15 septembre 2014). L'intéressé était libéré, avec effet immédiat, de l'obligation de travailler. Cette décision a fait l'objet de recours successifs, tout d'abord devant la Cour de justice de la République et canton de Genève, Chambre administrative (arrêt du 8 mars 2016, cause ATA/211/2016), puis devant le Tribunal fédéral. Celui-ci a constaté que la procédure cantonale était entachée d'un vice de procédure qui devait entraîner d'emblée l'annulation du jugement entrepris, indépendamment des chances de succès du recours sur le fond. En conséquence, il a renvoyé la cause à l'autorité précédente pour nouvelle décision (arrêt du 9 décembre 2016, cause 8C_318/2016).
B.
Par ordonnance du 17 août 2015, le Ministère public a ordonné le classement de la procédure pénale ouverte à l'encontre de A._. Il a refusé d'allouer à celui-ci une indemnité ou un montant à titre de réparation du tort moral. Il l'a condamné aux frais de la procédure arrêtés à 2'890 fr. Le refus d'une indemnité était motivé par le fait que le prévenu avait à réitérées reprises et de manière fautive violé ses devoirs de service et devait donc envisager que son comportement allait provoquer l'ouverture d'une enquête pénale.
C.
Invoquant cette ordonnance de classement, A._ a demandé à la commune de B._ de prendre en charge "l'intégralité des frais et honoraires induits par la procédure pénale". Le 21 septembre 2015, la commune a répondu qu'elle n'entendait pas entrer en matière sur cette demande, estimant qu'elle n'avait aucune obligation de rembourser les frais de défense encourus par son ex-employé.
D.
Par écriture du 23 octobre 2015, A._ a recouru contre cette décision devant la Cour de justice de la République et canton de Genève. Il a conclu à la condamnation de la commune à lui verser le montant de 55'810 fr. au titre de frais et honoraires occasionnés par la procédure pénale dont il avait fait l'objet. La Commune a conclu à l'irrecevabilité du recours, subsidiairement à son rejet.
Le 25 novembre 2015, la juge déléguée de la Chambre administrative a transmis cette réponse au recourant. Elle lui a imparti un délai au 17 décembre 2015 pour formuler "toute requête complémentaire". Passé cette date et sans nouvelle de la part de l'intéressé, la cause serait gardée à juger en l'état du dossier. Le 17 décembre 2015, A._ a demandé à la juge déléguée de suspendre l'instruction de la cause dès lors que l'arrêt de la Chambre pénale de recours qui devait statuer sur la responsabilité objective et primaire de l'Etat de Genève au sens des <ref-law> n'avait toujours pas été rendu. Il était dès lors prématuré de produire une "réplique complète". Le 22 décembre 2015, la juge déléguée a répondu qu'elle prenait bonne note de la demande de suspension de l'instruction et que, du moment que le recourant entendait déposer une réplique, un ultime délai pour la produire lui était fixé au 15 janvier 2016.
Le 15 janvier 2016, A._ a sollicité une prolongation de délai au 15 février suivant. La juge déléguée lui a fait savoir, le 19 janvier 2016, que la Chambre administrative n'était pas en mesure de donner suite à cette requête, une première prolongation lui ayant été d'ores et déjà accordée avec la mention qu'il s'agissait d'un ultime délai. Le 22 janvier 2016, A._ a sollicité un ultime "délai de grâce" au lundi suivant. Cette communication, émanant de son avocat, contenait en outre la phrase suivante:
"Par ailleurs, je vous rappelle que mon client a sollicité, au sens de l'art. 6 CEDH, la tenue d'une audience répondant aux exigences de cette disposition. Le cas échéant, je m'exprimerai à cette occasion."
Après que la Chambre administrative lui eut retourné une écriture "non autorisée", A._ a sollicité l'octroi d'un nouveau délai et demandé qu'à défaut l'incident soit tranché par la Chambre administrative. Il a réitéré sa demande de débats publics (lettre du 29 janvier).
La Chambre administrative n'a pas donné suite à ces requêtes. Statuant le 8 mars 2016, elle a déclaré irrecevable le recours au motif que la prétention invoquée devant elle ne trouvait aucun fondement dans le droit public cantonal.
E.
A._ forme un recours en matière de droit public dans lequel il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à la cour cantonale pour instruction complémentaire et nouvelle décision. La commune de B._ conclut au rejet du recours.

Considérant en droit :
1.
1.1. Le point de savoir si l'on est en présence d'une cause de droit public relevant du droit de la fonction publique au sens de l'art. 83 let. g LTF est une question qui constitue l'objet du litige porté devant le Tribunal fédéral. L'examen de la recevabilité du recours suppose donc de résoudre une question qui se recoupe avec le litige au fond. Dans un tel cas, il suffit, au stade de la recevabilité, que le recourant rende vraisemblable que, sur la question litigieuse, les conditions fondant la compétence du tribunal sont remplies, le point de savoir si tel est effectivement le cas étant ensuite tranché, pour autant que les autres conditions de recevabilité propres à la matière soient réunies, avec l'examen de la cause au fond (<ref-ruling> consid. 5.1 p. 33; arrêts 2C_284/2016 du 20 janvier 2017 consid. 1.1; 8C_227/2014 du 18 février 2015 consid. 2.1).
1.2. En l'occurrence, le recourant a fondé sa prétention sur le devoir de protection de l'Etat, en sa qualité d'employeur, à l'égard de ses employés faisant l'objet d'une procédure pénale pour des faits survenus dans l'exercice de leurs fonctions. Il rend vraisemblable une possible prétention découlant d'un rapport de travail de droit public. D'autre part, la contestation est de nature pécuniaire, de sorte que le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération. La valeur litigieuse dépasse par ailleurs le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public en ce domaine (<ref-law>). Il convient dès lors d'entrer en matière sur le recours.
2.
Eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, le Tribunal fédéral n'examine en principe que les griefs soulevés. Le recourant doit par conséquent critiquer les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 2 p. 116; également <ref-ruling> consid. 1.3 p. 584). De plus, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 6.3 p. 375).
3.
Dans un premier grief, le recourant reproche à la juridiction cantonale de n'avoir pas donné suite à sa demande de débats publics. Il invoque, notamment, une violation de l'art. 6 par. 1 CEDH.
3.1. La tenue de débats publics doit, sauf circonstances exceptionnelles non réunies en l'espèce, avoir lieu devant les instances judiciaires précédentes. Il appartient à ce titre au recourant, sous peine de forclusion, de présenter une demande formulée de manière claire et indiscutable. Saisi d'une telle demande, le juge doit en principe y donner suite. Il peut cependant s'en abstenir dans les cas prévus par l'art. 6 par. 1, 2ème phrase, CEDH, lorsque la demande est abusive (chicanière ou dilatoire), lorsqu'il apparaît clairement que le recours est infondé, irrecevable ou, au contraire, manifestement bien fondé ou encore lorsque l'objet du litige porte sur des questions hautement techniques (<ref-ruling> consid. 5. 1 p. 98; <ref-ruling> consid. 1 p. 281; <ref-ruling> consid. 2.3 p. 333; <ref-ruling> consid. 3b p. 55; FRANK MEYER in: Karpenstein/Mayer, EMRK, Kommentar, 2ème éd., 2015, n. 64 ss ad art. 6). Le droit à des débats publics n'est pas périmé du seul fait que ceux-ci ne sont expressément demandés que lors du second échange d'écritures. En règle générale, une demande déposée pendant l'échange d'écritures est formée à temps (ATF <ref-ruling>).
3.2. En l'espèce, le recourant n'a présenté sa demande que dans son courrier du 22 janvier 2016, après l'ultime délai qui lui avait été accordé au 15 janvier 2016 par la juge déléguée pour d'éventuelles observations. Il présentait cette requête comme un rappel d'une demande précédente, bien qu'il n'eût jusqu'alors formulé aucune requête de cette nature. En présentant cette demande alors que le délai - non prolongeable - pour déposer une écriture complémentaire avait expiré et qu'en conséquence l'échange d'écritures devait être considéré comme clos, sa démarche apparaît comme une tentative de contourner les conséquences du non-respect de ce délai. Elle doit, dès lors, être considérée comme tardive et chicanière. A cela s'ajoute que les points de fait et de droit susceptibles de surgir dans cette affaire - portant sur le remboursement de frais de défense pénale - pouvaient être examinés et tranchés de manière adéquate sur la base des écritures des parties (voir l'arrêt de la CourEDH Vilho Eskelinen et autres contre Finlande du 19 avril 2007, § 73; arrêt 6B_594/2015 du 29 février 2016 consid. 2.5, à propos de la rémunération de l'avocat d'office). Le grief de violation de l'art. 6 par. 1 CEDH est dès lors infondé.
4.
4.1. Le recourant reproche ensuite aux premiers juges d'avoir ignoré ses griefs tirés d'une violation de son droit d'être entendu (la commune aurait dû l'entendre avant de rendre sa décision et son refus n'était pas motivé). L'autorité n'a toutefois pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais elle peut au contraire se limiter à ceux qui lui paraissent pertinents (<ref-ruling> consid. 2.2 p. 183; <ref-ruling> consid. 5.1 p. 237). En l'occurrence, le recourant ne fait pas la démonstration de la pertinence des moyens qu'il a invoqués. Au demeurant, la commune a donné une réponse, certes succincte, mais néanmoins motivée à sa demande et il a pu faire valoir l'ensemble de ses arguments dans la procédure de recours. Une éventuelle violation de son droit d'être entendu devrait de toute façon être considérée comme réparée.
4.2. Le recourant voit également une violation de son droit d'être entendu dans le fait que la cour cantonale ne s'est pas prononcée sur sa demande de suspension de la procédure. Ce reproche n'est toutefois pas justifié. La juridiction précédente retient en effet à ce propos que la juge déléguée n'a pas donné suite à la conclusion en suspension de l'instruction, telle que sollicitée par l'intéressé, et qu'elle lui a dès lors imparti un ultime délai pour une éventuelle réplique (jugement attaqué p. 13). Implicitement tout au moins, la cour cantonale a admis - à tort ou à raison - que la question avait été traitée incidemment par la juge déléguée. La cour s'est donc exprimée à ce sujet et le droit d'être entendu du recourant n'a donc pas été violé de ce chef.
5.
5.1. Le recourant soutient que la cour cantonale a violé son droit d'être entendu à un autre titre encore. Il lui reproche de s'être fondée sur l'arrêt rendu le même jour dans la cause parallèlement pendante sur son licenciement. Ce faisant, la cour aurait fondé son raisonnement sur un jugement qui ne lui aurait pas été transmis préalablement.
5.2. La jurisprudence déduit du droit d'être entendu (art. 29 al. 2 Cst.), en particulier, le droit pour le justiciable de s'expliquer avant qu'une décision ne soit prise à son détriment, celui de fournir des preuves quant aux faits de nature à influer sur le sort de la décision, celui d'avoir accès au dossier, celui de participer à l'administration des preuves, d'en prendre connaissance et de se déterminer à leur propos (<ref-ruling> consid. 2.3 p. 222; <ref-ruling> consid. 3.1 p. 564).
5.3. Au considérant 5 de l'arrêt attaqué, la cour cantonale considère que la protection contre des attaques injustifiées ne signifie pas que la collectivité publique doive pourvoir aux frais de la défense d'un fonctionnaire contre lequel une instruction pénale a été ouverte. Elle retient que le présent cas n'est pas celui d'un agent public qui se serait vu attaquer injustement dans le but d'affaiblir l'action de l'Etat: la justice pénale a agi d'office, à la suite de l'intervention de la Cour des comptes. Dès lors, même si la procédure pénale se conclut par une ordonnance de classement, cette circonstance n'est pas de nature à fonder une obligation de la commune de rembourser les frais d'avocat encourus par le prévenu. La cour cantonale ajoute qu'un tel remboursement se justifie d'autant moins dans le cas d'un fonctionnaire dont la culpabilité a été reconnue, même si le Ministère public a renoncé à poursuivre, comme en l'espèce. La Chambre administrative se réfère encore à son arrêt rendu le même jour (cause ATA/211/2016), en indiquant qu'elle a retenu dans cet arrêt que le licenciement de l'intéressé était fondé, celui-ci ayant contrevenu à ses devoirs envers la commune et violé plusieurs articles du statut qui régissaient son activité.
5.4. C'est à propos de cette dernière phrase que le recourant soutient que son droit d'être entendu a été violé. On peine toutefois à voir dans ce renvoi à l'ATA/211/2016 une telle violation. Que la cour cantonale ait confirmé la décision de licenciement était une éventualité que le recourant ne pouvait écarter et l'on ne conçoit pas que la juridiction cantonale aurait dû l'avertir avant d'en faire état dans l'arrêt attaqué. Ici, également, le grief de violation du droit d'être entendu se révèle mal fondé.
6.
6.1. Le recourant se plaint d'une violation de l'art. 29a Cst., des art. 110 et 111 LTF et de l'art. 9 Cst. en lien avec l'art. 4 de la loi [du canton de Genève] du 12 septembre 1985 sur la procédure administrative (LPA; RS/GE E 5 10). Il déduit de ces dispositions qu'il avait un droit à ce qu'un contrôle judiciaire s'opère de façon complète. Il estime que l'autorité précédente ne pouvait pas refuser d'entrer en matière sur le litige au motif que la prétention invoquée ne reposait pas sur le droit public.
6.2. L'art. 29a Cst. donne à toute personne le droit à ce que sa cause soit jugée par une autorité judiciaire. La Confédération et les cantons peuvent toutefois, par la loi, exclure l'accès au juge dans des cas exceptionnels. Cette norme étend le contrôle judiciaire à toutes les matières, y compris aux actes de l'administration, en établissant une garantie générale de l'accès au juge (<ref-ruling> consid. 4.4.1 p. 180 et les références citées). Elle est concrétisée par l'<ref-law> selon lequel les cantons doivent instituer des tribunaux supérieurs qui statuent comme autorités précédant immédiatement le Tribunal fédéral, sauf dans les cas où une autre loi fédérale prévoit qu'une décision d'une autre autorité judiciaire peut faire l'objet d'un recours devant le Tribunal fédéral (<ref-ruling> consid. 4.3 p. 328). Quant à l'<ref-law>, il prévoit que si, en vertu de la LTF, les cantons sont tenus d'instituer un tribunal comme autorité cantonale de dernière instance, ils font en sorte que ce tribunal ou une autre autorité judiciaire, statuant en instance précédente, examine librement les faits et applique d'office le droit déterminant. L'<ref-law> prévoit enfin que la qualité de partie à la procédure devant toute autorité cantonale précédente doit être reconnue à quiconque a qualité pour recourir devant le Tribunal fédéral.
6.3. Il convient de relever d'emblée que la Chambre administrative n'a aucunement exclu la possibilité de saisir une autorité judiciaire de la contestation. Elle s'est au contraire saisie du litige pour parvenir à la conclusion que le recours était irrecevable du moment que la prétention du recourant ne trouvait aucun fondement dans le droit public cantonal. Elle a examiné la recevabilité du recours qui lui était soumis avec un plein pouvoir d'examen. Elle a statué comme autorité cantonale précédente du Tribunal fédéral. Dès lors, on ne discerne pas trace d'une violation de l'art. 29a Cst. pas plus que des dispositions précitées de la LTF. Il en va de même en ce qui concerne l'art. 4 LPA/GE qui définit la notion de décision et dont on ne voit pas en quoi il pourrait être d'un quelconque secours au recourant.
6.4. Le moyen soulevé est donc sans fondement. Il appartenait au recourant de démontrer, par une motivation qui satisfasse aux exigences des art. 42 al. 2 et 106 al. 2 LTF, que le point de vue de la cour cantonale était à ses yeux erroné et que le litige pouvait selon son avis trouver un fondement dans le droit public cantonal. Or, cette démonstration fait défaut en l'espèce.
6.5. On ajoutera, pour terminer, que le Tribunal fédéral a déjà eu l'occasion de rejeter le recours d'un fonctionnaire genevois contre un arrêt de l'ancien Tribunal administratif du canton de Genève qui avait également déclaré irrecevable une demande tendant au remboursement de frais liés à une procédure pénale pour des actes commis dans l'exercice des fonctions de l'intéressé. Le Tribunal fédéral a relevé, en particulier, que le fonctionnaire en question n'avait pas été dénoncé par un tiers intéressé à exercer une quelconque pression sur lui pouvant justifier l'intervention de l'Etat. L'ouverture de l'enquête pénale dirigée à son encontre résultait de l'intervention du président du Tribunal administratif, soit d'une autorité judiciaire, qui avait été amenée à considérer que certains comportements révélés par une enquête disciplinaire pouvaient relever de l'application de la loi pénale. Une prise en charge des frais de défense d'un magistrat faisant l'objet d'une poursuite pénale pour des actes commis dans l'exercice de ses fonctions (mais qui n'a fait l'objet d'aucune condamnation) pouvait en revanche se justifier quand elle répondait au souci de préserver l'indépendance du juge et de le mettre à l'abri de pressions de la part de justiciables. Mais il n'était pas arbitraire de considérer que cette protection - reconnue en l'espèce par la jurisprudence cantonale - ne s'étendait pas aux fonctionnaires cantonaux, dont le risque d'atteinte à l'indépendance était sensiblement moins élevé. En cas d'attaque injustifiée, ceux-ci bénéficiaient d'ailleurs de l'appui de leur hiérarchie au sein du pouvoir exécutif et ne se trouvaient pas isolés face à des tentatives de déstabilisation (arrêt 2P.96/2006 du 27 juillet 2006).
7.
Le recours se révèle en tous points mal fondé. Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>). L'intimée n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre administrative.
Lucerne, le 13 mars 2017
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Fretz Perrin