Faits :
A.
Par lettre du 21 juillet 2010, A._ a été engagé par les Hôpitaux universitaires de Genève (HUG) en qualité de "chef de secteur B._" rattaché au département C._. Le 21 juin 2012, il a été nommé fonctionnaire avec effet au 1 er septembre 2012.
Par décision du 23 novembre 2016, les HUG, sous la signature de leur directrice des ressources humaines, ont résilié les rapports de service du prénommé avec effet au 28 février 2017. Cette décision était motivée par des manquements graves et répétés aux devoirs de service de l'intéressé. Elle faisait suite à un entretien du 5 novembre 2015 dont le compte-rendu faisait état d'un non-respect des directives, d'une gestion lacunaire des collaborateurs, d'objectifs non atteints et d'un comportement inapproprié envers des collègues et des clients. L'employé s'était déterminé et avait contesté les reproches formulés à son endroit.
B.
A._ a recouru contre cette décision devant la Cour de justice de la République et canton de Genève (Chambre administrative) en lui demandant de constater la nullité de la décision de licenciement, subsidiairement de l'annuler, et d'ordonner sa réintégration immédiate.
Par arrêt du 20 juin 2017, la Cour de justice a constaté que la décision attaquée était contraire au droit. Elle a proposé la réintégration de l'employé au sein des HUG et ordonné à ces derniers, en cas de refus d'y procéder, de transmettre leur décision à la Chambre administrative.
C.
Les HUG forment un recours en matière de droit public dans lequel ils concluent à l'annulation de l'arrêt attaqué et, principalement, au renvoi de la cause à la Chambre administrative pour qu'elle reprenne l'instruction de la cause, subsidiairement, pour qu'elle statue dans le sens des considérants.
A._ a conclu à l'irrecevabilité du recours, subsidiairement à son rejet.
D.
Par ordonnance du 21 novembre 2017, le juge instructeur a admis la requête d'effet suspensif présentée par les HUG.

Considérant en droit :
1.
Les HUG sont un établissement cantonal de droit public doté de la personnalité juridique (art. 1 al. 1 et art. 5 al. 1 de la loi du canton de Genève du 19 septembre 1980 sur les établissements publics médicaux [LEPM; RS/GE K 2 05]). Leur personnel est en principe soumis à la loi générale du canton de Genève relative au personnel de l'administration cantonale, du pouvoir judiciaire et des établissements publics médicaux, du 4 décembre 1997 (LPAC; RS/GE B 5 05). Le jugement entrepris a donc été rendu en matière de rapports de travail de droit public au sens de l'art. 83 let. g LTF. Il porte sur une contestation pécuniaire (voir p. ex. arrêt 8C_740/2017 du 25 juin 2018 consid. 1). Le motif d'exclusion de l'art. 83 let. g LTF n'entre donc pas en considération. La valeur litigieuse dépasse par ailleurs le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public en ce domaine (art. 51 al. 1 let. a et 85 al. 1 let. b LTF).
2.
2.1. Sous le titre "Recours contre une décision de résiliation des rapports de service", l'art. 31 LPAC, dans sa version en vigueur depuis le 19 décembre 2015, prévoit ceci:
1 Peut recourir à la chambre administrative de la Cour de justice pour violation de la loi tout membre du personnel dont les rapports de service ont été résiliés.
2 Si la chambre administrative de la Cour de justice retient que la résiliation des rapports de service ne repose pas sur un motif fondé, elle ordonne à l'autorité compétente la réintégration.
3 Si la chambre administrative de la Cour de justice retient que la résiliation des rapports de service est contraire au droit, elle peut proposer à l'autorité compétente la réintégration.
4 En cas de décision négative de l'autorité compétente ou en cas de refus du recourant, la chambre administrative de la Cour de justice fixe une indemnité dont le montant ne peut être inférieur à 1 mois et supérieur à 24 mois du dernier traitement brut à l'exclusion de tout autre élément de rémunération; concernant un employé, l'indemnité ne peut être supérieure à 6 mois.
2.2. En l'espèce, la Cour de justice a considéré que la directrice des ressources humaines n'avait pas la compétence de prononcer le licenciement de l'intimé. Elle a dès lors conclu que la mesure était contraire au droit et a fait application de la disposition précitée (al. 3). Elle a ainsi proposé la réintégration de l'intimé. En cas de refus, les HUG étaient invités à transmettre copie de leur décision à la Chambre administrative afin que celle-ci puisse statuer sur le montant de l'indemnité (al. 4).
2.3. L'intimé soutient que, dans la mesure où l'arrêt attaqué renvoie la cause aux HUG afin qu'ils se déterminent sur leur volonté de le réintégrer ou de l'indemniser, il présente un caractère incident. Cette décision ne serait pas susceptible de causer un préjudice irréparable, de sorte que le recours devrait être déclaré irrecevable.
Il faut relever d'emblée que la décision attaquée, bien qu'elle tranche la question de la compétence de l'autorité habilitée à prononcer le licenciement de l'intimé, n'est pas une décision sur la compétence qui serait susceptible de faire l'objet d'un recours immédiat au Tribunal fédéral. Une décision incidente sur la compétence au sens de l'art. 92 al. 1 LTF est susceptible de recours immédiat si elle a été notifiée séparément (arrêt 4A_407/2016 du 7 février 2017 consid. 1.6.1). Or, dans le cas particulier, la Cour de justice a tranché la question de la compétence en même temps qu'elle en a tiré les conséquences en application de l'art. 31 LPAC.
Si l'employeur opte pour une indemnisation, il n'est certes pas exclu que la validité du licenciement puisse faire l'objet d'un contrôle ultérieur par le Tribunal fédéral à l'occasion d'un recours contre la décision de dernière instance cantonale sur le montant de l'indemnité. Quoi qu'il en soit, si un tel contrôle ultérieur était possible, l'employeur n'aurait pas d'autre choix que la voie de l'indemnisation pour provoquer un nouvel arrêt de la Cour de justice sujet à recours au Tribunal fédéral. Il n'aurait plus la possibilité d'opter après coup pour la réintégration, si le Tribunal fédéral devait en fin de compte confirmer l'irrégularité du licenciement. La question de savoir si cette limitation de choix suffirait à établir un préjudice irréparable peut cependant demeurer ouverte, car le recours, ainsi qu'on le verra, doit de toute manière être rejeté sur le fond.
3.
3.1. En vertu de l'art. 7 LEPM, le conseil d'administration est le pouvoir supérieur des HUG. En plus des attributions générales confiées par la loi sur l'organisation des institutions de droit public, du 22 septembre 2017 (RS/GE A 2 24), le conseil d'administration est investi des pouvoirs les plus étendus pour la gestion de l'établissement. Ses compétences sont énumérées sous les lettres a à j de cette disposition.
Aux termes de l'art. 20A LEPM, les établissements sont dirigés par un comité de direction, de 9 membres au maximum, comprenant les membres de la direction générale, de la direction médicale, de la direction des soins et le doyen de la faculté de médecine (al. 1).
Conformément à l'art. 8 LEPM, dans sa version en vigueur au 1 er janvier 2016, la direction générale des établissements exécute les décisions du conseil d'administration; elle reçoit ses instructions du président du conseil d'administration (al. 1); un règlement interne établit les compétences de la direction générale (al. 2).
3.2. Selon l'art. 7 let. f LEPM, le conseil d'administration nomme et révoque les fonctionnaires des établissements (anciennement art. 7 al. 2). Cette disposition concrétise l'art. 17 LPAC, selon lequel le Conseil d'Etat, la commission de gestion du pouvoir judiciaire ou le conseil d'administration est l'autorité compétente pour prononcer la fin des rapports de service (al. 1). Selon cette disposition de la LPAC, le conseil d'administration peut toutefois déléguer cette compétence à la direction générale de l'établissement (al. 4). Il peut aussi autoriser la sous-délégation de cette compétence en faveur des services de l'établissement pour les membres du personnel n'ayant pas la qualité de fonctionnaire (al. 6).
3.3. Le 8 février 2016, le conseil d'administration des HUG a adopté une nouvelle version du règlement des HUG relatif à la répartition des compétences en matière de gestion du personnel (ci-après: le règlement). Cette nouvelle version est entrée en vigueur le 14 septembre 2016, après avoir été approuvée par le Conseil d'Etat par arrêté du 7 septembre 2016.
L'art. 1 er du règlement, dans cette nouvelle version, fixe les compétences du conseil d'administration, l'art. 2 celles du président du conseil d'administration, l'art. 3 celles du comité de direction, l'art. 4 celles de la direction générale et l'art. 5 celles de la direction des ressources humaines.
Selon l'art. 1 er du règlement, le conseil d'administration nomme et révoque les employés principaux (soit le directeur général et le directeur médical), sous réserve de l'approbation du Conseil d'Etat (ch. 1). L'art. 3 ch. 7, donne au comité de direction la compétence, sur proposition de la hiérarchie, de nommer, en qualité de fonctionnaire, des employés non cités dans les articles précédents. Enfin, en vertu de l'art. 5 ch. 3 du règlement, la direction des ressources humaines décide de l'engagement et du licenciement de toutes les catégories de personnel non citées dans les articles précédents.
4.
4.1. Les premiers juges constatent que l'art. 17 LPAC autorise le conseil d'administration à déléguer à la direction générale la compétence de prononcer la fin des rapports de service (al. 4). En revanche, une sous-délégation en faveur des services de l'établissement - en l'occurrence la direction des ressources humaines - n'est possible qu'en ce qui concerne les employés qui n'ont pas le statut de fonctionnaire. La cour cantonale conclut que l'art. 5 ch. 3 du règlement est contraire à la loi dans la mesure où il confère à la direction des ressources humaines le pouvoir de décider de l'engagement et du licenciement de toutes les catégories de personnel non citées dans les précédents articles, sans opérer de distinction en fonction de leur statut (employés ou fonctionnaires). Or, dans le cas particulier, l'intimé avait le statut de fonctionnaire à la date de son licenciement. Celui-ci a donc été prononcé par une autorité incompétente, et partant, d'une manière contraire au droit.
4.2. Dénonçant un établissement manifestement inexact des faits, les recourants reprochent à la cour cantonale d'avoir retenu que la directrice des ressources humaines des HUG ne faisait pas partie de la direction générale.
4.3. Il ressort du jugement attaqué que la directrice des ressources humaines des HUG n'est qu'un des huit membres du comité de direction. Elle ne fait pas partie de la direction générale, qui est composée des seuls directeur général et directrice générale adjointe. Elle ne se trouve pas dans une position aussi élevée que ceux-ci. Au demeurant, poursuit la cour cantonale, il découle du règlement, dont les articles prévoient les compétences des différents organes en charge de questions de personnel dans un ordre décroissant sous l'angle de leur importance, que la directrice des ressources humaines a des compétences plus limitées en la matière que celles de la direction générale. Selon le jugement attaqué toujours, s'il est vrai qu'en sa qualité de membre du comité de direction, elle jouit d'une certaine autonomie, il n'en demeure pas moins que la loi ne prescrit pas que les membres dudit comité autres que le directeur général et la directrice générale adjointe auraient la faculté de représenter cet organe, en particulier à l'égard des fonctionnaires des HUG.
En tant que les recourants critiquent la constatation selon laquelle la directrice des ressources humaines ne fait pas partie de la direction générale, son argumentation, essentiellement appellatoire (art. 106 al. 2 LTF; cf. <ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 10.1 p. 445), ne permet pas de retenir que l'autorité cantonale serait sur ce point tombée dans l'arbitraire. Au demeurant, comme le souligne la cour cantonale, cette constatation est conforme au règlement qui énumère les compétences des différents organes en séparant clairement celles qui relèvent de la direction générale et celles qui ressortissent à la direction des ressources humaines. Cette énumération montre en outre clairement que la première se trouve à un échelon hiérarchiquement plus élevé que la seconde.
Le moyen soulevé ici par les recourants se révèle dès lors mal fondé.
5.
5.1. Les recourants se plaignent d'une application arbitraire du droit cantonal. Ils se prévalent de l'art. 20A LEPM. Selon eux, cette disposition définit de manière exhaustive la composition du comité de direction qui comprend les membres de la direction générale, de la direction médicale, de la direction des soins et le doyen de la faculté de médecine (al. 1). Or, à teneur d'un arrêté du Conseil d'Etat en vigueur depuis le 1 er janvier 2017, la directrice des ressources humaines est membre du comité de direction de l'établissement. Comme elle n'est à l'évidence pas un membre de la direction médicale ni de la direction des soins, elle ferait selon les recourants nécessairement partie du comité de direction en tant que membre de la direction générale. A ce titre, elle était compétente pour prononcer le licenciement de l'intimé.
5.2. Le recours en matière de droit public, sauf dans les cas cités expressément par l'art. 95 LTF, ne peut pas être formé pour violation du droit cantonal en tant que tel. En revanche, il est toujours possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à un droit fondamental (<ref-ruling> consid. 4.3 p. 521 s.; <ref-ruling> consid. 2.3 p. 466). Il appartient toutefois à la partie recourante d'invoquer les droits fondamentaux, d'en exposer le contenu et de motiver la violation des droits de façon détaillée et concrète, sous peine de non-entrée en matière pour défaut de motivation suffisante au sens de l'art. 106 al. 2 LTF (<ref-ruling> consid. 1.3 p. 41 et les références citées).
5.3. L'arrêté invoqué du Conseil d'Etat énumère les membres du comité de direction selon l'ordre suivant:
- Directeur général, président du comité de direction;
- Directrice générale adjointe, suppléante du président du comité de direction;
- Directeur médical;
- Directeur de l'enseignement et de la recherche, doyen de la Faculté de médecine de l'université de Genève;
- Directeur des soins;
- Directrice des finances;
- Directrice des ressources humaines;
- Directrice de la communication.
Si cet arrêté établit effectivement que la directrice des ressources humaines est membre du comité de direction, il tend aussi à démontrer qu'elle ne fait précisément pas partie de la direction générale. Cette déduction peut aussi être tirée du règlement, qui - on l'a vu - traite sous deux articles distincts des compétences respectives de la direction générale et de la direction des ressources humaines. Dès lors, même si on peut discuter de l'interprétation de l'art. 20A al. 1 LEPM, il n'est en tout cas pas arbitraire de considérer que la directrice des ressources humaines n'avait pas la compétence de prononcer le licenciement de l'intimé ou, à tout le moins, d'engager par sa seule signature la direction générale s'agissant du licenciement d'un fonctionnaire. Pour le reste il n'est en rien arbitraire de considérer comme contraire au droit un licenciement prononcé de manière non-conforme à la réglementation applicable. Les recourants ne soutiennent d'ailleurs pas le contraire.
Le grief tiré d'une application arbitraire du droit cantonal doit ainsi être écarté.
6.
Il suit des considérants qui précèdent que le recours doit être rejeté. Les recourants supporteront les frais judiciaires (art. 66 al. 1 LTF) et verseront à l'intimé une indemnité de dépens (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants.
3.
Les recourants verseront à l'intimé une indemnité de 2'800 fr. à titre de dépens pour l'instance fédérale.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre administrative.
Lucerne, le 13 août 2018
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Fretz Perrin