Faits : A. A.a. A._, né en 1956, a été engagé en 1978 par l'Etat de Genève. Dès le mois de février 1998, il a été nommé directeur de la prison de B._. A partir du 1 er décembre 2008, il est devenu directeur de l'établissement de détention administrative de C._. Il était administrativement et hiérarchiquement lié au secrétariat général du département des institutions, devenu le département de la sécurité, de la police et de l'environnement, ensuite le département de la sécurité et de l'économie, puis le département de la sécurité et finalement le département de la sécurité, de l'emploi et de la santé (ci-après: le département). A.b. Le 9 octobre 2012, il a eu un entretien de service au cours duquel sa hiérarchie lui a reproché divers manquements à ses devoirs, ainsi que des prestations insuffisantes. A la suite de cet entretien, le fonctionnaire a transmis à ses supérieurs un certificat d'incapacité totale de travail du 10 octobre au 31 octobre 2012. Par la suite, son médecin traitant a attesté mensuellement et sans discontinuer une incapacité de travail pour chacun des mois de novembre 2012 à septembre 2014. Le 5 décembre 2012, le Conseil d'Etat a ouvert une enquête administrative à l'encontre de A._, notamment pour les faits qui lui avaient été reprochés lors de l'entretien de service précité. L'intéressé a été suspendu de ses fonctions, sans privation de traitement. Après avoir entendu de nombreux témoins, l'enquêteur a rendu son rapport le 28 mars 2013. A.c. Le 29 mai 2013, A._ a eu un nouvel entretien de service, au cours duquel de nouveaux manquements lui ont été reprochés. Par arrêté du 26 juin 2013, au vu des griefs formulés lors de cet entretien, le Conseil d'Etat a ordonné l'établissement d'un complément d'enquête administrative et confirmé la suspension provisoire du fonctionnaire avec maintien du traitement. L'enquêteur administratif a rendu son complément de rapport le 29 novembre 2013. A.d. Le Conseil d'Etat a clos l'enquête par arrêté du 26 février 2014 et transmis le dossier au département "afin qu'il donne toute suite utile au sens des considérants". Il a mis fin à la suspension provisoire du fonctionnaire. Le 12 mars 2014, le chef du département a toutefois libéré l'employé de son obligation de travailler jusqu'à ce qu'une décision soit prise quant à une éventuelle résiliation des rapports de service. Le 29 avril 2014, A._ a eu un troisième entretien de service. Il lui a été signifié à cette occasion que les faits relatés dans les rapports successifs d'enquête administrative constituaient de graves manquements aux devoirs du personnel. Une résiliation des rapports de service pour motif fondé était envisagée. L'intéressé a formulé ses observations le 21 mai 2014, persistant à contester les griefs à son encontre. A.e. Par décision incidente du 2 juin 2014, le chef du département a prononcé l'ouverture d'une procédure de reclassement. Le 27 juin 2014, après avoir reçu l'employé en consultation le 17 juin précédent et pris l'avis du médecin traitant de ce dernier, le docteur D._, médecin du travail, a rendu un préavis médical. Selon lui, l'intéressé n'était "actuellement" pas apte à travailler au sein de l'Etat du point de vue de sa santé, ni à se rendre à des séances organisées par les ressources humaines en vue d'un éventuel reclassement. Le 16 juillet 2014, la directrice des ressources humaines du département a constaté l'impossibilité d'une mise en oeuvre de cette procédure. A.f. Par décision du 31 juillet 2014, le chef du département a mis fin au traitement de A._ à la date du 3 septembre 2014 au motif qu'il avait épuisé son droit au salaire en cas d'empêchement de travailler pour cause de maladie. A.g. Le 29 octobre 2014, A._ a eu un quatrième entretien de service. Une résiliation des rapports de travail était envisagée en raison de la disparition durable d'un motif d'engagement, l'état de santé du fonctionnaire ne lui permettant plus de remplir les devoirs de fonction de quelque poste que ce fût. A.h. Par décision exécutoire nonobstant recours du 25 novembre 2014, le Conseil d'Etat a résilié les rapports de service avec effet au 28 février 2015. La décision renvoyait aux motifs qui avaient été communiqués à l'intéressé lors des entretiens de service des 29 avril et 29 octobre 2014. B. A._ a recouru contre cette décision devant la Chambre administrative de la Cour de justice de la République et canton de Genève. La Chambre a tenu cinq audiences, lors desquelles elle a entendu les parties et de nombreux témoins. Statuant le 12 juin 2018, elle a partiellement admis le recours. Elle a constaté que le licenciement du fonctionnaire était contraire au droit, mais qu'une réintégration n'était plus possible. Elle a condamné l'Etat de Genève à verser à l'intéressé une indemnité d'un montant correspondant à vingt et un mois de son dernier traitement brut. C. Déclarant agir au nom et pour le compte de la République et canton de Genève, soit pour elle le Conseil d'Etat, le conseiller d'Etat alors en charge du département forme un recours en matière de droit public contre l'arrêt cantonal. Il demande principalement au Tribunal fédéral d'annuler cet arrêt et de confirmer la décision du 25 novembre 2014. Subsidiairement, il conclut au renvoi de la cause à l'autorité précédente pour nouvelle décision. Très subsidiairement, il conclut au renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau sur le montant de l'indemnité. L'intimé conclut principalement à l'irrecevabilité du recours et, subsidiairement, à son rejet dans toutes ses conclusions. Par ordonnance du 7 septembre 2018, l'effet suspensif a été accordé à titre superprovisoire soit jusqu'à décision sur la requête d'effet suspensif présentée par le recourant.