Faits : A. A.a. A._ a été engagé le 22 août 2005 en qualité d'assistant social au service de protection des mineurs (ci-après: le SPMi) du canton de Genève. Le 2 août 2016, alors qu'il travaillait comme intervenant en protection de l'enfant dans l'unité "accueil et première intervention" (ci-après: API) du Service de protection des mineurs (ci-après: SPMi), A._ a été chargé du dossier de B._ et de ses quatre enfants, qui avaient été recueillis par l'Unité mobile d'urgence sociale le même jour dans la rue, sans moyen de subsistance. Après avoir été hébergée quelques jours à l'Armée du Salut, la famille a été logée dans un foyer. Le 28 septembre 2016, A._ a saisi le Tribunal de protection de l'adulte et de l'enfant (ci-après: le TPAE) d'une requête de mesures superprovisionnelles tendant à ce qu'interdiction soit faite à B._ de quitter le territoire suisse avec ses enfants, à ce que la prénommée doive déposer en mains du SPMi son passeport et ceux de ses enfants, à ce que ces derniers et leur mère soient inscrits dans les bases de données des recherches informatisées de police (RIPOL) et du système d'information Schengen (SIS) et, enfin, à ce qu'un mandat d'évaluation soit ordonné. Il a exposé que B._, de nationalité C._, et dont les deux enfants aînés avaient un père différent de celui des cadets, avait quitté le pays C._ en octobre 2015 et qu'à la suite de son départ et de plusieurs audiences en son absence, les autorités judiciaires du pays C._ avaient décidé d'attribuer à titre provisoire la garde des deux enfants cadets à leur père. Par décision du 5 octobre 2016, le TPAE a ordonné les mesures superprovisionnelles requises. Dans un rapport du 15 mars 2017 adressé au TPAE, A._ a indiqué, en sus des éléments déjà communiqués, que quand B._ avait appris que la garde de ses deux enfants cadets lui était retirée, elle avait décidé de demander l'asile en Europe. Elle avait déposé une telle demande aux Pays-Bas et en Serbie, puis elle avait traversé l'Italie et s'était arrêtée en Suisse. Si elle n'obtenait pas de soutien, elle tenterait sa chance en Roumanie. Un mandat d'arrêt avait été délivré contre elle dans le pays C._. En cas de retour dans ce pays, la fratrie serait séparée, les cadets attribués à leur père et les aînés placés en foyer. Si l'accueil en Suisse était interrompu, B._ tenterait à nouveau de trouver de l'aide dans un autre pays. Les enfants seraient alors à nouveau entraînés dans un parcours d'errance. A._ concluait ainsi au maintien des mesures superprovisionnelles jusqu'à la communication des décisions judiciaires du pays C._ et, selon l'issue de celles-ci, jusqu'à l'obtention de la garantie qu'un retour dans le pays C._ puisse s'organiser dans des conditions qui répondent aux besoins de protection des enfants. Le 26 avril 2017, le TPAE a fait droit à ces conclusions. A.b. Le 11 août 2017, B._ a pris contact avec une collaboratrice du foyer dans lequel elle résidait pour solliciter un changement d'intervenant au sein du SPMi, justifiant sa demande par le fait qu'elle entretenait une relation intime avec A._. B._ a confirmé le 14 août 2017 ses déclarations devant la directrice du foyer, à qui elle a également montré des échanges WhatsApp qu'elle avait eus avec A._ et dont une copie d'écran a été effectuée avec son accord. Les faits ont été portés à la connaissance du directeur du SPMi, qui a convoqué A._ à un entretien de service fixé au 31 août 2017. Dans la convocation, l'intéressé était informé que dans l'attente des suites à donner audit entretien, il était immédiatement déchargé du suivi de la situation familiale de B._ et de tout contact professionnel avec le foyer, et qu'il lui était fait interdiction de prendre contact avec elle. Lors de l'entretien de service, A._ a admis avoir entretenu une relation intime avec B._. Il a déclaré qu'il l'avait rencontrée plusieurs fois dans le cadre professionnel jusqu'au 23 novembre 2016, jour de l'anniversaire de celle-ci, où ils étaient allés se promener, avaient pris un café et s'étaient embrassés. Leur relation avait débuté à ce moment-là et avait duré jusqu'à début août 2017, avec de nombreuses interruptions. Il avait conscience que son comportement n'était pas acceptable et contrevenait à l'éthique professionnelle, mais il lui avait été impossible de demander de l'aide et d'en parler à sa cheffe de groupe, tout comme il avait été incapable de se dessaisir du dossier. A.c. Par décision du 15 novembre 2017, la Conseillère d'État en charge du département de l'instruction publique, de la formation et de la jeunesse a ouvert une enquête administrative contre A._. L'enquêteur a rendu son rapport le 14 juin 2018. Sa mission avait consisté à déterminer les circonstances dans lesquelles la relation entre A._ et B._ s'était nouée, la manière dont elle avait évolué et les raisons pour lesquelles elle avait pris fin; il avait également cherché à établir si A._ avait, d'une manière ou d'une autre, exercé une forme de contrainte ou d'incitation à l'égard de B._ en profitant de sa situation professionnelle. A cet égard, l'enquêteur a conclu que les relations intimes entre les intéressés n'avaient pas eu d'impact sur la manière dont le dossier des enfants de B._ avait été traité, et que A._ n'avait pas cherché à faire comprendre à celle-ci qu'elle devait se soumettre à ces relations si elle voulait que son dossier soit correctement traité. Toutefois, il relevait que A._ avait pris le risque que B._ se sente à nouveau prise au piège d'une relation victime-bourreau: non seulement parce que son propre sort et celui de ses enfants pouvait lui apparaître comme étant lié aux décisions du fonctionnaire mais également parce que ce dernier avait par moments joué de sa position, fût-ce dans un contexte d'excitation sexuelle. Cela ressortait par exemple des messages WhatsApp échangés entre les prénommés le 3 août 2017. B._ s'était plainte de ne plus supporter les conditions d'existence du foyer qui l'hébergeait et A._ lui avait répondu "Et tu vas partager ton corps avec l'homme qui va t'interdire de partir"; lorsque B._ avait demandé combien de temps cela allait durer et si elle était en enfer, il lui avait répondu "Oui! Le mien". Invité à se déterminer sur ce rapport, A._ a notamment soutenu que l'enquête était incomplète, l'affaire ne pouvant selon lui pas être appréciée sans tenir compte des circonstances du départ de B._ de Suisse; il sollicitait un complément d'information en ce sens qu'il lui soit permis d'accéder au dossier actualisé des enfants de B._. A.d. Par décision du 5 septembre 2018, le Conseil d'État a rejeté la demande de complément d'information présentée par A._ et a prononcé la révocation de celui-ci avec effet au 31 décembre 2018. B. Par jugement du 21 mai 2019, la Chambre administrative de la Cour de justice du canton de Genève a rejeté le recours interjeté par A._ contre cette décision. C. A._ interjette un recours en matière de droit public contre ce jugement, en concluant principalement à sa réforme en ce sens que la décision de révocation du 5 septembre 2018 soit annulée. A titre subsidiaire, il conclut à l'annulation du jugement et au renvoi de la cause à l'autorité précédente pour qu'elle statue dans le sens des considérants. L'autorité cantonale déclare s'en remettre à justice sur la recevabilité du recours et persister dans les considérants et le dispositif de son arrêt. L'intimé conclut au rejet du recours.