Faits: A. A.a S._ a été engagée en qualité de cheffe de secteur Z._ au Département V._, Service Z._ de l'Hôpital X._ à partir du 1er octobre 2007. Ses rapports de service étaient soumis au Statut du personnel de l'Hôpital X._. Selon son cahier des charges, l'intéressée avait sous ses ordres cinquante à soixante agent(e)s. Elle devait organiser, diriger, contrôler et coordonner les activités de plusieurs équipes structurées d'agent(e)s effectuant des tâches de complexité différentes dans l'ensemble des locaux de l'Hôpital X._, en fonction de critères de qualité reconnus. A.b Un premier entretien d'évaluation et de développement des compétences a eu lieu le 13 décembre 2007. Les objectifs du temps d'essai étaient atteints. Les critères d'évaluation des trois premiers mois étaient "OK pour la fonction", la connaissance du monde hospitalier devant encore être améliorée. L'évaluation globale était qualifiée de bonne. Trois objectifs ainsi que les moyens d'action pour y parvenir ont été fixés. Un deuxième entretien d'évaluation et de développement des compétences s'est tenu le 13 août 2008. Les objectifs fixés étaient partiellement atteints. Sur les dix-huit critères et sous-critères évalués, sept étaient "OK pour la fonction" alors que les onze autres étaient "à améliorer". L'évaluation globale était qualifiée de peu satisfaisante. Quatre objectifs ont été fixés, en matière de système de management durable, de contrôle de qualité, de suivi de l'absentéisme et de respect du personnel et des directives/statut. S._ répondait partiellement aux exigences de sa fonction, par sa volonté de bien faire. Sa progression en termes de procédures et méthodologie de travail devait s'accompagner d'un esprit d'ouverture et de partage plus présents avec l'ensemble de son entourage. Une poursuite de collaboration ne pouvait être envisagée qu'avec des réserves. Un nouvel entretien d'évaluation et de développement des compétences s'est déroulé le 2 décembre 2008. Deux des objectifs fixés étaient atteints alors que les deux autres n'étaient que partiellement atteints. Sur les vingt critères ou sous-critères évalués, quatorze étaient "OK pour la fonction" et six "à améliorer". L'évaluation globale était jugée assez bonne. Trois objectifs ont été fixés. Le chemin d'améliorations attendues de la part de S._ pouvait être qualifié de positif, mais il restait bien du travail à accomplir. Un nouveau point de la situation a été fait au cours d'un quatrième entretien d'évaluation et de développement des compétences le 3 mars 2009. Tous les objectifs fixés étaient atteints et les démarches devaient être poursuivies. Sur dix-huit critères et sous-critères évalués, l'un était qualifié de "point fort", quatorze étaient "OK pour la fonction" alors que deux restaient "à améliorer". L'évaluation globale était bonne. Trois objectifs ont été fixés. S._ devait continuer dans la voie des changements utiles à l'atteinte de ceux-ci. Une poursuite de collaboration pouvait être envisagée de manière positive pour le service. Le 25 mai 2009 a eu lieu l'entretien d'évaluation de nomination de troisième année. Parmi les trois objectifs fixés au cours de l'entretien précédent, deux n'étaient pas atteints et un n'était que partiellement atteint. Sur dix-neuf critères et sous-critères, quatre étaient "OK pour la fonction", onze "à améliorer" et deux étaient "insuffisants". L'évaluation globale était jugée inacceptable. Les attentes admises et les progressions mesurées en mars 2009 ne s'étaient pas poursuivies de manière significative et amenaient à un constat d'insuffisance des performances. Une poursuite de la collaboration comme cheffe de secteur Service Z._ apparaissait difficilement envisageable et devait s'arrêter au terme de la période probatoire. A.c Le 27 mai 2009, S._ a été convoquée pour le surlendemain par son supérieur hiérarchique à un entretien de service, conformément à l'art. 44 du règlement d'application de la loi générale relative au personnel de l'administration cantonale, du pouvoir judiciaire et des établissements publics médicaux (RPAC). Le sujet de l'entretien se rapportait à des difficultés managériales constatées lors de l'entretien d'évaluation du 25 mai 2009. Au cours de l'entretien de service qui s'est tenu le 29 mai 2009, S._ a été informée que certains dysfonctionnements avaient été constatés lors des précédentes évaluations, lesquels n'avaient pas été corrigés. Une poursuite de collaboration comme cheffe du Service Z._ n'apparaissait pas possible. Il lui a été proposé de prendre un poste de cheffe d'équipe à Y._ dès le 1er septembre 2009, ce qu'elle a accepté. Un report de nomination d'un an serait demandé, eu égard à ce changement de fonction. Un délai de dix jours était octroyé à l'intéressée pour formuler des observations. A.d Par courrier du 22 juin 2009, S._ s'est déterminée par l'intermédiaire d'un avocat. Tous les rapports d'entretiens d'évaluation, mis à part celui du 29 mai 2009, étaient positifs et démontraient une amélioration constante. Le changement d'appréciation entre le mois de mars et le mois de mai 2009 était surprenant. Aucun reproche précis n'était formulé à l'égard de son travail ou de sa personne. La proposition de déplacement à Y._ conduisait à la soumettre à une classe de traitement inférieure, en qualité de cheffe d'équipe et non de cheffe de secteur. La convocation à l'entretien du 29 mai n'avait pas été faite suffisamment à l'avance puisqu'elle devait être adressée dix jours ouvrables avant l'entretien, le délai ne pouvant être réduit que si l'entretien avait pour objet une infraction aux devoirs du personnel. Or, les manquements reprochés à S._ ne constituaient manifestement pas une infraction aux devoirs du personnel. Cette dernière n'avait eu le temps ni de se préparer à l'entretien, ni de rechercher une personne pouvant l'y accompagner. L'acceptation d'un poste de cheffe d'équipe à Y._ n'avait été obtenue que sous la pression des événements. L'intéressée se sentait blessée par les accusations d'incompétence qu'elle estimait injustifiées. Elle était capable de tenir le poste qui lui avait été confié et s'opposait tant au report de sa nomination qu'à son déplacement à Y._. Un nouvel entretien devait être organisé. A.e Le 25 juin 2009, la Direction des ressources humaines de l'Hôpital X._ a résilié les rapports de service de S._ pour le 30 septembre 2009, au motif que ses prestations étaient insuffisantes. Cette décision était exécutoire nonobstant recours. Le même jour, la Direction des ressources humaines de l'Hôpital X._ a répondu au courrier que lui avait adressé l'avocat de S._ le 22 juin 2009. Elle a relevé que l'intéressée était en difficulté depuis plus d'une année, ce que lui avait indiqué son responsable. S._ avait eu la possibilité de réaliser une évaluation de son profil managérial, mais mis à part quelques améliorations ponctuelles, le résultat d'ensemble n'avait pas été celui escompté. Elle avait signé le procès-verbal de l'entretien du 29 mai 2009 en toute connaissance de cause et n'avait pas transmis d'observations dans le délai de dix jours dont elle disposait après sa réception. Le délai de convocation à l'entretien de service avait été valablement raccourci puisque l'on se trouvait en présence d'une infraction aux devoirs du personnel. B. S._ a recouru contre la décision de 25 juin 2009 par laquelle l'Hôpital X._ a résilié ses rapports de service devant le Tribunal administratif (depuis le 1er janvier 2011: Cour de justice de la République et canton de Genève, Chambre administrative). Elle a conclu à la restitution de l'effet suspensif et, principalement, à la constatation de la nullité de la décision attaquée, subsidiairement à son annulation et encore plus subsidiairement à sa réintégration en qualité de cheffe de secteur et, en cas de refus, à fixer l'indemnité pour résiliation contraire au droit à six mois de traitement. Le 25 août 2009, l'Hôpital X._ s'est opposé à la restitution de l'effet suspensif. Le 28 septembre 2009, il a conclu au rejet du recours. Par jugement du 22 juin 2010, le Tribunal administratif a admis le recours et annulé la décision de l'Hôpital X._ du 25 juin 2009. En bref, il a retenu que la décision de licenciement n'était pas valable car elle avait été prise en violation du droit d'être entendu de S._. Il a déclaré sans objet la demande d'effet suspensif. C. L'Hôpital X._ interjette un recours en matière de droit public contre ce jugement. Il conclut préalablement à l'octroi de l'effet suspensif et, principalement, à l'annulation de l'arrêt attaqué, subsidiairement au renvoi de la cause au Tribunal administratif pour qu'il statue dans le sens des considérants. S._ conclut au rejet de la requête d'effet suspensif et du recours. D. Par ordonnance du 17 novembre 2010, le Juge délégué à l'instruction de la cause a rejeté la demande d'octroi de l'effet suspensif.