Faits:
A. A.a Engagée dès le 1er septembre 1991 en qualité de psychologue au Service des établissements de détention par le Département genevois de justice, police et sécurité, A._ a été nommée fonctionnaire à partir du 1er janvier 2003. Son activité (exercée à 50 %) consistait à prendre en charge le suivi psychothérapeutique de détenus en semi-liberté, sous mandat ou en demande d'aide volontaire, dans les établissements de détention de Y._, Z._ et T._.
A la suite d'une réorganisation du secteur pénitentiaire, le poste de A._ a été transféré au département de psychiatrie de l'Hôpital X._. Par contrat signé par A._ le 4 décembre 2007, elle a été engagée à partir du 1er janvier 2008 au département de psychiatrie de X._ pour une durée indéterminée. Le contrat spécifiait que pour le calcul de l'origine des droits de l'intéressée, la première date d'entrée à l'Etat, soit le 1er septembre 1991, était déterminante.
Le 23 janvier 2008, le Conseil d'Etat genevois a accepté "la démission présentée" par A._ pour le 31 décembre 2007. Par courrier du 4 février 2008, celle-ci a demandé sa nomination anticipée (comme fonctionnaire) en se référant à un entretien téléphonique avec une collaboratrice de la Direction des ressources humaines de X._ (ci-après: la DRH). Le 13 mars 2008, la DRH a informé A._ que "la politique institutionnelle en la matière ne donn[ait] plus suite à ces démarches depuis quelques années, selon les directives de la direction générale", le délai pour la nomination étant de deux ans selon le nouveau statut du personnel de X._.
A.b A partir du 5 mai 2009, A._ a été mise en arrêt de travail à temps complet par son médecin traitant, la doctoresse S._, généraliste, qui a fait état par la suite d'un grave burn-out (avis des 27 août 2009 et 18 janvier 2010). Le bien-fondé de l'incapacité de travail a été confirmé par le docteur I._, médecin conseil de X._, le 3 septembre 2009.
Toujours en arrêt de travail, A._ a été vue en consultation par le docteur H._, spécialiste FMH en psychiatrie, les 24 novembre et 1er décembre 2009. Le 7 décembre 2009, le Directeur général de X._ l'a informée "prolonger [sa] période probatoire d'un an, soit au 1er janvier 2011", en raison de l'absence pour maladie, l'examen de son dossier de nomination étant repris à ce moment-là.
Par courrier du 10 décembre 2009, le docteur I._ a informé la DRH que son confrère H._ estimait que l'état de santé de A._ lui permettait de reprendre son poste à partir du 1er janvier 2010, sans réserve ni limitation à son cahier des charges. Une copie de ce courrier a été adressée à la doctoresse S._. Celle-ci a établi un certificat de prolongation de l'arrêt de travail de sa patiente (le 28 décembre 2009) qui a été transmis à E._, supérieur hiérarchique de A._. Le 11 janvier 2010, R._, responsable auprès de la DRH, a invité A._ à une rencontre "pour clarification" le 20 janvier 2010, en constatant qu'elle n'avait pas repris le travail comme prévu par le médecin conseil et que l'avis du docteur H._ s'opposait à celui de la doctoresse S._ sur l'incapacité de travail.
A.c La rencontre entre A._, R._ et E._ a eu lieu le 25 janvier 2010. A cette occasion, l'intéressée a indiqué qu'elle n'avait reçu aucune communication lui enjoignant de reprendre le travail le 4 janvier 2010. Elle a produit un avis et un certificat médical de la doctoresse S._ (selon lequel elle était toujours en incapacité totale de travailler). E._ et R._ ont refusé de prendre connaissance et de verser ces documents au dossier (lesquels ont été finalement transmis par l'intéressée à la DRH deux jours plus tard). R._ a informé A._ que si elle ne reprenait pas le travail le lendemain, ceci serait considéré comme un abandon de poste. La prénommée a répondu qu'il lui était impossible de reprendre le travail à cette échéance.
Par décision du même jour, la DRH a résilié les rapports de service de A._ avec effet au 30 avril 2010, en constatant que l'intéressée ne désirait pas revenir à son poste de travail et ce, sans motif valable. Cette décision était exécutoire nonobstant recours.
B. Par mémoire du 1er mars 2010, A._ a recouru devant le Tribunal administratif de la République et canton de Genève (aujourd'hui, Cour de justice de la République et canton de Genève, Chambre administrative), en concluant principalement à l'annulation de son licenciement et à la constatation de la poursuite des rapports de travail au-delà du 30 avril 2010. A titre subsidiaire, elle demandait sa réintégration et, à titre plus subsidiaire encore, le versement d'une indemnité équivalent à vingt-quatre mois de salaire brut avec intérêts à 5 % dès le 25 janvier 2010. Elle sollicitait en outre le rétablissement de l'effet suspensif au recours, ce que le Tribunal administratif a refusé par décision incidente du 25 mars 2010.
Statuant le 21 juin 2011, la Chambre administrative de la Cour de justice de la République et canton de Genève a admis le recours: constatant la nullité du licenciement signifié à A._ le 25 janvier 2010, elle a jugé que celle-ci faisait toujours partie du personnel de X._.
C. X._ interjette un recours en matière de droit public contre le jugement cantonal dont il demande principalement l'annulation, sous suite de frais et dépens. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à la juridiction cantonale pour qu'elle statue dans le sens des considérants. Il requière par ailleurs l'octroi de l'effet suspensif à leur recours.
A._ conclut au rejet tant de la requête d'effet suspensif que du recours. Elle sollicite par ailleurs le bénéfice de l'assistance judiciaire.
Par ordonnance du 8 novembre 2011, le juge instructeur a admis la requête d'effet suspensif.
Considérant en droit:
1. Le jugement entrepris a été rendu en matière de rapports de travail de droit public au sens de l'art. 83 let. g LTF. Dans la mesure où la contestation porte principalement sur la réintégration de l'intimée, il s'agit d'une contestation de nature pécuniaire, de sorte que le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération. La valeur litigieuse atteint par ailleurs le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public en ce domaine (art. 51 al. 2 et 85 al. 1 let. b LTF).
Pour le surplus, interjeté en temps utile (art. 100 al. 1 LTF) contre une décision finale (art. 90 LTF) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF), le recours en matière de droit public est recevable.
2. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Le recourant ne peut critiquer la constatation des faits importants pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF), c'est-à-dire arbitraire, ce qui lui appartient de démontrer par une argumentation répondant aux exigences de l'art. 42 al. 2 LTF, respectivement de l'art. 106 al. 2 LTF (ATF 134 V 53 consid. 4.3 p. 62; 133 II 249 consid. 1.4.3 p. 254 s.).
Par ailleurs, sauf dans les cas prévus par l'art. 95 let. c à e LTF, qui n'entrent pas en considération en l'espèce, le Tribunal fédéral n'examine la mauvaise application du droit cantonal que si elle constitue une violation du droit fédéral (cf. art. 95 LTF) parce qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels (ATF 135 V 2 consid. 1.3 p. 4; 133 III 462 consid. 2.3 p. 466; 133 II 249 consid. 1.2.1 p. 251).
3. 3.1 Pour trancher le point de savoir si la décision de licenciement du 25 janvier 2010 était conforme au droit, la juridiction cantonale s'est au préalable demandée si l'intimée bénéficiait du statut de fonctionnaire à cette date. Constatant que la perte ou le maintien du statut de fonctionnaire en cas de transfert d'un service de l'Etat à Hôpital X._ n'était pas expressément réglé par la loi, elle a mis en doute la compatibilité de la pratique mise en place dans un tel cas - démission du fonctionnaire, puis nouvelle nomination quelques mois après le transfert de manière anticipée (soit avant l'accomplissement de la période probatoire) -, pratique qui avait été modifiée depuis (en ce sens qu'il n'était plus donné suite à une demande de nomination anticipée), sans qu'une information claire n'eût été donnée à ce sujet.
Sans se prononcer plus avant sur cette question, les premiers juges ont admis que A._ était restée fonctionnaire malgré le transfert de son poste de l'Etat de Genève à l'Hôpital X._. En l'absence de toute information claire donnée par le nouvel employeur à l'intimée, un engagement assimilable à une promesse qu'elle conservait sa qualité de fonctionnaire avait été pris, de sorte qu'elle avait gardé ce statut en vertu de la protection de sa bonne foi.
3.2 Dans un second temps, la juridiction cantonale a constaté qu'aucune procédure de licenciement d'un fonctionnaire au sens de l'art. 21 al. 3 de la loi générale relative au personnel de l'administration cantonale, du pouvoir judiciaire et des établissements publics médicaux, du 4 décembre 1997, de la République et canton de Genève (LPAC; RSG B 5 05), en relation avec l'art. 22 LPAC (licenciement pour motif fondé) n'avait été ouverte à l'encontre de l'intimée. Convoquée le 25 janvier 2010 pour que fût clarifiée la situation de son absence au travail, l'intimée s'était expliquée en indiquant qu'elle n'avait pas obtenu copie du rapport du docteur H._. Elle n'avait par ailleurs pas reçu d'injonction de la part de son employeur de se présenter à la date prévue, ni n'avait été avertie des conséquences auxquelles ce manquement l'exposait. Son licenciement n'avait en outre pas été envisagé à ce moment-là, selon les déclarations faites par le supérieur hiérarchique de l'intimée en instance cantonale.
Dans ces circonstances, l'autorité cantonale de recours a retenu que la résiliation des rapports de travail le jour même de cet entretien, sans qu'aucune procédure de licenciement n'eût été ouverte, violait très gravement le droit d'être entendue de l'intéressée et que la décision du 25 janvier 2010 était si arbitraire qu'elle en était nulle. Aussi, l'intimée faisait-elle toujours partie du personnel de l'administration cantonale.
4. Invoquant une "appréciation arbitraire du principe de la bonne foi", le recourant conteste d'abord que les conditions de la protection de la bonne foi soient réalisées. Il se plaint ensuite, en ce qui concerne la conformité au droit du licenciement, d'une constatation manifestement inexacte des faits et soutient avoir respecté les conditions posées par l'art. 21 al. 1 LPAC, applicable dès lors que l'intimée n'était selon lui pas fonctionnaire au moment où le congé lui avait été signifié.
4.1 Le point de savoir si en vertu de la protection de la bonne foi ou, même en dehors de cette éventualité - question sur laquelle ne s'est pas prononcée l'autorité cantonale de recours (consid. 3.1 supra) -, l'intimée a gardé le statut de fonctionnaire malgré la fin des rapports de service auprès du Département genevois de justice et police (aujourd'hui, Département de la sécurité, de la police et de l'environnement) n'a pas à être tranché par le Tribunal fédéral. En effet, comme il ressort de ce qui suit, la conclusion des premiers juges selon laquelle l'intimée fait toujours partie du personnel de X._ doit en toute hypothèse - qu'elle soit considérée comme fonctionnaire ou employée - être confirmée.
4.2 Au chapitre II (du titre III) "Fin des rapports de service", sous la section 2 "Fonctionnaires et employés" et le titre "Résiliation", l'art. 21 LPAC prévoit ceci:
1 Pendant le temps d'essai et la période probatoire, chacune des parties peut mettre fin aux rapports de service; le membre du personnel n'ayant pas qualité de fonctionnaire est entendu par l'autorité compétente; il peut demander que le motif de résiliation lui soit communiqué.
2 Le fonctionnaire peut mettre fin aux rapports de service en respectant le délai de résiliation.
3 L'autorité compétente peut résilier les rapports de service du fonctionnaire pour un motif fondé. Elle motive sa décision. Elle est tenue, préalablement à la résiliation, de proposer des mesures de développement et de réinsertion professionnels et de rechercher si un autre poste au sein de l'administration cantonale correspond aux capacités de l'intéressé. Les modalités sont fixées par règlement.
4.3 Le droit d'être entendu sert non seulement à établir correctement les faits, mais constitue également un droit indissociable de la personnalité garantissant à un particulier de participer à la prise d'une décision qui touche sa position juridique. Il comprend, en particulier, le droit pour la personne concernée de s'expliquer avant qu'une décision ne soit prise à son détriment, celui de fournir des preuves quant aux faits de nature à influer sur le sort de la décision, celui d'avoir accès au dossier, celui de participer à l'administration des preuves, d'en prendre connaissance et de se déterminer à leur propos. En tant que droit de participation, le droit d'être entendu englobe donc tous les droits qui doivent être attribués à une partie pour qu'elle puisse faire valoir efficacement son point de vue dans une procédure (ATF 132 II 485 consid. 3.2 p. 494; 129 II 497 consid. 2.2 p. 504 s., et les références). L'étendue du droit de s'exprimer ne peut pas être déterminée de manière générale, mais doit être définie au regard des intérêts concrètement en jeu. L'idée maîtresse est qu'il faut permettre à une partie de pouvoir mettre en évidence son point de vue de manière efficace (ATF 111 Ia 273 consid. 2b p. 274; 105 Ia 193 consid. 2b/cc p. 197). En matière de rapports de travail de droit public, des occasions relativement informelles de s'exprimer avant le licenciement peuvent remplir les exigences du droit constitutionnel d'être entendu, pour autant que la personne concernée ait compris qu'une telle mesure pouvait entrer en ligne de compte à son encontre (arrêts 1C_560/2008 du 6 avril 2009 et 1C_103/2007 du 7 décembre 2007 consid. 5.3). La personne concernée ne doit pas seulement connaître les faits qui lui sont reprochés, mais doit également savoir qu'une décision allant dans une certaine direction est envisagée à son égard (consid. 5.2 non publié aux ATF 136 I 39 de l'arrêt 8C_158/2009 du 2 septembre 2009 et les arrêts cités).
4.4 Des faits constatés par la juridiction cantonale, il ressort que le licenciement de l'intimée n'avait pas été envisagé au moment où a eu lieu l'entretien du 25 janvier 2010. Au contraire, l'intimée avait été convoquée pour que fût clarifiée la situation de son absence au travail et elle avait été en mesure de s'en expliquer en indiquant à R._ et E._ qu'elle n'avait pas obtenu copie du rapport du docteur H._. Elle n'avait par ailleurs pas reçu d'injonction de la part de son employeur de se présenter à son poste à la date prévue, ni n'avait été avertie des conséquences auxquelles ce manquement l'exposait.
Contrairement à ce que prétend en vain le recourant, ces constatations n'apparaissent ni manifestement inexactes, ni arbitraires. Elles sont corroborées tant par la teneur de la convocation du 11 janvier 2010, que par les déclarations de R._ et E._ en instance cantonale. Le courrier du 11 janvier 2010 fait état de la contradiction entre l'avis du docteur H._ et celui du médecin traitant de l'intimée sur sa capacité de travail en relation avec une reprise de ses fonctions et fixe la date d'une rencontre "pour clarification"; il ne comprend en revanche aucun indice relatif à un éventuel licenciement, ni une injonction relative à la reprise du travail. Une telle injonction ne peut pas non plus être déduite, quoi qu'en disent le recourant, de la lettre du docteur I._ du 10 décembre 2009. Outre le fait que ce courrier a été adressé à la DRH et non à l'intéressée, il appartient à l'employeur et non pas à son médecin conseil, ni du reste au médecin traitant de la personne concernée, de mettre celle-ci en demeure de reprendre ses fonctions à partir d'une date déterminée. Par ailleurs, si lors de la rencontre du 25 janvier 2010, R._ a certes évoqué la nécessité de reprendre le travail, pour ne pas risquer un abandon de poste et un licenciement, "l'entretien ne s'est pas fait dans un contexte de licenciement envisagé" selon ses déclarations (confirmées par ceux de E._; procès-verbal d'audience d'enquêtes du 23 décembre 2010). C'est dire qu'à ce moment-là aucune décision de licenciement n'avait été envisagée à l'encontre de l'intimée et qu'elle n'a pas été entendue pour ce motif. Elle ne savait donc pas, le 25 janvier 2010, qu'une décision allant dans cette direction était en discussion à son égard.
Par conséquent, en notifiant le même jour son licenciement à l'intimée sans qu'elle n'ait été entendue au préalable, le recourant n'a de manière évidente pas respecté son droit d'être entendue, en violation de l'art. 21 al. 1 LPAC et, a fortiori, de l'art. 21 al. 3 (appliqué par la juridiction cantonale en relation avec l'art. 22 LPAC), qui prévoient des conditions supplémentaires au licenciement des fonctionnaires. Il ne saurait dès lors soutenir qu'une décision de licenciement a valablement été rendue le 25 janvier 2010.
4.5 Il résulte de ce qui précède que le jugement entrepris, selon lequel l'intimée fait toujours partie du personnel de X._, n'est pas contraire au droit. Le recours, mal fondé, doit être rejeté.
5. Vu l'issue du litige, les frais judiciaires sont mis à la charge du recourant (art. 66 al. 1 LTF). Par ailleurs, l'intimée a droit de sa part à une indemnité de dépens (art. 68 al. 1 LTF), de sorte que sa requête d'assistance judiciaire est sans objet.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le recourant versera à l'intimée la somme de 2'800 fr. à titre de dépens pour la dernière instance.
4. Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre administrative.
Lucerne, le 9 mars 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: Moser-Szeless