Faits:
A. O._ a été engagée par l'Office du personnel de l'Etat de Genève en qualité de commise administrative 3 - assistante d'huissier au sein de l'office des poursuites et des faillites X._ (ci-après: l'OPF) dès le 1er octobre 1999, puis comme huissière-assistante OPF à partir du 1er février 2002. Le 11 mars 2003, le Conseil d'Etat l'a nommée fonctionnaire à compter du 1er octobre 2002. Le 9 novembre 2005, O._ a été promue à la fonction d'huissière à partir du 1er septembre 2005 puis confirmée dans sa fonction le 5 septembre 2007.
Les prestations de l'intéressée ont été qualifiées de bonnes lors des entretiens périodiques de septembre 2007 et novembre 2009. A cette dernière date cependant, le substitut du service des huissiers a noté que O._ ne satisfaisait pas aux exigences du poste en matière d'encadrement et de motivation de son équipe. Pour ce motif, elle n'a pas bénéficié de la nouvelle classe de traitement attribuée à sa fonction dès le 1er janvier 2010.
A la suite d'un accident non professionnel, O._ a été incapable de travailler dès le 6 janvier 2010. Durant son absence, L._, chef des huissiers des secteurs 1 à 4, a procédé à différents contrôles et constaté plusieurs irrégularités dans les dossiers de l'intéressée. Le 5 février 2010, il a donné l'ordre aux assistants huissiers du secteur 3 d'envoyer par plis recommandés des avis de saisie pour l'ensemble des continuations de poursuite de la famille A._.
Le 10 février 2010, O._ a appelé L._ pour l'informer que l'un des débiteurs A._ l'avait contactée pour la mettre au courant des avis de saisie qu'il avait reçus et de son intention de s'acquitter de sa dette en deux fois. Elle a en outre indiqué que ces débiteurs étaient des amis de la famille. Le chef des huissiers a fait savoir à O._ qu'elle était dessaisie de ce dossier et que K._ et C._, tous deux huissiers assistants, avaient reçu l'instruction de procéder à la saisie au domicile du débiteur le 12 février 2010.
Le 11 février 2010, les membres de la famille A._ ont soldé l'intégralité des poursuites dont ils faisaient l'objet, soit un montant total de 76'745 fr. 55.
Dans un rapport préliminaire du 16 février 2010, L._ a établi une liste des dossiers traités par le secteur 3. Il ressort de ce rapport que O._ avait demandé à son équipe de lui donner toutes les réquisitions et courriers concernant la famille A._, alors même que celle-ci résidait à l'Avenue Y._, qui faisait partie du secteur dont l'huissière assistante K._ était responsable. Les poursuites concernant la famille A._ n'avaient pas été diligentées dans les délais prescrits. Par ailleurs, le rapport relevait d'autres infractions aux règles et usages professionnels.
Les faits reprochés ont été dénoncés à la Commission de surveillance des offices des poursuites et des faillites (CSO) le 23 février 2010.
Un entretien de service auquel ont participé le chef des huissiers, la responsable du secteur des ressources humaines (RH), le préposé, le suppléant du directeur RH et O._, assistée de son conseil, a eu lieu le 26 février 2010. Au cours de celui-ci, O._ a été informée des faits relatés dans le rapport du 16 février 2010. Pour sa part, elle a expliqué qu'elle avait voulu reprendre le dossier A._ parce qu'elle connaissait le mode de fonctionnement de ces personnes à la mentalité orientale. Elle reconnaissait toutefois avoir utilisé à leur égard d'autres moyens que les moyens légaux à disposition, tout en relevant que les membres de cette famille finissaient toujours par payer. Dans la mesure où elle avait connaissance du fait que la famille A._ possédait un bien immobilier, il lui a été reproché de n'avoir pris aucune mesure afin de sauvegarder les intérêts des créanciers, en sollicitant par exemple l'inscription d'une restriction d'aliéner au Registre foncier. A l'issue de l'entretien, O._ a été informée que les faits reprochés étaient susceptibles de faire l'objet d'une dénonciation pénale ainsi que d'une révocation et que sa hiérarchie envisageait l'ouverture d'une enquête administrative ainsi que sa suspension provisoire.
Le 2 mars 2010, le chef des huissiers a établi un second rapport concernant le traitement d'autres dossiers par O._ et le 4 mars 2010, celle-ci a déposé des observations au sujet de l'entretien de service.
Le 8 mars 2010, les faits ont été dénoncés au Procureur général.
Par arrêté du 24 mars 2010, le Conseil d'Etat a ordonné l'ouverture d'une enquête administrative à l'encontre de O._ et prononcé sa suspension provisoire sans traitement. L'enquête a été confiée à F._, juge à la Cour de justice.
Par ordonnance du 14 avril 2010, la CSO a suspendu la procédure disciplinaire ouverte contre O._, jusqu'à droit jugé au pénal.
Dans son rapport d'enquête du 21 juin 2010, l'enquêtrice est arrivée à la conclusion que O._ avait gravement violé ses devoirs de fonction par le traitement privilégié accordé de manière prolongée et répétée aux débiteurs A._. A lui seul, ce comportement remettait en cause le rapport de confiance liant O._ à son employeur. Le 2 août 2010, celle-ci a déposé ses observations.
Par arrêté du 25 août 2010, déclaré exécutoire nonobstant recours, le Conseil d'Etat a révoqué O._ avec effet immédiat. Cette décision rétroagissait au jour de l'ouverture de l'enquête administrative, soit au 24 mars 2010.
B. O._ a recouru contre cette décision en concluant à son annulation, le tout sous suite de frais et dépens.
Par arrêt du 23 novembre 2010, le Tribunal administratif de la République et canton de Genève (aujourd'hui: Chambre administrative de la Cour de justice) a rejeté le recours.
C. O._ exerce un recours en matière de droit public dans lequel elle conclut à l'annulation de cet arrêt. Elle demande qu'il soit constaté que la décision du Conseil d'Etat du 24 mars 2010 ordonnant une enquête administrative est nulle, que l'enquête administrative est inefficace, que l'arrêté du Conseil d'Etat du 25 août 2010 est nul et qu'elle fait encore partie du personnel de l'Etat de Genève après le 24 mars 2010.
L'Office du personnel de l'Etat a conclu, au nom du Conseil d'Etat, au rejet du recours.
D. Le 7 mars 2011, la Caisse de chômage Z._ a informé le Tribunal fédéral qu'elle était subrogée dans les droits de O._ en application de l'art. 29 de la loi fédérale du 25 juin 1982 sur l'assurance-chômage obligatoire et l'indemnité en cas d'insolvabilité (LACI; RS 837) contre l'Etat de Genève. Elle concluait à ce que ce dernier soit condamné à lui verser la somme de 36'731 fr. 65 plus intérêts à 5 % l'an, correspondant aux indemnités de chômage versées à la recourante du 29 avril 2010 au 28 février 2011. Elle a amplifié ses conclusions en date des 28 mars, 28 avril, 6 juin, 27 juin, 4 août, 30 août et 26 septembre 2011, à mesure qu'elle versait des prestations à la recourante.

Considérant en droit:
1. La juridiction cantonale a déclaré irrecevable les demandes d'intervention successives présentées devant elle par la caisse de chômage, au motif que l'institution de l'intervention n'existait pas en procédure administrative. Dans la mesure où elle a été tenue à l'écart de la procédure cantonale et qu'elle n'a pas recouru contre le jugement cantonal - qui lui a pourtant été notifié - la caisse ne saurait prendre des conclusions devant le Tribunal fédéral (cf. <ref-law>). Si tant est qu'elles ne soient pas dépourvues d'objet, vu le sort à réserver au présent recours, ses conclusions sont irrecevables.
2. Selon l'art. 83 let. g LTF, en matière de rapports de travail de droit public (lorsque, comme en l'espèce, la question de l'égalité des sexes n'est pas en cause), le recours en matière de droit public est irrecevable contre les décisions qui concernent une contestation non pécuniaire. Le litige soumis à l'autorité cantonale ne porte pas sur le versement d'une somme d'argent mais sur l'annulation d'une décision de résiliation. Dans cette mesure, il s'agit d'une contestation pécuniaire et le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération (voir par exemple les arrêts 8C_907/2010 du 8 juillet 2011 consid. 1 et 8C_170/2009 du 25 août 2009 consid. 1.1). Par ailleurs, la valeur litigieuse dépasse le seuil de 15'000 fr. requis en matière de rapports de travail de droit public (<ref-law>).
3. Pour le surplus, interjeté en temps utile (<ref-law>) contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF), le recours en matière de droit public est recevable.
4. 4.1 La recourante invoque la nullité absolue de la procédure ayant mené à sa révocation par le Conseil d'Etat en raison de l'incompétence matérielle de ce dernier. Se fondant sur l'art. 29 al. 1 de la loi générale relative au personnel de l'administration cantonale, du pouvoir judiciaire et des établissements publics médicaux (LPAC; RSG B 5 05) - selon lequel lorsque les faits reprochés à un membre du personnel relèvent également d'une autre autorité disciplinaire administrative, celle-ci est saisie préalablement -, elle soutient que le Conseil d'Etat n'était pas compétent pour ordonner une enquête administrative et adopter une mesure disciplinaire à son encontre, au motif que la CSO avait été saisie en premier et qu'elle n'avait pas encore statué. C'est dès lors à la CSO, et non au Conseil d'Etat qu'il aurait appartenu de prendre une éventuelle mesure disciplinaire. Selon elle, l'arrêté du Conseil d'Etat du 24 mars 2010 ordonnant l'ouverture d'une enquête administrative et sa décision du 25 août 2010 par laquelle il l'a révoquée seraient par conséquent nuls.
4.2 La recourante soulève ici une argumentation juridique qu'elle n'a pas présentée devant l'autorité cantonale. Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>). Toute conclusion nouvelle est irrecevable (<ref-law>). A contrario, cette disposition n'interdit pas une argumentation juridique nouvelle, pour autant que celle-ci repose sur les constatations de fait de la décision attaquée (<ref-ruling> consid. 5.3.2 p. 651; arrêt 4A_28/2007 du 30 mai 2007 consid. 1.3, non publié in <ref-ruling>).
En l'espèce, la question de savoir si l'argumentation de la recourante reste ou non dans les limites de l'état de fait ressortant de l'arrêt attaqué et, partant, si elle est recevable, peut rester ouverte car elle doit de toute façon être rejetée.
5. Il est généralement admis en doctrine qu'à côté de la destitution comme sanction disciplinaire au sens de l'art. 14 al. 2 ch. 4 de la loi fédérale sur la poursuite pour dettes et la faillite (LP; RS 281.1) prononcée par l'autorité cantonale de surveillance, l'autorité de nomination peut relever de leurs fonctions ou renvoyer pour justes motifs les agents publics nommés de façon permanente pour des motifs prévus par le droit cantonal (PIERRE-ROBERT GILLIÉRON, Commentaire de la loi fédérale sur la poursuite pour dettes et la faillite, n° 33 ad art. 14; JAEGER/WALDER/KULL/KOTTMANN, Bundesgesetz über Schuldbetreibung und Konkurs, 4ème éd., n° 14 ad art. 14; FRANK EMMEL, in Basler Kommentar, Bundesgesetz über Schuldbetreibung und Konkurs I, n° 11b ad art. 14). L'<ref-law> n'empêche par conséquent pas l'autorité de nomination d'un fonctionnaire cantonal d'ouvrir une procédure disciplinaire parallèlement à celle diligentée par l'autorité de surveillance. Dans le canton de Genève, cette compétence du pouvoir exécutif est du reste expressément réservée par l'art. 10 al. 2 de la loi d'application de la loi fédérale sur la poursuite pour dettes et la faillite (LaLP/GE; RSG E 3 60).
Dans un arrêt 5A_112/2009 du 7 mai 2009 concernant la destitution d'un employé de l'office des poursuites, le Tribunal fédéral a précisé qu'il n'apparaissait nullement insoutenable de prétendre que la compétence de la Commission de surveillance des offices des poursuites et des faillites du canton de Genève se limitait à la sanction des fautes commises par les fonctionnaires et employés des offices des poursuites et des faillites dans l'exécution des dispositions imposées par la LP et que le pouvoir exécutif disposait, de son côté, de l'exercice du pouvoir disciplinaire pour les manquements au statut proprement dit des fonctionnaires et employés de l'Etat nommés par lui. Or, en l'espèce, les premiers juges ont constaté que le traitement de faveur réservé par la recourante aux membres de la famille A._, lequel n'était pas contesté par l'intéressée, contrevenait non seulement aux directives de l'OPF mais également aux devoirs du personnel de l'Etat de Genève, notamment aux art. 20 ss du Règlement d'application de la loi générale relative au personnel de l'administration cantonale, du pouvoir judiciaire et des établissements publics médicaux (RPAC; RSG B 5 05.01).
Compte tenu de ce qui précède, il n'est pas insoutenable de considérer que l'art. 29 al. 1 LPAC n'empêchait pas le Conseil d'Etat d'ordonner une enquête administrative et de prononcer une sanction disciplinaire (révocation) à l'encontre de la recourante en raison de manquements de cette dernière aux devoirs du personnel, alors qu'une procédure dirigée par l'autorité de surveillance était toujours pendante.
6. Il s'ensuit que le recours est mal fondé.
Vu l'issue du litige, la recourante supportera les frais judiciaires (<ref-law>). L'intimé, qui agit dans l'exercice de ses attributions officielles, n'a pas droit à des dépens (<ref-law>; <ref-ruling> consid. 7 p. 118 s.).

Le Tribunal fédéral prononce:
1. Les conclusions de la Caisse de chômage Z._ sont irrecevables.
2. Le recours est rejeté.
3. Les frais judiciaires, arrêtés à 3000 fr., sont mis à la charge de la recourante.
4. Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre administrative, et à la Caisse de chômage Z._.
Lucerne, le 25 octobre 2011
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: Fretz Perrin