Faits:
A. A._ est entré au service de la gendarmerie du canton de Genève le 1er août 1991. Il a été promu appointé le 1er août 1997 puis nommé au grade de sous-brigadier dès le 1er janvier 2005.
Le 5 avril 2007, le Département des institutions du canton de Genève et le Conseil d'Etat ont ordonné, respectivement l'ouverture d'une enquête administrative à l'encontre de A._ et la suspension provisoire de ce dernier avec effet immédiat, sans suppression de son traitement, en raison de l'ouverture d'une enquête pénale contre lui pour lésions corporelles simples aggravées (art. 123 ch. 1 et 2 et al. 2 CP), dénonciation calomnieuse (art. 303 CP) et abus d'autorité (art. 312 CP).
Il était reproché à A._ d'avoir frappé le prévenu B._ d'un violent coup de poing au visage dans une salle d'audition en mars 2007, alors que ce dernier avait les poignets menottés dans le dos puis de lui avoir brutalement cogné la tête contre le mur du fond de la salle. Par ailleurs, il était reproché à A._ d'avoir déposé plainte pénale contre B._, affirmant faussement que ce dernier l'avait blessé à la main lors d'une altercation, alors que sa blessure était en réalité consécutive au coup de poing qu'il lui avait asséné.
Le 10 juillet 2007, C._, commissaire de police auquel l'enquête administrative avait été confiée, a rendu son rapport d'enquête, dont il ressort qu'en ayant frappé B._ dans une salle d'audition alors que celui-ci était menotté dans le dos et, partant, maîtrisé et incapable de se défendre, A._ a enfreint les ordres de service (OS) 8-A-1, 8-A-1a, 8-A-5 et 1-A-1c.
Par arrêté du 2 avril 2008, le Conseil d'Etat a révoqué A._ de ses fonctions de sous-brigadier de gendarmerie. Cette sanction tenait compte notamment d'un avertissement infligé à A._ dans l'affaire dite "X._" à la gare Y._.
B. Le 5 mai 2008, A._ a recouru contre cet arrêté devant l'ancienne Commission de recours des fonctionnaires de police et de la prison (CRPP), requérant préalablement la suspension de la procédure jusqu'à droit jugé définitivement dans la procédure pénale. Il a conclu préjudiciellement à la constatation de la nullité de l'avertissement infligé dans le cadre de l'affaire dite "X._". A titre principal, il a sollicité l'annulation de la décision attaquée et sa réintégration, le tout sous suite de frais et dépens. Le 12 décembre 2008, la présidente de la CRPP a informé les parties de la suppression de cette commission à partir du 1er janvier 2009 et de la reprise de la cause par le Tribunal administratif.
Par ordonnance du 19 mai 2008, le Procureur général de la République et canton de Genève a condamné A._ à une peine pécuniaire de 150 jours-amendes, à 80 fr. le jour, assortie du sursis avec un délai d'épreuve de trois ans pour lésions corporelles simples aggravées, dénonciation calomnieuse et abus d'autorité. Tant la culpabilité de A._ que sa peine ont été confirmées sur opposition par jugement du Tribunal de police du 6 mars 2009 puis sur recours par arrêt de la Chambre pénale de la Cour de justice du 19 avril 2010. Cet arrêt a été communiqué au Tribunal administratif le 9 juin 2010.
Statuant le 5 octobre 2010, le Tribunal administratif du canton de Genève (aujourd'hui: Cour de justice de la République et canton de Genève, Chambre administrative) a rejeté le recours de A._ contre l'arrêté du Conseil d'Etat du 2 avril 2008.
C. A._ interjette un recours en matière de droit public dans lequel il conclut à l'annulation de ce jugement et au renvoi de la cause à l'autorité cantonale pour instruction complémentaire et nouvelle décision au sens des considérants.
Le Conseil d'Etat conclut au rejet du recours.
D. Le 30 mars 2011, A._ a donné sa démission pour le 30 juin suivant.

Considérant en droit:
1. Le Tribunal fédéral examine d'office la recevabilité des recours dont il est saisi (<ref-ruling> consid. 1 p. 444; <ref-ruling> consid. 1.1 p. 251).
2. 2.1 Selon l'art. 83 let. g LTF, en matière de rapports de travail de droit public (lorsque, comme en l'espèce, la question de l'égalité des sexes n'est pas en cause), le recours en matière de droit public est irrecevable contre les décisions qui concernent une contestation non pécuniaire. En matière pécuniaire, le recours n'est en principe recevable que si la valeur litigieuse atteint 15'000 fr. (art. 85 al. 1 let. b LTF). En cas de recours contre une décision finale, la valeur litigieuse est déterminée par les conclusions restées litigieuses devant l'autorité précédente (art. 51 al. 1 let. a LTF). Si les conclusions ne tendent pas au paiement d'une somme d'argent déterminée, le Tribunal fédéral fixe la valeur litigieuse selon son appréciation (art. 51 al. 2 LTF).
2.2 Une affaire doit être considérée comme pécuniaire dès lors qu'elle vise un but économique et que son objet peut être apprécié en argent (arrêt 1C_116/2007 du 24 septembre 2007 consid. 2). Devant l'autorité précédente, le recourant a conclu à sa réintégration pour une durée indéterminée - et donc au paiement de son salaire pendant plusieurs mois, voir plusieurs années - de sorte que l'on peut admettre que la valeur litigieuse atteint le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public dans ce domaine (arrêts 8C_358/2009 du 8 mars 2010 consid. 2, 8C_176/2009 du 14 septembre 2009 consid. 1, 8C_170/2009 du 25 août 2009 consid. 1, 8C_46/2009 du 24 août 2009 consid. 2).
2.3 Aux termes de l'art. 89 al. 1 LTF, a qualité pour former un recours en matière de droit public quiconque a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire (let. a), est particulièrement atteint par la décision ou l'acte normatif attaqué (let. b), et a un intérêt digne de protection à son annulation ou à sa modification (let. c). Le recourant doit ainsi avoir un intérêt pratique et actuel à obtenir l'annulation de la décision attaquée, intérêt qui doit exister non seulement au moment du dépôt du recours, mais encore au moment où l'arrêt est rendu (<ref-ruling> consid. 2.1 p. 41).
En l'espèce, le recourant a donné sa démission pour le 30 juin 2011. La révocation est une mesure disciplinaire qui constitue une sanction formelle d'un comportement fautif. Elle implique le constat que le recourant a violé les devoirs de sa charge, intentionnellement ou par négligence, et que la gravité de la faute justifie une sanction disciplinaire. Cette mesure revêt l'aspect d'une peine et a un caractère plus ou moins infamant (cf. arrêt 8C_203/2010 du 1er mars 2011, consid. 3.5). Pour ce motif, le recourant conserve un intérêt digne de protection à son annulation. De plus, la mesure peut avoir une influence sur la carrière professionnelle du recourant, en particulier dans l'éventualité d'une nouvelle postulation pour un emploi dans la fonction publique (cf. arrêt 8C_983/2009 du 16 novembre 2010, consid. 3.2).
3. 3.1 Invoquant une violation des art. 6 CEDH et 29 al. 2 Cst., le recourant fait valoir qu'il n'a pas été informé du fait que la juridiction cantonale avait reçu, par courrier de la Chambre pénale du 9 juin 2010, copie de l'arrêt rendu par cette dernière le 19 avril 2010 et que l'arrêt précité ne lui a pas non plus été communiqué par le Tribunal administratif. La cause a ensuite été gardée à juger sans qu'il en soit averti, de sorte qu'il n'a pas pu prendre position sur l'arrêt rendu par la Chambre pénale.
3.2 Le droit d'être entendu est une garantie constitutionnelle de nature formelle, dont la violation entraîne l'annulation de la décision attaquée sans égard aux chances de succès du recours sur le fond (<ref-ruling> consid. 3d/aa p. 437). Ce moyen doit par conséquent être examiné en premier lieu (<ref-ruling> consid. 1 p. 50) et avec un plein pouvoir d'examen (<ref-ruling> consid. 3 p. 194 et la jurisprudence citée).
3.3 Compris comme l'un des aspects de la notion générale de procès équitable au sens des art. 29 Cst. et 6 CEDH, le droit d'être entendu garantit notamment le droit pour une partie à un procès de prendre connaissance de toute argumentation présentée au tribunal et de se déterminer à son propos, que celle-ci contienne ou non de nouveaux éléments de fait ou de droit, et qu'elle soit ou non concrètement susceptible d'influer sur le jugement à rendre. Selon la jurisprudence, il appartient aux parties, et non au juge, de décider si une prise de position ou une pièce nouvellement versée au dossier contient des éléments déterminants qui appellent des observations de leur part. Ce droit à la réplique vaut pour toutes les procédures judiciaires. Toute prise de position ou pièce nouvelle versée au dossier doit dès lors être communiquée aux parties pour leur permettre de décider si elles veulent ou non faire usage de leur faculté de se déterminer (<ref-ruling> consid. 4.5 p. 103; <ref-ruling> consid. 2.2 p. 99; <ref-ruling> consid. 3.3.2-3.3.4 p. 46 s.; arrêts 5A_791/2010 du 23 mars 2011 consid. 2.3.1; 5D_8/2011 du 8 mars 2011 consid. 2.1; 4D_111/2010 du 19 janvier 2011 consid. 2.1; cf. en outre les arrêts de la Cour européenne des droits de l'homme dans les causes Schaller-Bossert contre Suisse du 28 octobre 2010 § 39 s. et Nideröst-Huber contre Suisse du 18 février 1997, Recueil CourEDH 1997-I p. 101 § 24).
3.4 En l'espèce, le recourant se plaint de ne pas avoir été informé que le Tribunal administratif était en possession du jugement de la Chambre pénale du 19 avril 2010. Cette affirmation n'est pas contestée par le Tribunal administratif. Il ne ressort pas non plus du dossier que la juridiction cantonale aurait communiqué cette pièce nouvelle au recourant. Le 5 octobre 2010, le Tribunal administratif a rendu l'arrêt en se fondant sur les faits retenus par la Chambre pénale. En ne permettant pas au recourant de présenter des observations complémentaires sur le jugement de la Chambre pénale du 19 avril 2010, alors que cette pièce était déterminante pour l'issue du litige, le Tribunal administratif n'a pas respecté les principes jurisprudentiels susmentionnés (cf. arrêts 1B_349/2011 du 14 juillet 2011, 1C_196/2011 du 11 juillet 2011, 1B_269/2011 du 20 juin 2011).
Le recours doit donc être admis pour ce motif, sans qu'il soit nécessaire d'examiner les autres griefs soulevés par le recourant. La décision attaquée doit par conséquent être annulée et la cause renvoyée à l'autorité précédente pour nouvelle décision prise dans le respect du droit à la réplique défini ci-dessus.
4. L'intimé, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF). Il versera en outre une indemnité de dépens au recourant, qui obtient gain de cause (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. Le jugement du Tribunal administratif de la République et canton de Genève, du 5 octobre 2010 est annulé et la cause renvoyée à la Chambre administrative de la Cour de justice pour nouveau jugement dans le sens des considérants.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de l'intimé.
3. L'intimé versera au recourant la somme de 2'800 fr. à titre de dépens pour la dernière instance.
4. Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre administrative.
Lucerne, le 3 octobre 2011
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: Fretz Perrin