Faits:
A. G._, né en 1964, a été engagé en qualité de gardien surnuméraire à la prison de X._ le 1er mai 1987. Dans le courant de l'année 1990, il a été nommé fonctionnaire.
Par arrêté du 21 août 2007, le Conseil d'Etat de la République et canton de Genève (ci-après : le Conseil d'Etat) a prononcé le licenciement de G._ avec effet au 30 novembre 2007. La résiliation des rapports de service était justifiée par l'inaptitude du prénommé à remplir les exigences du poste et par le fait que malgré les différents aménagements et réaffectations dont il avait bénéficié tout au long de son engagement, ses prestations ne s'étaient pas améliorées. La décision était exécutoire nonobstant recours.
B. B.a Le 2 octobre 2007, l'intéressé a recouru contre cette décision devant la Commission de recours des fonctionnaires de police et de la prison (dont les compétences ont été reprises dès le 1er janvier 2009 par le Tribunal administratif).
Par jugement du 7 septembre 2010, le Tribunal administratif (depuis le 1er janvier 2011 : la Chambre administrative de la Cour de Justice) a admis le recours de G._. Il a constaté que l'arrêté du Conseil d'Etat du 21 août 2007 était contraire au droit, proposé la réintégration de l'employé au sein de la fonction publique et ordonné au Conseil d'Etat, en cas de refus de procéder à cette réintégration, de transmettre sa décision au Tribunal administratif pour fixation d'une indemnité.
B.b Par lettre du 4 novembre 2010, la Conseillère d'Etat du Département de la sécurité, de la police et de l'environnement a communiqué au Tribunal administratif son opposition à la réintégration de G._ en tant que gardien de prison à X._, comme ce dernier en avait exprimé le souhait. Invité par le tribunal cantonal à se déterminer sur le montant de l'indemnité, le Conseil d'Etat a soumis sa prise de position le 17 décembre 2010.
B.c Le 8 février 2011, la Chambre administrative de la Cour de Justice a rendu un jugement, par lequel elle a constaté le refus du Conseil d'Etat de réintégrer G._ au sein de la fonction publique et condamné l'Etat de Genève à verser au prénommé une indemnité correspondant à douze fois son dernier traitement brut avec intérêt à 5 % à compter du 4 novembre 2010.
C. G._ interjette un recours en matière de droit public contre ce jugement, dont il requiert l'annulation. Sous suite de frais et dépens, il conclut, principalement, au renvoi de la cause à la Chambre administrative pour qu'elle statue dans le sens des considérants; subsidiairement, à ce que l'Etat de Genève soit condamné à lui verser une indemnité correspondant à vingt-quatre fois son dernier traitement brut avec intérêts à 5 % dès le 27 août 2007.
Le Conseil d'Etat conclut au rejet du recours. La Chambre administrative déclare n'avoir aucune observation à formuler.
Considérant en droit:
1. 1.1 La décision attaquée a été rendue en matière de rapports de travail de droit public au sens de l'art. 83 let. g LTF. Dès lors qu'elle porte sur la fixation d'une indemnité pour cause de licenciement contraire au droit, il s'agit d'une contestation pécuniaire et le motif d'exclusion de l'art. 83 let. g LTF ne s'applique pas.
1.2 La Chambre administrative a condamné l'intimé à verser au recourant une indemnité représentant un traitement annuel, si bien que le seuil de la valeur litigieuse déterminante - 15'000 fr. (art. 85 al. 1 let. b LTF) - est largement dépassé (voir art. 51 al. 1 let. a LTF).
1.3 Pour le surplus, interjeté en temps utile (art. 100 al. 1 LTF) contre une décision finale (art. 90 LTF) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF), le recours en matière de droit public est recevable.
2. Dans un grief formel qu'il convient d'examiner en premier lieu, le recourant reproche à la Chambre administrative d'avoir violé son droit d'être entendu (art. 29 al. 1 Cst.), en tant que celle-ci ne lui a pas donné la possibilité de s'exprimer sur les déterminations du Conseil d'Etat du 17 décembre 2010.
3. La jurisprudence a déduit de l'art. 29 al. 2 Cst. le droit des parties d'être informées et de s'exprimer sur les éléments pertinents du litige avant qu'une décision touchant leur situation juridique ne soit prise, d'obtenir l'administration des preuves pertinentes et valablement offertes, de participer à l'administration des preuves essentielles et de se déterminer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (ATF 133 I 270 consid. 3.1; 132 II 485 consid. 3.2; 127 I 54 consid. 2b).
4. 4.1 En l'espèce, à la suite de la lettre du Conseil d'Etat du 4 novembre 2010, le tribunal cantonal a fixé à celui-ci un délai au 10 décembre 2010 pour présenter ses déterminations. Ce délai a été prolongé jusqu'au 17 décembre 2010. Le Conseil d'Etat a déposé ses déterminations le dernier jour du délai. Le 20 décembre 2010, le tribunal cantonal a, par pli simple, communiqué cette écriture au recourant en l'informant que l'instruction de la cause lui paraissait terminée mais qu'il accordait aux parties un délai au 15 janvier 2011 «pour formuler toute requête complémentaire»; passé ce délai, la cause était gardée à juger. Dans une lettre au tribunal du 2 février 2011, le conseil de G._ a déclaré avoir appris, à l'occasion d'un entretien avec la Conseillère d'Etat à la mi-janvier 2010, que l'intimé avait déposé ses déterminations le 17 décembre précédent. Il demandait à ce que le document lui soit communiqué à meilleure convenance. Le tribunal lui a remis copie de son courrier du 20 décembre 2010 avec les déterminations de l'intimé. Le 9 février 2011, le conseil de G._ a précisé n'avoir jamais reçu le pli du 20 décembre 2010 et son annexe et sollicité qu'un délai lui soit accordé pour répondre. Le tribunal cantonal lui a annoncé qu'il avait rendu son jugement le 8 février 2011.
4.2 Selon une jurisprudence constante, le fardeau de la preuve de la notification d'un acte, notamment de la date à laquelle celle-ci est intervenue, incombe à l'autorité qui entend en tirer une conséquence juridique (ATF 129 I 8 consid. 2.2 p. 10 et les références citées). Si la notification, ou sa date, sont contestées et qu'il existe effectivement un doute à ce sujet, il y a lieu de se fonder sur les déclarations du destinataire de l'envoi (ATF 124 V 400 consid. 2a p. 402; arrêt 1B_300/2009 du 26 novembre 2009 consid. 3). L'autorité qui entend se prémunir contre le risque d'échec de la preuve de la notification doit communiquer ses actes judiciaires sous pli recommandé avec accusé de réception (ATF 129 I 8 consid. 2.2 p. 11; arrêt 1P.505/1998 du 28 octobre 1998 consid. 2b in SJ 1999 I p. 145).
4.3 Du moment qu'aucune pièce postale ne permet de réfuter les allégations du recourant, on doit retenir, conformément à la jurisprudence précitée, qu'il n'a pas reçu l'envoi du 20 décembre 2010. Cela étant, il ressort du dossier que le conseil de G._ a eu connaissance de la date du dépôt des déterminations du Conseil d'Etat à la mi-janvier 2011. On ne saurait toutefois considérer, contrairement à ce que soutient l'intimé, que le recourant a réagi tardivement vu le laps de temps qui s'est écoulé entre cette date et son courrier du 2 février 2011. Dès lors que la Chambre administrative était saisie d'un nouvel aspect du litige opposant les parties - à savoir la question d'une indemnité pour licenciement contraire au droit -, et que les déterminations de l'intimé n'étaient pas parvenues au recourant, celui-ci était en effet légitimé à penser que le tribunal cantonal allait prochainement lui soumettre ce document pour qu'il puisse y répondre avant de statuer. Ne voyant rien venir, il en a demandé communication puis, quelques jours plus tard, sollicité un délai pour s'exprimer à son tour. On ne peut donc pas conclure qu'il est réputé y avoir renoncé comme le voudrait l'intimé. On ajoutera encore que la lettre que le recourant a adressée spontanément au tribunal le 24 novembre 2010 - dans laquelle, au demeurant, il ne s'est pas du tout prononcé sur la question du montant de l'indemnité - ne saurait valoir réponse à la prise de position de l'intimé. Etant donné que le recourant n'a pas eu la possibilité de se déterminer avant le prononcé du jugement attaqué, son droit d'être entendu n'a pas été respecté. Cette violation ne peut pas être réparée en instance fédérale compte tenu du pouvoir d'examen restreint à l'arbitraire du Tribunal fédéral (art. 105 al. 2 LTF; arrêt 5A_503/2010 du 28 mars 2011 consid 2.4).
4.4 Il s'ensuit que le recours doit être admis, sans qu'il soit nécessaire d'examiner les autres griefs soulevés par le recourant. La décision attaquée sera annulée et la cause renvoyée au tribunal cantonal pour nouvelle décision prise dans le respect du droit d'être entendu du recourant.
5. Vu l'issue du litige, l'intimé supportera les frais judiciaires (art. 66 al. 1 LTF) et versera une indemnité de dépens au recourant (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et le jugement de la Chambre administrative de la Cour de Justice du 8 février 2011 est annulé, la cause étant renvoyée à cette autorité pour qu'elle statue à nouveau en procédant conformément aux considérants.
2. Les frais judiciaires, arrêtés à 1'800 fr., sont mis à la charge de l'intimé.
3. L'intimé versera au recourant la somme de 2'800 fr. à titre de dépens pour la dernière instance.
4. Le présent arrêt est communiqué aux parties et à la Chambre administrative de la Cour de justice de la République et canton de Genève.
Lucerne, le 22 mars 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Juge présidant: Leuzinger
La Greffière: von Zwehl