Faits:
A. A.a A._ a été engagé à partir du 15 mai 2000 en qualité de chef de cuisine, à titre provisoire, à l'établissement d'exécution des peines de X._. Par arrêté du Conseil d'Etat de la République et canton de Neuchâtel du 19 décembre 2001, il a été nommé à cette fonction, dès le 1er janvier 2002.
Selon les conclusions d'un rapport daté du 18 janvier 2010, divers manquements ont été constatés dans la gestion des stocks et le respect des normes d'autocontrôle de la cuisine dont A._ était responsable. Par un avertissement du 30 mars 2010, un délai au 30 septembre 2010 lui a été fixé afin qu'il améliore ses prestations de service, en particulier qu'il respecte strictement les normes d'autocontrôle et les instructions de son supérieur, qu'il porte une attention spéciale aux exigences professionnelles en matière d'hygiène des aliments et des équipements de travail. En outre, il devait s'engager dans le délai d'une année dans une formation utile à son activité.
Le 13 juillet 2010, A._ a passé l'examen professionnel d'agent de détention et il a été nommé agent de détention diplômé (cuisinier) avec effet au 1er juillet 2010 (arrêté du 18 août 2010).
A.b A la suite de l'évasion de l'établissement X._ d'un dangereux détenu, le directeur et le vice-directeur de l'établissement ont présenté leur démission. Le 26 janvier 2012, le nouveau directeur adjoint, B._, accompagné d'un agent de détention, s'est rendu inopinément à la cuisine de l'établissement. Lorsqu'il est entré dans la pièce, A._ était attablé en compagnie d'un détenu affecté à l'atelier de cuisine, chacun ayant un verre de vin devant lui. Une bouteille à moitié vide se trouvait sur la table. Pendant que le détenu réintégrait sa cellule, le directeur-adjoint a rappelé à A._ que l'établissement interdisait la consommation d'alcool.
Le lendemain, A._ a été entendu dans le cadre d'une audition menée par le directeur et son adjoint. A la suite de cet entretien, le directeur a envoyé le 30 janvier 2012 un rapport à la cheffe du service pénitentiaire neuchâtelois, dans lequel il qualifiait de grave le manquement du prénommé. Cette dernière a entendu l'intéressé le 31 janvier 2012 et l'a informé qu'elle transmettrait le procès-verbal de l'entretien au Conseil d'Etat qui statuerait sur une éventuelle suspension provisoire, accompagnée d'une privation de traitement.
Le 1er février 2012, le Conseil d'Etat a ordonné la suspension provisoire et immédiate avec privation de traitement de A._ et l'a informé qu'il envisageait un renvoi, cas échéant immédiat, pour justes motifs ou raisons graves. L'intéressé était invité à se déterminer à ce sujet dans un délai de huit jours.
Dans ses observations du 8 février 2012, A._, qui a reconnu sa faute, a souligné les circonstances exceptionnelles dans lesquelles l'événement s'était produit. Le jour de l'incident, il venait de transmettre un certificat de travail au détenu en question, qui avait collaboré deux ans et demi à ses côtés dans la cuisine du service pénitentiaire; il souhaitait uniquement "marquer le coup" au moment du départ du détenu, afin de reconnaître la qualité du travail effectué.
Par décision du 15 février 2012, le Conseil d'Etat a résilié avec effet immédiat les rapports de service de A._, sans restitution du traitement dont il avait été privé dès le 3 février 2012. Il a retiré l'effet suspensif à un éventuel recours.
B. A._ a recouru contre cette décision devant la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel, en concluant à son annulation et à sa réintégration à son poste d'agent de détention diplômé au sein de l'établissement pénitentiaire X._.
Par arrêt du 29 août 2012, la Cour de droit public a rejeté le recours.
C. A._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Il requiert du Tribunal fédéral qu'il ordonne sa réintégration dans ses fonctions au sein du service pénitentiaire, subsidiairement, le renvoi de la cause à l'autorité précédente pour prise d'une nouvelle décision au sens des considérants, le tout sous suite de frais et dépens.
Le service des ressources humaines du Département de la justice, de la sécurité et des finances conclut au rejet du recours.
Considérant en droit:
1. 1.1 Selon l'art. 83 let. g LTF, en matière de rapports de travail de droit public (lorsque, comme en l'espèce, la question de l'égalité des sexes n'est pas en cause), le recours en matière de droit public est irrecevable contre les décisions qui concernent une contestation non pécuniaire. Le litige soumis à l'autorité cantonale ne porte pas sur le versement d'une somme d'argent mais sur l'annulation d'une décision de résiliation. Dans cette mesure, il s'agit d'une contestation pécuniaire et le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération (voir par exemple les arrêts 8C_907/2010 du 8 juillet 2011 consid. 1.1 et 8C_170/2009 du 25 août 2009 consid. 1.1). Par ailleurs, la valeur litigieuse dépasse le seuil de 15'000 fr. requis en matière de rapports de travail de droit public (art. 85 al. 1 let. b LTF).
1.2 Pour le surplus, interjeté en temps utile (art. 100 al. 1 LTF) contre une décision finale (art. 90 LTF) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF), le recours en matière de droit public est recevable.
2. Le recours peut être interjeté pour violation du droit suisse tel qu'il est délimité à l'art. 95 LTF, soit le droit fédéral (let. a), y compris le droit constitutionnel, le droit international (let. b), les droits constitutionnels cantonaux (let. c), les dispositions cantonales sur le droit de vote des citoyens ainsi que sur les élections et votations populaires (let. d) et le droit intercantonal (let. e). Sauf dans les cas cités expressément à l'art. 95 LTF, le recours ne peut pas être formé pour violation du droit cantonal en tant que tel. En revanche, il est toujours possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral - en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels - ou d'une disposition directement applicable du droit international, par exemple de la Convention européenne des droits de l'homme (ATF 138 V 67 consid. 2.2 p. 69; 134 II 349 consid. 3 p. 351 et la jurisprudence citée). A cet égard, le Tribunal fédéral n'examinera le moyen tiré de la violation d'une norme de rang constitutionnel que si le grief a été invoqué et motivé de manière précise (art. 106 al. 2 LTF).
3. 3.1 Le recourant était soumis à la loi sur le statut de la fonction publique du canton de Neuchâtel du 28 juin 1995 (LSt; RSN 152.510). Sous le chapitre "Cessation des rapports de service" et le titre marginal "Renvoi pour justes motifs ou raisons graves", l'art. 45 al. 1 LSt prévoit que si des raisons d'inaptitude, de prestations insuffisantes, de manquements graves ou répétés aux devoirs de service ou d'autres raisons graves ne permettent plus la poursuite des rapports de service, l'autorité qui a nommé peut ordonner le renvoi d'un titulaire de fonction publique.
L'art. 46 prévoit que lorsque les faits reprochés au titulaire de fonction publique dépendent de sa volonté ou lorsque les exigences de la fonction ne sont pas remplies à satisfaction, le chef de service doit en avertir par écrit l'intéressé après l'avoir entendu et lui fixer un délai raisonnable pour s'améliorer; il lui en suggère autant que possible certains moyens (al. 1); faute d'amélioration constatée dans le délai imparti, le chef de service transmet le dossier à l'autorité de nomination avec ses observations (al. 2); il en informe par écrit l'intéressé en mentionnant les faits ou omissions qui lui sont reprochés (al. 3).
Selon l'art. 48 LSt, si l'autorité de nomination estime que la violation des obligations de service ou le comportement de l'intéressé permettent la poursuite des rapports de service, elle peut renoncer à toute mesure ou prononcer un blâme assorti le cas échéant d'une menace de cessation des rapports de service (al. 1). Sinon, l'autorité de nomination prononce le renvoi du titulaire de fonction publique et lui notifie la décision moyennant un préavis de trois mois pour la fin d'un mois (al. 2). En cas de violation grave des devoirs de service, l'autorité de nomination peut procéder au renvoi du titulaire de fonction publique avec effet immédiat, cas échéant sans avertissement préalable (al. 3). Pour autant que l'état des fonctions le permette et que la mesure lui paraisse opportune au vu des faits pris en compte, l'autorité de nomination peut ordonner le déplacement dans un autre poste ou une autre fonction (al. 4).
3.2 D'après l'art. 15 LSt, les titulaires de fonctions publiques doivent se montrer dignes de la confiance que leur situation officielle exige (al. 1). Ils accomplissent leurs tâches avec engagement, fidélité, honnêteté et impartialité, dans le respect des instructions reçues (al. 2). Par ailleurs, aux termes de l'art. 5 du code de déontologie du 17 février 2006 applicable au personnel pénitentiaire, les agentes et agents de détention se comportent en tout temps de manière à préserver la confiance et la considération que requiert leur fonction. Leur comportement est toujours discipliné et exemplaire. L'art. 6 prévoit encore que les agentes et agents de détention exercent leur fonction de manière intègre et impartiale. Elles et ils évitent les situations où des conflits d'intérêt pourraient compromettre leur loyauté. En cas de doute, elles et ils solliciteront l'avis d'un cadre.
4. 4.1 Le recourant soutient tout d'abord qu'en résiliant avec effet immédiat ses rapports de service, l'Etat de Neuchâtel a violé les art. 45 ss LSt. Il fait valoir que l'intimé aurait dû - préalablement à son licenciement - lui notifier un avertissement écrit au sens de l'art. 46 al. 1 LSt, car son erreur ne permettait pas de rompre les liens de confiance avec son employeur. Par ailleurs, l'avertissement formel du 30 mars 2010 lié principalement à des problèmes d'hygiène et de gestion des stocks dans les cuisines du pénitencier, ne pouvait valoir avertissement préalable. De l'avis du recourant, cet avertissement n'avait en effet aucun rapport avec l'incident survenu dans la cuisine de l'établissement le 26 janvier 2012, contrairement à ce que retiennent les premiers juges.
4.2 Il est vrai que les premiers juges font mention de l'avertissement du 30 mars 2010, qui sous-tendait selon eux un certain relâchement dans la discipline et qui n'était donc pas dépourvu de tout lien avec les faits qui se sont produits le 26 janvier 2012. Ils relèvent toutefois, avec raison, que l'art. 48 al. 3 LSt ne subordonne pas le renvoi immédiat à un avertissement préalable. Il n'y dès lors pas lieu d'examiner si l'avertissement prononcé le 30 mars 2010 pouvait ou non être pris en considération comme mesure préalable à la résiliation.
Le grief soulevé ici se révèle mal fondé.
5. 5.1 En second lieu, le recourant fait valoir qu'il n'a pas commis de "violation grave des devoirs de service" au sens de l'art. 48 al. 3 LSt et que la sanction prononcée à son encontre est disproportionnée. Une mesure moins excessive se justifiait au regard de la faute commise, de la durée des rapports de service et de son engagement au sein du pénitencier qui a toujours donné satisfaction à sa hiérarchie. Etant donné les circonstances très spécifiques ("geste d'encouragement [...] dans un cadre d'adieu"), l'erreur qui lui est reprochée ne permettait pas de rompre les liens de confiance avec son employeur. Il s'agissait d'un geste de félicitation, certes peu adéquat, mais ne méritant pas un renvoi avec effet immédiat. Au reste, la juridiction cantonale avait elle-même indiqué que la décision était sévère compte tenu des circonstances, de sorte qu'il se justifiait également pour cette raison de renoncer à la résiliation immédiate de ses rapports de service.
5. 5.1 En second lieu, le recourant fait valoir qu'il n'a pas commis de "violation grave des devoirs de service" au sens de l'art. 48 al. 3 LSt et que la sanction prononcée à son encontre est disproportionnée. Une mesure moins excessive se justifiait au regard de la faute commise, de la durée des rapports de service et de son engagement au sein du pénitencier qui a toujours donné satisfaction à sa hiérarchie. Etant donné les circonstances très spécifiques ("geste d'encouragement [...] dans un cadre d'adieu"), l'erreur qui lui est reprochée ne permettait pas de rompre les liens de confiance avec son employeur. Il s'agissait d'un geste de félicitation, certes peu adéquat, mais ne méritant pas un renvoi avec effet immédiat. Au reste, la juridiction cantonale avait elle-même indiqué que la décision était sévère compte tenu des circonstances, de sorte qu'il se justifiait également pour cette raison de renoncer à la résiliation immédiate de ses rapports de service.
5.2 5.2.1 Les justes motifs de renvoi des fonctionnaires ou d'employés de l'Etat peuvent procéder de toutes circonstances qui, selon les règles de la bonne foi, excluent la poursuite des rapports de service, même en l'absence de faute. De toute nature, ils peuvent relever d'événements ou de circonstances que l'intéressé ne pouvait éviter, ou au contraire d'activités, de comportements ou de situations qui lui sont imputables (arrêts 8C_292/2011 du 9 décembre 2011 consid. 6.2, 8C_170/2009 du 25 août 2009, résumé au JdT 2010 I 101, consid. 4.2.1; 1C_142/2007 du 13 septembre 2007 consid. 6.3; 2P.149/2006 du 9 octobre 2006 consid. 6.2 et les références citées). Selon la jurisprudence, l'autorité d'engagement dispose, en présence de justes motifs, d'une liberté d'appréciation dans le choix de la sanction (modification ou résiliation des rapports de service), laquelle est toutefois subordonnée au principe de proportionnalité (MINH SON NGUYEN, La fin des rapports de service, in Personalrecht des öffentlichen Dienstes, 1999, p. 436).
5.2.2 Une mesure viole le principe de la proportionnalité notamment si elle excède le but visé et qu'elle ne se trouve pas dans un rapport raisonnable avec celui-ci et les intérêts, en l'espèce publics, compromis (ATF 130 I 65 consid. 3.5.1 p. 69 et les arrêts cités; 128 II 292 consid. 5.1 p. 297 s.). Le principe de la proportionnalité, bien que de rang constitutionnel, ne constitue pas un droit constitutionnel avec une portée propre (ATF 126 I 112 consid. 5b p. 120; 125 I 161 consid. 2b p. 163). Aussi, lorsque, comme en l'espèce, ce principe est invoqué en relation avec l'application du droit cantonal (en dehors du domaine de protection d'un droit fondamental spécial), le Tribunal fédéral n'intervient-il, en cas de violation du principe de la proportionnalité, que si la mesure de droit cantonal est manifestement disproportionnée et qu'elle viole simultanément l'interdiction de l'arbitraire; autrement dit le grief se confond avec celui de l'arbitraire (ATF 134 I 153 consid. 4.2.2 et 4.3 p. 158; arrêts 8C_292/2011 du 9 décembre 2011 consid. 6.2, 8C_220/2010 du 18 octobre 2010 consid. 4.3 et 2C_118/2008 du 21 novembre 2008 consid. 3.1).
5.2.3 Il est constant que le recourant a servi du vin en cuisine à un détenu affecté à cet atelier et qu'il en a consommé en sa compagnie. Il n'est pas non plus contesté qu'un tel comportement était contraire à la loi (art. 59 de la loi cantonale du 27 janvier 2010 sur l'exécution des peines privatives de liberté et des mesures pour les personnes adultes; LPMPA; RSN 351.0), aux règles de l'établissement, ainsi qu'aux règles de discipline du code de déontologie. Comme l'ont justement rappelé les premiers juges, un agent de détention occupe dans l'administration cantonale une position dans laquelle la confiance et l'intégrité jouent un rôle primordial dans la bonne marche du service. Un comportement qui serait anodin, voire de peu de gravité, dans un autre contexte professionnel prend ici une tout autre dimension. Le fait de consommer de l'alcool avec un détenu présuppose ou peut faire naître une certaine relation de proximité entre agent et détenu. Ainsi que le Tribunal fédéral l'a jugé dans l'arrêt 8C_292/2011, déjà cité, et qui concernait également un agent de détention, une telle proximité est de nature à éveiller de sérieux doutes sur l'aptitude de l'intéressé à adopter une saine et indispensable distance dans sa relation avec les détenus. Elle est propre à faire douter sérieusement ses supérieurs ainsi que ses collègues de son aptitude à assumer pleinement sa charge, notamment par un strict respect de la discipline inhérente à la sécurité d'un établissement de détention. A cela s'ajoute que l'agent de détention qui brave une interdiction à l'égard d'un détenu prend le risque de s'exposer à des pressions de sa part, ou de la part d'autres détenus, dans le but d'obtenir par la suite de lui certains avantages illicites. Enfin, comme l'a souligné la juridiction cantonale, il devait être clair dans l'esprit du recourant, à la suite des mesures prises par le service pénitentiaire consécutivement à l'évasion survenue en été 2011, qu'une stricte observation de la réglementation serait désormais exigée du personnel pénitentiaire.
5.2.4 Même si la mesure prise apparaît sévère, les premiers premiers juges pouvaient, sans tomber dans arbitraire, considérer que les conditions d'un renvoi immédiat étaient réunies. Le principe de proportionnalité, qui se confond ici avec le grief d'arbitraire, n'a pas été violé.
6. Vu ce qui précède, le recours se révèle mal fondé.
Le recourant, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public.
Lucerne, le 11 février 2013
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Présidente: Leuzinger
La Greffière: Berset