Faits: A. A.a A._ a été engagé à partir du 15 mai 2000 en qualité de chef de cuisine, à titre provisoire, à l'établissement d'exécution des peines de X._. Par arrêté du Conseil d'Etat de la République et canton de Neuchâtel du 19 décembre 2001, il a été nommé à cette fonction, dès le 1er janvier 2002. Selon les conclusions d'un rapport daté du 18 janvier 2010, divers manquements ont été constatés dans la gestion des stocks et le respect des normes d'autocontrôle de la cuisine dont A._ était responsable. Par un avertissement du 30 mars 2010, un délai au 30 septembre 2010 lui a été fixé afin qu'il améliore ses prestations de service, en particulier qu'il respecte strictement les normes d'autocontrôle et les instructions de son supérieur, qu'il porte une attention spéciale aux exigences professionnelles en matière d'hygiène des aliments et des équipements de travail. En outre, il devait s'engager dans le délai d'une année dans une formation utile à son activité. Le 13 juillet 2010, A._ a passé l'examen professionnel d'agent de détention et il a été nommé agent de détention diplômé (cuisinier) avec effet au 1er juillet 2010 (arrêté du 18 août 2010). A.b A la suite de l'évasion de l'établissement X._ d'un dangereux détenu, le directeur et le vice-directeur de l'établissement ont présenté leur démission. Le 26 janvier 2012, le nouveau directeur adjoint, B._, accompagné d'un agent de détention, s'est rendu inopinément à la cuisine de l'établissement. Lorsqu'il est entré dans la pièce, A._ était attablé en compagnie d'un détenu affecté à l'atelier de cuisine, chacun ayant un verre de vin devant lui. Une bouteille à moitié vide se trouvait sur la table. Pendant que le détenu réintégrait sa cellule, le directeur-adjoint a rappelé à A._ que l'établissement interdisait la consommation d'alcool. Le lendemain, A._ a été entendu dans le cadre d'une audition menée par le directeur et son adjoint. A la suite de cet entretien, le directeur a envoyé le 30 janvier 2012 un rapport à la cheffe du service pénitentiaire neuchâtelois, dans lequel il qualifiait de grave le manquement du prénommé. Cette dernière a entendu l'intéressé le 31 janvier 2012 et l'a informé qu'elle transmettrait le procès-verbal de l'entretien au Conseil d'Etat qui statuerait sur une éventuelle suspension provisoire, accompagnée d'une privation de traitement. Le 1er février 2012, le Conseil d'Etat a ordonné la suspension provisoire et immédiate avec privation de traitement de A._ et l'a informé qu'il envisageait un renvoi, cas échéant immédiat, pour justes motifs ou raisons graves. L'intéressé était invité à se déterminer à ce sujet dans un délai de huit jours. Dans ses observations du 8 février 2012, A._, qui a reconnu sa faute, a souligné les circonstances exceptionnelles dans lesquelles l'événement s'était produit. Le jour de l'incident, il venait de transmettre un certificat de travail au détenu en question, qui avait collaboré deux ans et demi à ses côtés dans la cuisine du service pénitentiaire; il souhaitait uniquement "marquer le coup" au moment du départ du détenu, afin de reconnaître la qualité du travail effectué. Par décision du 15 février 2012, le Conseil d'Etat a résilié avec effet immédiat les rapports de service de A._, sans restitution du traitement dont il avait été privé dès le 3 février 2012. Il a retiré l'effet suspensif à un éventuel recours. B. A._ a recouru contre cette décision devant la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel, en concluant à son annulation et à sa réintégration à son poste d'agent de détention diplômé au sein de l'établissement pénitentiaire X._. Par arrêt du 29 août 2012, la Cour de droit public a rejeté le recours. C. A._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Il requiert du Tribunal fédéral qu'il ordonne sa réintégration dans ses fonctions au sein du service pénitentiaire, subsidiairement, le renvoi de la cause à l'autorité précédente pour prise d'une nouvelle décision au sens des considérants, le tout sous suite de frais et dépens. Le service des ressources humaines du Département de la justice, de la sécurité et des finances conclut au rejet du recours.