Faits: A. A._ a été engagé à partir du 1er juillet 2000 en qualité de maître d'atelier, à titre provisoire, au Service pénitentiaire, établissement d'exécution des peines de X._. Par arrêté du Conseil d'Etat de la République et canton de Neuchâtel du 8 juillet 2002, il a été nommé surveillant-maître d'atelier, dès le 1er juillet 2002. En juillet 2003, soupçonné d'avoir procuré du haschisch à certains détenus, A._ a fait l'objet d'une enquête préalable, dont il est ressorti pour l'essentiel que ce dernier avait introduit dans la prison, à l'intention de détenus, un appareil d'alimentation électrique, ainsi que d'autres marchandises. Le 20 août 2003, après l'avoir entendu, le Conseil d'Etat a suspendu A._ de ses fonctions à titre provisoire et avec effet immédiat. Par ordonnance du 13 octobre 2003, le Ministère public a constaté que ces faits n'avaient pas de caractère pénal et a ordonné le classement du dossier. Par décision du 1er décembre 2003, le Conseil d'Etat a résilié les rapports de service de A._ avec effet au 31 mars 2004. Sur recours de l'intéressé, le Tribunal administratif du canton de Neuchâtel (aujourd'hui: Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public) a annulé cette décision et renvoyé la cause au Conseil d'Etat pour nouvelle décision, au motif que le renvoi était excessif et qu'un avertissement préalable aurait dû être prononcé. Faisant suite à cet arrêt de renvoi, le Conseil d'Etat a prononcé un blâme à l'encontre de A._, assorti d'une menace de cessation des rapports de service, ainsi que son déplacement au sein de l'établissement d'exécution de peines Y._. Dès la fermeture provisoire de cet établissement, le 1er juillet 2009, A._ a travaillé au sein de l'établissement de détention Z._, en qualité d'agent de détention. Le 22 juillet 2010, le chef du service pénitentiaire a requis l'autorisation du chef du Département de la justice, de la sécurité et des finances de porter plainte contre A._ en raison de son implication dans l'hébergement d'un ancien détenu et lui a demandé de procéder à la suspension provisoire et immédiate de l'agent ainsi que d'ouvrir une procédure de renvoi pour raisons graves. Le 2 août 2010, le Conseil d'Etat a ordonné la suspension immédiate de A._ et l'a informé de sa décision d'ouvrir à son encontre une procédure de renvoi pour justes motifs ou raisons graves. Par décision du 24 novembre 2010, le Conseil d'Etat a résilié les rapports de service de A._ avec effet au 28 février 2011, dispensé ce dernier de réintégrer son poste et retiré l'effet suspensif à un éventuel recours de sa part. B. A._ a recouru contre cette décision devant le Tribunal administratif, en concluant à son annulation. Par décision incidente du 22 février 2011, la juridiction cantonale a restitué l'effet suspensif au recours, sans toutefois ordonner la réintégration de l'intéressé. Par arrêt du 11 mars 2011, la Cour de droit public du Tribunal cantonal a rejeté le recours. C. A._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Il requiert du Tribunal fédéral qu'il ordonne sa réintégration dans ses fonctions au service pénitentiaire. A titre préalable, il demande que l'effet suspensif soit accordé au recours (maintien de son salaire pendant la procédure). Le Conseil d'Etat conclut au rejet du recours. D. Par ordonnance du 14 juillet 2011, le juge instructeur a rejeté la demande d'octroi de l'effet suspensif.