Faits:
A. A._ a été engagé à partir du 1er juillet 2000 en qualité de maître d'atelier, à titre provisoire, au Service pénitentiaire, établissement d'exécution des peines de X._.
Par arrêté du Conseil d'Etat de la République et canton de Neuchâtel du 8 juillet 2002, il a été nommé surveillant-maître d'atelier, dès le 1er juillet 2002. En juillet 2003, soupçonné d'avoir procuré du haschisch à certains détenus, A._ a fait l'objet d'une enquête préalable, dont il est ressorti pour l'essentiel que ce dernier avait introduit dans la prison, à l'intention de détenus, un appareil d'alimentation électrique, ainsi que d'autres marchandises. Le 20 août 2003, après l'avoir entendu, le Conseil d'Etat a suspendu A._ de ses fonctions à titre provisoire et avec effet immédiat. Par ordonnance du 13 octobre 2003, le Ministère public a constaté que ces faits n'avaient pas de caractère pénal et a ordonné le classement du dossier.
Par décision du 1er décembre 2003, le Conseil d'Etat a résilié les rapports de service de A._ avec effet au 31 mars 2004.
Sur recours de l'intéressé, le Tribunal administratif du canton de Neuchâtel (aujourd'hui: Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public) a annulé cette décision et renvoyé la cause au Conseil d'Etat pour nouvelle décision, au motif que le renvoi était excessif et qu'un avertissement préalable aurait dû être prononcé. Faisant suite à cet arrêt de renvoi, le Conseil d'Etat a prononcé un blâme à l'encontre de A._, assorti d'une menace de cessation des rapports de service, ainsi que son déplacement au sein de l'établissement d'exécution de peines Y._. Dès la fermeture provisoire de cet établissement, le 1er juillet 2009, A._ a travaillé au sein de l'établissement de détention Z._, en qualité d'agent de détention.
Le 22 juillet 2010, le chef du service pénitentiaire a requis l'autorisation du chef du Département de la justice, de la sécurité et des finances de porter plainte contre A._ en raison de son implication dans l'hébergement d'un ancien détenu et lui a demandé de procéder à la suspension provisoire et immédiate de l'agent ainsi que d'ouvrir une procédure de renvoi pour raisons graves.
Le 2 août 2010, le Conseil d'Etat a ordonné la suspension immédiate de A._ et l'a informé de sa décision d'ouvrir à son encontre une procédure de renvoi pour justes motifs ou raisons graves.
Par décision du 24 novembre 2010, le Conseil d'Etat a résilié les rapports de service de A._ avec effet au 28 février 2011, dispensé ce dernier de réintégrer son poste et retiré l'effet suspensif à un éventuel recours de sa part.
B. A._ a recouru contre cette décision devant le Tribunal administratif, en concluant à son annulation. Par décision incidente du 22 février 2011, la juridiction cantonale a restitué l'effet suspensif au recours, sans toutefois ordonner la réintégration de l'intéressé.
Par arrêt du 11 mars 2011, la Cour de droit public du Tribunal cantonal a rejeté le recours.
C. A._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Il requiert du Tribunal fédéral qu'il ordonne sa réintégration dans ses fonctions au service pénitentiaire. A titre préalable, il demande que l'effet suspensif soit accordé au recours (maintien de son salaire pendant la procédure). Le Conseil d'Etat conclut au rejet du recours.
D. Par ordonnance du 14 juillet 2011, le juge instructeur a rejeté la demande d'octroi de l'effet suspensif.

Considérant en droit:
1. 1.1 Selon l'art. 83 let. g LTF, en matière de rapports de travail de droit public (lorsque, comme en l'espèce, la question de l'égalité des sexes n'est pas en cause), le recours en matière de droit public est irrecevable contre les décisions qui concernent une contestation non pécuniaire. Le litige soumis à l'autorité cantonale ne porte pas sur le versement d'une somme d'argent mais sur l'annulation d'une décision de résiliation. Dans cette mesure, il s'agit d'une contestation pécuniaire et le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération (voir par exemple les arrêts 8C_907/2010 du 8 juillet 2011 consid. 1 et 8C_170/2009 du 25 août 2009 consid. 1.1). Par ailleurs, la valeur litigieuse dépasse le seuil de 15'000 fr. requis en matière de rapports de travail de droit public (<ref-law>).
1.2 Pour le surplus, interjeté en temps utile (<ref-law>) contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF), le recours en matière de droit public est recevable.
2. Le recours peut être interjeté pour violation du droit suisse tel qu'il est délimité à l'<ref-law>, soit le droit fédéral (let. a), y compris le droit constitutionnel, le droit international (let. b), les droits constitutionnels cantonaux (let. c), les dispositions cantonales sur le droit de vote des citoyens ainsi que sur les élections et votations populaires (let. d) et le droit intercantonal (let. e). Sauf dans les cas cités expressément à l'<ref-law>, le recours ne peut pas être formé pour violation du droit cantonal en tant que tel. En revanche, il est toujours possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral - en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels - ou d'une disposition directement applicable du droit international, par exemple de la Convention européenne des droits de l'homme (<ref-ruling> consid. 3 p. 351). A cet égard, le Tribunal fédéral n'examinera le moyen tiré de la violation d'une norme de rang constitutionnel que si le grief a été invoqué et motivé de manière précise (<ref-law>).
3. Le recourant était soumis à la loi sur le statut de la fonction publique du canton de Neuchâtel du 28 juin 1995 (LSt; RSN 152.510) et avait en outre souscrit au code de déontologie pour les agents et agentes de détention et le personnel administratif des établissements pénitentiaires et du Service pénitentiaire du canton de Neuchâtel.
3.1 Sous le chapitre «Cessation des rapports de service» et le titre marginal «Renvoi pour justes motifs ou raisons graves», l'art. 45 al. 1 LSt prévoit que si des raisons d'inaptitude, de prestations insuffisantes, de manquements graves ou répétés aux devoirs de service ou d'autres raisons graves ne permettent plus la poursuite des rapports de service, l'autorité qui a nommé peut ordonner le renvoi d'un titulaire de fonction publique.
3.2 Selon l'art. 48 LSt, si l'autorité de nomination estime que la violation des obligations de service ou le comportement de l'intéressé permettent la poursuite des rapports de service, elle peut renoncer à toute mesure ou prononcer un blâme assorti le cas échéant d'une menace de cessation des rapports de service (al. 1). Sinon, l'autorité de nomination prononce le renvoi du titulaire de fonction publique et lui notifie la décision moyennant un préavis de trois mois pour la fin d'un mois (al. 2). En cas de violation grave des devoirs de service, l'autorité de nomination peut procéder au renvoi du titulaire de fonction publique avec effet immédiat, cas échéant sans avertissement préalable (al. 3). Pour autant que l'état des fonctions le permette et que la mesure lui paraisse opportune au vu des faits pris en compte, l'autorité de nomination peut ordonner le déplacement dans un autre poste ou une autre fonction (al. 4).
4. 4.1 Selon l'art. 15 LSt, les titulaires de fonctions publiques doivent se montrer dignes de la confiance que leur situation officielle exige (al. 1). Ils accomplissent leurs tâches avec engagement, fidélité, honnêteté et impartialité, dans le respect des instructions reçues (al. 2). Par ailleurs, aux termes de l'art. 5 du code de déontologie, les agents de détention se comportent en tout temps de manière à préserver la confiance et la considération que requiert leur fonction. Leur comportement est toujours discipliné et exemplaire. L'art. 6 prévoit encore que les agents de détention exercent leur fonction de manière intègre et impartiale. Ils évitent les situations où des conflits d'intérêt pourraient compromettre leur loyauté. En cas de doute, ils solliciteront l'avis d'un cadre.
4.2 La juridiction cantonale a considéré que l'aide apportée par le recourant à un ancien détenu était de nature à faire douter de son intégrité et de son impartialité, non seulement à l'égard du détenu à nouveau incarcéré dans l'établissement pénitentiaire où travaillait le recourant mais également à l'égard de ses supérieurs et de ses collègues. Or, au vu de sa position, dans laquelle la confiance et l'intégrité jouaient un rôle particulier, on devait attendre du recourant un comportement irréprochable, tant durant l'exercice de sa fonction qu'en dehors de celle-ci. Les supérieurs devaient pouvoir s'en remettre à lui sans réserve. La confiance entre agents de détention était également indispensable pour la bonne marche du service, ce d'autant qu'ils étaient souvent appelés à travailler en équipe, dans des contextes difficiles. Pour ces motifs, la relation entre un agent et un détenu devait se limiter au cadre strictement professionnel et devait s'arrêter à la porte de l'établissement pénitentiaire. Cette distance était essentielle pour éviter tout conflit d'intérêt. Elle s'imposait en outre pour des motifs de sécurité, en particulier dans les établissements accueillant des personnes en détention préventive, comme c'était le cas de Z._, et pour lesquelles des mesures sécuritaires strictes devaient être appliquées afin de garantir le bon déroulement de l'enquête pénale en cours.
5. 5.1 Le recourant soutient tout d'abord qu'en le licenciant pour avoir offert un toit à une personne démunie risquant de se retrouver à la rue, l'Etat de Neuchâtel a violé les art. 12 Cst. féd. (droit d'obtenir de l'aide dans des situations de détresse) et 13 Constitution cantonale (droit à des conditions minimales d'existence) en relation avec l'art. 35 Cst. féd. (réalisation des droits fondamentaux).
5.2 Le recourant n'explique pas en quoi l'Etat de Neuchâtel aurait violé l'un de ses droits fondamentaux. Dans la mesure où il invoque une violation des art. 12 Cst. féd. et 13 Constitution cantonale, il ne s'agit pas de son propre droit d'obtenir de l'aide en situation de détresse mais de celui de l'ancien détenu qu'il a hébergé. Or, le recourant ne saurait se plaindre d'une violation d'un droit fondamental appartenant à autrui. L'argumentation du recourant n'est pas non plus pertinente si l'on devait l'interpréter comme un motif justificatif de son comportement (violation de ses devoirs de fonction). En effet, non seulement il n'est pas établi que la personne qu'il a hébergée était réellement en situation de détresse mais, à supposer que tel fût le cas, le recourant aurait pu l'adresser à une institution publique ou privée susceptible de lui apporter l'aide dont il avait besoin. Le grief est dès lors mal fondé.
6. 6.1 En second lieu, le recourant fait valoir qu'il n'a pas commis de violation grave des devoirs de service et que la sanction prononcée est disproportionnée. Une mesure moins excessive telle qu'un avertissement se justifiait d'autant plus qu'il avait donné entière satisfaction depuis plus de cinq ans et qu'il avait passé avec succès l'examen professionnel d'agent de détention en été 2009. Au reste, les faits reprochés n'avaient pas eu lieu dans le cadre de son activité professionnelle mais dans son activité privée, de sorte qu'il se justifiait également pour cette raison de renoncer à un licenciement et de prononcer un avertissement.
6.2 Les justes motifs de renvoi des fonctionnaires ou d'employés de l'Etat peuvent procéder de toutes circonstances qui, selon les règles de la bonne foi, excluent la poursuite des rapports de service, même en l'absence de faute. De toute nature, ils peuvent relever d'événements ou de circonstances que l'intéressé ne pouvait éviter, ou au contraire d'activités, de comportements ou de situations qui lui sont imputables (arrêts 8C_170/2009 du 25 août 2009, résumé au JdT 2010 I 101, consid. 4.2.1; 1C_142/2007 du 13 septembre 2007 consid. 6.3; 2P.149/2006 du 9 octobre 2006 consid. 6.2 et les références citées). Selon la jurisprudence, l'autorité d'engagement dispose, en présence de justes motifs, d'une liberté d'appréciation dans le choix de la sanction (modification ou résiliation des rapports de service), laquelle est toutefois subordonnée au principe de proportionnalité (MINH SON NGUYEN, La fin des rapports de service, in Personalrecht des öffentlichen Dienstes, 1999, p. 436).
Une mesure viole le principe de la proportionnalité notamment si elle excède le but visé et qu'elle ne se trouve pas dans un rapport raisonnable avec celui-ci et les intérêts, en l'espèce publics, compromis (<ref-ruling> consid. 3.5.1 p. 69 et les arrêts cités; <ref-ruling> consid. 5.1 p. 297 s.). Le principe de la proportionnalité, bien que de rang constitutionnel, ne constitue pas un droit constitutionnel avec une portée propre (<ref-ruling> consid. 5b p. 120; <ref-ruling> consid. 2b p. 163). Aussi, lorsque, comme en l'espèce, ce principe est invoqué en relation avec l'application du droit cantonal (en dehors du domaine de protection d'un droit fondamental spécial), le Tribunal fédéral n'intervient-il, en cas de violation du principe de la proportionnalité, que si la mesure de droit cantonal est manifestement disproportionnée et qu'elle viole simultanément l'interdiction de l'arbitraire; autrement dit le grief se confond avec celui de l'arbitraire (<ref-ruling> consid. 4.2.2 et 4.3 p. 158; arrêts 8C_220/2010 du 18 octobre 2010 consid. 4.3 et 2C_118/2008 du 21 novembre 2008 consid. 3.1).
6.3 En sa qualité d'agent de détention, le recourant est tenu par des devoirs pouvant affecter même sa vie privée. Ces devoirs ne sauraient cependant dépasser ce qui est requis pour la correcte exécution de ses tâches et dépendent de la position occupée et de la nature des fonctions (arrêt 8C_873/2010 du 17 février 2011 consid. 9.2.2; PIERRE MOOR, Droit administratif, Berne 1992, vol. III, n° 5.3.3.2 p. 231). Il n'en demeure pas moins que le fait d'héberger un ancien détenu chez soi présuppose une relation d'une certaine proximité qui apparaissait d'autant plus grande en l'espèce que l'hébergement a duré cinq jours et qu'il n'a été interrompu que par l'arrestation de l'ancien détenu par la police. Cette proximité était de nature à faire naître de sérieux doutes sur l'aptitude du recourant à adopter une saine et indispensable distance dans sa relation avec les détenus. Le fait qu'il avait donné entière satisfaction depuis plus de cinq ans n'est pas de nature à modifier l'appréciation qui précède mais tend au contraire à démontrer que malgré le temps écoulé depuis le blâme reçu pour avoir introduit diverses marchandises dans la prison à l'intention de détenus, le recourant n'a toujours pas saisi toute la portée de ses devoirs d'agent de détention. Les premiers juges pouvaient sans arbitraire considérer que le comportement et l'attitude du recourant étaient propres à faire douter sérieusement ses supérieurs ainsi que ses collègues de son aptitude à assumer pleinement la charge d'agent de détention et conclure au bien-fondé de la résiliation prononcée par le Conseil d'Etat. Le principe de proportionnalité, qui se confond ici avec le grief d'arbitraire, n'a dès lors pas été violé.
7. Vu ce qui précède, le jugement attaqué n'est pas critiquable et le recours se révèle mal fondé.
Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>). Bien qu'obtenant gain de cause, la partie intimée n'a pas droit à des dépens (arrêt 8C_151/2010 du 31 août 2010 consid. 6).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, et à la Caisse paritaire interprofessionnelle de chômage.
Lucerne, le 9 décembre 2011
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: Fretz Perrin