Faits:
A. A.a Le 2 novembre 2006, la commune de X._ et le Département cantonal neuchâtelois de la Justice, de la Sécurité et des Finances (DJSF) ont conclu un contrat de prestations concernant la prise en charge et la gestion des activités de police sur le territoire de cette commune. Ce contrat contient notamment les dispositions suivantes :
Art. 6 - Le personnel de la police communale de X._ est transféré à la police cantonale sous réserve de l'article 7.
Art. 7 - La police cantonale n'est tenue d'intégrer dans son corps que les membres aptes à servir dans la police au sens du Règlement d'exécution de la Loi sur la police cantonale du 25 mai 2005, sous réserve de l'accomplissement réussi d'une formation complémentaire.
Art. 8 - Le personnel transféré est rémunéré selon l'échelle des traitements cantonale. Le salaire réalisé au moment du transfert est pris en considération.
A.b A._ a été engagé le 1er février 2005 en qualité d'agent au sein de la police locale de X._. Dès le 1er juillet 2006, il a été promu au grade d'appointé. Le 6 octobre 2006, le Conseil communal a ordonné avec effet immédiat sa suspension provisoire en raison de l'ouverture d'une enquête pénale à son encontre pour infraction à l'art. 197 du Code pénal suisse (en l'occurrence téléchargement et enregistrement de documents ayant comme contenu des actes d'ordre sexuel sur des enfants). Le 27 décembre 2006, le Conseil communal a signifié à l'intéressé que son poste d'agent de police communale serait supprimé au 30 juin 2007, en raison de la signature du contrat sus-mentionné. Le Conseil précisait qu'il appartiendrait à la police cantonale de se prononcer sur une éventuelle incorporation de l'intéressé au sein de la gendarmerie cantonale, une fois connue l'issue de la procédure pénale en cours et conformément à l'art. 7 du contrat de prestations.
A.c Par jugement du 6 juin 2007, le Tribunal de police du district de Y._ a exempté de peine A._. Il a considéré que le prévenu, bien qu'ayant commis les actes reprochés alors qu'il n'était pas dans l'exercice de sa fonction de policier, avait agi pour un mobile honorable, savoir lutter contre la pédophile sur Internet. Sur le plan pénal, la culpabilité du prévenu, ainsi que les conséquences négatives de ses actes, étaient cependant peu importantes, raison pour laquelle il se justifiait de renoncer à lui infliger une peine. Le tribunal a mis à sa charge les frais de la cause, arrêtés à 2'300 fr.
A.d A la suite de ce jugement, A._ a demandé à être intégré dans le corps de la police cantonale. Par lettre du 14 janvier 2008, le conseiller d'Etat, chef du DJSF, lui a communiqué qu'une telle intégration n'était pas envisageable, dans la mesure où il ne présentait pas le profil requis pour l'exercice de la fonction de policier. Rappelant la teneur du règlement d'exécution de la loi sur la police cantonale, selon lequel l'une des conditions d'aptitude suppose une bonne réputation et l'absence de condamnation pénale incompatible avec l'exercice de la fonction, il a considéré que, même si l'intéressé avait été exempté de toute peine par le juge pénal, les faits retenus à sa charge ne permettaient pas de se forger une appréciation positive de sa personnalité.
B. B.a A._ a recouru devant le Tribunal administratif (actuellement la Cour de droit public du Tribunal cantonal) du canton de Neuchâtel en lui demandant d'ordonner son intégration dans les rangs de la gendarmerie cantonale, conformément au contrat de prestations du 2 novembre 2006. Il a également conclu à la restitution de supports informatiques séquestrés par la police au cours de l'enquête pénale dirigée à son encontre.
B.b Statuant le 25 janvier 2010, le Tribunal administratif a déclaré le recours irrecevable, au motif que le courrier du chef du DJSF ne pouvait pas être considéré comme une décision. En ce qui concerne la conclusion relative à la restitution des supports informatiques, le tribunal l'a également déclarée irrecevable.
B.c Par arrêt du 12 octobre 2010 (cause 8C_191/2010), le Tribunal fédéral a déclaré le recours constitutionnel subsidiaire formé par A._ irrecevable mais admis son recours en matière de droit public. Il a annulé le jugement cantonal du 25 janvier 2010 dans la mesure où il portait sur la prétention de l'intéressé à être intégré au sein de la police cantonale, et renvoyé la cause à la juridiction administrative pour nouvelle décision au sens des considérants.
B.d Statuant à nouveau, la Cour de droit public a rejeté le recours de A._ (jugement du 25 mars 2011).
C. A._ interjette un recours en matière de droit public. Sous suite de frais et dépens, il conclut, à titre principal, à l'annulation du jugement cantonal et au renvoi de la cause à l'autorité précédente pour nouvelle décision. A titre subsidiaire, il demande la réforme du jugement en ce sens que la décision du DJSF du 14 janvier 2008 est annulée et qu'il doit être intégré dans le corps de la police cantonale neuchâteloise conformément à la convention passée entre l'Etat de Neuchâtel et la commune de X._. Il invoque le droit à la protection de la bonne foi (art. 5 Cst.), l'interdiction de l'arbitraire (art. 9 Cst.), le principe de l'égalité de traitement (art. 8 Cst.) et la violation de son droit d'être entendu (art. 29 al. 2 Cst.).
Le DJSF conclut au rejet du recours.
Considérant en droit:
1. 1.1 La décision attaquée concerne des rapports de travail de droit public au sens des art. 83 let. g LTF et 85 al. 1 let. b LTF. Il s'agit d'une affaire pécuniaire dès lors que l'incorporation du recourant à la police cantonale est directement liée au droit au traitement. La contestation porte sur le traitement de plusieurs mois, voire de plusieurs années. La valeur litigieuse est donc supérieure au seuil de 15'000 fr. fixé par l'art. 85 al. 1 let. b LTF.
1.2 Comme pour la procédure précédente, on doit admettre que le recourant a conservé un intérêt actuel, à tout le moins de fait, à son recours, même s'il a retrouvé un emploi d'appointé de police dans le canton de Vaud depuis le 1er septembre 2009.
1.3 Au surplus, le recours a été interjeté en temps utile (art. 100 al. 1 LTF) contre une décision finale (art. 90 LTF) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) et dans les formes prescrites par la loi (art. 42 LTF). Il convient donc d'entrer en matière.
2. 2.1 Par un premier moyen, le recourant reproche à la juridiction cantonale de ne pas avoir respecté les instructions contenues dans l'arrêt de renvoi rendu par le Tribunal fédéral. A suivre le raisonnement de la Cour fédérale, les juges cantonaux auraient dû reconnaître qu'il bénéficie d'un droit à être intégré dans la police cantonale en vertu du principe de la bonne foi.
2.2 Dans son arrêt du 25 février 2010, le Tribunal fédéral a tranché la question de la nature décisionnelle ou non de la communication du 14 janvier 2008 du DJSF. Il a jugé que celle-ci répondait à la notion de décision. Il a par conséquent annulé le jugement attaqué dans la mesure où il portait sur la prétention du recourant à être intégré dans la police cantonale (chiffre 2 du dispositif), et invité la juridiction cantonale à statuer à nouveau dans le sens des considérants (chiffre 3 du dispositif). Sans se prononcer sur le fond, le Tribunal fédéral a cependant relevé qu'il convenait de s'interroger sur le point de savoir si, aux termes du contrat de prestations conclu entre la commune de X._ et le DJSF, il n'était pas dans l'intention de ces parties de garantir aux agents communaux concernés un droit propre et directement invocable au maintien de leur emploi sous la forme d'un transfert dans le nouveau corps de police cantonale (stipulation pour autrui selon l'art. 112 al. 2 CO) et ce pour autant que les conditions en fussent remplies (consid. 7).
2.3 Vu le dispositif et les considérants auxquels celui-ci renvoie, le Tribunal cantonal avait à statuer sur deux questions. Premièrement, celle de savoir si le recourant pouvait déduire du contrat de prestations un droit à être intégré dans la police cantonale. Deuxièmement, celle de savoir s'il en remplissait les conditions d'admission au sens des dispositions cantonales topiques en la matière.
2.4 Reprenant l'affaire, le Tribunal cantonal a estimé qu'il pouvait se dispenser de répondre à la première question, A._ devant être considéré comme inapte à servir dans la police cantonale faute de satisfaire à la condition de jouir d'une bonne réputation prescrite par l'art. 45 let. a du règlement d'exécution de la loi sur la police cantonale du 25 mai 2005 (en vigueur jusqu'au 30 juin 2009; ci-après: le règlement). A ce sujet, le tribunal cantonal a constaté les faits suivants. A._ avait procédé au téléchargement et au visionnement de vidéos à caractère pédophile et zoophile sur Internet pendant plusieurs années à son domicile privé. Il l'avait fait certes dans le but de lutter contre la criminalité y relative, mais en désaccord avec plusieurs membres de la police, dont notamment le chef de la police de sûreté de Z._ (B._) et l'adjoint au chef de brigade des moeurs à W._ (C._), lesquels lui avaient fait savoir à plusieurs reprises qu'il devait cesser immédiatement ces investigations menées en dehors de son ressort vu les risques encourus. Aux yeux du tribunal cantonal, déjà le seul fait que l'intéressé n'avait pas renoncé à poursuivre ses activités malgré ces mises en garde permettait de considérer qu'il ne remplissait pas le critère en cause. Un tel comportement contrevenait en effet aux règles et principes hiérarchiques régissant la police, ce qui était incompatible avec la relation de confiance réciproque que l'on était en droit d'attendre d'un policier envers sa hiérarchie et ses collègues. La décision du DJSF de ne pas l'engager n'apparaissait donc pas critiquable.
2.5 On peut, dans un premier temps, se limiter à examiner si la solution retenue par les juges cantonaux relève d'une application arbitraire du droit cantonal comme le soutient le recourant dans un argument ultérieur. En effet, à supposer que la Cour de céans rejette ce grief, le premier reproche adressé à la juridiction cantonale n'aurait pas lieu d'être.
3. 3.1 A teneur de l'art. 45 du règlement, pour être admis dans la gendarmerie, il faut remplir notamment les conditions suivantes:
a) jouir d'une bonne réputation et ne pas avoir encouru de condamnations pénales incompatibles avec l'exercice de la fonction; [...].
3.2 Le recourant fait valoir qu'il est arbitraire de retenir qu'il ne répond pas à cette exigence. La protection des mineurs et la prévention des dangers auxquels ils sont exposés était un devoir moral et humain auquel tous les citoyens et les policiers tout particulièrement étaient appelés à participer. Il était indiscutable que la lutte contre la pédopornographie s'inscrivait dans les conceptions morales admises par la société. La réputation d'un candidat à la police cantonale devait s'apprécier à l'aune de la bonne image que la police doit donner au public et non pas d'un point de vue interne à la police. On ne pouvait lui reprocher d'avoir nui à cette image, bien au contraire, puisque le juge pénal avait reconnu qu'il avait agi avec un mobile honorable. Il avait par ailleurs transmis aux autorités compétentes les informations qu'il avait trouvées à l'occasion de ses recherches. Il n'avait fait en définitive qu'accomplir ses obligations de policier qui lui commandaient de dénoncer toute infraction poursuivie d'office. Il était également contradictoire de la part des premiers juges de lui reprocher un comportement violant les règles professionnelles et hiérarchiques de la police alors qu'il n'avait reçu aucun ordre formel de sa hiérarchie d'arrêter ses enquêtes, ni fait l'objet d'une procédure disciplinaire.
3.3 Appelé à revoir l'interprétation d'une norme sous l'angle restreint de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - éventuellement plus judicieuse - paraît possible (ATF 132 I 175 consid. 1.2 p. 177 et les références citées).
3.4 L'art. 45 précité ne définit pas ce qu'il faut entendre par "bonne réputation". Dès lors que cette exigence figure parmi les conditions que doit remplir une personne pour être admise à la police cantonale, il y a lieu d'interpréter la notion de "bonne réputation" en relation avec l'exercice de la fonction policière. Selon la loi sur la police neuchâteloise du 20 février 2007 (RSN 561.1; LPol), celle-ci est au service de la population et des autorités, et a pour mission générale d'assurer la sécurité publique, le maintien de l'ordre et l'observation des lois (art. 1er LPol; voir aussi art. 5 LPol). A cet effet, le fonctionnaire de police exerce une part importante de la puissance publique (cf. art. 50 et ss LPol). Compte tenu du rôle dévolu à la fonction policière, il est légitime d'en subordonner l'accès à la démonstration de qualités personnelles de nature à garantir un fonctionnement irréprochable de la police. Contrairement à ce que prétend le recourant, il n'est pas insoutenable de considérer que le respect des règles professionnelles et déontologiques régissant la police, sans lesquelles la confiance que doit inspirer la fonction ne saurait exister, participe tout autant à la notion de bonne réputation au sens de l'art. 45 que la conformité à l'ordre légal et aux conceptions morales communément reconnues par la société.
3.5 En l'occurrence, il ressort du jugement cantonal que le recourant a été prévenu par au moins deux autres membres de la police d'un grade supérieur au sien qu'il transgressait les limites de ses attributions en menant ses propres enquêtes dans le domaine de la pédopornographie et qu'il risquait en outre de se trouver dans une position périlleuse sur le plan pénal. Le recourant ne pouvait donc plus, dans ces conditions, et indépendamment d'une interdiction formelle de sa hiérarchie, se sentir légitimé par sa fonction de policier municipal à persister dans ses agissements sous peine de se mettre en porte-à-faux aussi bien avec les règles internes de la police qui définissent les prérogatives attachées aux différents services de celle-ci qu'avec l'ordre public suisse. C'est en vain qu'il voit un élément justificatif à ses actes dans l'obligation pour un policier de dénoncer en tout temps les infractions poursuivies d'office. Cette obligation se rapporte aux infractions "dont [le policier] a eu connaissance ou qu'il a constatées dans l'exercice de ses fonctions" (cf. les règles de la déontologie policière dans le canton de Neuchâtel produites en annexe du recours). Or, le recourant a enquêté sur des sites pédophiles sur Internet de sa propre initiative et à son domicile privé, après ses heures de travail ou pendant ses jours de congé, soit en dehors de l'exercice de ses fonctions, et ne pouvait se prévaloir d'une erreur de droit à ce sujet (voir le jugement pénal du 6 juin 2007). Comme le fait remarquer à juste titre l'intimé, l'obligation de dénoncer ne saurait constituer un blanc seing à toute démarche en vue de lutter contre la criminalité hors du cadre légal et hiérarchique auquel est soumis le fonctionnaire de police. Les écritures du recourant démontrent qu'il n'a toujours pas saisi les limites imposées par ce cadre puisqu'il persiste à soutenir qu'il était en droit d'agir comme il l'a fait. Enfin, A._ ne peut rien non plus tirer en sa faveur de l'absence d'une procédure disciplinaire engagée contre lui. La bonne réputation d'un policier n'est pas cantonnée à cette seule constatation. On observera au surplus que le prénommé a été provisoirement suspendu dans l'exercice de ses fonctions dès l'ouverture de l'enquête pénale dirigée contre lui et que son poste a été supprimé par la commune de X._ avant que la juridiction pénale n'ait rendu son jugement. Il n'est donc pas exclu que la commune aurait introduit une procédure disciplinaire contre lui à raison des faits constatés par le juge pénal.
3.6 En tout état de cause, on peut dire que la nature des faits, leur durée et les circonstances dans lesquels ils se sont produits sont objectivement susceptibles d'éveiller une interrogation, dans l'esprit du public comme dans celui des autres membres de la police d'ailleurs, quant à la vraie motivation d'un policier qui agit de la sorte - même si un doute n'a pas lieu d'être dans le cas particulier à la lecture du jugement pénal - et ainsi nuire à la crédibilité de l'ensemble du corps de police.
3.7 Compte tenu de l'ensemble de ces éléments, on ne voit pas que la juridiction cantonale aurait appliqué l'art. 45 du règlement d'une façon qui puisse être qualifiée d'arbitraire au sens de la jurisprudence susmentionnée.
4. Quant aux griefs relatifs à la violation de l'égalité de traitement, ils sont infondés.
D'une part, c'est à tort que le recourant croit qu'il doit être réputé apte à servir à la police cantonale neuchâteloise du moment qu'il a été admis à la police de V._, qui applique des conditions d'engagement similaires à celles du canton de Neuchâtel. Le principe de l'égalité de traitement n'exige pas que dans différents cantons, une même répon-se soit donnée à des états semblables ou identiques (voir notamment l'arrêt 8C_ 991/2010 du 28 juin 2011 consid. 8.6 et les références citées). D'autre part, en ce qui concerne la situation de son ancien collègue policier municipal qui, contrairement à lui, a été admis à la police cantonale, ou celle d'autres collègues qui auraient, selon ses dires, subi des condamnations pénales après leur engagement à la police cantonale sans être inquiétés, le recourant ne prétend pas et ne démontre pas qu'elles seraient en tous points semblables à la sienne. Ces circonstances ne sauraient donc être constitutives d'une inégalité de traitement.
5. Pour terminer, le recourant déclare que le dossier cantonal est incomplet - il ne contiendrait pas certains échanges de courriers postérieurs à l'arrêt fédéral ainsi que d'autres pièces dont il ne mentionne pas le contenu -, ce qui constituerait une violation de son droit d'être entendu. Il n'explicite toutefois pas en quoi ce droit serait ici violé conformément aux exigences de motivation posées par l'art. 106 al. 2 LTF. Il n'est donc point besoin d'entrer en matière sur cet argument.
6. Il s'ensuit le rejet du recours.
Le recourant, qui succombe, doit supporter les frais judiciaires (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais de justice, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public.
Lucerne, le 11 mai 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: von Zwehl