Faits: A. Le 19 mars 2009, X._ s'est annoncé au contrôle des habitants de A._ pour un domicile secondaire, après avoir acquis une maison de 4 pièces avec sa partenaire enregistrée dans cette commune. Lors d'un échange de courriers, il a précisé qu'il conservait son domicile principal dans son canton d'origine, en Valais, où il était propriétaire d'un chalet de 4 pièces à B._ depuis fin 2006. Il y passait environ 200 jours par an selon ses déplacements professionnels et avait bénéficié de l'aide fédérale pour la rénovation de son chalet, ce qui supposait qu'il y conserve son domicile principal pendant 20 ans. De son côté, le Préposé du contrôle des habitants de la commune de A._ (ci-après: le Préposé) a estimé que les arguments présentés par X._ ne renversaient pas la présomption que le centre de ses intérêts personnels, et donc son domicile principal, se trouvaient dans le canton de Neuchâtel, où il avait été domicilié de 1965 à 2004. Il a également relevé que l'intéressé travaillait de longue date à C._ et que ses deux enfants vivaient à A._, avec son ex-épouse. Par décision du 15 mai 2009, le Préposé a pris acte du refus de X._ de déposer son acte d'origine dans la commune de A._ et de s'y créer son domicile civil. Tout en maintenant que le centre des intérêts personnels de l'intéressé se situait davantage dans le canton de Neuchâtel que dans celui du Valais, il a retenu provisoirement des explications fournies par X._ « l'aspect temporaire de son retour à A._, notamment du fait qu'il recherchait activement un emploi en Valais ». Partant, le Préposé a communiqué à X._ qu'il décidait : 1. d'accepter à dater du 5 janvier 2009 et jusqu'au 5 janvier 2010 son inscription en séjour (domicile secondaire) au registre des habitants de la commune de A._; 2. de prévoir la constitution de sa résidence à A._ en tant que domicile principal au sens de l'art. 23 CC et de l'art. 3 de la loi cantonale sur le contrôle des habitants, ceci dès le 6 janvier 2010, si aucun élément nouveau, concret et documenté ne lui parvenait dans l'intervalle; 3. de transmettre son dossier à l'autorité fiscale cantonale pour sa propre évaluation de la situation. B. X._ a recouru contre cette décision auprès du Département de la justice, de la sécurité et des finances du canton de Neuchâtel (ci-après: le Département), en lui demandant de constater qu'il était bien domicilié à B._. Dans ses déterminations du 24 juin 2009, le Préposé s'est étonné que l'intéressé fasse recours, dans la mesure où sa décision ne lui imposait pas de déposer ses papiers avant une année et que l'utilisation du conditionnel au point 2 signifiait qu'une nouvelle évaluation serait faite à ce moment-là, suivie d'une nouvelle décision avec indication de la voie de recours. Pour le reste, il a maintenu sa position. Par décision du 29 mars 2010, le Département a rejeté le recours et confirmé la décision du Préposé du 15 mai 2009, en relevant qu'elle échappait à toute critique. C. X._ a recouru contre cette décision auprès du Tribunal administratif du canton de Neuchâtel, devenu Cour de droit public du Tribunal cantonal depuis le 1er janvier 2011. Il estimait avoir justifié, par les témoignages écrits produits, que le centre de ses intérêts était bien situé en Valais, où il développait une société immobilière. Dans ses déterminations du 21 mai 2010, le Préposé a notamment souligné que le recourant n'avait fait valoir aucun élément concret et nouveau qui justifierait que sa situation soit revue en 2010. Statuant le 23 janvier 2012, le Tribunal cantonal a rejeté le recours dans la mesure de sa recevabilité. Il a tout d'abord relevé que le recourant n'avait pas intérêt à contester la décision du Préposé pour la période du 5 janvier 2009 au 5 janvier 2010, dans la mesure où celle-ci avait admis sa demande d'être inscrit en séjour (domicile secondaire) et a déclaré le recours irrecevable sur ce point. Pour la période postérieure, il s'est demandé si une seconde décision formelle, sans emploi du conditionnel, aurait dû être rendue, ainsi que le Préposé le mentionnait dans ses déterminations du 24 juin 2009. Constatant ensuite que le Département ne s'était pas prononcé sur ce point, bien que sa décision soit postérieure à celle qu'aurait pu rendre le préposé à partir du 5 janvier 2010, il en a déduit que la décision du 15 mai 2009 était une décision conditionnelle, valable également pour la période postérieure au 6 janvier 2010. Sur le fond, il a estimé que les autorités inférieures avaient correctement appliqué le droit et a confirmé leurs décisions respectives. D. Agissant par la voie du recours en matière de droit public, X._ conclut, sous suite de frais et dépens, à l'annulation de l'arrêt du Tribunal cantonal du 23 janvier 2012 et demande au Tribunal fédéral de prononcer que son domicile se situe à B._. Le Tribunal cantonal se réfère aux motifs de son arrêt et conclut au rejet du recours. Le Département renvoie également à l'arrêt attaqué et conclut au rejet du recours dans la mesure où il est recevable. Au terme de ses observations, le Préposé conclut au rejet du recours. Invitée à se déterminer sur le recours, la commune de B._ n'a pas déposé d'observations dans le délai imparti.