Faits:
A. Le 19 mars 2009, X._ s'est annoncé au contrôle des habitants de A._ pour un domicile secondaire, après avoir acquis une maison de 4 pièces avec sa partenaire enregistrée dans cette commune. Lors d'un échange de courriers, il a précisé qu'il conservait son domicile principal dans son canton d'origine, en Valais, où il était propriétaire d'un chalet de 4 pièces à B._ depuis fin 2006. Il y passait environ 200 jours par an selon ses déplacements professionnels et avait bénéficié de l'aide fédérale pour la rénovation de son chalet, ce qui supposait qu'il y conserve son domicile principal pendant 20 ans. De son côté, le Préposé du contrôle des habitants de la commune de A._ (ci-après: le Préposé) a estimé que les arguments présentés par X._ ne renversaient pas la présomption que le centre de ses intérêts personnels, et donc son domicile principal, se trouvaient dans le canton de Neuchâtel, où il avait été domicilié de 1965 à 2004. Il a également relevé que l'intéressé travaillait de longue date à C._ et que ses deux enfants vivaient à A._, avec son ex-épouse.
Par décision du 15 mai 2009, le Préposé a pris acte du refus de X._ de déposer son acte d'origine dans la commune de A._ et de s'y créer son domicile civil. Tout en maintenant que le centre des intérêts personnels de l'intéressé se situait davantage dans le canton de Neuchâtel que dans celui du Valais, il a retenu provisoirement des explications fournies par X._ « l'aspect temporaire de son retour à A._, notamment du fait qu'il recherchait activement un emploi en Valais ». Partant, le Préposé a communiqué à X._ qu'il décidait :
1. d'accepter à dater du 5 janvier 2009 et jusqu'au 5 janvier 2010 son inscription en séjour (domicile secondaire) au registre des habitants de la commune de A._;
2. de prévoir la constitution de sa résidence à A._ en tant que domicile principal au sens de l'<ref-law> et de l'art. 3 de la loi cantonale sur le contrôle des habitants, ceci dès le 6 janvier 2010, si aucun élément nouveau, concret et documenté ne lui parvenait dans l'intervalle;
3. de transmettre son dossier à l'autorité fiscale cantonale pour sa propre évaluation de la situation.
B. X._ a recouru contre cette décision auprès du Département de la justice, de la sécurité et des finances du canton de Neuchâtel (ci-après: le Département), en lui demandant de constater qu'il était bien domicilié à B._.
Dans ses déterminations du 24 juin 2009, le Préposé s'est étonné que l'intéressé fasse recours, dans la mesure où sa décision ne lui imposait pas de déposer ses papiers avant une année et que l'utilisation du conditionnel au point 2 signifiait qu'une nouvelle évaluation serait faite à ce moment-là, suivie d'une nouvelle décision avec indication de la voie de recours. Pour le reste, il a maintenu sa position.
Par décision du 29 mars 2010, le Département a rejeté le recours et confirmé la décision du Préposé du 15 mai 2009, en relevant qu'elle échappait à toute critique.
C. X._ a recouru contre cette décision auprès du Tribunal administratif du canton de Neuchâtel, devenu Cour de droit public du Tribunal cantonal depuis le 1er janvier 2011. Il estimait avoir justifié, par les témoignages écrits produits, que le centre de ses intérêts était bien situé en Valais, où il développait une société immobilière.
Dans ses déterminations du 21 mai 2010, le Préposé a notamment souligné que le recourant n'avait fait valoir aucun élément concret et nouveau qui justifierait que sa situation soit revue en 2010.
Statuant le 23 janvier 2012, le Tribunal cantonal a rejeté le recours dans la mesure de sa recevabilité. Il a tout d'abord relevé que le recourant n'avait pas intérêt à contester la décision du Préposé pour la période du 5 janvier 2009 au 5 janvier 2010, dans la mesure où celle-ci avait admis sa demande d'être inscrit en séjour (domicile secondaire) et a déclaré le recours irrecevable sur ce point. Pour la période postérieure, il s'est demandé si une seconde décision formelle, sans emploi du conditionnel, aurait dû être rendue, ainsi que le Préposé le mentionnait dans ses déterminations du 24 juin 2009. Constatant ensuite que le Département ne s'était pas prononcé sur ce point, bien que sa décision soit postérieure à celle qu'aurait pu rendre le préposé à partir du 5 janvier 2010, il en a déduit que la décision du 15 mai 2009 était une décision conditionnelle, valable également pour la période postérieure au 6 janvier 2010. Sur le fond, il a estimé que les autorités inférieures avaient correctement appliqué le droit et a confirmé leurs décisions respectives.
D. Agissant par la voie du recours en matière de droit public, X._ conclut, sous suite de frais et dépens, à l'annulation de l'arrêt du Tribunal cantonal du 23 janvier 2012 et demande au Tribunal fédéral de prononcer que son domicile se situe à B._.
Le Tribunal cantonal se réfère aux motifs de son arrêt et conclut au rejet du recours. Le Département renvoie également à l'arrêt attaqué et conclut au rejet du recours dans la mesure où il est recevable. Au terme de ses observations, le Préposé conclut au rejet du recours.
Invitée à se déterminer sur le recours, la commune de B._ n'a pas déposé d'observations dans le délai imparti.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-law>; <ref-ruling> consid. 3 p. 499, 470 consid. 1 p. 472 et les arrêts cités).
1.1 Le recours est dirigé contre une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) ne tombant pas sous le coup de l'une des exceptions prévues à l'<ref-law>. La voie du recours en matière de droit public est partant ouverte.
1.2 Aux termes de l'<ref-law>, a qualité pour former un recours en matière de droit public quiconque a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire (let a), est particulièrement atteint par la décision attaquée (let. b) et a un intérêt digne de protection à l'annulation ou à la modification de celle-ci (let. c). Constitue un intérêt digne de protection, au sens de cette disposition, tout intérêt pratique ou juridique à demander la modification ou l'annulation de la décision attaquée. L'intérêt digne de protection consiste ainsi en l'utilité pratique que l'admission du recours apporterait au recourant (<ref-ruling> consid. 1.3.1 p. 252). Le moment déterminant du point de vue de la recevabilité est celui où le Tribunal de céans rend son jugement (<ref-ruling> consid. 3.3 p. 500 et les arrêts cités).
Il est en l'espèce constant que le recourant n'a pas un intérêt digne de protection, au sens de l'<ref-law> et de la jurisprudence précitée, à demander l'annulation de l'arrêt attaqué en tant qu'il déclare irrecevable son recours portant sur la période du 5 janvier 2009 au 5 janvier 2010, du moment que ses conclusions tendant à la reconnaissance d'un domicile secondaire à A._ ont été admises pour cette période. Son recours n'est donc pas recevable sur ce point. Il faut en effet comprendre que le grief d'arbitraire qu'il soulève à propos de cette admission ne vise pas à remettre en cause le bien-fondé de la reconnaissance de ce domicile secondaire, ce qui pourrait aboutir à une reformatio in pejus, mais s'applique uniquement à la période postérieure au 5 janvier 2010.
En revanche, la situation est différente pour cette seconde période, dès lors que, si le Tribunal cantonal a confirmé les décisions du Préposé du 15 mai 2009 et du Département du 29 mars 2010, il a clairement constaté que ces autorités avaient correctement appliqué le droit en retenant que le « domicile » ou l'établissement du recourant au sens du droit de police des habitants se trouvait à A._ depuis le 6 janvier 2010. Le recourant a ainsi un intérêt juridique protégé par l'<ref-law> à l'annulation de l'arrêt attaqué en tant qu'il se prononce en dernière instance cantonale sur la constitution de son domicile principal dans la commune de A._ à partir du 6 janvier 2010. Son recours est donc recevable à ce titre.
2. 2.1 Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law> s'agissant des droits fondamentaux. Il y procède en se fondant sur les faits constatés par l'autorité précédente (<ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte - c'est-à-dire arbitrairement au sens de l'art. 9 Cst. (<ref-ruling> consid. 7.1 p. 51; <ref-ruling> consid. 4.2 p. 560) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). D'une manière générale, la correction du vice doit en outre être susceptible d'influer sur le sort de la cause (art. 97 al. 1 in fine LTF). S'agissant de l'appréciation des preuves et des constatations de fait, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (ATF <ref-ruling> consid. 4.2 p. 560; <ref-ruling> consid. 1.3; <ref-ruling> consid. 5.4). Le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées; à défaut, il n'est pas possible de tenir compte d'un état de fait divergeant de celui qui est contenu dans l'acte attaqué. En particulier, le Tribunal de céans n'entre pas en matière sur des critiques appellatoires portant sur l'état de fait ou l'appréciation des preuves (cf. <ref-ruling> consid 1.4 p. 400).
2.2 En l'espèce, le recourant allègue une violation de ses droits procéduraux, parce qu'il a dû procéder devant l'autorité de recours pendant le délai d'attente au 5 janvier 2010 imposé par le Préposé. Il ne mentionne toutefois aucune disposition cantonale de procédure, dont l'application arbitraire aurait pu contrevenir à ses droits et ne dit pas non plus en quoi il aurait été prétérité par la procédure suivie. Il ressort au contraire du dossier qu'il a eu tout loisir de faire valoir devant le Tribunal cantonal ses arguments au sujet des faits nouveaux dont il entendait se prévaloir depuis la décision du Préposé du 15 mai 2009 pour établir qu'il était domicilié dans le canton du Valais.
Quant aux griefs du recourant au sujet des constatations arbitraires des faits auxquelles aurait procédé la juridiction cantonale, ils se confondent avec l'examen du fond du litige, soit de la détermination du lieu de séjour principal du recourant. Dans ce domaine également, le Tribunal fédéral ne revoit l'appréciation des preuves que sous l'angle de l'arbitraire (arrêt 2P.49/2007 du 3 août 2007, consid. 2.5 et les arrêts cités).
3. 3.1 Depuis l'entrée en vigueur de la loi fédérale du 23 juin 2006 sur l'harmonisation des registres des habitants et d'autres registres officiels de personnes (loi sur l'harmonisation de registres, LHR; RS 431.02) et l'ordonnance fédérale du 21 novembre 2007 sur l'harmonisation de registres (OHR; RS 431.021), les registres communaux des habitants ne sont plus seulement régis par le droit cantonal et communal. Dans le canton de Neuchâtel, l'ancienne loi sur le contrôle des habitants du 3 février 1998 (LCdH) a été abrogée par l'entrée en vigueur, le 1er janvier 2010, de la loi concernant l'harmonisation des registres officiels de personnes et le contrôle des habitants (LHRCH; RSN 132.0). L'art. 3 LCdH, applicable lorsque le Préposé a rendu sa décision, disposait qu'une personne ne pouvait avoir qu'un domicile, réputé se trouver dans la commune où était déposé son acte d'origine ou le document requis, et qu'à défaut, d'un tel dépôt, le domicile était considéré se trouver dans la commune où la personne résidait avec l'intention de s'y établir.
La loi fédérale sur l'harmonisation de registres définit maintenant la commune d'établissement comme celle dans laquelle une personne réside, de façon reconnaissable pour des tiers, avec l'intention d'y vivre durablement et d'y avoir le centre de ses intérêts personnels. Une personne est réputée établie dans la commune où elle a déposé le document requis. Elle ne peut avoir qu'une commune d'établissement (art. 3 let. b 1ère phrase). La commune de séjour est celle dans laquelle une personne réside dans un but particulier sans intention d'y vivre durablement, mais pour une durée d'au moins trois mois consécutifs ou répartis sur une même année; il s'agit notamment de la commune dans laquelle une personne séjourne pour y fréquenter les écoles ou se trouve placée dans un établissement d'éducation, un hospice, un hôpital ou une maison de détention (art. 3 let. c LHR).
3.2 Selon la jurisprudence, l'établissement et le séjour, le domicile civil et les domiciles spéciaux sont déterminés par des autorités différentes dans des procédures distinctes (cf. arrêts 2C_791/2011 du 4 avril 2012 consid. 1.3; 2C_478/2008 du 23 septembre 2008 consid. 3.5). La plupart du temps, c'est le domicile civil qui sert de point de référence aux autres domaines du droit. Le message du Conseil fédéral du 23 novembre 2005 concernant l'harmonisation de registres officiels de personnes précise ainsi expressément que l'art. 3 let. b LHR donne de l'établissement une définition qui s'appuie notamment sur la définition du Code civil suisse (cf. FF 2005 p. 439 ss, p. 469).
En droit civil, selon l'<ref-law>, le domicile de toute personne est au lieu où elle réside avec l'intention de s'y établir. Lorsque la détermination du domicile d'une personne soulève des difficultés, tant le critère de l'intention de s'établir que la notion de centre de vie commandent de recenser tous les facteurs qui pourraient s'avérer importants. Chacun de ces facteurs, pris en lui-même, ne constitue donc rien de plus qu'un indice. Ainsi, le dépôt des papiers au contrôle de l'habitant, l'établissement du permis de séjour, l'exercice des droits politiques, le paiement des impôts ne sont jamais déterminants en eux-mêmes pour fonder le domicile civil volontaire (cf. <ref-ruling> consid. 4.3 p. 409 s.; <ref-ruling> consid. 3.3. p. 313; <ref-ruling> consid. 3 p. 101 et les références citées).
Il découle de la jurisprudence précitée que c'est régulièrement le domicile civil et les domiciles spéciaux qui permettent d'établir si une personne est établie dans une commune donnée au sens de l'art. 3 let. b LHR, et non l'inverse (arrêt précité 2C_791/2011, consid. 1.3). Il ne faut cependant pas perdre de vue que le Code civil et la loi sur l'harmonisation des registres poursuivent en effet des buts différents (arrêt 2C_919/2011 du 9 février 2012 consid. 3.2).
3.3 En l'espèce, le Tribunal cantonal a retenu que le recourant exerçait sa profession de contrôleur de gestion à 100 % chez D._ SA, à C._ et que les notes de frais produites ne permettaient pas d'en déduire qu'il effectuait des déplacements fréquents dans des filiales du groupe, ni qu'il travaillait souvent depuis le Valais. Il a au contraire constaté que ses visites chez E._, à F._, ou G._, à H._, elles ne l'empêchaient de retourner à A._ à la fin de ses journées de travail. Les premiers juges ont également relevé que l'activité indépendante dans le secteur immobilier que l'intéressé déclare exercer en Valais ne nécessitait pas forcément sa présence sur place et devait être qualifiée de marginale par rapport à son revenu de salarié dans le canton de Neuchâtel. Ils n'ont pas non plus considéré comme déterminants les témoignages dont se prévalait le recourant sur la base d'attestations signées par des connaissances ou des personnes appartenant à son cercle d'amis; ils ont ainsi écarté ces témoignages écrits qui reproduisaient les allégués du recours, en jugeant qu'ils n'étaient pas propres à contrebalancer les relations que l'intéressé entretenait à A._ avec sa partenaire, dans leur maison commune. En outre, même si le recourant affirmait qu'il emmenait ses enfants à B._ un week-end sur deux et pendant les vacances, il avait admis s'être établi à A._ pour être à proximité de leur domicile en cas de défaillance de leur mère. En ce qui concerne l'aide fédérale et cantonale à hauteur de 33'600 fr., dont le recourant avait bénéficié pour les travaux effectués dans son chalet à B._, la juridiction cantonale a relevé que cette subvention avait été accordée dans des circonstances différentes à celles prévalant en 2009, lorsque le recourant était établi à I._ et qu'il avait ensuite, selon ses dires, logé en France voisine. Quoi qu'il en soit, l'octroi de cette aide ne donnait aucun droit à maintenir le domicile ou l'établissement au lieu de situation du bien subventionné, même s'il était conditionné à l'occupation de ce dernier en permanence pendant vingt ans. La Cour cantonale a ainsi confirmé les décisions des autorités inférieures retenant que le domicile ou l'établissement du recourant se trouvait à A._ depuis le 6 janvier 2010.
3.4 Le recourant conteste cette appréciation et estime que la juridiction cantonale a procédé à une constatation de faits arbitraire, d'une part en écartant les témoignages écrits qu'il avait fournis, sans entendre les témoins dont il avait requis l'audition, et d'autre part, en ne tenant pas compte du fait qu'il entend vendre sa maison de A._.
Indépendamment du contenu des déclarations produites, dans lesquelles les témoins n'ont fait que signer des déclarations préétablies par le recourant, les juges pouvaient mettre un terme à l'instruction (<ref-ruling> consid. 5.3 p. 236 et les arrêts cités), en jugeant que l'audition des témoins en cause ne ferait que démontrer que le recourant avait plusieurs activités accessoires en Valais, mais ne serait pas de nature à modifier leur conviction sur le centre de ses intérêts. Le recourant ne motive au demeurant nullement ce grief par rapport à une violation de son droit d'être entendu ou à une appréciation arbitraire des preuves. Quant au contrat de courtage produit, il ne saurait être pris au sérieux, du moment qu'il date déjà du 29 octobre 2010 et que rien ne laisse supposer que le recourant et sa partenaire seraient depuis entrés en tractation avec un acheteur potentiel pour leur maison de A._. Les premiers juges ne sont donc pas tombés dans l'arbitraire en ne mentionnant pas ce contrat de courtage. Pour le reste, le recourant ne fait qu'opposer sa thèse à celle des autorités cantonales et formule des critiques de nature appellatoire qui n'ont pas à être examinées (cf. supra consid. 2.1). Il en va notamment ainsi des reproches qu'il adresse au Tribunal cantonal au sujet de son activité indépendante, dont le revenu s'élèverait à 26'811 fr. selon la décision de taxation 2010 du canton de Valais. On ne voit en effet pas en quoi il serait arbitraire d'admettre qu'il s'agit d'une activité accessoire qui ne nécessite pas une grande présence du recourant en Valais.
3.5 Au vu de ce qui précède, il faut admettre que, depuis la décision du Préposé du 15 mai 2009, le recourant n'a pas fourni des indices suffisants pour démontrer que le centre de ses intérêts se trouvait en Valais, alors que sa compagne et ses enfants étaient domiciliés à A._ et qu'il travaillait comme salarié à 100 % dans le canton de Neuchâtel. C'est donc sans violation de l'art. 3 let. b LHR et des dispositions cantonales applicables que le recourant a été considéré comme étant établi dans la commune de A._ à partir du 6 janvier 2010.
4. Il s'ensuit que le recours doit être rejeté dans la mesure de sa recevabilité, avec suite de frais à la charge du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Contrôle des habitants, au Département de la justice, de la sécurité et des finances du canton de Neuchâtel, à la Commune de B._ et au Tribunal cantonal du canton de Neuchâtel, Cour de droit public.
Lausanne, le 23 août 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Rochat