Faits:
A. A.X._, né en 1945, et B.X._, née en 1948, ont habité depuis 1980 une villa sise à C._. Le 31 août 2004, A.X._ a annoncé son départ au contrôle des habitants de C._ pour la commune de D._ dans le canton de Zoug.
Par décision du 13 novembre 2007, le Service des contributions du canton de Neuchâtel a considéré que les époux restaient néanmoins imposables de manière illimitée dans le canton de Neuchâtel pour la période fiscale 2004 et les suivantes. Par décision du 17 janvier 2008, B.X._ a été taxée seule et de manière définitive pour la période fiscale 2004 et de manière provisoire par décisions de taxation des 15 février 2007 et 22 novembre 2007 pour les périodes fiscales 2005 et 2006.
Par décision du 6 février 2008, la réclamation de A.X._ contre la décision d'assujettissement du 13 novembre 2007 a été rejetée. Le domicile fiscal de l'intéressé demeurait dans le canton de Neuchâtel et les époux considérés comme un couple marié.
Par arrêt du 26 avril 2010, le Tribunal fiscal du canton de Neuchâtel a jugé que l'intéressé avait conservé son domicile fiscal dans le canton de Neuchâtel pour les périodes fiscales 2005, 2006 et 2007. Pour la période fiscale 2008 en revanche, son domicile fiscal se trouvait dans le canton de Zoug.
Par mémoire du 27 mai 2010, A.X._ a recouru contre l'arrêt du 26 avril 2010 auprès du Tribunal cantonal du canton de Neuchâtel.
B. Par arrêt du 16 août 2011, le Tribunal cantonal du canton de Neuchâtel a rejeté le recours.
C. Par mémoire du 16 septembre 2011, A.X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 16 août 2011 par le Tribunal cantonal du canton de Neuchâtel et de dire que son domicile fiscal se trouve dans le canton de Zoug dès la période fiscale 2004. Il se plaint notamment de la constatation arbitraire des faits.
Le Service des contributions, le Tribunal cantonal et l'Administration fédérale des contributions concluent au rejet du recours. B.X._ a déposé des observations sans prendre de conclusions.
Bien qu'invitée à se déterminer, l'Administration fiscale du canton de Zoug n'a pas déposé d'observations.

Considérant en droit:
1. 1.1 Déposé en temps utile (art. 100 al. 1 et 5 ainsi que 46 al. 1 let. b LTF) et en la forme prévue (<ref-law>) contre un arrêt rendu par un tribunal supérieur de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF) par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à l'annulation ou à la modification de celui-ci (<ref-law>), le présent recours est en principe recevable au titre de recours en matière de droit public pour violation de l'interdiction de la double imposition intercantonale sans attendre la décision d'un autre canton ni épuiser les instances des autres cantons concernés (<ref-ruling> consid. 2.3 p. 312).
1.2 Selon son rubrum, l'arrêt attaqué porte sur les périodes fiscales 2005 à 2008. La conclusion du recours portant sur la période fiscale 2004 est par conséquent irrecevable parce qu'elle sort de l'objet du litige dont était saisi l'instance précédente.
2. Le recourant se plaint de la constatation arbitraire des faits par l'instance précédente.
2.1 Selon l'<ref-law>, le recours peut critiquer les constatations de fait à la double condition que les faits aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> et que la correction du vice soit susceptible d'influer sur le sort de la cause, ce que le recourant doit rendre vraisemblable par une argumentation répondant aux exigences des art. 42 al. 2 et 106 al. 2 LTF (cf. <ref-ruling> consid. 1.2 p. 511). La notion de "manifestement inexacte" figurant à l'<ref-law> correspond à celle d'arbitraire au sens de l'art. 9 Cst. A cet égard, l'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier, ou contraire au sens de la justice et de l'équité ou lorsque l'autorité ne tient pas compte, sans raison sérieuse, d'un élément propre à modifier la décision, se trompe sur le sens et la portée de celui-ci ou, se fondant sur les éléments recueillis, en tire des constatations insoutenables. Il appartient à la partie recourante de démontrer le caractère arbitraire par une argumentation répondant aux exigences accrues de motivation de l'<ref-law> (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 1.4.3 p. 254 s.).
3. Sous chiffre 2 de son mémoire, le recourant est d'avis que l'instance précédente constate de manière arbitraire les faits lorsqu'elle indique qu'il n'y a pas de preuves suffisantes pour établir une rupture complète des liens entre son épouse et lui-même. Il fait à cet égard référence au certificat médical du Dr E._ du 6 juillet 2009 ainsi qu'au versement mensuel de 1'000 fr. à B.X._ dès le mois janvier 2005. Il estime que cette appréciation erronée joue un rôle fondamental sur le sort de la cause puisque la constatation de la séparation à une influence sur sa taxation.
Ce faisant, le recourant s'en prend en réalité à la qualification et à l'appréciation juridique de ces faits et soulève ainsi une question de droit fédéral que le Tribunal fédéral examine d'office et librement (art. 95 let. a et 106 al. 1 LTF).
4. Le recourant soutient que son domicile fiscal se trouvait dans le canton de Zoug durant les périodes fiscales 2005 à 2008.
4.1 Aux termes de l'art. 3 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; loi sur l'harmonisation fiscale; RS 642.14), les personnes physiques sont assujetties à l'impôt à raison du rattachement personnel, notamment lorsque, au regard du droit fiscal, elles sont domiciliées dans le canton. Une personne a son domicile dans le canton, au regard du droit fiscal, lorsqu'elle y réside avec l'intention de s'y établir durablement ou lorsqu'elle y a un domicile légal spécial en vertu du droit fédéral (<ref-law>).
4.2 Selon la jurisprudence du Tribunal fédéral relative à l'interdiction de la double imposition intercantonale (cf. art. 127 al. 3, 1ère phrase Cst. et art. 46 al. 2 aCst.), l'imposition du revenu et de la fortune mobilière d'une personne revient au canton où cette personne a son domicile fiscal. Par domicile fiscal, on entend en principe le domicile civil, c'est-à-dire le lieu où la personne réside avec l'intention de s'y établir durablement (cf. <ref-law>), ou le lieu où se situe le centre de ses intérêts. Le domicile politique ne joue pas, dans ce contexte, un rôle décisif: le dépôt des papiers et l'exercice des droits politiques ne constituent, au même titre que les autres relations de la personne assujettie à l'impôt, que des indices propres à déterminer le domicile fiscal. Le lieu où la personne assujettie a le centre de ses intérêts personnels se détermine en fonction de l'ensemble des circonstances objectives, et non en fonction des déclarations de cette personne; dans cette mesure, il n'est pas possible de choisir librement un domicile fiscal.
4.3 Ces considérations demeurent valables sous l'empire de la loi fédérale sur l'harmonisation des impôts directs des cantons et des communes, qui, à son art. 3 al. 2, contient une définition analogue du domicile de la personne physique (<ref-ruling> consid. 4.1 p. 35 s. et les références citées).
4.3.1 Si une personne séjourne alternativement à deux endroits, ce qui est notamment le cas lorsque le lieu de travail ne coïncide pas avec le lieu de résidence habituelle, son domicile fiscal se trouve au lieu avec lequel elle a les relations les plus étroites. Pour le contribuable exerçant une activité lucrative dépendante, le domicile fiscal se trouve en principe à son lieu de travail, soit au lieu à partir duquel il exerce quotidiennement son activité lucrative, pour une longue durée ou pour un temps indéterminé, en vue de subvenir à ses besoins. Pour le contribuable marié, les liens créés par les rapports personnels et familiaux sont tenus pour plus forts que ceux tissés au lieu de travail; pour cette raison, ces personnes sont imposables au lieu de résidence de la famille (<ref-ruling> consid. 4.2 p. 36 s. et les références citées).
Lorsque le contribuable marié qui exerce une activité lucrative dépendante (sans avoir de fonction dirigeante) revient chaque jour dans sa famille (pendulaire), son domicile fiscal est au lieu de résidence de la famille. Il en va de même lorsque ce même contribuable ne rentre dans sa famille que pour les fins de semaine et son temps libre ("Wochenaufenthalter"). Ce n'est que lorsque ce même contribuable ne rentre pas dans sa famille en fin de semaine ou pas avec la régularité nécessaire que son domicile fiscal principal est au lieu du travail, le lieu de résidence de la famille représentant alors pour lui un domicile fiscal secondaire (<ref-ruling> consid. 4.2 p. 36 s. et les références citées).
4.3.2 La détermination du domicile fiscal implique d'apprécier des éléments de fait relevant du for interne des contribuables, soit de leur volonté d'établir en un lieu le centre de leurs intérêts personnels, en se fondant sur des circonstances extérieures et objectives. Cette appréciation ne peut guère se fonder sur des preuves strictes, mais résulte généralement d'un faisceau d'indices; elle nécessite une prise de considération détaillée de l'ensemble des relations professionnelles, familiales et sociales (cf. arrêt 2C_397/2010 du 6 décembre 2010 consid. 2.4.2, paru in RDAF 2011 II p. 133).
5. 5.1 Dans l'arrêt attaqué, l'instance précédente a retenu que le recourant rentrait pratiquement toutes les fins de semaines au domicile familial de C._ à la fois pour l'entretenir et pour maintenir des relations personnelles, qu'il passait les fêtes de famille à C._, qu'il ne disposait à Zoug jusqu'en mars 2008 que d'une chambre avec place de parc, que les époux avaient passé ensembles une semaine de vacances de ski en 2007, qu'il avait soigné ses relations avec sa fille handicapée domiciliée dans le canton de Neuchâtel et que l'épouse de ce dernier avait situé au printemps 2008 la véritable prise de distance de son époux vis-à-vis d'elle.
Dans son mémoire, le recourant ne démontre pas que les faits retenus par l'instance précédente l'auraient été de manière manifestement inexacte ou en violation du droit au sens de l'<ref-law>, comme le prévoit l'<ref-law>. Au contraire, il reconnaît en substance, dans son écriture (ch. 3 in fine, p. 7), qu'il entretenait forcément des relations personnelles dans le canton de Neuchâtel, puisque ses filles y habitaient et que la maison qu'il voulait conserver pour la leur laisser s'y trouvait. C'est donc dans le canton de Neuchâtel que le recourant avait conservé le centre de ses intérêts vitaux.
Dans ces conditions, l'instance précédente a correctement appliqué l'<ref-law> en jugeant que le recourant avait conservé son domicile à C._ dans le canton de Neuchâtel pour les périodes fiscales 2005 à 2007. Le recours est rejeté sur ce point.
A défaut de motivation conforme aux exigences accrues de l'<ref-law>, les griefs relatifs aux art. 10, 13, 22 et 23 Cst. sont irrecevables.
6. Le recourant soutient qu'il ne faisait plus ménage commun avec son épouse au sens de l'<ref-law> durant les années en cause.
6.1 L'<ref-law> prévoit, comme l'<ref-law>, que le revenu et la fortune des époux qui vivent en ménage commun s'additionnent, quel que soit le régime matrimonial. De cette exigence découle a contrario que si le mariage n'existe plus que juridiquement mais que les époux vivent séparés judiciairement ou de fait, ils ne doivent plus faire l'objet d'une taxation commune, mais d'une taxation séparée (cf. Message du 25 mai 1983 concernant les lois fédérales sur l'harmonisation des impôts directs des cantons et des communes ainsi que sur l'impôt fédéral, FF 1983 III 1 ss, p. 167).
6.1.1 La circulaire n° 14 du 29 juillet 1994 de l'Administration fédérale des contributions concernant l'imposition de la famille selon la loi sur l'impôt fédéral direct (ci-après: la circulaire n° 14, Archives 63 p. 296 ss) donne une série d'indices qui permettent de déterminer, sur la base d'une appréciation globale, si une séparation est effective:
"- l'absence d'une demeure commune (art. 162 CCS), l'existence de logements séparés (art. 175 CCS) ou encore l'existence d'un domicile propre selon l'article 23 CCS;
- l'utilisation des moyens financiers à disposition; une taxation séparée sera éventuellement admise, lorsque les fonds disponibles ne sont plus mis en commun, c'est-à-dire lorsque les époux ne font plus caisse commune pour le logement et l'entretien, comme le Tribunal fédéral l'a relevé pour les rapports intercantonaux. En revanche, les époux qui consacrent à leur train de vie commun des moyens financiers excédant la mesure usuelle des cadeaux occasionnels (n'entrent pas en considération les aliments déterminés par le juge ou convenus à bien plaire) seront taxés en commun en dépit du logement séparé et éventuellement du domicile civil séparé;
- l'état civil que le couple adopte en public du point de vue de la bonne foi;
- la durée de la séparation de fait invoquée (un an au moins)."
Ces indices peuvent être utilisés pour faciliter l'application de l'<ref-law> en raison de sa similitude avec l'<ref-law>.
6.1.2 Selon la jurisprudence et la doctrine, pour que l'on considère qu'il y a séparation de fait, il ne doit plus y avoir de ménage commun et les moyens financiers ne doivent plus être gérés en commun. Ces conditions sont cumulatives. Une séparation au sens de l'<ref-law> suppose ainsi que les époux ont renoncé à la vie commune. Partant, aussi longtemps que chaque époux a un domicile propre tout en maintenant la communauté conjugale, il n'y a pas de vie séparée. Il est dès lors nécessaire, pour que les conditions d'une taxation séparée soient réalisées, que les époux entendent réduire à néant la communauté conjugale, plus précisément qu'ils renoncent à vivre en ménage commun, en particulier pour l'un des motifs indiqués aux art. 137, 175 et 176 CC, et qu'ils vivent séparés de manière durable. Par ailleurs, l'imposition séparée suppose l'absence de mise en commun des moyens d'existence des époux s'agissant notamment des dépenses afférentes à l'appartement et au ménage; autrement dit, l'assistance d'un époux par l'autre ne se fait plus que sous la forme de subsides d'un montant déterminé (arrêts 2A.353/2006 du 18 janvier 2007, consid. 4.1, in RF 2007 352; 2A.432/2004 du 16 décembre 2004, in RF 6/2005 p. 516, consid. 3.2 et les références; arrêt 2P.2/2003 du 7 janvier 2004, in RDAF 2004 II 297, consid. 2.4.1; arrêt 2A.433/2000 du 12 juillet 2001, in RDAF 2000 II 530, consid. b/bb et b/dd et les références; <ref-ruling>, consid. 5c, p. 19).
C'est aux conjoints d'apporter la preuve que les conditions de la séparation sont remplies (arrêt 2A.277/1988 du 20 juin 1989, consid. 4 in Archives 59 632).
6.2 L'art. 10 al. 1 LCdir/NE a une teneur conforme à l'<ref-law>.
7. 7.1 Il n'est pas contesté que, pour les périodes fiscales 2005 à 2008, le recourant louait une chambre dans le canton de Zoug. Toutefois ni divorce ni séparation de droit n'avaient été prononcés pour ces mêmes années. Dans l'arrêt attaqué, l'instance précédente a pris en considération l'attestation du Dr E._ du 6 juillet 2009. Cette attestation confirmait que le recourant avait évoqué des problèmes relationnels avec son épouse pour la première fois en mars 2003, mais ne suffisait pas encore à établir que les époux ne mettaient plus en commun leurs moyens d'existence. Selon elle, le départ du recourant pour le canton de Zoug était avant tout motivé par le départ de son entreprise et la difficulté pour le recourant de trouver un nouvel employeur à 59 ans. L'instance précédente a aussi pris en considération le versement mensuel de 1'000 fr. effectué par le recourant sur un compte de son épouse mais elle a jugé qu'un tel versement ne démontrait pas la cessation de la mise en commun des moyens d'existence. Ce versement ne faisait, selon elle, que de "rééquilibrer les comptes utilisés par les époux". Il n'était d'ailleurs officialisé par aucune convention de séparation. A cela s'ajoutait que l'épouse n'avait pas déclaré de pension alimentaire pour les périodes 2005 et suivantes et que, dans le canton de Zoug, le recourant lui-même avait déclaré être marié jusqu'en 2006.
7.2 Il est vrai, comme le fait remarquer le recourant, qu'on ne saurait exiger des époux qu'ils fournissent une convention formelle de séparation pour établir la fin de la mise en commun des moyens financiers. A cet égard, sous l'angle financier, il suffit, comme le retient la jurisprudence, que l'assistance d'un époux par l'autre ne se fasse plus que sous la forme de subsides d'un montant déterminé. En l'espèce cependant, s'il est bien établi que le recourant versait 1000 fr. par mois à son épouse durant les années en cause, force est de constater que l'instance précédente soutient qu'il s'agissait d'un "rééquilibrage des comptes utilisés par les époux", faisant référence à des comptes bancaires sans mentionner pour autant ceux auxquels elle fait allusion. Comme les époux ont par ailleurs fait savoir dans leurs déclarations fiscales respectives au demeurant non concordantes, qu'ils étaient mariés - pour l'une jusqu'en 2006 et pour l'autre jusqu'en 2008, force est de constater que les faits permettant l'application de l'<ref-law> sont contradictoires et lacunaires quant à l'existence d'un ménage commun des époux durant les périodes fiscales 2005 à 2008: l'état de fait de l'arrêt attaqué n'expose pas ou à tout le moins pas avec la précision nécessaire si les charges financières et d'entretien des maisons étaient encore partagées, notamment si les époux étaient encore débiteurs solidaires des créanciers hypothécaires en particulier de la maison habitée par l'épouse ni si les autres comptes bancaires détenus en commun par le couple avant 2004 ont été soldés et les montants répartis. Dans ces conditions, la cause est renvoyée à l'instance précédente pour instruction complémentaire et nouvelle décision sur ce dernier point en application de l'<ref-law>.
8. Les considérants qui précèdent conduisent à l'admission partielle du recours dans la mesure où il est recevable. L'arrêt attaqué est confirmé s'agissant du domicile fiscal des périodes fiscales 2005 à 2007; il est annulé pour le surplus et la cause renvoyée à l'instance précédente pour instruction complémentaire et nouvelle décision au sens des considérants sur le fond et sur les frais de la procédure cantonale.
Les frais de la procédure judiciaire fédérale sont pour moitié mis à la charge du recourant, qui n'obtient gain de cause que partiellement (<ref-law>) et pour l'autre moitié à la charge du canton de Neuchâtel qui succombe partiellement et dont l'intérêt patrimonial est en cause (art. 66 al. 1 et 4 LTF). Le canton de Neuchâtel versera une indemnité de dépens réduite au recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis dans le sens des considérants dans la mesure où il est recevable.
2. L'arrêt rendu le 16 août 2011 par le Tribunal cantonal du canton de Neuchâtel est confirmé s'agissant du domicile fiscal du recourant pour les périodes fiscales 2005 à 2007; il est annulé pour le surplus et la cause renvoyée à l'instance précédente pour instruction complémentaire et nouvelle décision au sens des considérants.
3. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant pour une moitié et du canton de Neuchâtel pour l'autre moitié.
4. Une indemnité de dépens de 1'500 fr. à charge du canton de Neuchâtel est allouée au recourant.
5. Le présent arrêt est communiqué au mandataire du recourant, au Service des contributions et au Tribunal fiscal du canton de Neuchâtel, à B.X._, à la Steuerverwaltung des Kantons Zug, au Tribunal cantonal du canton de Neuchâtel, Cour de droit public, et à l'Administration fédérale des contributions.
Lausanne, le 14 mars 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Dubey