Faits:
A. X._, ressortissant turc né le *** 1964, est venu pour la première fois en Suisse en 1980, séjournant sans autorisation et sans activité lucrative à A._ jusqu'en 1983. Il a depuis lors régulièrement séjourné de manière illégale dans notre pays, exerçant une activité lucrative dans le domaine de la restauration et de l'agriculture. Sa première épouse (turque) et leurs cinq enfants, nés entre 1989 et 1996, ont continué à vivre en Turquie, sans être apparemment jamais venus en Suisse. X._ a fait l'objet entre 2002 et 2003 d'une procédure devant l'office fédéral des étrangers au sujet d'une éventuelle exemption aux mesures de limitation des étrangers au sens de l'article 13 let. f OLE, qui lui a été refusée. Ce refus a été confirmé par le département fédéral de justice et police, puis par le Tribunal fédéral. Suite au divorce d'avec sa première épouse en mars 2004, X._ a épousé B._, ressortissante suisse, le 8 octobre 2004. Il a été mis au bénéfice d'une autorisation annuelle de séjour (permis B). Le couple X._- B._ s'est séparé le 7 décembre 2005 et des mesures protectrices de l'union conjugale ont été prononcées le 10 février 2006. Le 21 octobre 2008, le Service des migrations a informé X._ qu'il examinait les conditions de son séjour en Suisse, relevant qu'il ne vivait plus de manière régulière avec son épouse depuis le 8 décembre 2005 et qu'il n'avait obtenu son autorisation de séjour qu'en raison de son mariage. Le 2 juillet 2009, B._ a déposé une requête unilatérale en divorce, qui a été prononcé le 5 juillet 2010.
B. Par décision du 12 octobre 2009, le Service des migrations a décidé de ne pas prolonger l'autorisation annuelle de séjour de X._, et a imparti à ce dernier un délai au 22 novembre 2009 pour quitter la Suisse. Le 9 août 2010, le Département de l'économie (DEC) a rejeté le recours interjeté par X._ contre la décision du 12 octobre 2009 et dit qu'un nouveau délai de départ de Suisse serait imparti au recourant par le Service des migrations.
C. Le 13 septembre 2010, X._ a recouru devant le Tribunal administratif contre la décision du Département de l'économie du 9 août 2010. Au cours de cette procédure, le recourant a déposé des observations complémentaires au terme desquelles il demandait l'audition de divers témoins susceptibles selon lui de prouver que les relations du couple pouvaient être assimilées à une communauté conjugale malgré l'existence de petites périodes de séparations.
Le 21 février 2012, le Tribunal cantonal a rejeté le recours.
D. X._ forme un recours en matière de droit public auprès du Tribunal fédéral. Outre l'effet suspensif il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt du Tribunal cantonal du 21 février 2012, des décisions du Département de l'économie du 9 août 2010 et du Service des migrations du 12 octobre 2009 et à la prolongation de son autorisation de séjour. Subsidiairement, il requiert le renvoi de l'affaire au Tribunal cantonal ou au Service des migrations pour qu'il soit procédé à une administration des preuves complémentaire. Par ordonnance du 26 mars 2012, le Président de la IIème Cour de droit public a accordé l'effet suspensif au recours. Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
1.1 Séparé de son épouse depuis le 7 décembre 2005, le recourant ne peut pas déduire un droit à une autorisation de séjour de l'art. 42 al. 1 LEtr. Il invoque toutefois un droit à la prolongation de l'autorisation de séjour en vertu de l'art. 50 al. 1 let. b LEtr. Selon cette disposition, le droit du conjoint et des enfants à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 subsiste, après dissolution de la famille, lorsque la poursuite du séjour en Suisse s'impose pour des raisons personnelles majeures. Il soutient en effet que toute possibilité de réintégration en Turquie est exclue. Le recourant invoque subsidiairement l'art. 50 al. 1 let. a LEtr, qui prévoit qu'après dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 subsiste si l'union conjugale a duré au moins trois ans et que l'intégration est réussie (let. a). En pareilles circonstances, il convient d'admettre un droit, sous l'angle de l'art. 83 let. c ch. 2 LTF, permettant au recourant de former un recours en matière de droit public. Le point de savoir si c'est à juste titre que les juges cantonaux ont nié l'existence d'un cas d'extrême rigueur ressortit au fond et non à la recevabilité (consid. 1.1 non publié de l'<ref-ruling>). Par conséquent, le recours est recevable sous l'angle de l'art. 83 let. c ch. 2 LTF.
1.2 En raison de l'effet dévolutif du recours déposé auprès du Tribunal cantonal (ATF 136 II consid. 1.2 p. 104 et les arrêts cités), les conclusions du recourant tendant à l'annulation de la décision du Département de l'Économie du 9 août 2010 et du Service des migrations du 12 octobre 2011 sont irrecevables.
1.3 Au surplus, le recours est dirigé contre une décision finale (<ref-law>) rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF); en outre, il a été déposé en temps utile (art. 46 al. 1 let. a et 100 al. 1 LTF) et dans les formes requises (<ref-law>) par le destinataire de l'acte attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). Il y a donc lieu d'entrer en matière sur le recours.
2. Le Tribunal fédéral fonde son raisonnement juridique sur les faits constatés par l'autorité précédente (<ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (<ref-ruling> consid. 4.3 p. 62; arrêt 8C_220/2010 du 18 octobre 2010 consid. 3) - ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente (cf. <ref-law>), il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées. Sinon, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur les critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 5.2.2 p. 322; arrêt 4A_615/2010 du 14 janvier 2011 consid. 2.1).
2.1 Tel est précisément le cas en l'espèce, où la motivation à l'appui du grief d'arbitraire dans l'établissement des faits est purement appellatoire. Le grief en question est ainsi irrecevable faute de motivation pertinente.
3. Le recourant se plaint ensuite d'une violation de son droit d'être entendu, du fait que le Tribunal cantonal n'a pas procédé à l'audition de divers témoins susceptibles d'établir la persistance de l'union conjugale durant la période de trois ans donnant droit à une autorisation de séjour aux termes de l'art. 50 al. 1 lit. a LEtr.
3.1 Le droit d'être entendu est une garantie constitutionnelle de nature formelle ancrée à l'art. 29 al. 2 Cst., dont la violation entraîne l'annulation de la décision attaquée sans égard aux chances de succès du recours sur le fond (cf. <ref-ruling> consid. 2.6.1 p. 285). Le droit d'être entendu, tel qu'il est garanti par l'article 29 al. 2 Cst., comprend notamment pour le justiciable le droit de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, d'obtenir l'administration des preuves pertinentes et valablement offertes, de participer à l'administration des preuves essentielles et de se déterminer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 2.3; <ref-ruling> consid. 3.1). Le droit d'être entendu n'empêche pas l'autorité de mettre un terme à l'instruction lorsque, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 5.3 p. 236 et les arrêts cités).
3.2 En l'espèce, le Tribunal cantonal a retenu que le recourant a épousé B._ le 8 octobre 2004. L'épouse a déposé une requête de mesures protectrices de l'union conjugale à peine une année plus tard, le 13 décembre 2005. L'audience de mesures protectrices de l'union conjugale a eu lieu le 10 février 2006 et le départ du foyer conjugal du recourant remonte au 7 décembre 2005. Le recourant a loué dès le 1er mai 2006 un studio à C._ où il dit ne s'être établi véritablement qu'au mois d'octobre 2006. En mars 2007, son contrat d'engagement auprès de D._ porte l'indication de son nouveau domicile de C._, tout comme la procuration qu'il a signée en faveur de son mandataire le 17 novembre 2008. Il a soutenu tout au long de la procédure d'une part que des perspectives de reprise de la vie commune existaient et d'autre part que la durée réelle de la vie commune couvrait pour ainsi dire toute la période jusqu'au prononcé de son divorce le 5 juillet 2010. Le Tribunal cantonal a retenu que ces affirmations sont contredites par le dossier ainsi que par les allégations du recourant lui-même. Tout d'abord, celui-ci admet que son épouse, "malgré [ses] efforts", a déposé une première demande unilatérale en divorce le 21 novembre 2007, qu'elle a retirée le 7 juillet 2008. Il en découlé indubitablement que durant le deuxième semestre 2007 au plus tard, les perspectives du couple - qui vivait effectivement séparé sous une ordonnance de mesures protectrices de l'union conjugale - étaient nulles. Durant cette même période, les conjoints vivaient dans deux domiciles séparés, preuve tangible de l'extinction de la communauté conjugale. Certes, l'épouse a retiré cette première requête le 7 juillet 2008; elle a cependant réintroduit "contre toute attente" une procédure en divorce le 2 juillet 2009, alors même que le recourant prétend avoir voulu à cette période se rapprocher de son épouse. La procédure matrimoniale a ensuite suivi son cours pour aboutir au divorce le 5 juillet 2010. L'enchaînement des actes judiciaires et des lieux de vie du recourant permet d'exclure objectivement la réalité d'une vie commune, au-delà peut-être de quelques réconciliations sporadiques et dont il est très difficile d'établir l'intensité, après 2006 ou au plus tard dès les premiers mois de 2007.
Au vu de ce qui précède, le Tribunal cantonal pouvait manifestement estimer, sans sombrer dans l'arbitraire, que les témoignages proposés par le recourant ne seraient pas susceptibles d'accréditer de manière décisive la thèse inverse. En effet, si des connaissances du couple ont pu les rencontrer ensemble ou même être témoins de liens plus forts qu'occasionnels, il n'empêche que les époux n'ont pas repris la vie commune après 2006, que leur dernières vacances communes remontent à l'été 2006 et que la succession des initiatives procédurales de l'épouse démontre bien son souhait de ne pas s'engager dans le sens d'une réconciliation, ce d'autant que la durée de la communauté conjugale s'établit essentiellement sur la base de la durée extérieurement perceptible du domicile matrimonial commun (<ref-ruling> consid. 3.1.2).
Le grief de violation du droit d'être entendu est donc rejeté. Il en va de même de celui, connexe, de violation de la maxime inquisitoire.
4. Le recourant se plaint d'une violation de l'article 50 al. 1 let. a LEtr, sur lequel il fonde son droit à obtenir une autorisation de séjour.
4.1 Selon la lettre a de l'article 50 al. 1 LEtr, après la dissolution de la famille, le droit du conjoint et des enfants à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des articles 42 et 43 subsiste si l'union conjugale a duré au moins trois ans et l'intégration est réussie.
4.2 Dans la mesure où le Tribunal cantonal a constaté que l'union conjugale a duré moins de trois ans, la disposition invoquée ne peut trouver application, sans qu'il y ait au surplus à analyser si le recourant peut se prévaloir d'une intégration réussie.
Le grief doit donc être rejeté.
5. Le recourant invoque aussi le bénéfice de l'art. 50 al. 1 lit. b et al. 2 LEtr et se prévaut de raisons personnelles majeures imposant la poursuite du séjour en Suisse.
Pour démontrer l'existence de telles raisons personnelles majeures, le recourant allègue en particulier qu'il y vit de façon quasiment ininterrompue depuis son arrivée, il y a une trentaine d'années, qu'il n'a plus de liens dans son pays d'origine et qu'il ne pourrait s'y réinsérer d'un point de vue économique, au vu de son âge.
5.1 Aux termes de l'art. 50 al. 1 let. b LEtr, après la dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu de l'art. 42 LEtr subsiste lorsque la poursuite du séjour en Suisse s'impose pour des raisons personnelles majeures. L'art. 50 al. 2 LEtr précise que de telles raisons sont notamment données lorsque le conjoint est victime de violence conjugale et que la réintégration sociale dans le pays de provenance semble fortement compromise. L'énumération de ces cas n'est pas exhaustive et laisse aux autorités une certaine liberté d'appréciation fondée sur des motifs humanitaires (<ref-ruling> consid. 5.3 p. 4). S'agissant de la réintégration sociale dans le pays de provenance, l'art. 50 al. 2 LEtr exige qu'elle semble fortement compromise ("stark gefährdet"). La question n'est donc pas de savoir s'il est plus facile pour la personne concernée de vivre en Suisse, mais uniquement d'examiner si, en cas de retour dans le pays d'origine, les conditions de sa réintégration sociale, au regard de sa situation personnelle, professionnelle et familiale, seraient gravement compromises (arrêts 2C_376/2010 du 18 août 2010 consid. 6.3.1 et 2C_663/2009 du 23 février 2010 consid. 3 in fine). Les années passées dans notre pays dans l'illégalité ou au bénéfice d'une simple tolérance ne sont guère décisives dans l'appréciation (cf. <ref-ruling> consid. 4.2 p. 23 s.; <ref-ruling> consid. 3.3 p. 289; arrêt 2C_75/2011 du 6 avril 2001 consid. 3. 1 et les arrêts cités).
5.2 Le Tribunal cantonal a correctement appliqué l'art. 50 al. 1 lit. b et al. 2 LEtr. Il a notamment retenu que si le recourant a certes séjourné à de nombreuses reprises en Suisse depuis 1980, il n'a disposé d'une autorisation légale que depuis son union avec B._ en octobre 2004. Jusqu'à cette date, il a fait l'objet de mesures d'interdiction d'entrée dans notre pays, du fait de violations réitérées des dispositions de police des étrangers. Il s'est marié peu de temps après l'échéance d'un délai de départ qui lui avait été imparti au 30 juin 2004 pour quitter la Suisse et après avoir divorcé de son épouse turque en mars 2004. En outre il a toujours ses enfants en Turquie, lesquels sont encore aux études. En définitive, hormis l'écoulement du temps et son divorce d'avec sa première épouse, on ne peut considérer que les liens du recourant avec la Turquie se soient à ce point distendus que toute réintégration dans son pays d'origine est exclue. Le fait qu'il soit bien intégré en Suisse ne change rien à ce constat. Il en va de même de ce que le retour dans son pays d'origine ne serait pas susceptible de s'effectuer sans difficultés, même importantes, au regard de l'âge du recourant et de la situation économique prévalant dans cet Etat. Il suffit pour le reste de renvoyer aux considérants pertinents de l'arrêt entrepris (<ref-law>).
Le grief doit donc être rejeté.
6. Les considérants qui précèdent conduisent au rejet du recours, dans la limite de sa recevabilité. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>) et n'a pas droit à des dépens (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Service des migrations, au Département de l'économie et au Tribunal cantonal de la République et canton de Neuchâtel, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 6 septembre 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Cavaleri Rudaz