Faits: A. Le 9 juillet 2003, X._, ressortissant du Kosovo, né en 1968, a déposé une demande d'asile en Suisse, qui a été rejetée par décision du 8 mars 2004. A la suite de son mariage, le 8 novembre 2005 à Neuchâtel, avec A._, de nationalité suisse, née en 1962, l'intéressé a obtenu une autorisation annuelle de séjour. Partant, il a retiré le recours formé contre la décision lui refusant l'asile. Interrogée le 26 septembre 2006 dans le cadre d'une enquête pénale, A._ a notamment déclaré qu'elle avait touché une somme de 10'000 fr. pour son mariage et qu'elle n'avait jamais eu de relations sexuelles avec son mari. Les époux ayant toutefois confirmé la reprise de leur vie commune par courrier du 23 février 2007, le Service des migrations du canton de Neuchâtel (ci-après: le Service cantonal) a abandonné la procédure d'enquête, le 16 mars 2007, et a prolongé l'autorisation de séjour de X._. Le 7 août 2008, la soeur de A._, qui était à la recherche de celle-ci, a informé oralement le contrôle des habitants du Locle d'un mariage de complaisance des époux A._ X._. Le Service cantonal a alors demandé à la police cantonale de procéder à une nouvelle enquête. Il a aussi entendu les intéressés le 12 décembre 2008. B. Par décision du 2 septembre 2009, le Service cantonal n'a pas prolongé l'autorisation annuelle de séjour de X._ et lui a imparti un délai au 15 octobre 2009 pour quitter la Suisse, au motif que les époux n'avaient jamais réellement vécu ensemble. Le 29 septembre 2009, X._ a recouru auprès du Département de l'économie du canton de Neuchâtel (ci-après le Département) contre cette décision. Le même jour, il a déposé une demande de récusation à l'encontre du Conseiller d'Etat Frédéric Hainard, chef dudit département, principalement pour toutes les décisions sur recours concernant le droit des étrangers, subsidiairement dans sa propre cause. Par décision du 9 février 2010, le Département a déclaré irrecevable la demande de récusation générale et a rejeté la demande de récusation spéciale, retirant l'effet suspensif au recours sur ces points. Il a également rejeté le recours contre le refus de prolonger l'autorisation de séjour. Par arrêt du 14 juin 2010, le Tribunal administratif du canton de Neuchâtel a rejeté le recours déposé par X._ à l'encontre de la décision du 9 février 2010, tant sur la demande de récusation que sur le refus de renouveler l'autorisation de séjour de l'intéressé. Par ailleurs, la requête de restitution d'effet suspensif au recours concernant la récusation a été déclarée sans objet et celle de suspension de la procédure jusqu'à droit connu de l'examen par les autorités politiques des manquements reprochés à Frédéric Hainard injustifiée. C. X._ forme auprès du Tribunal fédéral un recours en matière de droit public, subsidiairement, un recours constitutionnel subsidiaire, Il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué en tant qu'il rejette la demande de récusation et le recours au fond et formule les mêmes conclusions s'agissant du recours constitutionnel subsidiaire. Le Tribunal administratif a renvoyé aux motifs de l'arrêt attaqué et a conclu au rejet du recours. Le Service cantonal s'est également référé à l'arrêt attaqué, proposant le rejet du recours dans la mesure de sa recevabilité. Le Département n'a pas formulé d'observations. Quant à l'Office fédéral des migrations, il propose aussi de rejeter le recours. D. Par ordonnance présidentielle du 23 août 2010, la demande d'effet suspensif a été admise en ce qui concerne l'obligation de départ du recourant résultant de l'arrêt attaqué.