Faits:
A. X._, né en 1975 et de nationalité pakistanaise, a demandé l'asile en Suisse en 1999, qui lui a été refusé par décision du 9 novembre 2001. Un délai pour quitter la Suisse au 29 avril 2002 lui a été imparti. Le 4 mars 2002, il a épousé à Zurich A._, née en 1956, originaire de Thaïlande, de nationalité canadienne et titulaire d'une autorisation d'établissement. A la suite de ce mariage, X._ a obtenu une autorisation de séjour le 10 avril 2002, régulièrement prolongée. Le 7 mars 2007, une autorisation d'établissement lui a été accordée. Le divorce des époux X._-A._ a été prononcé le 10 décembre 2007.
Le 30 novembre 2008, une demande de regroupement familial a été déposée à l'Ambassade de Suisse à Islamabad pour B._, après un mariage célébré le 14 octobre 2008 avec X._, et leurs deux enfants, C._, née le *** 2005 et D._, née le *** 2008. Selon les renseignements recueillis par l'Ambassade de Suisse, X._ et B._ avaient déjà été mariés en 2004 selon le droit coranique et B._ estimait être mariée depuis cette date.
L'autorisation d'établissement de X._ a été révoquée par décision du Service des migrations du canton de Neuchâtel (ci-après le Service des migrations) du 13 janvier 2010 et la demande de regroupement familial considérée comme sans objet. Le Service des migrations a retenu que l'octroi d'une telle autorisation dépendait d'un mariage impliquant une vie en ménage commun, ce qui semblait douteux en l'espèce puisque la requête en divorce d'avec A._ avait été déposée moins de cinq mois après l'octroi de l'autorisation d'établissement. En outre, X._ avait caché aux autorités compétentes son mariage en 2004 avec une ressortissante du Pakistan et la naissance de leurs deux filles. Le Service des migrations a relevé enfin que X._ ne se trouvait pas dans une situation d'extrême gravité justifiant l'octroi d'une autorisation exceptionnelle.
B. X._ a recouru le 11 février 2010 contre cette décision devant le Département de l'économie du canton de Neuchâtel, qui a rejeté le recours le 7 septembre 2010.
Par acte du 8 octobre 2010, X._ a recouru au Tribunal administratif du canton de Neuchâtel, dont les compétences ont été reprises par la Cour de droit public du Tribunal cantonal de Neuchâtel (ci-après le Tribunal cantonal) depuis le 1er janvier 2011.
Par arrêt du 24 février 2012, le Tribunal cantonal a rejeté le recours de X._.
C. Par acte du 27 mars 2012, X._ dépose un recours en matière de droit public au Tribunal fédéral. Il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt du 24 février 2012, au maintien de son autorisation d'établissement et à l'admission de la demande de regroupement familial. Subsidiairement, il requiert le renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants.
Le Tribunal cantonal, le Service des migrations et le Département de la justice, de la sécurité et des finances du canton de Neuchâtel, ainsi que l'Office fédéral des migrations ont renoncé à déposer des observations et conclu au rejet du recours.
Par ordonnance du 2 avril 2012, l'effet suspensif a été accordé au recours.

Considérant en droit:
1. 1.1 La révocation du permis d'établissement du recourant a été initiée le 28 juillet 2009. C'est par conséquent la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20), entrée en vigueur le 1er janvier 2008, qui est applicable (art. 126 al. 1 LEtr; arrêt 2C_268/2011 du 22 juillet 2011 consid. 1). Il en va de même du regroupement familial demandé le 30 novembre 2008.
1.2 Le présent litige porte sur deux objets, la révocation de l'autorisation d'établissement du recourant, d'une part, et l'octroi d'une autorisation de séjour par regroupement familial pour son épouse et leurs deux enfants, d'autre part. Dans la mesure où l'autorisation de séjour par regroupement familial dépend de l'existence d'une autorisation de séjour ou d'établissement valable (cf. art. 43 et 44 LEtr), il convient d'examiner en premier lieu la question de la révocation de l'autorisation d'établissement du recourant.
1.3 Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Il est recevable contre les décisions révoquant une autorisation d'établissement parce qu'il existe en principe un droit au maintien de cette autorisation (cf. <ref-ruling> consid. 1.2.1 p. 4), ce qui est le cas en l'espèce.
Pour le surplus, l'arrêt attaqué est une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF). Déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'<ref-law>, le recours en matière de droit public est par conséquent en principe recevable.
2. Dans la mesure où le recourant fait valoir une violation de l'art. 30 al. 1 let. b LEtr, son recours en matière de droit public est en revanche irrecevable (art. 83 let. c ch. 2 LTF). Cette disposition concerne en effet une autorisation de nature potestative (Kann-Vorschrift; arrêt 2C400/2011 du 2 décembre 2011 consid. 1.2.2). Le Tribunal fédéral ne pourrait par conséquent examiner l'application de l'art. 30 al. 1 let. b LEtr par les autorités cantonales que dans les limites du recours constitutionnel subsidiaire (<ref-law>). Or, le recourant ne soulève pas de griefs de nature constitutionnelle qui seraient recevables (cf. <ref-law>; arrêt 2C_803/2010 du 14 juin 2011 consid. 3).
3. Saisi d'un recours en matière de droit public, le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte, à savoir arbitrairement (cf. <ref-ruling> consid. 2.4 p. 313 s.), ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (<ref-law>). A ce défaut, un état de fait divergent de celui de la décision attaquée ne peut être pris en compte. En particulier, l'autorité de céans n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 5.2.2 p. 322).
L'application de ces principes empêche de prendre en compte la version des événements figurant dans le recours qui s'écarte des constatations cantonales. En effet, le recourant se contente de présenter une argumentation appellatoire, sans alléguer ni a fortiori démontrer que les faits figurant dans l'arrêt attaqué seraient manifestement inexacts ou arbitraires, ce qui n'est pas admissible.
4. 4.1 Aux termes de l'art. 43 al. 1 LEtr, le conjoint étranger du titulaire d'une autorisation d'établissement ainsi que ses enfants célibataires étrangers de moins de 18 ans ont droit à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité, à condition de vivre en ménage commun avec lui. Après un séjour légal ininterrompu de cinq ans, le conjoint a droit à l'octroi d'une autorisation d'établissement (art. 43 al. 2 LEtr). D'après l'art. 51 al. 2 let. a et b LEtr, les droits prévus à l'art. 43 LEtr s'éteignent s'ils sont invoqués abusivement, notamment pour éluder les dispositions de la LEtr, ou s'il existe des motifs de révocation au sens de l'art. 62 LEtr. Lorsque l'étranger bénéficie d'une autorisation d'établissement, seules les let. a et b de l'art. 62 sont applicables (art. 63 al. 1 let. a LEtr). Selon ces dispositions, l'autorisation d'établissement peut être révoquée en particulier si l'étranger ou son représentant légal a fait de fausses déclarations ou a dissimulé des faits essentiels durant la procédure d'autorisation (art. 62 let. a LEtr). A cet égard, sont importants non seulement les faits sur lesquels l'autorité a expressément demandé des précisions, mais également ceux dont le recourant devait savoir qu'ils étaient déterminants pour l'octroi du permis. Le silence ou l'information erronée doivent avoir été utilisés de manière intentionnelle, à savoir dans l'optique d'obtenir l'autorisation de séjour ou d'établissement (arrêt 2C_602/2011 du 27 décembre 2011 consid. 3 et les arrêts cités). L'étranger est tenu d'informer l'autorité de manière complète et conforme à la vérité sur tous les faits déterminants pour l'octroi de l'autorisation; il doit en particulier indiquer si la communauté conjugale sur laquelle son droit de séjour repose n'est plus effectivement vécue (arrêt 2C_15/2011 du 31 mai 2011 consid. 4.2.1). Il importe peu que l'autorité eût pu découvrir de tels faits par elle-même si elle avait fait preuve de diligence (arrêts 2C_651/2009 du 1er mars 2010 consid. 4.1.1 et 2C_811/2010 du 23 février 2011 consid. 4.1 et les arrêts cités). De jurisprudence constante, la dissimulation d'un conjoint ou d'un enfant se trouvant à l'étranger représente la dissimulation d'un fait essentiel au sens de l'art. 62 let. a en relation avec l'art. 63 al. 1 let. a LEtr lorsque l'autorisation requise dépend du droit pour l'étranger de demeurer auprès du conjoint résidant en Suisse (cf. arrêts 2C_595/2011 du 24 janvier 2012 consid. 3.3, 2C_552/2011 du 15 mars 2012 consid. 4.3 et 2C_403/2011 du 2 décembre 2011 consid. 3.3.2 et les arrêts cités ).
4.2 Il convient d'examiner si, au moment de l'octroi de l'autorisation d'établissement, soit le 7 mars 2007, l'union conjugale de X._ et de son épouse A._, était réelle ou si cette communauté conjugale n'était plus effectivement vécue et que l'intéressé ait alors caché cet élément, ainsi que sa relation à l'étranger, aux autorités, ce qui lui a permis d'obtenir ladite autorisation.
En l'espèce, ainsi que le Tribunal cantonal l'a retenu de manière à lier le Tribunal fédéral (cf. supra consid. 3), le recourant a contracté mariage alors qu'il était sous le coup d'une décision lui impartissant de quitter la Suisse, avec une femme de dix-neuf ans son ainée. Leur union est restée sans enfants. En parallèle, le recourant a eu une enfant, née d'une relation stable avec une compatriote au Pakistan, relation et paternité qu'il n'a jamais mentionnées aux autorités compétentes en matière de droit des étrangers. La demande en divorce a été présentée cinq mois après l'obtention de l'autorisation d'établissement sans qu'une réconciliation n'ait été envisagée. L'épouse a par ailleurs déclaré au juge du divorce que la séparation était effective au début de l'année 2007 déjà. Au regard de l'ensemble de ces circonstances, c'est à juste titre que le Tribunal cantonal a estimé que le mariage des époux X._-A._ était déjà vidé de sa substance lorsque le recourant s'était vu octroyer une autorisation d'établissement en mars 2007 et que celui-ci avait ainsi dissimulé aux autorités compétentes des éléments essentiels pour statuer sur ladite autorisation. En effet, le recourant a tu aux autorités compétentes sa relation stable avec son épouse actuelle ainsi que la naissance de sa première enfant, alors même que ces autorités allaient statuer sur son autorisation d'établissement fondée sur son union avec une autre femme en Suisse. Il s'est ainsi rendu coupable de dissimulation de faits essentiels durant la procédure d'autorisation au sens de l'art. 62 let. a LEtr (cf. arrêt 2C_478/2010 du 17 novembre 2010 consid. 3 non publié aux <ref-ruling>). Les juges cantonaux n'ont donc pas violé le droit fédéral en considérant que le cas du recourant entrait dans le champ d'application de l'art. 62 let. a LEtr, par renvoi de l'art. 63 al. 1 let. a LEtr.
4.3 Au vu de ce qui précède, il est sans pertinence de savoir dans quelle mesure l'union contractée en 2004 par le recourant avec B._, constitue un mariage valide ou non. En effet, l'élément déterminant pour justifier la révocation de l'autorisation d'établissement est le fait qu'au moment où les autorités ont statué sur l'octroi de l'autorisation d'établissement, le recourant avait une relation stable avec une femme au Pakistan dont il avait déjà eu une enfant en 2005 et avec laquelle il n'est pas contesté qu'il s'est marié en 2008 et a eu une seconde enfant la même année. En cachant aux autorités compétentes, au moment où elles devaient statuer sur l'octroi de l'autorisation d'établissement en 2007, que son mariage n'était plus qu'une coquille vide et l'existence d'une famille au Pakistan, le recourant a réalisé la cause de révocation prévue à l'art. 62 let. a LEtr.
4.4 Par ailleurs, l'argumentation du recourant, qui estime qu'après un séjour ininterrompu de cinq ans, le conjoint étranger a droit à l'octroi d'une autorisation d'établissement, sans qu'il soit encore nécessaire de se référer au mariage, ne saurait être suivie. En effet, le droit à l'autorisation d'établissement en application de l'art. 43 al. 2 LEtr après cinq ans de séjour légal ininterrompu, suppose la poursuite de la vie commune et la persistance du lien conjugal (cf. arrêt 2C_531/2011 du 19 décembre 2011 consid. 2.1.1; MARTINA CARONI, in MARTINA CARONI/THOMAS GÄCHTER/DANIELA THURNHERR (ÉD.), Bundesgesetz über die Ausländerinnen und Ausländer, 2010, n° 27 ad art. 43 LEtr; ANDREAS ZÜND/LADINA ARQUINT HILL, in PETER UEBERSAX/BEAT RUDIN/THOMAS HUGI YAR/THOMAS GEISER (ÉD.), Ausländerrecht, 2e éd. 2009, n° 8.55 s. p. 345 s.; MARC SPESCHA, in MARC SPESCHA/HANSPETER THÜR/ANDEAS ZÜND/PETER BOLZLI (ÉD.), Migrationsrecht, 3e éd. 2012, n° 9 ad art. 42 LEtr). Or, ainsi que le Tribunal cantonal l'a relevé, le mariage des époux X._-A._ était déjà vidé de sa substance lorsque le recourant s'était vu octroyer une autorisation d'établissement en mars 2007.
4.5 Cela étant, le refus de l'autorisation ou la révocation de celle-ci ne se justifie que si la pesée des intérêts à effectuer dans le cas d'espèce fait apparaître la mesure comme proportionnée aux circonstances (cf. art. 96 al. 1 LEtr; <ref-ruling> consid. 4.3 p. 381).
En l'espèce, le Tribunal cantonal a souligné que le recourant, bien qu'ayant vécu plus de 12 ans en Suisse, était régulièrement retourné dans son pays d'origine, avec lequel il avait maintenu des liens forts, et qu'il n'était pas particulièrement intégré dans la communauté neuchâteloise. Les juges ont constaté que le recourant n'avait par ailleurs que des connaissances rudimentaires de français. En outre, sa situation familiale ne justifiait pas non plus l'octroi d'une autorisation, sa première épouse étant au Canada et la seconde, ainsi que ses enfants résidant au Pakistan. Par ailleurs, ses possibilités de réintégration dans ce dernier pays ont été jugées intactes par les juges cantonaux. L'analyse faite par le Tribunal cantonal n'est pas critiquable au regard des faits retenus dans l'arrêt entrepris, qui lient l'Autorité de céans (cf. supra consid. 3). On relèvera en particulier avec les premiers juges que le recourant a maintenu des contacts avec son pays d'origine où il est retourné à plusieurs reprises et où résident sa nouvelle épouse et ses filles. En conclusion, les juges cantonaux ont respecté le principe de la proportionnalité et n'ont donc pas abusé de leur pouvoir d'appréciation en révoquant l'autorisation d'établissement du recourant.
4.6 Dans ces conditions, les conclusions du recourant tendant à l'octroi d'une autorisation de séjour par regroupement familial pour son épouse et leurs deux enfants sont sans fondement (cf. art. 43 et 44 LEtr, supra consid. 1.2).
5. Le recours en matière de droit public doit par conséquent être rejeté dans la mesure où il est recevable.
Succombant, le recourant doit supporter les frais judiciaires (art. 66 aI. 1 LTF). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à CHF 2'000.-, sont mis à la charge du recourant.
3. Il n'est pas alloué de dépens.
4. Le présent arrêt est communiqué au mandataire du recourant, au Service des migrations et au Département de l'économie du canton de Neuchâtel, au Tribunal cantonal de la République et canton de Neuchâtel, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 6 août 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Beti