Faits:
A. A.a X._, ressortissant turc, né en 1974, est arrivé en Suisse le 4 mars 1998, après avoir épousé, en Turquie, une compatriote titulaire d'un permis d'établissement. Il a été mis au bénéfice d'une autorisation de séjour pour regroupement familial, régulièrement renouvelée, jusqu'à ce que son épouse dépose une demande en divorce, le 7 janvier 2002, en alléguant qu'il s'agissait d'un mariage arrangé.
Le 20 février 2003, l'Office fédéral des migrations a refusé d'approuver l'autorisation de séjour que le canton de Fribourg était disposé à lui accorder. Cette décision a été confirmée sur recours, par prononcé du Département fédéral de justice et police du 23 mars 2004.
Par jugement du 21 juin 2004, le Juge civil a prononcé la dissolution du mariage des époux X._.
A.b Le 6 septembre 2004, X._ a épousé en seconde noce une compatriote, Y._, au bénéfice d'un permis d'établissement. Le 20 janvier 2005, le Tuteur général adjoint de la Ville de Fribourg a signalé que les conjoints vivaient séparés depuis le début de l'année, l'épouse ayant quitté le domicile conjugal. Le 18 février 2005, les époux ont toutefois adressé au Service de la population et des migrants du canton de Fribourg (ci-après: le Service de la population) une déclaration commune certifiant qu'ils n'avaient jamais cessé de faire ménage commun, que le départ de l'épouse du domicile conjugal était dû à une faiblesse psychologique, mais qu'ils ne formaient aucun projet de séparation ou de divorce. X._ a dès lors été mis au bénéfice d'une autorisation de séjour pour regroupement familial, régulièrement renouvelée par la suite. Le 30 avril 2008, les époux ont confirmé qu'ils faisaient toujours ménage commun et qu'aucune demande de séparation ou de divorce n'était en cours.
Le 15 juillet 2008, l'épouse a informé le Service de la population que son mari avait quitté le domicile conjugal. Ce dernier a admis qu'il vivait séparé depuis le 10 juillet 2008.
Par jugement du 9 décembre 2008, le second mariage de X._ a été dissous par le divorce.
Au début de l'année 2009, les poursuites dirigées contre ce dernier s'élevaient à 17'577 fr.
B. B.a Instruisant les conditions de séjour de X._, le Service de la population a entendu l'épouse, le 15 mai 2009. Celle-ci a déclaré qu'elle s'était mariée en contrepartie d'une somme d'argent, pour éviter à son mari d'être expulsé de Suisse, qu'elle n'avait jamais vécu avec lui et qu'elle faisait l'objet de menaces. Par écrit et lors de son audition du 25 septembre 2009, le père de l'épouse a confirmé que le mariage avait été conclu sous la contrainte. De son côté, X._ a contesté fermement ces faits et réfuté tous les propos tenus par son ex-épouse et son beau-père, qu'il a qualifiés de diffamatoires. Il a aussi souligné sa bonne intégration en Suisse et les attaches qu'il y a nouées, la durée de son séjour, la stabilité de son activité professionnelle et le fait qu'il rembourse régulièrement ses dettes.
Par décision du 18 juin 2010, le Service de la population a refusé de prolonger l'autorisation de séjour de X._ et lui a imparti un délai de trente jours pour quitter la Suisse.
B.b Saisi d'un recours contre cette décision, le Tribunal cantonal du canton de Fribourg, Ie Cour administrative, l'a rejeté, par arrêt du 14 avril 2011. La juridiction cantonale a retenu en bref que l'existence d'une vie commune effectivement vécue, telle que protégée par les règles sur le regroupement familial, ne pouvait être retenue dans le cas des époux X._, qui paraissent avoir mené un mariage de façade pour permettre à l'intéressé de séjourner en Suisse après la dissolution de son premier mariage. Compte tenu en outre de sa faible intégration, les conditions pour bénéficier d'une autorisation de séjour sur la base de l'art. 50 al. 1 let. a de la loi fédérale sur les étrangers (LEtr; RS 142.20 ) n'étaient ainsi pas réunies. Il n'y avait par ailleurs aucun motif particulier de lui accorder une autorisation de séjour indépendante du regroupement familial.
C. Agissant par la voie du recours en matière de droit public, X._ conclut, avec suite de frais et dépens, à l'annulation de l'arrêt du Tribunal cantonal du 14 avril 2011. Il demande également au Tribunal fédéral, principalement, d'annuler la décision du Service de la population du 18 juin 2010 et d'ordonner à cette autorité de procéder au renouvellement de son autorisation de séjour, subsidiairement, de lui renvoyer la cause pour nouvelle décision dans le sens des considérants.
Le Tribunal cantonal et le Service de la population ont renoncé à formuler des observations et se réfèrent aux considérants de l'arrêt attaqué.
L'Office fédéral des migrations propose de rejeter le recours.
D. Par ordonnance présidentielle du 7 juin 2011, l'effet suspensif a été attribué au recours.

Considérant en droit:
1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
1.1 Le divorce des époux X._ ayant été prononcé le 9 décembre 2008, le recourant ne peut pas déduire un droit à une autorisation de séjour de l'art. 43 LEtr. L'art. 50 al. 1 let. a LEtr prévoit toutefois qu'après dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 subsiste si l'union conjugale a duré au moins trois ans et que l'intégration est réussie (let. a). Il s'agit de deux conditions cumulatives (<ref-ruling> consid. 3.3.3 p. 119).
Le recourant soutient que les conditions de l'art. 50 al. 1 let. a LEtr sont réalisées, en particulier qu'il a vécu plus de trois ans en union conjugale, ce que le Tribunal cantonal n'a pas admis, et que son intégration est réussie. En pareilles circonstances, il convient d'admettre un droit, sous l'angle de l'art. 83 let. c ch. 2 LTF, permettant au recourant de former un recours en matière de droit public. Le point de savoir si c'est à juste titre que les juges cantonaux ont nié l'existence d'une union conjugale d'une durée supérieure à trois ans ressortit au fond et non à la recevabilité (consid. 1.1 non publié de l'<ref-ruling>). Par conséquent, le recours est recevable sous l'angle de l'art. 83 let. c ch. 2 LTF.
1.2 En raison de l'effet dévolutif du recours déposé auprès du Tribunal cantonal (ATF 136 II consid. 1.2 p. 104 et les arrêts cités), les conclusions du recourant tendant à l'annulation de la décision du Service de la population du 18 juin 2010 sont irrecevables.
1.3 Au surplus, le recours est dirigé contre une décision finale (<ref-law>) rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF); en outre, il a été déposé en temps utile (art. 46 al. 1 let. a et 100 al. 1 LTF) et dans les formes requises (<ref-law>) par le destinataire de l'acte attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). Il y a donc lieu d'entrer en matière sur le recours.
2. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral, qui comprend les droits de nature constitutionnelle (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Il y procède en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). La notion de "manifestement inexacte" de l'<ref-law> correspond à celle d'arbitraire de l'art. 9 Cst. (<ref-ruling> consid. 2.1 p. 450; <ref-ruling> consid. 7.1 p. 398). Le recourant doit ainsi expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué. L'établissement des faits, respectivement l'appréciation des preuves, est arbitraire, lorsque l'autorité fonde sa décision sur des éléments qui sont en contradiction avec la situation de fait et qu'elle en tire des constatations manifestement insoutenables (<ref-ruling> consid. 4.2 p. 560; <ref-ruling> consid. 4.2.1 p. 362).
En l'espèce, le recourant reproche essentiellement à la juridiction cantonale d'avoir conclu arbitrairement à l'inexistence d'une vie commune effectivement vécue, telle que protégée par les règles sur le regroupement familial. Ces griefs se confondent ainsi avec la violation de l'art. 50 al. 1 let. a LEtr et seront examinés dans ce cadre.
3. 3.1 Au regard de cette disposition, le Tribunal cantonal a constaté que, sur le plan formel, le mariage du recourant conclu le 6 septembre 2004 avait certes duré plus de trois ans, mais que le recourant commettait un abus de droit en prétendant qu'il avait vécu avec son épouse jusqu'à ce qu'il quitte le domicile conjugal, le 10 juillet 2008. Les juges cantonaux ont en effet estimé qu'il y avait suffisamment d'éléments pour démontrer l'absence de volonté du recourant de créer une véritable union conjugale, mais que son remariage, conclu peu après la dissolution du premier, le 21 juin 2004, était le seul moyen de rester en Suisse pour y poursuivre l'exploitation d'une pizzeria. La priorité de son séjour était de nature économique et le but de son mariage n'a pas évolué par la suite, puisque les conjoints n'ont jamais eu de projets communs et ne sont pas non plus partis en vacances ensemble. Dans ces circonstances, sans examiner la question du versement d'une somme d'argent lors de la conclusion du mariage, ils ont tenu pour crédibles les déclarations de l'épouse affirmant qu'elle n'avait jamais vécu avec son mari.
De son côté, le recourant admet que son second mariage représentait pour lui, à l'époque, le seul moyen d'être autorisé à séjourner en Suisse, après le refus des autorités fédérales d'approuver l'autorisation de séjour que le canton était disposé à lui accorder. Il conteste toutefois avoir conclu un mariage arrangé et prétend avoir vécu avec son épouse jusqu'en été 2008, comme l'attestent les déclarations régulièrement transmises par le couple au Service de la population, la dernière datant d'avril 2008.
3.2 Il faut relever d'emblée que, si le recourant n'a pas fait ménage commun avec son épouse durant les trois premières années de leur mariage, les conditions auxquelles est soumise l'existence d'un droit à l'octroi et à la prolongation de l'autorisation de séjour selon l'art. 50 al. 1 let. a LEtr ne sont pas remplies. La question de l'existence d'un éventuel abus de droit au sens de l'art. 51 al. 2 let. a LEtr ne se pose même pas, dès lors que, depuis l'introduction des nouvelles dispositions prévues dans la LEtr, en particulier la modification des conditions du droit à l'octroi et à la prolongation de l'autorisation de séjour (exigence du ménage commun), la reconnaissance d'un abus de droit intervient désormais essentiellement dans les cas où les époux vivent en ménage commun seulement pour la façade (<ref-ruling> consid. 3.2 p. 116; arrêt 2C_167/2010 du 3 août 2010, consid. 6.3 et les arrêts cités). Il y a donc lieu d'examiner au préalable si l'union conjugale du recourant avec sa seconde épouse, titulaire d'une autorisation d'établissement, a effectivement duré trois ans.
3.3 En l'espèce, le recourant oppose sur ce point sa version des faits à celle retenue par la juridiction cantonale, en relevant qu'il était arbitraire de se fonder sur les déclarations de son ex-épouse, faites plusieurs mois après leur divorce et leur séparation, à la suite d'un conflit entre les deux familles. Il n'apporte toutefois aucun élément propre à démontrer les liens qu'il aurait entretenus avec sa femme pendant son mariage. Toute son attitude permet au contraire de penser que les conjoints ont vécu chacun de leur côté, sans qu'il y ait eu un motif important pouvant justifier de vivre séparément pour des raisons majeures, au sens de l'art. 49 LEtr. Même en tenant compte de l'existence d'un conflit familial extérieur à la communauté conjugale, rien ne permet en effet de dire que les époux auraient vécu ensemble, qu'ils se connaissaient bien, qu'ils avaient les mêmes relations ou partageaient des activités communes dans leurs loisirs. Il y a ainsi suffisamment d'indices de l'absence de cohabitation des époux pour corroborer les déclarations de l'épouse sur l'existence d'un mariage de complaisance, sans aucune volonté de former une véritable union conjugale et même sans aucun intérêt commun (<ref-ruling> consid. 10.3 p. 136).
Dans ces circonstances, le Tribunal cantonal n'a pas retenu arbitrairement que les époux n'avaient pas vécu ensemble pendant le délai de trois ans de l'art. 50 al. 1 let. a LEtr, car leur mariage avait perdu toute substance bien avant ce délai.
3.4 Bien que les conditions de l'art. 50 al. 1 let. a LEtr soient cumulatives (<ref-ruling> consid. 3.3.3 p. 119), les juges cantonaux ont encore examiné si l'intégration du recourant était réussie au sens de cette disposition et ont estimé que cette seconde condition n'était pas non plus remplie. Ils ont relevé que le recourant n'avait pas été en mesure de répondre à des questions simples relatives à la vie du pays et du canton, alors qu'il y résidait depuis 1998 et que, sur le plan social, il n'avait indiqué aucun lien démontrant un attachement particulier à la Suisse, mais qu'il semblait plutôt être resté relié à son clan d'origine.
Le recourant conteste cette appréciation en relevant qu'il avait toujours travaillé et fait preuve d'une grande stabilité professionnelle pendant douze ans, durant lesquels il avait tissé de nombreux liens sociaux. Le fait qu'il n'avait pas été en mesure de répondre à certaines questions concernant la vie du pays ne permettait pas de conclure à l'absence d'attaches avec la Suisse. Enfin, sur le plan financier, sa situation s'était améliorée, puisqu'il travaillait à nouveau à plein temps, après une courte période de chômage à 50% d'avril à juillet 2010 et remboursait régulièrement ses dettes par le biais d'une saisie de salaire.
Il est vrai que l'appréciation des juges cantonaux paraît sévère au regard de la jurisprudence récente du Tribunal fédéral en matière d'intégration au sens de l'art. 50 al. 1 let. a LEtr (cf. arrêt 2C_839/2010 du 25 février 2011, consid. 7.1.2 et les références citées). Elle paraît d'autant plus surprenante que l'autorité cantonale compétente avait proposé, en 2003 déjà, d'accorder au recourant une autorisation de séjour. La question n'a toutefois pas besoin d'être approfondie en l'espèce, du moment que le recourant ne remplit de toute façon pas la première condition de l'existence d'une véritable union conjugale pendant au moins trois ans posée par l'art. 50 al. 1 let. a LEtr. Il n'y a pas lieu non plus d'examiner la question, non alléguée dans l'acte recours, de la survenance d'un cas de rigueur après la dissolution de la communauté conjugale tel que le prévoit l'art. 50 al. 1 let. b et al. 2 LEtr (sur cette notion, voir arrêt 2C_784/2010 du 26 mai 2011, consid. 3, publié in <ref-ruling> ss), les faits constatés ne permettant pas d'admettre une telle situation.
3.5 Il s'ensuit qu'en confirmant le refus de renouveler l'autorisation de séjour du recourant, le Tribunal cantonal n'a pas violé le droit fédéral, ni abusé de son pouvoir d'appréciation.
4. Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Succombant, le recourant devra supporter les frais judiciaires (art. 65 et 66 al. 1 LTF). Aucun dépens ne sera alloué (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et des migrants et à la Ie Cour administrative du Tribunal cantonal du canton de Fribourg, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 21 novembre 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Rochat