Faits:
A. Né en 1970, de nationalité serbe, X._ a tenté en vain d'obtenir l'asile en Suisse. Le 31 juillet 2003, il a épousé une ressortissante suisse et a obtenu, dans le cadre du regroupement familial, une autorisation de séjour pour vivre auprès d'elle. Aucun enfant n'est né de cette union.
Le couple s'est séparé de fait le 5 septembre 2004. Par jugement de mesures protectrices de l'union conjugale du 15 novembre 2004, les époux ont été autorisés à vivre séparés, X._ devant verser une pension mensuelle de 400 fr. à son épouse. Cette décision faisait état d'une mésentente entre X._ et l'enfant de son épouse, né d'un premier lit.
Sur la base des déclarations concordantes des conjoints quant à la poursuite de la relation matrimoniale, le Service de la population et des migrants du canton de Fribourg (ci-après: le Service cantonal) a régulièrement prolongé l'autorisation de séjour de X._.
Le 12 novembre 2008, l'épouse de X._ a ouvert une action en divorce. Celui-ci a été prononcé le 2 juillet 2009.
Lors de l'audience de conciliation du 6 mars 2009, l'épouse a indiqué qu'elle avait reçu des menaces de la part de son mari pour la contraindre à intervenir en sa faveur auprès de la police des étrangers et a affirmé que, depuis la constitution de domiciles séparés, les époux ne s'étaient plus rendus l'un chez l'autre. X._ a pour sa part expressément reconnu que, depuis leur séparation, les conjoints n'avaient plus eu de relations intimes, mais se voyaient de temps en temps en ville pour manger ensemble. Le 16 avril 2009, X._ est revenu sur ses dires en expliquant qu'il n'avait pas été compris lors de l'audience.
B. Le 6 août 2009, le Service cantonal a refusé de prolonger l'autorisation de séjour de X._, arrivée à échéance le 30 juillet 2009, et lui a imparti un délai de trente jours pour quitter la Suisse.
Par arrêt du 19 mai 2010, la Ie Cour administrative du Tribunal cantonal fribourgeois (ci-après: le Tribunal cantonal) a rejeté le recours de X._ à l'encontre de la décision du 6 août 2009.
C. X._ forme un "recours de droit public" auprès du Tribunal fédéral et conclut, avec suite de frais et dépens, à l'annulation de l'arrêt du Tribunal cantonal du 19 mai 2010, ainsi qu'au renouvellement de son autorisation de séjour.
Par ordonnance du 2 juillet 2010, le Président de la IIe Cour de droit public a admis la demande d'effet suspensif présentée par X._.
Le Service cantonal a renvoyé aux observations produites sur le plan cantonal, ainsi qu'aux considérants de l'arrêt attaqué. Le Tribunal cantonal, se référant à son arrêt du 19 mai 2010, a conclu au rejet du recours, à l'instar de l'Office fédéral des migrations.

Considérant en droit:
1. Le recourant a déclaré former un "recours de droit public" au Tribunal fédéral, alors que cette voie de droit a été abrogée depuis l'entrée en vigueur, le 1er janvier 2007, de la LTF. Cette imprécision ne saurait toutefois lui nuire si le recours remplit les exigences légales de la voie de droit qui est ouverte (<ref-ruling> consid. 1.2 p. 383; <ref-ruling> consid. 1.2 p. 302 ss), à savoir en l'occurrence celle du recours en matière de droit public (cf. <ref-law>).
2. Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable à l'encontre des décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Dans la mesure où le recourant reproche à l'autorité cantonale de ne pas avoir retenu des circonstances propres à lui conférer un droit de demeurer en Suisse au sens de l'art. 50 de la loi fédérale sur les étrangers (RS 142.20; LEtr), le recours est recevable, le point de savoir si les conditions posées par cette disposition sont effectivement réunies en l'espèce relève de l'examen au fond (cf. arrêt 2C_460/2009 du 4 novembre 2009, consid. 2.1.1 non publié aux <ref-ruling>; arrêt 2C_369/2010 du 4 novembre 2010 consid. 23 et les arrêts cités).
Pour le surplus, le recours est dirigé contre une décision finale (<ref-law>) rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF); il a été formé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>) par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation (<ref-law>). Il est donc en principe recevable en tant que recours en matière de droit public.
3. 3.1 Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Il y procède en se fondant sur les faits constatés par l'autorité précédente (<ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>), soit arbitrairement. Si le recourant entend s'écarter des constatations de fait de l'autorité précédente (cf. <ref-law>), il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées. Sinon, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 5.2.2 p. 322; <ref-ruling> consid. 6.2 p. 288). En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire (<ref-ruling> consid. 5.2.2 p. 322).
3.2 Le recourant méconnaît ces principes. Il reproche au Tribunal cantonal d'avoir accordé une importance décisive à ses propres déclarations, ainsi qu'à celles de son épouse faites durant l'audience du 6 mars 2009. A cette occasion, celle-ci avait indiqué que, depuis 2004, les époux ne seraient plus allés l'un chez l'autre et que son mari l'aurait menacée pour qu'elle intervienne en sa faveur auprès de la police des étrangers. Le recourant avait, pour sa part admis que depuis 2004, le couple n'avait plus de relations intimes et ne se voyait qu'épisodiquement.
Le recourant se contente d'opposer à ces déclarations les propos tenus par les époux depuis 2004 à la police des étrangers. Il perd cependant de vue que l'arrêt attaqué a retenu qu'il avait obtenu le renouvellement de ses autorisations de séjour depuis 2004 sur la base de déclarations concordantes des conjoints, qui ne correspondaient pas à la réalité de la situation des époux, telle qu'elle a été découverte par la suite. Le recourant soutient aussi que, le 16 avril 2009, il est revenu sur ses propos du 6 mars 2009. L'arrêt attaqué n'a pas méconnu ce fait, mais il a jugé plus crédible la première version du recourant, en vertu du principe jurisprudentiel selon lequel, en présence de deux versions différentes et contradictoires, celle que l'administré a donnée alors qu'il en ignorait peut-être les conséquences juridiques prime en général (cf. <ref-ruling> consid. 2a p. 47 récemment confirmé in arrêt 8C_189/2010 du 9 juillet 2010 consid. 4). Le recourant ne remet pas en question l'application de ce principe, pas plus qu'il n'invoque l'arbitraire, l'existence de faits manifestement inexactes ou la violation de la moindre disposition légale ou constitutionnelle. En définitive, il s'en prend à l'appréciation des preuves, mais en se limitant à opposer sa propre version des faits à celle retenue dans l'arrêt attaqué. De telles critiques ne sont pas admissibles, le Tribunal fédéral n'étant pas une juridiction d'appel.
Partant, c'est exclusivement à la lumière des faits figurant dans l'arrêt attaqué qu'il convient d'examiner si le droit fédéral a été violé.
4. Le divorce des époux ayant été prononcé en juillet 2009, le recourant ne peut plus invoquer un droit au renouvellement de son autorisation de séjour en application de l'art. 42 LEtr. Encore faut-il se demander si le recourant peut bénéficier d'un tel droit en vertu de l'art. 50 LEtr.
4.1 Selon l'art. 50 al. 1 let. a LEtr, après la dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu de l'art. 42 LEtr subsiste lorsque l'union conjugale a duré au moins trois ans et que l'intégration est réussie (let. a). Cette période commence à courir à partir du début de la cohabitation des époux en Suisse et se termine au moment où les époux cessent d'habiter ensemble sous le même toit (<ref-ruling>13 consid. 3.2 in fine et 3.3 p. 117 ss). Pour se prévaloir de l'art. 50 al. 1 let. a LEtr, les époux doivent donc avoir cohabité pendant une durée minimale de trois ans. L'art. 49 LEtr permet cependant de faire exception à l'exigence du ménage commun lorsque la communauté conjugale est maintenue et que des raisons majeures justifiant l'existence de domiciles séparés peuvent être invoquées (cf. arrêt 2C_488/2010 du 2 novembre 2010 consid. 3.2). Celui qui se prévaut de l'art. 49 LEtr doit faire valoir et, dans la mesure du possible, démontrer que la communauté familiale subsiste, même si les époux vivent séparés pour des raisons majeures (arrêts 2C_50/2010 du 17 juin 2010 consid. 2.2 et l'arrêt cité). En effet, le but de l'art. 49 LEtr n'est pas de permettre aux époux étrangers de vivre séparés en Suisse pendant une longue période et exige que la communauté familiale soit maintenue (arrêts 2C_50/2010 du 17 juin 2010, consid. 2.3.2, 2C_575/2009 du 1er juin 2010, consid. 3.6).
Selon les constatations cantonales, les époux se sont mariés le 31 juillet 2003 et ont vécu ensemble jusqu'au 5 septembre 2004. Il n'y a donc à l'évidence pas eu cohabitation pendant trois ans. En outre, il a été tenu pour établi que, depuis leur séparation datant de 2004, les époux n'ont plus eu de relations intimes et ne se sont plus rendus l'un chez l'autre, se retrouvant seulement de temps en temps en ville pour aller manger. En considérant que de telles relations n'avaient pas l'intensité propre à justifier l'existence d'une communauté conjugale au sens de l'art. 49 LEtr permettant de déroger à l'exigence de la vie commune, le Tribunal cantonal n'a pas violé le droit fédéral.
Dans ces circonstances, le recourant ne peut se prévaloir de l'art. 50 al. 1 let. a LEtr, sans qu'il soit au surplus nécessaire de se demander s'il remplit la condition de l'intégration réussie.
4.2 Le recourant ne se trouve pas davantage dans une situation où la poursuite de son séjour en Suisse s'imposerait pour des raisons personnelles majeures au sens de l'art. 50 al. 1 let. b LEtr. L'art. 50 al. 2 LEtr précise qu'il existe de telles raisons notamment lorsque le conjoint est victime de violence conjugale et que la réintégration sociale dans le pays de provenance semble fortement compromise. Il s'agit de motifs personnels graves exigeant la poursuite du séjour en Suisse (arrêts 2C_411/2010 du 9 novembre 2010, consid. 4.1, destiné à la publication et 2C_519/2010 du 6 novembre 2010 consid. 5.1). Ainsi, il ne suffit pas que la réintégration sociale soit difficile, encore faut-il qu'elle paraisse fortement compromise ("stark gefährdet"; <ref-ruling> consid. 5.3 p. 4). La question n'est donc pas de savoir s'il est plus facile pour la personne concernée de vivre en Suisse, mais uniquement d'examiner si, en cas de retour dans le pays d'origine, les conditions de sa réintégration sociale, au regard de sa situation personnelle, professionnelle et familiale, seraient gravement compromises (arrêt précité 2C_411/2001, consid. 4.1, destiné à la publication et les références citées).
En l'espèce, l'arrêt cantonal ne retient aucun élément propre à démontrer que le recourant serait confronté à des obstacles majeurs en retournant dans son pays d'origine. Il relève d'ailleurs que le recourant, représenté par un mandataire professionnel, n'invoque aucun grief à ce propos. Il a enfin considéré à juste titre que le fait que le recourant séjourne en Suisse depuis 1995, d'abord dans le cadre de la demande d'asile et d'une admission provisoire, puis dès 2003, au bénéfice du regroupement familial, il ne suffisait pas pour admettre l'existence d'un cas de rigueur, cela d'autant plus que, depuis 2004, son séjour reposait sur de fausses déclarations. Devant le Tribunal fédéral, le recourant fait état de difficultés financières désastreuses qu'un retour au pays pourrait lui occasionner, alors qu'il s'est parfaitement intégré en Suisse et y exploite son entreprise. De tels motifs ne constituent toutefois pas des raisons personnelles majeures justifiant l'application de l'art. 50 al. 1 let. b LEtr.
4.3 L'arrêt attaqué, qui refuse au recourant un droit au renouvellement de son autorisation de séjour, ne viole donc pas le droit fédéral.
5. Dans ces circonstances, le recours ne peut qu'être rejeté dans la mesure où il est recevable. Succombant, le recourant supportera les frais judiciaires (<ref-law>). Il ne sera pas alloué de dépens (<ref-law>.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et des migrants et à la Ie Cour administrative du Tribunal cantonal du canton de Fribourg, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 2 décembre 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Zünd Rochat