Faits :
A.
Ressortissant du Kosovo né en 1978, A._ a séjourné et travaillé en Suisse illégalement vraisemblablement durant plusieurs années. Le 20 juillet 2005, il a épousé au Kosovo une ressortissante suisse, mère d'une fille, B._, née en 2002.
A la suite de ce mariage, il est entré en Suisse le 11 novembre 2005 et a obtenu une autorisation de séjour régulièrement renouvelée jusqu'en 2010. Son épouse a donné naissance, en 2005, à une autre fille, C._, dont A._ n'est pas le père. Après l'avoir abandonnée dans un premier temps, la mère a récupéré le droit de garde sur C._ en été 2006. Le 10 juillet 2006, le lien de paternité avec A._ a été annulé.
A la suite d'une relation extraconjugale entretenue en 2008, l'épouse de A._ a eu un troisième enfant, D._, né en 2009. L'action en désaveu de paternité déposée sur requête de la mère a abouti le 2 juillet 2010.
Le 14 avril 2010, l'épouse de l'intéressé et les trois enfants ont quitté la Suisse pour le Portugal, afin d'y vivre auprès du père de D._.
B.
Informé du départ de l'épouse pour l'étranger, le Service de la population et des migrants du canton de Fribourg (ci-après le Service cantonal) a procédé, dès le 21 juin 2010, à un réexamen des conditions de séjour de A._.
C.
Par décision du 30 avril 2013, le Service cantonal a rejeté la demande de renouvellement de l'autorisation de séjour de l'intéressé et a prononcé son renvoi de Suisse dans un délai de 30 jours. Le recours interjeté par A._ contre cette décision a été rejeté par arrêt du Tribunal cantonal de l'Etat de Fribourg du 26 novembre 2013.
D.
A._ forme un recours en matière de droit public au Tribunal fédéral en concluant, sous suite de dépens, à l'annulation de l'arrêt du 26 novembre 2013, ainsi que de la décision du 30 avril 2013, et à ce qu'une prolongation de son autorisation de séjour lui soit accordée en vertu de l'art. 50 al. 1 let. a LEtr.
Par ordonnance présidentielle du 20 janvier 2014, le Tribunal fédéral a admis la demande d'effet suspensif formée par A._.
Le Tribunal cantonal n'a pas formulé d'observations, renvoyant à son arrêt et concluant au rejet du recours. Le Service cantonal ne s'est pas déterminé, se référant également à l'arrêt attaqué et confirmant le refus d'autorisation de séjour et le renvoi prononcés le 30 avril 2013. L'Office fédéral des migrations propose de rejeter le recours sans rien ajouter aux décisions des autorités cantonales.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Selon la jurisprudence, il suffit, sous l'angle de la recevabilité, qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas. La question de savoir si les conditions d'un tel droit sont effectivement réunies relève du fond (<ref-ruling> consid. 1.1 p. 332; <ref-ruling> consid. 1.3 p. 287).
En l'occurrence, le recourant est marié à une citoyenne suisse avec laquelle, selon les constatations cantonales, il a vécu sous le même toit en Suisse du 11 novembre 2005 jusqu'au mois de juillet 2009. L'article 50 al. 1 let. a LEtr dont se prévaut le recourant lui donne ainsi potentiellement droit à la prolongation de son autorisation de séjour. Son recours échappe donc au motif d'irrecevabilité de l'art. 83 let. c ch. 2 LTF, de sorte que la voie du recours en matière de droit public est ouverte.
1.2. Pour le surplus, le recours est dirigé contre une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et 2 LTF). Déposé en temps utile compte tenu des féries (art. 46 al. 1 let. c et 100 al. 1 LTF) et dans les formes prescrites (<ref-law>), par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'<ref-law>, le recours est en principe recevable.
1.3. La conclusion du recourant tendant à l'annulation de la décision rendue par le Service cantonal n'est toutefois pas admissible en raison de l'effet dévolutif complet du recours auprès du Tribunal cantonal (<ref-ruling> consid. 1.2 p. 543; arrêt 2C_1071/2013 du 6 juin 2013 consid. 1.4).
2.
2.1. Le litige porte sur l'application de l'art. 50 al. 1 let. a LEtr, qui prévoit qu'après dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 LEtr subsiste dans le cas où l'union conjugale a duré au moins trois ans et l'intégration est réussie. Ces deux conditions sont cumulatives (<ref-ruling> consid. 3.3.3 p. 119; arrêt 2C_873/2013 du 25 mars 2014 consid. 3.5.3 et 3.8, destiné à publication).
2.2. L'arrêt attaqué retient qu'aucune des conditions précitées n'est réalisée. En premier lieu, il considère qu'il est abusif pour le recourant de se prévaloir de la durée de son union conjugale (cf. art. 51 al. 2 let. a LEtr). En effet, si les époux avaient partagé le même toit au moins jusqu'au mois de juillet 2009, soit formellement plus de trois ans, les circonstances ayant entouré ce mariage fournissaient des indices objectifs suffisants permettant de constater que la communauté conjugale, si elle avait jamais existé, ne durait en tout cas plus en juillet 2008, et n'était qu'une pure façade. Le seul but de cette union était de permettre au recourant de bénéficier d'un titre de séjour après plusieurs années dans la clandestinité. Au moment du mariage, l'épouse était enceinte de plusieurs mois d'un tiers; si l'on voulait bien admettre la thèse du recourant selon laquelle il ne s'en était pas aperçu lors du mariage, cela démontrait que les fiancés ne se connaissaient pas véritablement et que ce mariage avait été organisé dans la précipitation. En outre, les époux ne partageaient quasiment rien. En second lieu, l'exigence de l'intégration réussie n'était pas non plus remplie, car le recourant n'avait pas une maîtrise suffisante de la langue française, dès lors que celui-ci avait des difficultés importantes à s'exprimer sur des questions simples, un interprète ayant été nécessaire lors de ses auditions. Pourtant, son épouse était francophone et ne parlait pas l'albanais. En outre, le recourant n'avait aucune connaissance basique de la vie telle qu'elle est organisée en Suisse, ne sachant rien du canton ou de la région dans lesquels il vivait. Enfin, il n'avait pas de vie sociale et ne participait pas à la société civile, l'existence de bonnes relations avec sa belle-mère et son ancien employeur n'étant à cet égard pas suffisante. Les juges cantonaux ont rejeté l'argument de l'engagement intense du recourant dans sa vie professionnelle, considérant que ses seules obligations professionnelles n'expliquaient pas l'absence d'intégration réussie et qu'il s'agissait d'une excuse facile à ce qui relevait plutôt du désintérêt.
2.3. L'arrêt attaqué repose donc sur une double motivation portant sur les deux conditions de l'art. 50 al. 1 let. a LEtr. Le recourant s'en prend à chacun de ces motifs, comme l'exige la jurisprudence (<ref-ruling> consid. 4.1.4 p. 100; <ref-ruling> consdi. 3.4 p. 735). Pour que le recours doive être rejeté, il suffit toutefois que l'une des motivations apparaisse conforme au droit, permettant ainsi de maintenir la décision entreprise (cf. <ref-ruling> consid. 7 p. 228; <ref-ruling> consid. 6 p. 20).
3.
En lien avec la première condition de l'art. 50 al. 1 let. a LEtr, le recourant reproche aux juges cantonaux d'avoir établi les faits de manière manifestement inexacte et incomplète, ce qui les aurait amenés à considérer à tort qu'il commettait un abus de droit au sens de l'art. 51 al. 2 let. a LEtr en se prévalant de la durée de son mariage.
3.1. Le Tribunal fédéral n'est pas une juridiction d'appel. Il statue sur la base des faits établis par l'autorité précédente (<ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte, ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 5.1 p. 356) ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Il appartient au recourant qui entend s'écarter des faits ressortant de l'arrêt attaqué de le démontrer de manière précise (<ref-ruling> consid. 10.1 p. 445 et les arrêts cités). Il ne peut, en particulier, se contenter d'opposer sa thèse à celle de la juridiction cantonale (<ref-ruling> consid. 3 p. 352 et les références citées).
Il y a arbitraire dans l'établissement des faits ou l'appréciation des preuves lorsque le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (cf. <ref-ruling> consid. 4.2 p. 560). Il ne suffit pas que la motivation de la décision critiquée soit insoutenable; encore faut-il que celle-ci se révèle arbitraire dans son résultat (<ref-ruling> consid. 4.3 p. 319).
3.2. Si l'union conjugale entre l'étranger et son conjoint suisse ou titulaire d'une autorisation d'établissement a effectivement duré trois ans, il faut se demander si les conjoints ont seulement cohabité pour la forme et si la durée de la communauté conjugale, compte tenu de l'interdiction de l'abus de droit (art. 51 al. 2 let. a LEtr), ne doit pas être prise en compte ou ne l'être que partiellement (<ref-ruling> consid. 3.2 in fine p. 117). Il y a mariage fictif lorsque celui-ci est contracté dans le seul but d'éluder les dispositions de la loi fédérale sur les étrangers, en ce sens que les époux (voire seulement l'un d'eux) n'ont jamais eu la volonté de former une véritable communauté conjugale (arrêt 2C_540/2013 du 5 décembre 2013 consid. 5.3.1; sous l'ancien droit, cf. <ref-ruling> consid. 4a p. 55). Est considérée comme abusive l'invocation d'un mariage qui n'a plus de substance et n'existe plus que formellement parce que l'union conjugale paraît définitivement rompue, faute de chances de réconciliation entre les époux (cf. <ref-ruling> consid. 4.2 p. 117; <ref-ruling> consid. 2 et 3 p. 151 s.). Dans l'une et l'autre de ces hypothèses, l'intention réelle des époux ne peut souvent pas être établie par une preuve directe, mais seulement grâce à des indices (arrêt 2C_882/2013 du 8 mai 2014 consid. 3.2; cf. <ref-ruling> consid. 5a p. 57).
Les constatations portant sur ces indices peuvent concerner des circonstances externes tout comme des éléments relevant de la volonté interne de chacun des époux. Il s'agit, dans les deux cas, de constatations de fait (arrêt 2C_882/2013 du 8 mai 2014 consid. 3.4; ATF <ref-ruling> consid. 2.3 p. 152 et les arrêts cités) qui lient le Tribunal fédéral, sauf si elles ont été établies de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (cf. supra consid. 3.1). En revanche, le Tribunal fédéral examine librement si les constatations de fait (indices) permettent de conclure à l'existence d'un mariage fictif (arrêt 2C_540/2013 du 5 décembre 2013 consid. 5.3.4) ou abusif.
3.3. Le recourant s'en prend tout d'abord à la constatation selon laquelle son mariage avait été conclu dans le but de lui permettre d'obtenir un titre de séjour en Suisse. Certes, un tel but n'est pas forcément un indice d'abus s'il s'intègre dans un projet de regroupement familial. Le recourant présente toutefois l'arrêt cantonal de manière tronquée, perdant de vue que les juges ont ajouté que les époux avaient seulement eu l'intention de permettre au recourant de séjourner en Suisse après des années passées dans la clandestinité, mais pas de former une véritable communauté conjugale. L'arrêt attaqué retient en outre que, dès le début, leur relation a été faussée par l'obligation que le recourant avait de vivre avec une ressortissante suisse le temps nécessaire pour assurer le maintien de sa présence en Suisse. Ces constatations ne permettent pas de tirer un lien entre le titre de séjour et un projet familial.
Le recourant ne conteste pas avoir travaillé en Suisse dans la clandestinité, mais soutient qu'il était rentré au Kosovo depuis longtemps avant son mariage. Cet élément, qu'il ne démontre du reste nullement, ne suffit pas à rendre insoutenable la position du Tribunal cantonal selon laquelle le seul objectif du mariage était de permettre au recourant de revenir en Suisse légalement.
Le recourant affirme en outre que, contrairement à ce que retient l'arrêt attaqué, il a formé avec son épouse une véritable union conjugale durant trois ans. Il ne fournit toutefois aucun élément propre à démontrer l'existence d'une telle union dont les juges auraient arbitrairement omis de tenir compte ou à faire apparaître les indices figurant dans l'arrêt attaqué allant dans le sens inverse comme manifestement inexacts.
Ainsi, s'agissant des circonstances dans lesquelles l'union a été conclue au Kosovo, l'arrêt attaqué retient que ce mariage a été organisé dans la précipitation et que les fiancés ne se connaissaient pas véritablement, puisque l'époux ne s'était pas aperçu que sa future femme était enceinte (de sept mois environ). Selon le recourant, il est faux de considérer que le mariage au Kosovo a été organisé dans la précipitation. Il ne nie toutefois pas que son épouse n'est restée en tout et pour tout que deux jours au Kosovo, mais l'explique par le fait que le pays a été dévasté par la guerre et que son épouse ne souhaitait pas y séjourner longtemps. Une telle justification n'est guère crédible, le mariage ayant eu lieu en 2005, soit plus de cinq ans après la fin de la guerre. Le recourant soutient que, contrairement à ce qu'a retenu l'arrêt attaqué, il entretenait une relation sérieuse avec son épouse depuis la fin 2002 et qu'ils avaient décidé de se marier en 2004 déjà. Il cite sur ce point un procès-verbal d'audience du 18 novembre 2011 qui ne fait que reproduire ses propres déclarations au Service de la population, de sorte que celles-ci n'ont qu'une portée probante relative, ce d'autant que le recourant ne fait état d'aucun autre élément les confirmant. Au demeurant, l'existence d'une relation sérieuse et d'un projet de mariage en 2004 s'intègre mal avec le fait que l'épouse a conçu un enfant avec un tiers. Enfin, on ne voit manifestement pas qu'il serait insoutenable de déduire du fait qu'un homme ne s'aperçoit pas que son épouse est enceinte de sept mois lors de son mariage qu'il ne la connaît pas vraiment. N'en déplaise au recourant, un jeune marié ne se trouve à l'évidence pas dans une situation comparable à des collègues de travail à qui une femme dissimule sa grossesse en portant des vêtements amples.
Le recourant s'en prend à l'affirmation selon laquelle les époux ne partageaient quasiment rien. Il soutient que les juges ont omis de tenir compte du fait qu'ils soupaient ensemble presque chaque soir et qu'ils se promenaient et sortaient à Fribourg les week-ends et lors de leurs congés. Ces indications résultent à nouveau des seules déclarations du recourant faites le 18 novembre 2011 et celui-ci ne cite aucun autre élément les corroborant. Il est certes vrai que, comme le relève le recourant, les juges cantonaux n'ont pas étayé leur affirmation de l'absence de partage entre les époux par des exemples. Cela ne suffit pas à admettre l'arbitraire, dès lors que les faits reproduits dans l'arrêt attaqué ne font à l'évidence pas apparaître cette constatation comme insoutenable. Ainsi, durant le mariage, l'épouse a eu deux enfants dont le recourant n'était pas le père, ce qu'il ne pouvait ignorer, puisque son lien de paternité avec le premier enfant, né en 2005 - soit deux mois après la conclusion du mariage -, a été annulé le 10 juillet 2006 et que l'épouse du recourant a déposé en juin 2009 une action en désaveu de paternité concernant l'enfant D._ né en 2009, qui a abouti le 2 juillet 2010. Par ailleurs, la relation nouée en 2008 par l'épouse du recourant avec le père de D._ n'était pas qu'une aventure passagère, puisque le couple vit désormais ensemble au Portugal.
Enfin, s'agissant d'établir la réalité du lien conjugal, les relations de sympathie que le recourant a pu nouer avec sa belle-mère ne sont pas décisives.
Pour le surplus, le recourant se prévaut de faits ne figurant pas dans l'arrêt attaqué et qui, selon lui, seraient autant d'indices démontrant l'existence d'une union réellement vécue. Il n'invoque cependant ni l'arbitraire ni le caractère manifestement inexact de l'arrêt attaqué sur ces points, mais se contente d'opposer sa propre appréciation, complétée par des indices non retenus, à celle des juges cantonaux. Or, une telle argumentation appellatoire n'est pas admissible devant le Tribunal fédéral (cf. supra consid. 3.1).
3.4. Il en découle qu'en établissant les faits permettant de démontrer que, bien que les époux aient vécu ensemble plus de trois ans, le mariage n'a été, si ce n'est depuis le début, mais à tout le moins avant le mois de juillet 2008, soit avant le terme de la durée de trois ans de l'art. 50 al. 1 let. a LEtr, qu'une façade, les juges cantonaux n'ont pas procédé à une appréciation des preuves ou à des constatations de fait manifestement inexactes ou arbitraires.
3.5. Sur la base des indices figurant dans l'arrêt attaqué, on ne voit pas que l'on puisse reprocher au Tribunal cantonal d'avoir violé l'art. 51 al. 2 let. a LEtr en retenant que le recourant se prévalait de manière abusive d'une union conjugale ayant duré au moins trois ans et que, par conséquent, il ne remplissait pas la première condition prévue à l'art. 50 al. 1 let. a LEtr.
3.6. Cette conclusion exclut ainsi le droit à un titre de séjour sur la base de cette disposition, ce qui dispense la Cour de céans d'examiner le bien-fondé de la seconde motivation de l'arrêt attaqué concernant la réalisation de la condition de l'intégration réussie.
4.
Le recourant soutient que l'arrêt attaqué qui aboutit à son renvoi de Suisse heurterait le principe de la proportionnalité. Il fait valoir qu'il séjourne en Suisse depuis un peu plus de sept ans, qu'il n'y fait l'objet d'aucune condamnation pénale et qu'il a toujours été financièrement indépendant, n'ayant ni dette sociale à son nom ni poursuite, mais remboursant la dette sociale de son épouse. Depuis quelques mois, il a pris des engagements financiers en devenant l'associé gérant d'un restaurant, ce qui l'a amené à conclure un contrat de sous-location et à reprendre un prêt de 100'000 fr. en lien avec cette exploitation. En cas de renvoi, il ne pourrait plus faire face à ces engagements.
4.1. Dans la mesure où le recourant a déjà séjourné officiellement en Suisse depuis 2005 et où l'arrêt entrepris a pour résultat de l'empêcher de demeurer sur le territoire helvétique, la question de la proportionnalité se pose. Exprimé de manière générale à l'art. 5 al. 2 Cst. et découlant également de l'art. 96 LEtr, ce principe exige que la mesure prise par l'autorité soit raisonnable et nécessaire pour atteindre le but d'intérêt public ou privé poursuivi (cf. <ref-ruling> consid. 3.2 p. 91 s.; <ref-ruling> consid. 4.2 p. 380).
4.2. En l'espèce, on ne voit pas que l'arrêt attaqué refusant au recourant la prolongation de son autorisation de séjour qui repose sur un mariage avec une citoyenne suisse qui n'était, dès le départ, ou à tout le moins dès le mois de juin 2008, qu'une coquille vide soit disproportionné. Né en 1978, le recourant n'est venu en Suisse légalement qu'en 2005, soit à l'âge de 27 ans. Le fait qu'il avait déjà travaillé en Suisse dans la clandestinité ne peut être pris en compte en sa faveur. Au demeurant, même si l'on tient compte de l'ensemble des années passées en Suisse, ses connaissances du français demeurent approximatives (l'arrêt attaqué retient qu'il ne maîtrise pas du tout la langue française, ce que celui-ci conteste, admettant cependant des lacunes de vocabulaire et un déficit d'élocution ayant justifié le recours à un interprète lors de ses auditions devant les autorités cantonales). En outre, il a été constaté, ce que le recourant ne nie pas, qu'il n'a aucune connaissance basique de la vie telle qu'elle est organisée en Suisse, ne sachant quasiment rien du canton ou de la région dans lesquels il vit. Il n'a pas d'enfant et ne fait pas valoir des liens exceptionnels envers des proches vivant en Suisse, les seuls contacts sociaux retenus étant les relations nouées avec sa belle-mère et son ancien employeur. L'absence de condamnations pénales alléguée par le recourant, certes positive, doit être relativisée par la longue période durant laquelle il a séjourné illégalement en Suisse. Du reste, l'arrêt attaqué fait état d'une condamnation pénale pour ce fait en 1997. Le remboursement de la dette sociale incombe de toute façon au recourant dans la mesure où il s'agit d'une dette du couple, même si les dettes avaient été contractées par son épouse. Enfin, les engagements financiers que l'intéressé a choisi de prendre en devenant associé gérant d'un restaurant ne sauraient justifier à eux seuls, son maintien en Suisse. Il n'est du reste nullement inconcevable qu'il puisse les transférer à un tiers, puisque lui-même avait repris un prêt préexistant et que le bail n'est qu'une sous-location. Enfin, rien n'indique qu'il serait empêché de trouver un emploi dans son pays d'origine, dont il parle la langue.
4.3. Compte tenu de l'ensemble des circonstances, il n'apparaît pas qu'en faisant primer l'intérêt public à éloigner le recourant sur l'intérêt privé de celui-ci de rester en Suisse, le Tribunal cantonal ait méconnu l'art. 5 al. 2 Cst. ou l'art. 96 LEtr.
5.
Il résulte de ce qui précède que le recours doit être rejeté en tant qu'il est recevable. Les frais seront mis à la charge du recourant qui succombe (<ref-law>). Il ne sera pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et des migrants du canton de Fribourg, au Tribunal cantonal du canton de Fribourg, I e Cour administrative, et à l'Office fédéral des migrations.
Lausanne, le 15 août 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : La Greffière :
Zünd Vuadens