Faits : A. Ressortissant du Kosovo né en 1978, A._ a séjourné et travaillé en Suisse illégalement vraisemblablement durant plusieurs années. Le 20 juillet 2005, il a épousé au Kosovo une ressortissante suisse, mère d'une fille, B._, née en 2002. A la suite de ce mariage, il est entré en Suisse le 11 novembre 2005 et a obtenu une autorisation de séjour régulièrement renouvelée jusqu'en 2010. Son épouse a donné naissance, en 2005, à une autre fille, C._, dont A._ n'est pas le père. Après l'avoir abandonnée dans un premier temps, la mère a récupéré le droit de garde sur C._ en été 2006. Le 10 juillet 2006, le lien de paternité avec A._ a été annulé. A la suite d'une relation extraconjugale entretenue en 2008, l'épouse de A._ a eu un troisième enfant, D._, né en 2009. L'action en désaveu de paternité déposée sur requête de la mère a abouti le 2 juillet 2010. Le 14 avril 2010, l'épouse de l'intéressé et les trois enfants ont quitté la Suisse pour le Portugal, afin d'y vivre auprès du père de D._. B. Informé du départ de l'épouse pour l'étranger, le Service de la population et des migrants du canton de Fribourg (ci-après le Service cantonal) a procédé, dès le 21 juin 2010, à un réexamen des conditions de séjour de A._. C. Par décision du 30 avril 2013, le Service cantonal a rejeté la demande de renouvellement de l'autorisation de séjour de l'intéressé et a prononcé son renvoi de Suisse dans un délai de 30 jours. Le recours interjeté par A._ contre cette décision a été rejeté par arrêt du Tribunal cantonal de l'Etat de Fribourg du 26 novembre 2013. D. A._ forme un recours en matière de droit public au Tribunal fédéral en concluant, sous suite de dépens, à l'annulation de l'arrêt du 26 novembre 2013, ainsi que de la décision du 30 avril 2013, et à ce qu'une prolongation de son autorisation de séjour lui soit accordée en vertu de l'art. 50 al. 1 let. a LEtr. Par ordonnance présidentielle du 20 janvier 2014, le Tribunal fédéral a admis la demande d'effet suspensif formée par A._. Le Tribunal cantonal n'a pas formulé d'observations, renvoyant à son arrêt et concluant au rejet du recours. Le Service cantonal ne s'est pas déterminé, se référant également à l'arrêt attaqué et confirmant le refus d'autorisation de séjour et le renvoi prononcés le 30 avril 2013. L'Office fédéral des migrations propose de rejeter le recours sans rien ajouter aux décisions des autorités cantonales.