Faits :
A.
A.a. A._, ressortissant du Kosovo, né en 1980, a travaillé en Suisse, sans autorisation. Il a été interpellé par les autorités valaisannes, le 26 août 2010. Le Service de la population et des migrations du canton du Valais a ordonné le 27 août 2010 le renvoi immédiat de l'intéressé. Une interdiction d'entrée en Suisse a été prononcée par l'ancien Office fédéral des migrations (actuellement le Secrétariat d'État aux migrations), valable jusqu'au 26 août 2013.
A.b. Le 3 février 2011, l'intéressé a épousé, au Kosovo, une ressortissante portugaise, née en 1980, domiciliée en Suisse, qui était alors au bénéfice d'une autorisation de courte durée (permis L) et qui obtiendra par la suite une autorisation d'établissement. Le 30 novembre 2011, l'intéressé a déposé auprès du Service de la population du canton de Vaud (ci-après: le Service de la population) une demande d'autorisation de séjour, pour regroupement familial afin selon ses dires de rejoindre son épouse, domiciliée à Villeneuve.
L'intéressé est entré en Suisse le 31 mai 2013, au bénéfice d'un visa et après la levée de l'interdiction d'entrée. Le Service de la population lui a délivré une autorisation de séjour pour regroupement familial avec activité lucrative, dès le 14 août 2013. Le 6 décembre 2017, l'intéressé a déposé une demande de prolongation de son autorisation de séjour auprès du Service de la population en indiquant qu'il faisait ménage commun avec son épouse.
A.c. L'intéressé et son épouse se sont séparés en mars 2018 et celui-ci a déménagé au domicile de son frère, B._. Ayant été informé de la séparation du couple, le Service de la population a procédé à diverses mesures d'instruction destinées à préciser la situation personnelle et professionnelle de l'intéressé. Dans ce cadre, l'épouse a notamment déclaré qu'elle ne s'était rendue qu'une fois au Kosovo pour son mariage, que l'intéressé n'était jamais venu au Portugal et qu'elle ne connaissait pas le nom des employeurs de celui-ci. Elle a en outre précisé avoir eu deux enfants nés hors mariage avec un ressortissant portugais, lequel vivait chez sa mère à elle, à Villeneuve. Elle a ajouté qu'après la séparation du couple qu'elle formait avec l'intéressé, elle était retournée vivre chez sa mère à Villeneuve en compagnie du père de ses enfants. L'intéressé a quant à lui déclaré au Service de la population qu'il avait connu son épouse en 2010, chez son frère, et qu'il connaissait un peu la mère de son épouse, mais pas le reste de sa famille. Il a ajouté qu'il retournait une ou deux fois par an au Kosovo en compagnie de son frère. Le Service de la population a indiqué à l'intéressé et à son épouse qu'il soupçonnait que leur mariage fût de complaisance, ce qu'ils ont contesté.
B.
Le 30 avril 2019, le Service de la population a informé l'intéressé qu'il envisageait de refuser le renouvellement de son autorisation de séjour, au motif qu'il ne remplissait pas les conditions pour l'octroi d'une telle autorisation, après la rupture de la vie conjugale, compte tenu de son intégration insuffisante en Suisse. A cet égard, il a notamment retenu que l'intéressé ne parlait pas le français et qu'il avait perçu un revenu d'insertion entre décembre 2013 et septembre 2014. L'intéressé a pris position.
Par décision du 25 novembre 2019, le Service de la population a révoqué, respectivement refusé de renouveler, l'autorisation de séjour de l'intéressé et prononcé son renvoi de Suisse.
Par arrêt du 12 juin 2020, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après : le Tribunal cantonal) a rejeté le recours formé par l'intéressé contre cette décision.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'octroi de l'effet suspensif, de réformer l'arrêt précité du 12 juin 2020, en ce sens qu'une autorisation de séjour lui soit octroyée, respectivement, qu'il soit ordonné au Service de la population de préaviser favorablement l'octroi d'une autorisation de séjour en sa faveur et de soumettre l'octroi/le renouvellement de l'autorisation de séjour pour approbation au Secrétariat d'État aux migrations. Subsidiairement, il requiert l'annulation de l'arrêt attaqué et le renvoi de la cause à l'autorité précédente pour des instructions supplémentaires et nouvelle décision dans le sens des considérants.
L'effet suspensif a été accordé par ordonnance présidentielle du 14 août 2020.
Le Service de la population et le Tribunal cantonal renoncent à se déterminer. Le Secrétariat d'État aux migrations ne s'est pas prononcé.

Considérant en droit :
1.
1.1. Le recourant, dont l'épouse est titulaire d'une autorisation d'établissement, se prévaut d'un droit à l'obtention d'une autorisation de séjour fondé sur l'ancien art. 50 al. 1 let. a LEtr (RO 2007 5437; applicable en vertu de l'art. 126 al. 1 LEI [RS 142.20], dans la mesure où la demande de prolongation de l'autorisation de séjour a été déposée avant l'entrée en vigueur de celle-ci, le 1 er janvier 2019). Dès lors qu'il n'est pas d'emblée exclu que les conditions de cette disposition soient remplies, il convient d'admettre que le recours échappe à la clause d'irrecevabilité de l'art. 83 let. c ch. 2 LTF, selon lequel le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit (cf. arrêts 2C_92/2018 du 11 juillet 2018 consid. 4.1 et les références). La voie du recours en matière droit public est donc en principe ouverte.
1.2. Au surplus, le recours remplit les conditions des art. 42 et 82 ss LTF. Il convient donc d'entrer en matière.
2.
Le litige porte sur le refus de renouvellement de l'autorisation de séjour du recourant et, en particulier, sur son degré d'intégration en Suisse.
A titre liminaire et bien que ce motif n'ait pas été retenu par les autorités précédentes pour mettre fin à l'autorisation de séjour de l'intéressé, il faut relever qu'en dépit des interrogations de celui-ci sur ce point, on ne peut pas, sur le vu des déclarations du recourant et de son épouse (cf. supra let. A.c) - que celui-ci ne conteste pas - reprocher au Service de la population d'avoir suspecté un mariage blanc, ni au Tribunal cantonal d'avoir, à tout le moins, mentionné ces éléments. Ceux-ci ne sont pas étrangers à l'objet du litige qui porte sur le droit à séjourner en Suisse du recourant.
3.
Dans un premier grief, le recourant se plaint d'une violation de son droit d'être entendu. Il reproche à l'autorité précédente de ne pas avoir donné suite à sa requête visant la production du dossier du revenu d'insertion le concernant et de ne pas lui avoir fourni d'explications à ce sujet. Selon lui, il aurait été nécessaire d'obtenir ledit dossier afin de déterminer la part exacte du montant de 26'134.85 fr., versé au titre du revenu d'insertion, qu'il aurait lui-même perçu.
3.1. Garanti par l'art. 29 al. 2 Cst., le droit d'être entendu comprend, notamment, le droit pour le justiciable d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, lorsque cela est de nature à influer sur la décision à rendre (cf. <ref-ruling> consid. 4.1 p. 170 s.; <ref-ruling> consid. 3.2 p. 67; <ref-ruling> consid. 2.3 p. 222). L'autorité peut renoncer à procéder à des mesures d'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 4.1 p. 171; <ref-ruling> consid. 6.3.1 p. 299). Le droit d'être entendu implique également pour l'autorité l'obligation de motiver sa décision (ATF <ref-ruling> consid. 5.2 p. 70 s.; <ref-ruling> consid. 4.2 p. 157; <ref-ruling> consid. 3.2.1 p. 564 s.).
3.2. Dans l'arrêt querellé, l'autorité précédente ne s'est pas prononcée sur la requête d'administration du moyen de preuve précitée. Toutefois, le Tribunal cantonal a en réalité implicitement procédé à une appréciation anticipée des preuves, en considérant manifestement que le moyen en question n'était pas de nature à influencer le sort de la cause.
Concernant le caractère pertinent de ce moyen de preuve, il faut relever ce qui suit. Le recourant ne prétend pas que durant la période au cours de laquelle un revenu d'insertion a été versé, soit de décembre 2013 à septembre 2014, il ne faisait plus ménage commun avec son épouse. Or, le revenu d'insertion est versé en tenant compte des ressources financières du ménage, lequel comprend notamment le requérant et son conjoint (cf. art. 31 al. 2 de la loi sur l'action sociale vaudoise du 2 décembre 2003 [LASV; RS/VD 850.051] et les art. 17 ss de son règlement d'application du 26 octobre 2005 [RLASV; RS/VD 850.051.1]). L'art. 17 al. 1 RLASV précise quant à lui que le revenu d'insertion est accordé sur demande signée par chaque membre majeur du ménage (conjoint, partenaire enregistré, personne menant de fait une vie de couple) ou son représentant légal. Dans ces circonstances, on ne voit pas et le recourant n'explique pas comment son épouse aurait pu "personnellement" bénéficier d'une part du montant en cause de 26'134.85 fr., comme il le prétend. Il découle de ce qui précède que le constat d'une perception d'un revenu d'insertion par le couple, tel que retenu par l'autorité précédente, reste pertinent.
Le grief de violation du droit d'être entendu doit partant être écarté. Par ailleurs, dans les présentes circonstances, même s'il avait fallu reconnaître l'existence d'une telle violation, une annulation de l'arrêt attaqué n'aurait pas été justifiée, puisqu'un renvoi de la cause à l'autorité précédente pour qu'elle se prononce explicitement sur la requête du recourant n'aurait été qu'une formalité inutile et vide de sens (cf. arrêt 5A_699/2017 du 24 octobre 2017 consid. 3.1.3 et les références).
4.
Le recourant se plaint également d'une constatation inexacte des faits.
4.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF; <ref-ruling> consid. 6 p. 358). Conformément à l'art. 106 al. 2 LTF, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 6.3 p. 375).
4.2. Le recourant reproche tout d'abord à l'autorité précédente d'avoir retenu que son épouse et lui-même avaient perçu un revenu d'insertion entre le 1er décembre 2013 et le 30 septembre 2014, pour un montant approximatif de 26'000 fr. Dans la même ligne que celle exposée dans le cadre du grief de violation de son droit d'être entendu, il fait valoir que l'autorité précédente aurait dû déterminer le montant dont il avait effectivement bénéficié. Il ne démontre toutefois pas en quoi le Tribunal cantonal aurait versé dans l'arbitraire en retenant que son épouse et lui-même, qui faisaient ménage commun, ont bénéficié de l'aide sociale durant la période précitée (cf. supra consid. 3.2). Son recours sur ce point ne répond ainsi pas aux exigences de motivation accrues de l'art. 106 al. 2 LTF.
4.3. Le recourant fait également valoir que l'autorité précédente a arbitrairement retenu les faits concernant ses connaissances de la langue française, qui étaient selon lui suffisantes même avant qu'il prenne des cours de langue. On ne peut selon lui rien tirer du fait qu'il était assisté d'un interprète lors de son audition par le Service de la population en février 2019, la présence de celui-ci n'étant pas incompatible avec des compétences linguistiques suffisantes pour la vie de tous les jours. Par ailleurs, il ajoute que ses déclarations relatives à son niveau de français devaient être remises dans leur contexte et se référaient au besoin d'un interprète pour son audition. Il fait enfin valoir que l'attestation de l'école de langue se référait à ses compétences en français à l'écrit et non à l'oral.
En l'occurrence, si le recourant mentionne à juste titre que le choix d'être accompagné d'un interprète ne suffit pas pour conclure à l'incapacité de se faire comprendre de manière simple dans des situations de la vie quotidienne (cf. infra consid. 5.2), il perd de vue que le Tribunal cantonal ne s'est pas fondé sur ce seul élément. Il a également pris en compte les déclarations faites par le recourant lors de son audition du 28 février 2019, en particulier lorsqu'il a indiqué au Service de la population "qu'il ne parlait pratiquement pas le français car il n'avait pas le temps de suivre des cours". Au demeurant, il ressort du procès-verbal de cette audition que le recourant "ne comprend pas du tout nos questions posées en français et il n'arrive pas à répondre. Il a entièrement besoin de la traductrice". Il y figure également la mention suivante "manifestement vous ne comprenez ni ne parlez le français (la traductrice confirme) - uniquement quelques mots ici ou là - vous dites ne pas parler portugais non plus". A la question, "dans quelle langue communiquez-vous avec votre épouse?", le recourant a répondu "au début c'est mon frère et ma belle-soeur qui traduisaient pour nous. Par la suite, j'ai appris quelques mots de portugais et de français. Mais c'est mon frère qui a continué à traduire". Enfin, il a également déclaré, "j'aimerais bien apprendre à parler français et ne pas devoir parler comme les sourds, avec des signes" (art. 105 al. 2 LTF). Sur le vu de ces éléments, le Tribunal cantonal pouvait de façon parfaitement soutenable retenir que le recourant ne parlait pratiquement pas le français au moment du préavis du 30 avril 2019. L'attestation de l'école de langue de septembre 2019 va dans ce sens et le recourant n'établit pas que celle-ci attesterait de meilleures compétences à l'oral.
4.4. Le grief d'arbitraire dans la constatation et l'établissement des faits doit partant être écarté.
5.
En dépit du fait que les époux ne disposaient pas d'une langue commune leur permettant de communiquer sans l'aide du frère de l'intéressé (cf. supra consid. 4.3) et nonobstant les éléments qui ont conduit le Service de la population à suspecter un mariage blanc (cf. supra let. A.c), l'autorité précédente a retenu que les époux avaient mené une vie de couple effective durant plus de trois ans. Ces faits liant le Tribunal fédéral (art. 105 al. 1 LTF), il faut admettre que la première condition de l'art. 50 al. 1 let. a LEtr est remplie. En revanche, le Tribunal cantonal a retenu que la seconde condition de cette disposition, relative à l'intégration réussie en Suisse, n'était pas réalisée, ce que le recourant conteste.
5.1. Le principe de l'intégration doit permettre aux étrangers dont le séjour est légal et durable de participer à la vie économique, sociale et culturelle de la Suisse (ancien art. 4 al. 2 LEtr; art. 4 al. 2 LEI). D'après l'art. 77 al. 4 de l'ordonnance du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201), dans sa teneur en vigueur jusqu'au 31 décembre 2018 (RO 2007 5497), un étranger s'est bien intégré, au sens de l'art. 50 al. 1 let. a LEtr, notamment lorsqu'il respecte l'ordre juridique suisse et les valeurs de la Constitution fédérale (let. a) et qu'il manifeste sa volonté de participer à la vie économique et d'apprendre la langue nationale parlée au lieu de domicile (let. b). Selon l'art. 4 de l'ancienne ordonnance du 24 octobre 2007 sur l'intégration des étrangers (aOIE; RO 2007 5551), remplacée au 1er janvier 2019 par l'ordonnance du même nom du 15 août 2018 (RS 142.205), la contribution des étrangers à l'intégration se manifeste notamment par le respect de l'ordre juridique et des valeurs de la Constitution fédérale (let. a), par l'apprentissage de la langue nationale parlée sur le lieu de domicile (let. b), par la connaissance du mode de vie suisse (let. c) et par la volonté de participer à la vie économique et d'acquérir une formation (let. d). L'adverbe "notamment", qui est employé tant à l'ancien art. 77 al. 4 OASA qu'à l'art. 4 aOIE, illustre le caractère non exhaustif des critères d'intégration qui sont énumérés par ces dispositions et met aussi en exergue le fait que la notion "d'intégration réussie" doit s'examiner à l'aune d'une appréciation globale des circonstances. Dans l'examen de ces critères d'intégration, les autorités compétentes disposent d'un large pouvoir d'appréciation que le Tribunal fédéral ne revoit qu'avec retenue (cf. arrêt 2C_615/2019 du 25 novembre 2019 consid. 5.2 et les références).
5.2. Selon la jurisprudence, il n'y a pas d'intégration réussie lorsque l'étranger n'exerce pas d'activité lucrative qui lui permette de couvrir ses besoins et qu'il dépend des prestations sociales pendant une période relativement longue. A l'inverse, le fait pour une personne de ne pas avoir commis d'infractions pénales et de pourvoir à son revenu sans recourir à l'aide sociale ne permet pas à lui seul de retenir une intégration réussie. Des périodes d'inactivité de durée raisonnable n'impliquent pas forcément une absence d'intégration professionnelle. Il n'est pas indispensable que l'étranger fasse montre d'une carrière professionnelle requérant des qualifications spécifiques; l'intégration réussie au sens de l'art. 50 al. 1 let. a LEtr n'implique en effet pas nécessairement la réalisation d'une trajectoire professionnelle particulièrement brillante au travers d'une activité exercée sans discontinuité. L'essentiel en la matière est que l'étranger subvienne à ses besoins, n'émarge pas à l'aide sociale et ne s'endette pas de manière disproportionnée. L'intégration réussie d'un étranger qui est actif professionnellement en Suisse, dispose d'un emploi fixe, a toujours été financièrement indépendant, se comporte correctement et maîtrise la langue locale ne peut être niée qu'en la présence de circonstances particulièrement sérieuses. L'absence de liens sociaux très étroits en Suisse n'exclut pas non plus d'emblée l'existence d'une intégration réussie, de même que l'absence de vie associative (arrêt 2C_455/2018 du 9 septembre 2018 consid. 4.1 et les références).
Concernant les connaissances d'une langue nationale, il faut que l'étranger puisse se faire comprendre de manière simple dans des situations de la vie quotidienne. Le degré de maîtrise que l'on est en droit d'exiger varie par ailleurs en fonction de la situation socio-professionnelle de l'intéressé. La Cour de céans a en outre retenu qu'il n'était pas possible de tirer sans autre une conclusion négative quant à l'intégration d'un étranger si la présence d'un interprète s'est révélée nécessaire en cours d'audience : une telle circonstance n'est en effet pas incompatible avec l'existence d'une capacité de communication suffisante dans la vie de tous les jours (arrêts 2C_595/2017 du 13 avril 2018 consid. 5.7.2; 2C_861/2015 du 11 février 2016 consid. 5.3 et 5.6.1 et les références). La condition de l'ancien art. 77 al. 4 OASA est remplie si le niveau de maîtrise de la langue équivaut au niveau A1 du Cadre européen commun de référence pour les langues publié par le Conseil de l'Europe (arrêt 2C_861/2015 du 11 février 2016 consid. 5.3 et les références; cf. également l'art. 77 al. 4 OASA, dans sa teneur en vigueur dès le 1er janvier 2019 [RO 2018 3173]).
5.3. En l'espèce, il ressort de l'arrêt attaqué que le recourant a exercé divers emplois depuis son arrivée en Suisse en mai 2013, de manière plus régulière depuis 2015. Depuis octobre 2017, il travaille pour la société de son frère. Les juges cantonaux ne remettent pas en question l'intégration professionnelle en Suisse du recourant. En revanche, ils estiment que son intégration sociale n'est pas réussie. Ils relèvent sur ce point que le recourant, qui séjourne en Suisse depuis 2013, n'a fait aucun effort pour s'intégrer socialement en Suisse, renonçant à apprendre la langue française, avant le préavis du Service de la population du 30 avril 2019. Ils constatent également en sa défaveur sa période de dépendance de l'aide sociale et le fait qu'il n'a noué aucun lien avec des tiers sinon dans le cadre professionnel qui est celui d'une entreprise de sa famille proche. Durant la période de son mariage, il n'a pas non plus développé de contacts à l'extérieur de sa communauté.
Ces éléments parlent clairement en défaveur d'une intégration sociale suffisante. Certes, il ressort de l'arrêt attaqué que le recourant a atteint le niveau A1 en septembre 2019. Toutefois, le recourant semble perdre de vue que l'intégration doit être examinée sur la base d'une appréciation globale des circonstances et, en l'espèce, l'accomplissement d'efforts tardifs pour apprendre la langue française, de même que pour rembourser l'aide sociale perçue ne saurait être déterminant. Sur ce point, le parallèle que fait le Tribunal cantonal avec l'arrêt 2C_725/2019 du 12 septembre 2019 est, contrairement à ce que soutient le recourant, pertinent. En effet, dans ce cas également, le recourant n'a entrepris des démarches pour apprendre le français qu'après avoir été contraint et forcé de le faire pour ne pas perdre son titre de séjour. Le fait que les cours de langue aient été pris dans ce cas après le prononcé de la décision de refus de la prolongation de l'autorisation de séjour, alors que dans la présente cause, ils l'ont été après le préavis n'est pas déterminant. Dans les deux cas de figure, l'absence de démarches effectuées pour apprendre le français, après plusieurs années passées en Suisse, révèle un désintérêt marqué pour une recherche d'intégration dans ce pays. Dans le présent cas, ce désintérêt se manifeste également dans l'absence de liens noués par le recourant avec des gens extérieurs à sa communauté d'origine. Ce défaut de volonté d'intégration, manifesté pendant environ six ans, ne saurait être contrebalancé par l'intégration professionnelle du recourant, ni par ses efforts tardifs pour apprendre le français et rembourser l'aide sociale. Dans ces circonstances, l'absence d'antécédents pénaux ne saurait être décisive.
Sur le vu de l'ensemble de ce qui précède, l'autorité précédente n'a pas excédé ou abusé de son pouvoir d'appréciation en retenant que l'intégration en Suisse du recourant n'était pas réussie au sens de l'art. 50 al. 1 let a LEtr.
6.
Enfin, lorsqu'il est constaté, comme en l'espèce, que le recourant ne peut pas prétendre à un droit à séjourner en Suisse après la dissolution de la famille, l'examen de la proportionnalité tombe et le recourant ne peut dès lors pas prétendre à pouvoir séjourner en Suisse en invoquant ce principe. Le recourant se réfère dès lors en vain à l'existence de mesures moins contraignantes.
7.
Le recours doit ainsi être rejeté. Le recourant, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 16 novembre 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : de Chambrier