Faits :
A.
A.a. Le 22 avril 2014, A._, ressortissant kosovar né en 1973, a épousé au Portugal une ressortissante de ce pays, titulaire d'une autorisation de séjour UE/AELE en Suisse. L'intéressé a été mis au bénéfice d'une autorisation de séjour au titre du regroupement familial à la suite de son arrivée en Suisse, le 28 juin 2015. Aucun enfant n'est issu de cette union.
Ayant appris que l'épouse de A._ avait quitté la Suisse au mois de mars 2017, l'Office de la population de la ville de Prilly (ci-après: l'Office de la population) a interpellé l'intéressé à ce sujet. Celui-ci a déclaré que son épouse s'était rendue au Portugal pour assister sa mère malade, et qu'elle serait de retour au mois d'août 2017; il a précisé que le couple n'était pas séparé. Interpellé une nouvelle fois en mai 2018, A._ a indiqué que son épouse était "passée à Prilly" au mois de septembre 2017, mais qu'elle n'était plus revenue en Suisse après cela.
L'épouse de A._ n'a jamais donné suite aux convocations de l'Office de la population. Elle n'est en particulier jamais venue retirer la décision de refus d'octroi d'une autorisation d'établissement rendue le 12 décembre 2017 par le Service de la population du canton de Vaud (ci-après: le Service cantonal) qui lui était destinée.
Sans nouvelles de l'intéressée, l'Office de la population a enregistré son départ sans annonce de la Suisse en date du 30 septembre 2017.
Le 15 juillet 2018, A._ a quitté le domicile dans lequel il avait emménagé avec son épouse pour s'installer dans une autre commune.
A.b. Dès son arrivée en Suisse, A._ a été employé en qualité de déménageur, avant d'exercer cette profession en raison individuelle à partir du mois d'avril 2017. Depuis le 1er octobre 2019, l'intéressé exerce en sus, à un taux partiel et variable, une activité d'agent de sécurité, sur la base d'un contrat de travail à durée indéterminée.
B.
Par décision du 3 juin 2020, et après avoir entendu A._, le Service cantonal a révoqué son autorisation de séjour et a prononcé son renvoi de Suisse.
L'intéressé a interjeté recours contre cette décision auprès du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) qui, par arrêt du 22 décembre 2020, a rejeté le recours et confirmé la décision du Service cantonal.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et de dépens, outre l'effet suspensif, de réformer tant l'arrêt du Tribunal cantonal du 22 décembre 2020 que la décision du Service cantonal du 3 juin 2020 en ce sens que son autorisation de séjour est maintenue et que son renvoi de Suisse est révoqué; subsidiairement, d'annuler l'arrêt et la décision précités et de renvoyer la cause au Service cantonal pour nouvelle décision dans le sens des considérants.
Par ordonnance du 25 janvier 2021, la Juge présidant de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif.
Le Tribunal cantonal et le Service cantonal renvoient aux considérants de l'arrêt entrepris et concluent au rejet du recours. Le Secrétariat d'Etat aux migrations ne s'est pas déterminé.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1).
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Le recours en matière de droit public est recevable contre la révocation d'une autorisation qui déploierait ses effets s'il n'y avait pas eu de révocation (cf. <ref-ruling> consid. 1.2.1; arrêt 2C_338/2019 du 28 novembre 2019 consid. 1.1 et les arrêts cités). En l'espèce, il ressort du dossier que l'autorisation de séjour du recourant était censée déployer ses effets jusqu'au 5 février 2022 (<ref-law>), de sorte qu'elle serait encore valable si elle n'avait pas été révoquée. La voie du recours en matière de droit public est partant ouverte.
On relèvera à ce stade que c'est à juste titre que le recourant ne se prévaut pas de l'art. 7 let. d de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681) en relation avec l'art. 3 par. 1 et 2 annexe I ALCP pour prétendre au maintien de son autorisation de séjour, dès lors que son épouse, de laquelle dérive son droit de séjour, n'habite plus en Suisse, si bien que l'ALCP ne lui confère aucun droit à demeurer dans ce pays (cf. <ref-ruling> consid. 3.1 et les arrêts de la Cour de justice de l'Union européenne cités).
1.2. Au surplus, déposé en temps utile compte tenu des féries (art. 46 al. 1 let. c et 100 al. 1 LTF) et dans les formes prescrites par la loi (<ref-law>), par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), le présent recours, dirigé contre une décision finale (<ref-law>) rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>), est recevable, sous réserve de ce qui suit.
1.3. Les conclusions du recourant tendant à la réforme respectivement à l'annulation de la décision du Service cantonal du 3 juin 2020 sont irrecevables en raison de l'effet dévolutif complet du recours au Tribunal cantonal (cf. <ref-ruling> consid. 1.2).
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Il y procède en se fondant sur les faits constatés par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 2; <ref-ruling> consid. 6). La partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées (cf. <ref-law>). A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué, ni des faits qui n'y sont pas constatés (cf. <ref-ruling> consid. 2; <ref-ruling> consid. 1).
2.2. En l'occurrence, en tant que le recourant présente librement sa propre version des faits, en complétant celle de l'arrêt entrepris, comme il le ferait devant une juridiction d'appel, ce que le Tribunal fédéral n'est pas (cf. arrêts 2C_922/2018 du 13 mai 2019 consid. 3; 2C_497/2011 du 15 mars 2012 consid. 3.2 non publié in <ref-ruling>), il n'en sera pas tenu compte. Seuls les griefs relevant des faits motivés en lien avec l'<ref-law> et l'arbitraire seront examinés (cf. infra consid. 4).
3.
Dans un grief formel qu'il convient d'examiner en premier lieu (<ref-ruling> consid. 3), le recourant, invoquant l'art. 29 al. 2 Cst., se plaint d'une violation de son droit d'être entendu sous l'angle d'un défaut de motivation de l'arrêt attaqué. Il reproche en substance à l'autorité précédente d'avoir considéré comme superflu d'examiner, sous l'angle de l'art. 50 al. 1 de la loi fédérale du 16 décembre 2005 sur les étrangers et l'intégration (LEI; RS 142.20), s'il remplissait la condition de l'intégration réussie, au motif que la condition cumulative de l'union conjugale d'une durée minimale de trois ans, au sens de cette disposition, n'était de toute façon pas réalisée.
3.1. Le droit d'être entendu consacré à l'art. 29 al. 2 Cst. comprend l'obligation pour l'autorité de motiver sa décision (<ref-ruling> consid. 6.1 et les arrêts cités). Selon la jurisprudence, il suffit que l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision. Elle n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à ceux qui, sans arbitraire, peuvent être tenus pour pertinents (<ref-ruling> consid. 4.2 et les arrêts cités).
3.2. Dans la mesure où, comme on le verra ci-après (cf. infra consid. 5.2), le recourant ne peut pas se prévaloir de manière pertinente de l'art. 50 LEI, c'est en vain qu'il se se plaint, sous cet angle, d'une violation de son droit d'être entendu pour défaut de motivation de l'arrêt attaqué. Le grief de violation de l'art. 29 al. 2 Cst. est partant rejeté.
4.
Citant l'<ref-law>, le recourant soutient que le Tribunal cantonal a établi de manière manifestement inexacte les faits de la cause en retenant que la communauté familiale avait pris fin au départ définitif de son épouse de Suisse le 30 septembre 2017.
4.1. Selon le recourant, l'union conjugale aurait été maintenue jusqu'au mois de septembre 2018, dès lors qu'il aurait continué à entretenir des contacts réguliers avec son épouse et qu'il avait rendu visite à celle-ci au Portugal les 17 et 18 septembre 2018. Quand bien même il ne disposait plus des messages qu'il aurait échangés avec son épouse depuis son départ définitif de la Suisse, il était selon lui "évident" que, sans de tels contacts, il ne se serait pas rendu au Portugal durant le week-end précité, mais plutôt "dans un endroit neutre". C'était partant de manière arbitraire que les juges précédents avaient considéré qu'il n'avait pas établi le maintien du lien régulier avec son épouse en dépit de l'existence de domiciles séparés.
4.2. L'argumentation du recourant, qui revient à s'en prendre à l'appréciation des preuves par l'autorité précédente, est à la limite de la témérité. D'une part, l'intéressé admet que le départ de son épouse en septembre 2017 avait un caractère définitif, ce qui suffit déjà à exclure le maintien de l'union conjugale après cette date. D'autre part, il soutient que la raison de la séparation du couple, qui serait intervenue au terme de son week-end passé au Portugal, était due à l'absence de perspectives communes du couple en Suisse; or, ce motif était déjà donné à partir du moment où l'épouse avait définitivement quitté la Suisse pour le Portugal. Enfin, on relèvera que le fait, pour le recourant, d'avoir déménagé du domicile conjugal en juillet 2018, soit avant son séjour au Portugal, démontre qu'il n'avait pas l'intention de reprendre la vie commune avec son épouse. Le grief d'arbitraire est donc rejeté.
5.
Le recourant se plaint implicitement de la violation de l'art. 50 al. 1 let. a LEI en lien avec l'art. 49 LEI. Il reproche en substance à l'autorité précédente d'avoir nié l'existence de raisons majeures justifiant l'existence de domiciles séparés dès le 30 septembre 2017 et d'avoir ainsi considéré que l'union conjugale n'avait pas atteint une durée de trois ans. Il se plaint également de la violation de l'art. 50 al. 1 let. b et al. 2 LEI en tant que le Tribunal cantonal a retenu qu'il n'apparaissait pas que la poursuite de son séjour en Suisse s'imposait pour des raisons personnelles majeures au sens de cette disposition.
5.1. Conformément à l'art. 50 al. 1 let. a LEI, après dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité peut subsister notamment lorsque l'union conjugale a duré au moins trois ans, ce qui implique une vie conjugale effective, sous réserve des exceptions mentionnées à l'art. 49 LEI, qui prévoit que l'exigence du ménage commun n'est pas applicable lorsque la communauté familiale est maintenue et que des raisons majeures justifiant l'existence de domiciles séparés peuvent être invoquées. Quant à l'art. 50 al. 1 let. b et al. 2 LEI, il permet au conjoint étranger de demeurer en Suisse après la dissolution de l'union conjugale, lorsque la poursuite de son séjour s'impose pour des raisons personnelles majeures, notamment si sa réintégration sociale dans le pays de provenance semble fortement compromise.
5.2. C'est en vain que le recourant cherche à se prévaloir de la violation de l'art. 50 LEI pour s'opposer à la révocation de son autorisation de séjour.
Selon la jurisprudence, eu égard à l'interdiction de la discrimination de l'<ref-law>, les ex-conjoints de ressortissants de l'UE doivent être traités de la même manière que les ex-conjoints des ressortissants suisses, si bien que l'art. 50 LEI leur est applicable même si leur ex-conjoint - en l'occurrence l'épouse du recourant - n'est titulaire que d'une autorisation de séjour UE/AELE et non pas d'une autorisation d'établissement, pour autant que ce dernier se trouve toujours en Suisse (cf. <ref-ruling> consid. 4.7 et 4.8; arrêt 2C_812/2020 du 23 février 2021 consid. 2.1).
Or, en l'espèce, non seulement l'épouse du recourant n'habite plus en Suisse (cf. supra consid. 1.1 in fine) mais il ressort par ailleurs des constatations non arbitraires de l'arrêt attaqué que celle-ci ne bénéficiait que d'une autorisation de séjour UE/AELE, si bien que cette autorisation s'est automatiquement éteinte six mois après son départ définitif de Suisse, à savoir en mars 2018, conformément à l'art. 61 al. 2 LEI. Dans ces conditions, l'<ref-law> ne s'applique pas et le recourant ne saurait partant invoquer l'art. 50 LEI pour obtenir un droit (dérivé) de poursuivre son séjour en Suisse.
5.3. Pour le reste, dans la mesure où le recourant, en invoquant l'art. 49 LEI, cherche à bénéficier de l'art. 50 al. 1 LEI, sa critique est infondée puisque, comme on vient de le voir, il ne peut obtenir de droit dérivé à une autorisation de séjour sur cette base. De plus, dès lors qu'il ressort des constatations non arbitraires de l'arrêt attaqué (cf. supra consid. 4.2), que la communauté conjugale avait pris fin en septembre 2017, la question d'une raison majeure justifiant l'existence de domiciles séparés au-delà de cette date ne se posait plus.
6.
Le recourant se plaint enfin de la violation de son droit au respect de la vie privée et familiale garanti par l'art. 8 CEDH. Il insiste sur sa bonne intégration en Suisse, sur la relation étroite et effective avec sa soeur de nationalité suisse et vivant dans ce pays, et affirme que la révocation de son autorisation de séjour serait disproportionnée au sens de l'art. 5 al. 2 Cst.
6.1. Il convient d'emblée de relever que l'intéressé ne saurait valablement se prévaloir de l'art. 8 CEDH sous l'angle de la protection de la vie familiale.
Cette protection vise en effet en premier lieu la famille dite nucléaire, c'est-à-dire la communauté formée par les parents et leurs enfants mineurs (cf. <ref-ruling> consid. 6.1 et les arrêts cités). Il est admis qu'un étranger puisse, exceptionnellement et à des conditions restrictives, déduire un droit à une autorisation de séjour de l'art. 8 CEDH s'il existe un rapport de dépendance particulier entre lui et le proche parent (hors famille nucléaire) au bénéfice d'un droit de présence assuré en Suisse, par exemple en raison d'une maladie ou d'un handicap (ibid.). A cet égard, dans la mesure où le recourant n'invoque pas qu'il existerait un quelconque rapport de dépendance particulier entre lui et sa soeur, c'est manifestement en vain qu'il invoque le droit au respect de sa vie familiale pour tenter d'en tirer un droit de séjour en Suisse. L'attachement "dépass[ant] l'ordinaire" qu'il aurait développé avec celle-ci n'y suffi t pas, quoi qu'il en pense.
6.2. Dans un <ref-ruling>, le Tribunal fédéral a précisé et structuré sa jurisprudence relative au droit à une autorisation de séjour fondée sur le droit au respect de la vie privée garanti par l'art. 8 CEDH. Ce droit dépend fondamentalement de la durée de la résidence en Suisse de l'étranger. Lorsque celui-ci réside légalement depuis plus de dix ans en Suisse, ce qui correspond en droit suisse au délai pour obtenir une autorisation d'établissement ou la naturalisation, il y a lieu de partir de l'idée que les liens sociaux qu'il a développés avec le pays dans lequel il réside sont suffisamment étroits pour que la révocation de l'autorisation de rester en Suisse ne doivent être prononcés que pour des motifs sérieux. Lorsque la durée de la résidence est inférieure à dix ans mais que l'étranger fait preuve d'une forte intégration en Suisse - à savoir qu'il fait montre de liens sociaux et professionnels spécialement intenses avec la Suisse, notablement supérieurs à ceux qui résultent d'une intégration ordinaire - il n'est pas exclu que la révocation de l'autorisation de rester en Suisse puisse également porter atteinte au droit au respect de la vie privée (cf. <ref-ruling> consid. 3 et les arrêts cités).
6.3. En l'espèce, il ressort de l'arrêt attaqué que l'intéressé a été mis au bénéfice d'une autorisation de séjour UE/AELE pour s'établir en Suisse en 2015 seulement. Il ne peut donc se prévaloir d'une durée de séjour légal en Suisse de dix ans. Il ne prétend d'ailleurs pas le contraire dans son mémoire. L'arrêt attaqué ne fait pour le reste état d'aucune circonstance particulière qui permettrait de retenir l'existence de liens si intenses en Suisse qu'ils dépasseraient ceux qui résulteraient d'une intégration ordinaire et qui seraient propres à lui conférer un droit de séjour durable. Le Tribunal cantonal a au contraire souligné que l'intéressé ne s'était pas investi dans la vie associative, culturelle ou sociale locale, et qu'il ne s'était créé aucune attache particulièrement étroite avec d'autres personnes que sa soeur. Le fait pour l'intéressé de parler deux langues nationales, d'exercer seul une activité professionnelle en raison individuelle en sus d'une activité salariée à temps partiel, de ne pas émarger à l'aide sociale et de n'avoir pas de dettes, ainsi que de ne pas avoir été condamné pénalement, même s'il plaide en sa faveur, ne suffit pas à démontrer l'intégration remarquable dont il se prévaut (cf. a contrario arrêt 2C_266/2009 du 2 février 2010 consid. 5). Il s'ensuit que le recourant ne peut pas invoquer de manière défendable la protection de la vie privée garantie par l'art. 8 CEDH, si bien que la révocation de son autorisation de séjour ne porte pas atteinte audit droit et que l'examen de la proportionnalité tombe.
6.4. Au surplus, ne pouvant se prévaloir de l'art. 8 CEDH, c'est en vain que le recourant invoque la Recommandation du Comité des Ministres aux Etats membres sur la sécurité de résidence des immigrés de longue durée, qui ne constitue du reste qu'un instrument d'interprétation de la CEDH et qui n'a aucun caractère juridiquement contraignant, ce que l'intéressé admet du reste lui-même.
7.
Les considérants qui précèdent conduisent au rejet du recours en matière de droit public dans la mesure où il est recevable. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure de sa recevabilité.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Service de la population du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et au Secrétariat d'Etat aux migrations.
Lausanne, le 7 mai 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Rastorfer