Faits :
A.
A._ est un ressortissant kosovar né en 1965. Il a commencé à travailler régulièrement en Suisse depuis 2005 au moins comme ouvrier viticole. L'extrait du compte individuel de la Caisse cantonale vaudoise de compensation AVS de A._ mentionne les périodes d'activité et salaires suivants au service de B._ à C._ :
- mai à octobre 2005 pour un salaire de 18'330 fr.;
- avril à septembre 2006 pour un salaire de 18'330 fr.;
- janvier à septembre 2006 pour un salaire de 24'832 fr.;
- avril à décembre 2008 pour un salaire de 7'921 fr.;
- mars à décembre 2009 pour un salaire de 37'000 fr.;
- mars à juillet, puis octobre à décembre 2010 pour un salaire de 40'000 fr.;
- janvier à décembre 2011 pour un salaire de 55'000 fr.;
- janvier à décembre 2012 pour un salaire de 47'900 fr.;
- janvier à décembre 2013 pour un salaire de 52'513 fr.;
- janvier à décembre 2014 pour un salaire de 52'247 fr.;
- janvier à décembre 2015 pour un salaire de 46'623 fr.
A.a. Sur la base d'un contrat de durée indéterminée conclu avec B._ et débutant le 4 juin 2015, A._ s'est vu délivrer le 1 er juin 2015 une autorisation de séjour UE/AELE d'une durée de cinq ans, après s'être légitimé au moyen d'une pièce d'identité slovène.
A.b. Le 19 juin 2017, le Service de la population de l'Etat de Vaud (ci-après: le Service cantonal), soupçonnant que la pièce d'identité slovène précitée était un faux document, a chargé la Police cantonale de vérifier son authenticité. Un rapport d'investigation du 11 septembre 2017 a confirmé que la pièce d'identité slovène était un document falsifié. Entendu à ce sujet par la Police cantonale le 13 novembre 2017, A._ a confirmé que la pièce d'identité était fausse.
Par ordonnance pénale du 11 avril 2018, le Ministère public de l'arrondissement de l'Est vaudois a condamné A._ à une peine privative de liberté de 90 jours-amende, avec sursis pendant deux ans, ainsi qu'à une amende de 600 fr. pour comportement frauduleux à l'égard des autorités, faux dans les certificats et usage abusif de permis et de plaques. Selon cette ordonnance, A._ n'a en revanche pas été condamné pour être entré, avoir séjourné et travaillé de manière illégale en Suisse, dès lors qu'il disposait d'un permis de séjour en Slovénie authentique (<ref-law>).
B.
Dans l'intervalle, par décision du 4 avril 2018, le Service cantonal a révoqué l'autorisation de séjour de l'intéressé et prononcé son renvoi de Suisse, considérant qu'il avait fait des fausses déclarations et dissimulé des faits essentiels durant la procédure d'autorisation.
Par arrêt du 5 mars 2019, la Cour de droit administratif et public du Tribunal cantonal de l'Etat de Vaud (ci-après: le Tribunal cantonal) a rejeté un recours interjeté par A._ contre la décision précitée et confirmé celle-ci.
C.
A._ (ci-après: le recourant) dépose un recours en matière de droit public ainsi qu'un recours constitutionnel subsidiaire contre l'arrêt du Tribunal cantonal du 5 mars 2019.
Outre l'octroi de l'effet suspensif à son recours, il conclut à la réforme de l'arrêt attaqué en ce sens que l'autorisation de séjour UE/AELE qui lui a été octroyée le 1 er juin 2015 ne soit pas révoquée, que la décision de renvoi prononcée à son encontre soit annulée et qu'il soit autorisé à séjourner et à travailler en Suisse et dans l'UE/AELE. À titre subsidiaire, il demande l'annulation de la révocation de l'autorisation de séjour prononcée par le Service cantonal le 4 avril 2018, ainsi que l'autorisation de séjourner et de travailler en Suisse et dans l'UE/AELE. Le recourant demande enfin, à titre plus subsidiaire encore, son admission provisoire en Suisse, respectivement l'annulation de l'arrêt attaqué et le renvoi de la cause au Tribunal cantonal ou au Service cantonal pour que ces autorités rendent une nouvelle décision dans le sens des considérants, après avoir procédé à son audition et à celle d'autres témoins, ainsi qu'après avoir pris connaissance de l'ordonnance pénale rendue le 11 avril 2018.
Le Président de la Cour de céans a admis la requête d'effet suspensif.
A l'instar du Service cantonal, le Tribunal cantonal a renoncé à se déterminer sur le recours, rappelant uniquement ne pas être lié par la renonciation du Ministère public à prononcer l'expulsion du recourant. Le Secrétariat d'Etat aux migrations (SEM) ne s'est pour sa part pas déterminé.
Par décision du 11 juillet 2019, le Président de la Cour de céans a suspendu la procédure, sur requête du recourant. Celui-ci déclarait avoir été victime d'un accident vasculaire cérébral et avoir déposé une demande de réexamen auprès de Service cantonal. Celle-ci ayant été rejetée le 5 septembre 2019, le Juge présidant a ordonné la reprise de la procédure par ordonnance du 11 septembre 2019.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 58).
1.1. En vertu de l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Le recours en matière de droit public est recevable contre la révocation d'une autorisation qui déploierait ses effets s'il n'y avait pas eu de révocation (cf. <ref-ruling> consid. 1.2.1 p. 4; arrêts 2C_1004/2018 du 11 juin 2019 consid. 1.1; 2C_44/2017 du 28 juillet 2017 consid. 1.1; 2C_439/2016 du 31 mai 2016 consid. 2). En l'espèce, l'autorisation de séjour du recourant est censée déployer ses effets jusqu'au 31 mai 2020 (<ref-law>), de sorte qu'elle serait encore valable si elle n'avait pas été révoquée. La voie du recours en matière de droit public est partant ouverte. Il en découle que le recours constitutionnel subsidiaire est irrecevable sur ce point (<ref-law> a contrario).
Au surplus, le recours est dirigé contre une décision finale (<ref-law>) rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF); il a été déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>) par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). Par conséquent, il y a lieu d'entrer en matière, sous les réserves qui suivent.
1.2. Compte tenu de l'effet dévolutif complet du recours déposé auprès du Tribunal cantonal (cf. <ref-ruling> consid. 1.2 p. 104), la conclusion subsidiaire du recours tendant à l'annulation de la décision du Service cantonal est irrecevable.
1.3. Le recourant reproche également à l'autorité précédente de ne pas avoir retenu un cas de rigueur au sens de l'art. 30 al. 1 let. b LEI et demande l'octroi d'une admission provisoire. De telles requêtes sont irrecevables dans le cadre du recours en matière de droit public (art. 83 let. c ch. 3 et 5 LTF). Seul un recours constitutionnel subsidiaire serait ouvert. La qualité pour former un tel recours suppose toutefois un "intérêt juridique" à l'annulation ou à la modification de la décision attaquée (<ref-law>). Or, l'art. 30 al. 1 let. b LEI, au vu de sa formulation potestative, ne confère pas au recourant une position juridique protégée pour agir au fond sous cet angle (cf. <ref-ruling> consid. 6.1 p. 197 s.; arrêt 2D_39/2018 du 18 décembre 2018 consid. 1.2), pas plus que la question de l'admission provisoire, qui au demeurant dépasse l'objet du litige. Par ailleurs, le recourant ne fait pas valoir en lien avec ces aspects la violation de ses droits de partie, de sorte qu'il n'y a pas lieu non plus d'entrer en matière sur le recours constitutionnel subsidiaire sous cet angle (cf. arrêt 2C_1009/2018 du 30 janvier 2019 consid. 1.2).
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral contrôle librement le respect du droit fédéral, qui comprend les droits de nature constitutionnelle (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Il conduit son raisonnement juridique sur la base des faits constatés par l'autorité précédente (<ref-law>), hormis dans les cas prévus à l'<ref-law>.
Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (cf. <ref-ruling> consid. 6 p. 358; <ref-ruling> consid. 1.6 p. 377 s.). Conformément à l'<ref-law>, la partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 5.1 p. 356). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
3.
Soulevant un grief de nature formelle qu'il convient d'examiner en premier lieu (<ref-ruling> consid. 3 p. 563), le recourant se plaint de plusieurs violations de son droit d'être entendu consacré à l'art. 29 al. 2 Cst.
3.1. Le recourant reproche tout d'abord au Tribunal cantonal de ne pas l'avoir entendu oralement, ni les différents témoins qu'il avait proposés. Il explique avoir sollicité le témoignage de D._et de E._, ainsi que sa propre audition, afin de prouver la durée du concubinage qu'il entretiendrait avec la première nommée, de même que la "quasi-vie de famille" qu'ils auraient les deux avec la fille de sa compagne. Deux autres témoins, dont l'audition avait également été requise, auraient en outre pu attester de sa bonne intégration et de la durée effective de son séjour en Suisse, respectivement de l'époque où il a commencé de travailler dans le pays.
3.2. Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 2.3 p. 222 s. et les références citées; <ref-ruling> consid. 2.3 p. 282). Les garanties minimales en matière de droit d'être entendu découlant de l'art. 29 al. 2 Cst. ne comprennent en principe pas le droit d'être entendu oralement (<ref-ruling> consid. 5.3 p. 148; <ref-ruling> consid. 2.1 p. 428 s.; arrêt 2C_104/2013 du 27 septembre 2013 consid. 2.2). En outre, l'autorité peut renoncer à procéder à des mesures d'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 6.3.1 p. 299 et les références citées; aussi 141 I 60 consid. 3.3 p. 64).
3.3. En l'occurrence, quand bien même le recourant prétend le contraire, il ne ressort pas du dossier qu'il aurait requis son audition devant le Tribunal cantonal; selon l'arrêt attaqué, il a uniquement demandé l'audition des témoins qu'il avait proposés. En l'absence de toute requête en ce sens, on ne voit pas en quoi le fait que le recourant n'ait pas été entendu oralement par le Tribunal cantonal violerait son droit d'être entendu. Quoi qu'il en soit, à supposer qu'une telle requête ait été formulée, son rejet ne viole de toute manière pas l'art. 29 al. 2 Cst., étant donné que l'intéressé a pu s'exprimer et alléguer les faits qu'il estimait pertinents par écrit dans ses différents mémoires, avant que le Tribunal cantonal ne statue sur sa cause, et qu'il ne démontre pas ce que son audition aurait pu apporter de plus.
3.4. S'agissant des autres personnes dont le recourant a requis le témoignage, l'autorité précédente explique clairement dans son arrêt pourquoi elle ne les a pas auditionnées. Elle a considéré que ces témoignages ne feraient qu'étayer des éléments qui de toute façon étaient déjà établis et non contestés, tel que le fait que le recourant travaillait en Suisse depuis 2005 au moins et qu'il était bien intégré socialement dans le pays. S'agissant de la compagne du recourant, le Tribunal cantonal a de plus constaté qu'elle ne faisait pas ménage commun avec ce dernier, ce que l'intéressé admet dans son recours, et que tous deux n'avaient pas d'enfants communs, ni de projet concret de mariage. Il en découlait que cette relation était de toute manière insuffisante pour fonder un droit au respect de la vie familiale protégé par l'art. 8 CEDH au sens de la jurisprudence.
Ce faisant, le Tribunal cantonal a uniquement procédé à une appréciation anticipée des preuves dénuée d'arbitraire. En effet, l'audition des témoins proposés par le recourant pouvait sans arbitraire être considérée comme non pertinente. S'agissant des liens du recourant avec sa compagne et la fille de celle-ci, le Tribunal cantonal n'en a pas nié la réalité, mais constaté l'absence de ménage commun. Ce point étant déterminant (cf. infra consid. 5.3.2) et non contesté, on ne discerne dès lors pas l'utilité d'une audition de ces personnes. Le Tribunal cantonal avait enfin à disposition les déclarations écrites des autres témoins cités et l'on ne voit pas ce que leur audition aurait pu apporter de plus. Quant à savoir si cette autorité précédente a correctement pris en compte ces témoignages écrits, la question relève de l'appréciation des preuves et sera revue ci-après (cf. infra consid. 4.2).
3.5. Dans ses écritures, le recourant se plaint encore, comme il l'avait fait devant l'autorité précédente, de n'avoir pas pu se déterminer devant le Service cantonal sur l'ordonnance pénale dont il avait fait l'objet le 11 avril 2018. A son avis, l'autorité en question aurait dû attendre que la procédure pénale ouverte à son encontre à la suite de la découverte de ses faux papiers soit terminée avant de prononcer la révocation de son autorisation de séjour.
La procédure en question a en l'occurrence abouti à une ordonnance pénale une semaine après la révocation de l'autorisation de séjour du recourant, laquelle date du 4 avril 2018. Il s'avère toutefois que l'arrêt attaqué a été rendu postérieurement à cette ordonnance, de sorte que le recourant a pu se prévaloir de son contenu devant le Tribunal cantonal. De plus, en prétendant que les autorités cantonales précédentes auraient dû se sentir liées par l'ordonnance pénale et se coordonner avec le ministère public qui avait renoncé à prononcer une expulsion en application du Code pénal, le recourant formule en réalité une critique qui relève de l'application du droit. Elle sera examinée ci-après.
4.
Le recourant reproche ensuite au Tribunal cantonal d'avoir établi les faits de manière manifestement inexacte sur plusieurs points.
4.1. La constatation manifestement inexacte des faits par l'instance précédente se confond avec l'arbitraire (<ref-ruling> consid. 2.4 p. 313 s.). S'agissant de l'appréciation des preuves et des constatations de fait, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.3 p. 266).
4.2. Dans un premier grief en relation avec l'établissement des faits, le recourant reproche au Tribunal cantonal d'avoir retenu dans son arrêt qu'il n'avait jamais démontré avoir séjourné et travaillé en Suisse avant 2005. Il aurait pourtant produit plusieurs déclarations écrites qui attestent d'une présence régulière en Suisse, à tout le moins depuis 1998, étant précisé qu'un tel fait revêt une certaine importance au moment de le pesée des intérêts.
En l'occurrence, parmi les six déclarations écrites datées du mois de juillet 2018 que le recourant a produites devant l'autorité précédente, trois sont l'oeuvre de personnes affirmant connaître l'intéressé et/ou avoir eu l'occasion de travailler avec celui-ci depuis une vingtaine d'années ou plus. Le Tribunal cantonal a ignoré cet élément dans son arrêt. Il semble être parti de l'idée que les déclarations en question servaient avant tout à démontrer la bonne intégration du recourant, laquelle n'était pas remise en question. Ce faisant, il est tombé dans l'arbitraire. Au regard desdites déclarations écrites, il n'était pas possible de retenir que le recourant n'avait pas démontré avoir séjourné en Suisse avant 2005, sans expliquer en quoi les pièces produites devant lui pourraient porter à caution, tout en refusant l'audition de leurs auteurs. Il convient dès lors de rectifier l'état de fait constaté par l'arrêt attaqué en ce sens qu'il est établi que le recourant a séjourné et travaillé en Suisse avant 2005 déjà, à tout le moins irrégulièrement (cf. <ref-law>).
4.3. Le recourant considère enfin que l'autorité précédente aurait omis de retenir d'autres éléments de fait pertinents. Il reproche en particulier aux juges cantonaux d'avoir passé sous silence le fait qu'il était divorcé de longue date de son ex-femme kosovare, que ses enfants, aujourd'hui adultes, avaient chacun leur famille et qu'il était lui-même un travailleur âgé qui avait effectué toute sa carrière professionnelle en Suisse, de sorte que sa reconversion serait très difficile dans son pays d'origine. Par ailleurs, l'arrêt attaqué aurait aussi dû faire état de la relation sentimentale qu'il entretient depuis trois ans avec sa compagne actuelle et tenir compte expressément du fait que l'entier de sa vie sociale et de ses amitiés était en Suisse.
De telles critiques - à supposer qu'elles respectent les exigences de motivation de l'<ref-law> - ne relèvent toutefois pas de l'établissement des faits opéré par l'autorité précédente mais de la pesée des intérêts. Dans son arrêt, l'autorité cantonale précédente n'a en effet pas ignoré les différents éléments de fait mentionnés par le recourant, qui se rapportent tantôt à sa bonne intégration en Suisse, tantôt à son âge, tantôt à sa relation avec sa compagne. Elle a cependant estimé - à tout le moins implicitement - que ces circonstances n'avaient aucune influence déterminante lors de la pesée des intérêts. Savoir s'il conviendrait, comme le demande le recourant, d'accorder plus de poids à ces éléments, sera vérifié ci-après, au moment d'examiner la proportionnalité de la décision attaquée.
5.
Le recourant affirme ensuite que la révocation de son autorisation de séjour violerait plusieurs normes et principe de droit fédéral, comme le principe de proportionnalité (art. 5 al. 2 Cst.), l'interdiction de l'arbitraire (art. 9 Cst.) et son droit au respect de sa vie privée et familiale (art. 8 CEDH). Il soutient également que la décision des autorités pénales de ne pas prononcer son expulsion en application de l'<ref-law> (recte: <ref-law>) lors de sa condamnation pour faux dans les certificats aurait dû lier les autorités administratives.
5.1. L'Accord sur la libre circulation des personnes (ALCP; RS 0.142.112.681) confère en principe aux ressortissants des Etats contractants le droit de séjourner et d'accéder à la vie économique sur le territoire suisse conformément aux dispositions de l'annexe I ALCP (cf. art. 1 let. a et 4 ALCP; cf. <ref-ruling> consid. 1.1 p. 179), ainsi que, à certaines conditions, d'y demeurer après la fin de leur activité économique (cf. <ref-law>). Selon l'art. 23 al. 1 de l'ordonnance du 22 mai 2002 sur l'introduction de la libre circulation des personnes (OLCP; RS 142.203), les autorisations de séjour de courte durée, de séjour et frontalières UE/AELE peuvent cependant être révoquées ou ne pas être prolongées, si les conditions requises pour leur délivrance ne sont plus remplies.
D'après l'art. 62 al. 1 let. a de de la loi fédérale sur les étrangers (LEtr, RS 142.20), intitulée, depuis le 1er janvier 2019, loi fédérale sur les étrangers et l'intégration (LEI, RO 2017 6521), l'autorité compétente peut révoquer une autorisation de séjour d'un étranger lorsque celui-ci ou son représentant légal a fait de fausses déclarations ou a dissimulé des faits essentiels durant la procédure d'autorisation. La présentation d'une pièce de légitimation non valable, en violation de l'art. 13 al. 1 LEI, afin de se faire passer indûment pour un ressortissant d'un Etat partie à l'ALCP et d'obtenir le bénéfice d'une autorisation de séjour fondée sur cet accord, constitue un exemple de fausse déclaration portant sur un fait essentiel et justifiant, sur le principe, la révocation de l'autorisation octroyée (cf. arrêt 2C_732/2018 du 6 décembre 2018 consid. 3.1).
5.2. En l'occurrence, il est établi que le recourant est ressortissant du Kosovo, pays qui n'est pas partie à l'Union européenne, ni à l'AELE, et qu'il s'est servi d'une fausse carte d'identité slovène pour obtenir une autorisation de séjour pour activité lucrative fondée sur l'ALCP dans le but d'obtenir un titre de séjour UE/AELE. L'utilisation d'un tel procédé a d'ailleurs conduit à sa condamnation pour faux dans les certificats et pour comportement frauduleux à l'égard des autorités (<ref-law>, RS 311.0; art. 118 LEI). Force est d'admettre, à l'instar des autorités cantonales précédentes, que cette fausse déclaration constitue à elle seule un motif de révocation de l'autorisation de séjour de l'intéressé en application des <ref-law> et 62 al. 1 let. a LEI. Le recourant se prévaut à cet égard en vain de la nouvelle règle de l'art. 62 al. 2 LEI entrée en vigueur le 1er octobre 2016 (RO 2016 2329). Cette norme interdit de révoquer une autorisation de séjour uniquement en raison d'infractions pour lesquelles le juge pénal aurait déjà condamné l'étranger, tout en renonçant à prononcer une expulsion de Suisse en application des art. 66a et 66abis du Code pénal (CP; RS 311.0). En l'occurrence, le motif de révocation de l'autorisation du recourant repose avant tout sur les fausses déclarations que celui-ci a faites au Service cantonal et sur le fait que, n'ayant pas la nationalité d'un Etat partie à l'ALCP, il ne peut être titulaire d'un titre de séjour UE/AELE. Il ne repose pas directement sur le délit de falsification de certificats préalablement commis afin de corroborer ce mensonge. Ainsi, il importe en l'espèce peu que les autorités pénales n'aient pas prononcé l'expulsion de l'intéressé sur la base du CP (cf. Message du Conseil fédéral du 26 juin 2013 concernant une modification du code pénal et du code pénal militaire [Mise en oeuvre du l'art. 121, al. 3 à 6 Cst. relatif au renvoi des étrangers criminels], FF 2013 5440; Office fédéral de la justice [OFJ], Commentaire de l'ordonnance sur la mise en oeuvre de l'expulsion pénale, Berne, 20 décembre 2016, p. 8, disponible sur www.bj.admin.ch > Sécurité > Projets législatifs terminés > Expulsion d'étrangers criminels, consulté le 4 novembre 2019; aussi, sur la question, arrêt 2C_1154/2018 du 18 novembre 2019 consid. 2.2, destiné à la publication)
5.3. Il reste encore à déterminer si la révocation de l'autorisation de séjour litigieuse respecte le principe de proportionnalité et les droits fondamentaux du recourant. Celui-ci se prévaut en effet de la durée de son séjour en Suisse, de sa bonne intégration dans le pays, des liens qu'il a pu lier avec sa compagne et son employeur - lesquels seraient protégés par l'art. 8 CEDH - ainsi que des difficultés qui l'attendent en cas de retour au Kosovo.
5.3.1. Dans l'<ref-ruling>, après avoir rappelé la position de la Cour européenne des droits de l'homme (ci-après: la CourEDH) sur le droit au respect de la vie familiale et le droit au respect de la vie privée, le Tribunal fédéral a précisé et structuré sa jurisprudence relative au droit à une autorisation de séjour fondée sur l'art. 8 CEDH. Ce droit dépend fondamentalement de la durée de la résidence en Suisse de l'étranger. Lorsque celui-ci réside légalement depuis plus de dix ans en Suisse, ce qui correspond en droit suisse au délai pour obtenir une autorisation d'établissement ou la naturalisation, il y a lieu de partir de l'idée que les liens sociaux qu'il a développés avec le pays dans lequel il réside sont suffisamment étroits pour que le refus de prolonger ou la révocation de l'autorisation de rester en Suisse ne doivent être prononcés que pour des motifs sérieux. Lorsque la durée de la résidence est inférieure à dix ans, mais que l'étranger fait preuve d'une forte intégration en Suisse, le refus de prolonger ou la révocation de l'autorisation de rester en Suisse peut également porter atteinte au droit au respect de la vie privée (<ref-ruling> consid. 3 p. 271 ss et les références; aussi arrêt 2C_398/2019 du 1er mai 2019 consid. 3.1).
5.3.2. En l'occurrence, le recourant a démontré avoir commencé à travailler et à séjourner en Suisse avant 2005 déjà, à tout le moins irrégulièrement (cf. supra consid. 4.2). Cela étant, l'arrêt attaqué n'établit pas à quel titre le recourant séjournait en Suisse à cette époque; il se contente de faire état de l'autorisation de séjour UE/AELE délivrée à partir de 2015. Dans ces circonstances, on pourrait se demander si le recourant peut se prévaloir d'un séjour "légal" de dix ans en Suisse et, sur cette seule base, invoquer valablement la protection de l'art. 8 CEDH. La question peut toutefois rester indécise compte tenu des particularités du cas d'espèce. Dans son arrêt, le Tribunal cantonal a constaté, d'une façon qui lie la Cour de céans (<ref-law>), que le recourant, déclaré auprès des assurances sociales depuis 2005 au moins, avait toujours travaillé au sein de la même région vaudoise, où réside d'ailleurs sa compagne actuelle. L'intéressé peut se prévaloir d'une durée de séjour en Suisse non négligeable et d'une très bonne intégration professionnelle et sociale, ainsi que l'attestent également les différentes déclarations écrites de vignerons-viticulteurs et politiciens locaux habitant la région de domicile du recourant et connaissant pour certains celui-ci depuis plus de 20 ans (cf. <ref-law>). Compte tenu de ces éléments, il faut admettre que le recourant est fortement intégré en Suisse et que la révocation de son titre de séjour ainsi que son renvoi de Suisse porteraient atteinte à son droit au respect de sa vie privée garanti par l'art. 8 CEDH.
Comme le recourant peut se prévaloir de l'art. 8 CEDH sous l'angle du respect de sa vie privée, il n'est pas nécessaire d'examiner plus avant si la relation qu'il entretient avec sa compagne est protégée par le droit au respect de la vie familiale, également couvert par la disposition précitée. Il est du reste douteux qu'il faille répondre positivement à cette question. Les relations entre personnes non mariées ne bénéficient en principe que restrictivement de la protection de cette disposition, à savoir uniquement si, par leur nature et leur stabilité, elles peuvent être assimilées à une véritable union conjugale (cf. <ref-ruling> consid. 2.5 p 270 s. et références citées). Tel n'est apparemment pas le cas de celle du recourant et de son amie, dès lors qu'ils n'ont pas d'enfant ou de ménage commun, ni de projet concret de mariage. L'intérêt du recourant à vivre dans le même pays que sa compagne sera quoi qu'il en soit pris en compte dans l'examen de proportionnalité de l'arrêt attaqué.
5.3.3. Une ingérence dans l'exercice du droit au respect de la vie privée garanti par l'art. 8 par. 1 CEDH est possible aux conditions de l'art. 8 par. 2 CEDH. L'examen de la proportionnalité imposé par cette disposition se confond avec celui prévu par l'art. 96 al. 1 LEI (cf. arrêts 2C_20/2019 du 13 mai 2019 consid. 7.2; 2C_158/2019 du 12 avril 2019 consid. 5.2 et 2C_151/2019 du 14 février 2019 consid. 5.2).
De jurisprudence constante, la question de la proportionnalité du non-renouvellement ou de la révocation d'une autorisation de séjour doit être tranchée au regard de toutes les circonstances du cas d'espèce. Dans ce cadre, il y a lieu de prendre en considération la gravité de l'éventuelle faute commise par l'étranger, son degré d'intégration, la durée de son séjour en Suisse et les conséquences d'un renvoi (cf. <ref-ruling> consid. 2.4 p. 149; arrêts 2C_20/2019 du 13 mai 2019 consid. 7.3; 2C_158/2019 du 12 avril 2019 consid. 5.3 et 2C_633/2018 du 13 février 2019 consid. 7.1). S'agissant en particulier de la durée du séjour et de la bonne intégration d'un étranger en Suisse, le Tribunal fédéral considère que leur importance doit en principe être relativisée dès lors que la présence dans le pays a été rendue possible par de fausses déclarations faites aux autorités et, partant, par un comportement contraire à l'ordre public suisse (cf. arrêts 2C_261/2018 du 7 novembre 2018 consid. 5.2 et 2C_176/2018 du 11 septembre 2018 consid. 5.2). Cependant, le Tribunal fédéral a également souligné, à propos d'une personne résidant dans le pays depuis près de dix ans et jouissant d'une intégration exemplaire, que l'intérêt public à une politique migratoire restrictive ne pouvait pas suffire à lui seul à refuser la continuation du séjour en Suisse (cf. <ref-ruling> consid. 4.3 p. 279 s.).
5.3.4. Il en découle que, sur le principe, la longueur du séjour du recourant en Suisse doit être effectivement relativisée, comme l'a retenu l'autorité précédente dans son arrêt. Cela étant, il s'agit aussi de tenir compte du fait que l'intéressé a certes fourni de faux renseignements aux autorités et leur a présenté des papiers falsifiés, mais en 2015, soit après avoir déjà travaillé de très nombreuses années en Suisse, cotisé aux assurances sociales et n'avoir jamais été condamné pénalement pour séjour et travail illégal. Il convient en outre de garder à l'esprit que l'intéressé a toujours séjourné dans la même région viticole vaudoise et qu'il a été employé durant toutes ces années par les mêmes vignerons-viticulteurs vaudois. S'étant lié d'amitié avec ceux-ci, il s'est créé un réseau social dans le Lavaux. Il entretient par ailleurs depuis quelques années une relation sentimentale durable avec une compagne résidant dans la région. Aussi le recourant a-t-il commencé à s'intégrer dans le pays bien avant qu'il ne prétende à tort être ressortissant slovène en 2015 et qu'il n'opère les fausses déclarations et la falsification de documents d'identité qui lui sont reprochées. Son excellente intégration ne résulte ainsi pas de l'autorisation de séjour UE/AELE obtenue frauduleusement et litigieuse en l'espèce.
A cela s'ajoute que l'intérêt à un renvoi du recourant de Suisse doit être nuancé. L'intéressé a en effet toujours été autonome sur le plan financier; il obtient, selon l'arrêt attaqué, une rémunération annuelle de l'ordre de 50'000 fr. et il n'a pas été constaté qu'il ait déjà été à la charge de l'aide sociale. Il n'a pour le reste pas fait l'objet de condamnation pénale, si l'on excepte celle du 11 avril 2018 pour les actes commis en 2015. Cette condamnation ne concerne toutefois pas des infractions pour lesquelles le Tribunal fédéral se montre particulièrement rigoureux pour évaluer la menace que représente un étranger (cf. notamment arrêt 2C_935/2012 du 14 janvier 2013 consid. 6.2). En trompant le Service cantonal avec de faux papiers, le recourant a principalement porté atteinte au bon déroulement des procédures visant à réguler le flux des travailleurs étrangers. Certes, un tel comportement ne doit pas être minimisé, mais ce seul élément ne saurait constituer un motif suffisant à lui seul pour révoquer un potentiel droit au séjour fondé sur l'art. 8 par. 1 CEDH, dont peut se prévaloir le recourant en l'espèce.
Quant à la possible réintégration du recourant au Kosovo, telle qu'avancée par l'instance inférieure, elle s'avérerait assurément difficile pour l'intéressé compte tenu de son âge et du temps passé à l'étranger, étant précisé que le caractère exigible du retour ne constitue pas non plus un motif valable en soi pour révoquer ou refuser de prolonger un droit au séjour déduit de l'art. 8 CEDH (cf. supra consid. 5.3.1 et 5.3.3).
5.4. Sur le vu des circonstances qui précèdent, eu égard en particulier de la durée du séjour en Suisse du recourant et de sa bonne intégration, il faut reconnaître qu'il n'existe pas d'intérêt public prépondérant justifiant la révocation de l'autorisation de séjour de l'intéressé et le renvoi de celui-ci hors de Suisse, même si son droit au séjour a reposé depuis 2015 sur de fausses déclarations.
Bien que la présente affaire constitue un cas limite, le respect du principe de proportionnalité et la pesée des intérêts imposés aux art. 8 par. 2 CEDH et 96 LEI penchent en faveur de l'intérêt privé de l'intéressé à demeurer dans un pays où il séjourne et travaille depuis 20 ans, où il s'est tissé un réseau social et professionnel important et où réside sa compagne.
6.
Il s'ensuit que le recours doit être admis et l'arrêt du Tribunal cantonal confirmant la révocation du permis de séjour du recourant annulé. Celui-ci conserve dès lors le droit de demeurer en Suisse, quand bien même il n'est pas ressortissant européen. La cause sera renvoyée au Service cantonal afin qu'il tienne compte de la véritable nationalité du recourant et transforme son autorisation de séjour UE/AELE en une autorisation de séjour annuelle ordinaire.
La cause sera pour le reste également renvoyée au Tribunal cantonal pour qu'il statue à nouveau sur les frais et dépens des procédures cantonales antérieures (<ref-law> a contrario).
7.
Le présent arrêt sera rendu sans frais (<ref-law>). Le recourant étant représenté par un avocat, des dépens peuvent lui être alloués à la charge de l'Etat de Vaud (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière de droit public est admis dans la mesure où il est recevable. L'arrêt du Tribunal cantonal du 5 mars 2019 est annulé et la cause est renvoyé au Service cantonal afin qu'il délivre une nouvelle autorisation de séjour au recourant dans le sens des considérants.
3.
Il n'est pas perçu de frais judiciaires.
4.
L'Etat de Vaud versera au mandataire du recourant la somme de 2'500 fr. à titre de dépens.
5.
La cause est renvoyée au Tribunal cantonal pour qu'il statue à nouveau sur les frais et dépens de la procédure menée devant lui.
6.
Le présent arrêt est communiqué au mandataire du recourant, au Service de la population de l'Etat de Vaud, au Tribunal cantonal de l'Etat de Vaud, Cour de droit administratif et public, et au Secrétariat d'Etat aux migrations.
Lausanne, le 28 novembre 2019
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Jeannerat