Faits :
A.
A._, ressortissant du Kosovo né en 1988, vivrait en Suisse depuis 2011, selon ses indications. Il n'a pas annoncé son arrivée aux autorités.
Le 3 septembre 2014, le Ministère public de l'arrondissement de Lausanne a condamné A._ à une peine pécuniaire de 150 jours-amende, avec sursis pendant deux ans, et à une amende de 500 francs, pour entrée et séjour illégaux entre le 5 avril 2011 et le 5 juillet 2014 et activité lucrative sans autorisation entre le 5 janvier et le 5 juillet 2014.
Le 2 juin 2015, A._ s'est marié avec B._, ressortissante suisse. Le couple a emménagé ensemble et A._ a été mis au bénéfice d'une autorisation de séjour, valable cinq ans.
Le 9 janvier 2018, le Ministère public de l'arrondissement de l'Est vaudois a condamné A._ à une peine pécuniaire de 30 jours-amende et à une amende de 300 francs, pour conduite d'un véhicule automobile sans permis de conduire et contravention à l'ordonnance réglant l'admission à la circulation routière.
Par ordonnances pénales rendues respectivement le 7 septembre 2018 et le 30 août 2019, A._ a été condamné à deux reprises par le Ministère public de l'arrondissement de l'Est vaudois à une peine pécuniaire de 30 jours-amende, pour conducteur se trouvant dans l'incapacité de conduire (véhicule automobile, taux d'alcoolémie qualifié).
A._ et B._ ont cessé de faire ménage commun depuis, au plus tard, le mois de septembre 2018. Auparavant, leur mariage avait été ponctué de plusieurs séparations.
Durant la période allant du 15 mars 2017 au 9 décembre 2020, des actes de défaut de biens ont été délivrés contre A._ pour quelque 23'000 francs et des poursuites ouvertes à son encontre pour plus de 100'000 francs.
B.
Par décision du 14 juin 2021, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a refusé de prolonger l'autorisation de séjour de A._ et a prononcé son renvoi de Suisse, en lui impartissant un délai de 30 jours pour quitter le territoire.
Par décision sur opposition du 20 juillet 2021, le Service cantonal a rejeté l'opposition déposée par A._ contre la décision du 14 juin 2021 et a prolongé le délai initialement imparti pour qu'il quitte la Suisse au 23 août 2021.
Par arrêt du 10 janvier 2022, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours formé par A._ à l'encontre de la décision sur opposition du 20 juillet 2021 et a invité le Service cantonal à impartir un nouveau délai de départ à l'intéressé.
C.
A._ dépose un recours en matière de droit public devant Tribunal fédéral. Il demande, outre l'octroi de l'effet suspensif, la réforme de l'arrêt du 10 janvier 2022 en ce sens que son autorisation de séjour est prolongée et, subsidiairement, l'annulation de l'arrêt entrepris et le renvoi de la cause à l'autorité précédente pour nouvelle décision.
Par ordonnance du 11 février 2022, la Présidente de la IIe Cour de droit public du Tribunal fédéral a accordé l'effet suspensif au recours.
Le Tribunal cantonal se réfère aux considérants de l'arrêt attaqué. Le Service cantonal renonce à déposer des observations. Le Secrétariat d'Etat aux migrations ne se détermine pas.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1).
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable à l'encontre des décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. En l'espèce, le recourant invoque l'art. 50 al. 1 let. a LEI (RS 142.20) et fait ainsi valoir de manière défendable l'éventualité d'un droit de séjour en Suisse. Le recours en matière de droit public est partant recevable, étant rappelé que le point de savoir si le recourant dispose effectivement d'un droit à la prolongation de son autorisation de séjour relève du fond et non de la recevabilité (cf. <ref-ruling> consid. 1.1).
1.2. Pour le reste, le recours, dirigé contre une décision finale (<ref-law>) rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF), a été déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par le destinataire de l'arrêt attaqué, qui a qualité pour recourir (cf. <ref-law>). Il convient donc d'entrer en matière, sous réserve de ce qui suit.
1.3. Dans son mémoire, le recourant soutient que le Service cantonal a violé son droit d'être entendu dans sa décision sur opposition du 20 juillet 2021. Ce grief est irrecevable, en raison de l'effet dévolutif complet du recours au Tribunal cantonal (<ref-ruling> consid. 1.2).
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF). Toutefois, les griefs de violation des droits fondamentaux sont soumis à des exigences de motivation accrue (cf. <ref-law>). La partie recourante doit indiquer les principes constitutionnels qui n'auraient pas été respectés et expliquer de manière claire et précise en quoi ces principes auraient été violés (<ref-ruling> consid. 3; <ref-ruling> consid. 2.1; <ref-ruling> consid. 1.3).
2.2. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3). La partie recourante ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 2; <ref-ruling> consid. 6). Conformément à l'<ref-law>, la partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 2; <ref-ruling> consid. 5.1).
2.3. Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (<ref-law>). Cette exception vise les faits qui sont rendus pertinents pour la première fois par la décision attaquée; peuvent en particulier être allégués des faits nouveaux concernant le déroulement de la procédure devant l'instance précédente, afin d'en contester la régularité, ou encore des faits postérieurs à l'arrêt attaqué permettant d'établir la recevabilité du recours. En dehors de ces cas, les nova ne sont pas admissibles, qu'il s'agisse de faits ou moyens de preuve survenus postérieurement à la décision attaquée ou d'éléments que les parties ont négligé de présenter aux autorités cantonales (<ref-ruling> consid. 1.2; <ref-ruling> consid. 3.1.2; <ref-ruling> consid. 4.4.3).
2.4. En l'occurrence, le recourant invoque des faits postérieurs à l'arrêt litigieux fondés sur un certificat médical produit pour la première fois devant le Tribunal fédéral. Il ne sera pas tenu compte de ces faits, ceux-ci ne remplissant pas les conditions exposées ci-dessus. En outre, à l'appui de son raisonnement juridique, le recourant présente sa propre vision des faits qui diverge sur plusieurs points de l'état de fait retenu par le Tribunal cantonal. En tant que les faits ainsi allégués ne sont pas constatés dans l'arrêt attaqué, sans que le recourant ne s'en plaigne de manière circonstanciée, il n'en sera pas tenu compte. Seuls les griefs suffisamment motivés en lien avec l'établissement des faits par le Tribunal cantonal seront donc examinés (cf. infra consid. 4).
3.
Le recourant se plaint d'une violation du droit d'être entendu garanti par l'art. 29 Cst., en particulier du droit à une décision motivée.
3.1. L'autorité viole le droit d'être entendu découlant de l'art. 29 al. 2 Cst. lorsqu'elle ne respecte pas son obligation de motiver ses décisions afin que le justiciable puisse les comprendre et exercer ses droits de recours à bon escient. Pour satisfaire à cette exigence, il suffit que l'autorité mentionne au moins brièvement les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision. Elle n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à ceux qui, sans arbitraire, peuvent être tenus pour pertinents (<ref-ruling> consid. 4.2; <ref-ruling> consid. 3.2.1; <ref-ruling> consid. 5.1; <ref-ruling> consid. 3.2). L'essentiel est que la décision indique clairement les faits qui sont établis et les déductions juridiques qui sont tirées de l'état de fait déterminant (<ref-ruling> consid. 4.2; <ref-ruling> consid. 8.2).
3.2. En l'espèce, le recourant reproche au Tribunal cantonal d'avoir violé l'art. 29 al. 2 Cst., en ne motivant pas à satisfaction pourquoi il considérait qu'une convention d'intégration ou un renouvellement provisoire de son autorisation de séjour n'étaient pas envisageables en l'espèce. Il ressort du mémoire de recours cantonal déposé devant l'instance précédente que le recourant a relevé la possibilité de conclure une convention d'intégration ou de lui octroyer une autorisation provisoire soumise à réévaluation, dans un grief en lien avec la violation du principe de la proportionnalité découlant des art. 96 LEI et 8 par. 2 CEDH. Or, dans l'arrêt attaqué (consid. 5), les juges cantonaux ont examiné ce que le recourant pouvait déduire en l'espèce de ces dispositions. Partant, on ne perçoit pas de violation du droit d'être entendu sur ce point, ce d'autant plus que le recourant ne prétend pas que l'instance précédente aurait arbitrairement refusé de traiter un grief déterminant pour l'issue du litige.
Le recourant reproche également au Tribunal cantonal de ne pas avoir suffisamment motivé pourquoi il a estimé que le Service cantonal n'avait pas violé le droit d'être entendu, en n'examinant pas dans le détail la pertinence d'une convention d'intégration. Il ressort de l'arrêt attaqué (consid. 2.b) que les juges cantonaux ont considéré que le Service cantonal avait traité l'opportunité d'une convention d'intégration de manière implicite, en estimant que la situation particulière du recourant ne permettait pas de considérer que ce dernier était bien intégré en Suisse. Dans ce contexte, une convention d'intégration n'était pas pertinente. Dans la mesure où la motivation de l'arrêt attaqué permet sans difficulté de comprendre le raisonnement qui a conduit l'autorité précédente à considérer que le Service cantonal n'avait pas violé le droit d'être entendu du recourant, on ne voit pas en quoi l'arrêt attaqué serait contraire au droit à une décision motivée découlant de l'art. 29 al. 2 Cst.
Partant, le grief de violation du droit d'être entendu est infondé.
4.
Le recourant se plaint d'un établissement arbitraire des faits et d'une appréciation insoutenable des preuves.
4.1. Il y a arbitraire (art. 9 Cst.) dans l'établissement des faits ou l'appréciation des preuves si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (cf. <ref-ruling> consid. 1.3.1; <ref-ruling> consid. 3.6.2). Le recourant ne peut pas se borner à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont arbitraires (<ref-ruling> consid. 1.4.3).
4.2. Le recourant soutient que le Tribunal cantonal aurait dû constater que son union conjugale avec B._ avait duré plus de trois ans. A l'appui de son grief, le recourant développe sa propre version des faits et des éléments de preuve qu'il tient pour concluants, en opposant son appréciation à celle développée par l'instance précédente, ce qui ne saurait suffire à faire tenir cette dernière pour arbitraire. En outre, la durée de l'union conjugale du recourant avec son épouse n'est pas déterminante pour l'issue du litige (cf. infra consid. 6.2). Partant, cette critique est infondée.
Le Tribunal fédéral statuera donc exclusivement sur la base des faits retenus par le Tribunal cantonal.
5.
Le 1 er janvier 2019 est entrée en vigueur une révision de la loi fédérale sur les étrangers du 16 décembre 2005 (anciennement LEtr), devenue la loi sur les étrangers et l'intégration (LEI; RO 2017 6521). Conformément à la règle générale posée à l'art. 126 al. 1 LEI, c'est le nouveau droit matériel qui est applicable en la cause, dès lors que le Service cantonal a informé le recourant de son intention de ne pas prolonger son autorisation de séjour en décembre 2020 (cf. arrêt 2C_586/2020 du 26 novembre 2020 consid. 3.1 et les arrêts cités).
6.
Le recourant invoque une violation des art. 50 al. 1 let. a et 58a LEI. Il considère que le Tribunal cantonal a retenu à tort que son union conjugale avec son épouse avait duré moins de trois ans et qu'il n'était pas intégré.
6.1. Selon l'art. 50 al. 1 let. a LEI, après dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 LEI subsiste si l'union conjugale a duré au moins trois ans et que les critères d'intégration définis à l'art. 58a LEI sont remplis. Ces deux conditions sont cumulatives (<ref-ruling> consid. 3.8; <ref-ruling> consid. 3.3.3).
6.2. En l'occurrence, il ressort de l'arrêt attaqué que l'on peut sérieusement douter du fait que la vie commune du recourant avec son épouse aurait duré plus de trois ans. Comme l'a retenu à juste titre le Tribunal cantonal, ce point n'est cependant pas déterminant en l'espèce et peut demeurer indécis, dans la mesure où le recourant n'est, dans tous les cas, pas suffisamment intégré.
6.3. Selon l'art. 58a al. 1 LEI, auquel se réfère l'art. 50 al. 1 let. a LEI, pour évaluer l'intégration de l'étranger, l'autorité compétente tient compte des critères suivants: le respect de la sécurité et de l'ordre publics (let. a), le respect des valeurs de la Constitution (let. b), les compétences linguistiques (let. c) et la participation à la vie économique ou l'acquisition d'une formation (let. d). Les art. 77a ss OASA (RS 142.201; en vigueur depuis le 1er janvier 2019) concrétisent ces critères d'intégration (cf. arrêt 2C_667/2020 du 19 octobre 2021 consid. 2.2, destiné à la publication).
En vertu de l'art. 77a OASA, il y a notamment non-respect de la sécurité et de l'ordre publics au sens de l'art. 58a al. 1 LEI lorsque la personne concernée viole des prescriptions légales ou des décisions d'une autorité. Selon la jurisprudence rendue sous l'empire de l'ancien droit qui garde sa pertinence pour l'interprétation du nouveau droit (cf. arrêt 2C_342/2021 du 20 septembre 2021 consid. 6.2), des condamnations pénales mineures n'excluent pas forcément d'emblée la réalisation de l'intégration (arrêts 2C_935/2021 du 28 février 2022 consid. 5.1.2; 2C_342/2021 du 20 septembre 2021 consid. 6.2; 2C_541/2019 du 22 janvier 2020 consid. 3.4.1 et les arrêts cités).
A teneur de l'art. 77e OASA, une personne participe à la vie économique lorsque son revenu, sa fortune ou des prestations de tiers auxquelles elle a droit lui permettent de couvrir le coût de la vie et de s'acquitter de son obligation d'entretien. Selon la jurisprudence, une intégration réussie n'implique pas nécessairement la réalisation d'une trajectoire professionnelle particulièrement brillante au travers d'une activité exercée sans discontinuité. L'essentiel en la matière est que l'étranger subvienne à ses besoins, n'émarge pas à l'aide sociale et ne s'endette pas de manière disproportionnée (arrêts 2C_935/2021 du 28 février 2022 consid. 5.1.2; 2C_822/2019 du 9 juin 2020 consid. 3.3 et les arrêts cités). L'impact de l'endettement dans l'appréciation de l'intégration d'une personne dépend du montant des dettes, de leurs causes et du point de savoir si la personne les a remboursées ou s'y emploie de manière constante et efficace (arrêts 2C_935/2021 du 28 février 2022 consid. 5.1.2; 2C_725/2019 du 12 septembre 2019 consid. 7.2 et les arrêts cités).
La jurisprudence a précisé que l'évaluation de l'intégration d'un étranger devait s'examiner à l'aune d'une appréciation globale des circonstances (arrêt 2C_342/2021 du 20 septembre 2021 et les références citées).
6.4. En l'espèce, il ressort des faits retenus par le Tribunal cantonal, qui lient le Tribunal fédéral (<ref-law>), que le recourant parle et comprend le français et qu'une vingtaine de personnes ont témoigné, par des lettres de soutien, sa bonne intégration sociale. En outre, l'intéressé a travaillé régulièrement depuis l'obtention de son autorisation de séjour. Ces éléments dénotent la volonté du recourant d'être actif professionnellement et plaident en faveur de sa intégration. Ils sont cependant largement contrebalancés par sa situation financière, comme l'a relevé à juste titre le Tribunal cantonal. En effet, durant la période allant du 15 mars 2017 au 9 décembre 2020, des actes de défaut de biens ont été délivrés contre le recourant pour quelque 23'000 francs et des poursuites ouvertes à son encontre pour plus de 100'000 francs. Percevant un salaire mensuel de 3'864 francs brut, 13e salaire et jours fériés en sus, le recourant est endetté de manière disproportionnée par rapport à ses revenus. En outre, une part importante de ses dettes sont des dettes fiscales ou des montants dus à l'assurance-maladie, soit des obligations légales qui incombent à toute personne vivant en Suisse (arrêt 2C_935/2021 du 28 février 2022 consid. 5.2). Certes, le recourant déploie des efforts depuis trois ans pour rembourser ses dettes. Il s'est ainsi acquitté de 5'859.35 francs en 2019, 2'900 francs en 2020 et 12'822.50 francs en 2021. Ce remboursement ne saurait pour autant être qualifié de constant et d'efficace, car les versements sont irréguliers tant dans leur fréquence que leur quotité, mais surtout parce que le recourant continue à contracter de nouvelles dettes en parallèle. En effet, il ressort de l'extrait du registre des poursuites daté du 9 décembre 2020 qui figure au dossier (<ref-law>) que le recourant s'est vu notifier de nouveaux commandements de payer pour un montant total supérieur à 10'000 francs durant l'année 2019, ainsi que durant l'année 2020. Les remboursements effectués par le recourant pendant ces années n'étaient donc pas suffisants pour absorber les nouvelles dettes contractées et encore moins pour assainir sa situation financière. En conséquence, l'endettement du recourant est un élément qui plaide sérieusement en sa défaveur. Il en va de même de ses quatre condamnations pénales. Le recourant a en effet été condamné en 2014 pour entrée et séjour illégaux en Suisse et activité lucrative sans autorisation, ainsi qu'en 2018 et 2019 pour conduite sans permis de conduire et, à deux reprises, pour conduite en état d'ébriété. Ces infractions commises récemment, dont on ne saurait relativiser l'importance, et le fait que le recourant a récidivé s'agissant de la conduite en état d'ébriété démontrent un non-respect de la sécurité et de l'ordre publics suisses.
Dans ces circonstances, nonobstant quelques facteurs favorables au recourant, force est d'admettre que l'examen global de l'autorité précédente niant l'intégration réussie de l'intéressé ne prête pas le flanc à la critique. Le grief de violation de l'art. 50 al. 1 let. a LEI doit donc être rejeté.
6.5. L'arrêt 2C_352/2014 du 18 mars 2015 cité par le recourant ne permet pas d'arriver à une conclusion contraire. En effet, dans cette affaire, le requérant qui parlait le français, l'allemand et le suisse-allemand et qui bénéficiait d'un emploi, remboursait de manière régulière et conséquente ses dettes, sans en contracter de nouvelles. En outre, le requérant était respectueux de l'ordre juridique suisse, dans la mesure où la seule condamnation pénale dont il avait fait l'objet datait de plus de dix ans. Dans ces circonstances qui diffèrent sur des points fondamentaux de celles du cas d'espèce, le Tribunal fédéral a considéré que le requérant était intégré au sens de l'art. 50 al. 1 let. a LEI (anciennement LEtr). Le recourant ne peut rien déduire en sa faveur de cette jurisprudence.
7.
Le recourant soutient encore que l'arrêt entrepris violerait l'art. 96 LEI et l'art. 8 CEDH en tant qu'il garantit le droit à la vie privée, ces deux dispositions devant être appréhendées simultanément.
7.1. La jurisprudence récente rendue en lien avec le droit à la vie privée découlant de l'art. 8 par. 1 CEDH exige que l'étranger ait résidé légalement en Suisse depuis plus de dix ans, ou, si la durée de la résidence est inférieure à dix ans, avoir fait preuve d'une forte intégration, pour se prévaloir de manière soutenable du droit au respect de la vie privée garanti par l'art. 8 CEDH. Dans ce dernier cas, la durée, bien qu'inférieure à dix ans, doit néanmoins pouvoir être qualifiée de longue (<ref-ruling> consid. 3.9; arrêt 2C_1051/2021 du 11 mars 2022 consid. 6.1).
Une ingérence dans l'exercice du droit au respect de la vie privée garanti par l'art. 8 par. 1 CEDH est possible aux conditions de l'art. 8 par. 2 CEDH. L'examen de la proportionnalité imposé par cette disposition se confond avec celui prévu par l'art. 96 al. 1 LEI (cf. arrêt 2C_1047/2021 du 20 janvier 2022 consid. 7.1 et les références citées).
7.2. En l'occurrence, il ressort de l'arrêt litigieux (<ref-law>) que le recourant a séjourné légalement en Suisse durant 5 ans et qu'il ne peut pas se prévaloir d'une forte intégration. En effet, comme précédemment exposé (cf. supra consid. 6.4), la situation d'endettement et les antécédents pénaux de l'intéressé ne permettent pas d'admettre l'existence d'une intégration réussie. Dans ce contexte, le refus de prolonger l'autorisation de séjour du recourant n'est pas constitutif d'une atteinte au droit au respect de la vie privée garanti par l'art. 8 par. 1 CEDH. En l'absence d'une ingérence dans l'exercice du droit au respect de la vie privée, l'examen de la proportionnalité tombe.
Partant, ce grief est infondé.
8.
Sur le vu de ce qui précède, le recours en matière de droit public est rejeté, dans la mesure où il est recevable.
Le recourant, qui succombe, doit supporter les frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 6 avril 2022
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
La Présidente : F. Aubry Girardin
Le Greffier : A. Wiedler