Faits :
A.
A.a. A._, ressortissant kosovar né en 1990, est entré en Suisse sans autorisation en 2011 et y a séjourné illégalement depuis lors.
A.b. Le 16 juin 2015, le Service de la population du canton de Vaud (ci-après : le Service cantonal) a rendu une décision de renvoi à l'encontre de A._, que ce dernier n'a pas respectée. Le 30 juin 2015, le Secrétariat d'Etat aux migrations a prononcé une mesure d'interdiction d'entrée en Suisse à l'endroit de l'intéressé, valable jusqu'au 29 juin 2020.
A.c. Au mois d'octobre 2016, A._ a sollicité du Service cantonal l'octroi d'une autorisation de séjour en vue de son mariage avec B._, ressortissante suisse née en 1993. Cette dernière faisait l'objet d'une mesure de curatelle de gestion et de représentation et bénéficiait du revenu d'insertion. Dans le cadre de l'instruction de sa demande, le Service cantonal a entendu les fiancés séparément. A._ a déclaré qu'il avait fait la connaissance de sa fiancée pendant l'été 2014, que leur relation avait commencé en 2015, qu'ils passaient trois à quatre jours de la semaine ensemble au domicile de la mère de l'intéressée depuis le début de l'année 2016 et qu'il vivait le reste du temps chez son oncle. B._, pour sa part, a fait état d'une première rencontre avec son fiancé survenue en mars 2016 et a indiqué que ce dernier avait vécu plusieurs jours par semaine avec elle chez sa mère pendant les mois de septembre, octobre et novembre 2016. Elle a précisé qu'elle était hospitalisée depuis le 22 décembre 2016 dans le cadre d'un placement à des fins d'assistance et que son fiancé lui rendait visite tous les jours à l'hôpital. Il l'accompagnait en outre chez sa mère depuis qu'elle était autorisée à s'y rendre les week-ends.
Le 28 avril 2017, la curatelle de gestion et de représentation de B._ a été transformée en curatelle de portée générale en raison d'une incapacité durable de discernement.
Par décision du 1er décembre 2017, le Service cantonal a refusé de délivrer l'autorisation de séjour en vue du mariage requise, compte tenu principalement du risque que le couple tombe à la charge de l'aide sociale. Dans le cadre du recours que A._ a interjeté auprès du Tribunal cantonal du canton de Vaud (ci-après : le Tribunal cantonal), l'intéressé a produit une promesse d'embauche, deux attestations dans lesquelles sa fiancée exprimait sa volonté de se marier et de faire ménage commun avec lui, et un contrat de bail à loyer que l'Office des curatelles et tutelles professionnelles avait signé en faveur de l'intéressée, valable à partir du 23 octobre 2017 pour un appartement de 3,5 pièces. A._ a précisé qu'il était autorisé à passer du temps avec sa fiancée dans ce logement et qu'il envisageait de s'y installer après le mariage avec l'accord de l'Office précité. Ces éléments ont conduit le Service cantonal à rapporter sa décision, si bien que, le 5 mars 2018, le Tribunal cantonal a rayé la cause du rôle.
Le 13 mars 2018, le Service cantonal a délivré à A._ une tolérance de séjour en vue du mariage, d'une validité de six mois.
A.d. Le 24 mai 2018, A._ et B._ ont célébré leur mariage à Lausanne.
Dans un certificat médical daté du 14 juin 2018, l'Unité de psychiatrie mobile du Centre hospitalier universitaire vaudois (ci-après : CHUV) a indiqué que B._ faisait l'objet d'un placement à des fins d'assistance, qu'elle devait vivre dans une structure protégée et qu'elle ne pouvait donc pas faire ménage commun avec son époux.
A.e. B._ est décédée le 19 août 2018.
A._ a rapidement informé le Service cantonal de ce décès et a, par la suite, sollicité la délivrance d'une autorisation de séjour par regroupement familial. Dans le cadre de la procédure, il a produit un rapport psychiatrique du 17 décembre 2018, selon lequel il souffrait d'un stress post-traumatique qui résultait de la répétition d'événements traumatisants et anxiogènes. Le couple qu'il formait avec B._ avait en effet été confronté à la perte d'un premier enfant, qui était mort-né en mai 2017, et à l'interruption volontaire d'une seconde grossesse "par crainte de perdre la garde de l'enfant". Son épouse s'était finalement donné la mort en août 2018. Une telle situation avait plongé l'intéressé dans une dépression chronique qui allait en s'aggravant, le rapport faisant état d'un épisode dépressif sévère sans symptômes psychotiques et d'un état marqué par le deuil, et évoquait un risque élevé de passage à l'acte suicidaire, encore accru en cas de renvoi au Kosovo. Ledit rapport relevait enfin l'importance que l'intéressé puisse continuer à bénéficier du soutien de ses amis et du suivi psychiatrique mis en place en Suisse.
A.f. Durant son séjour en Suisse, A._ a été condamné pénalement à quatre reprises entre 2015 et 2018, notamment pour séjour illégal et activité lucrative sans autorisation, actes d'ordre sexuel avec une enfant, faux dans les certificats et conduite d'un véhicule automobile sans permis de conduire, à des peines totalisant 270 jours-amende et 720 fr. d'amende.
B.
Par décision du 31 janvier 2019, le Service cantonal a refusé l'octroi d'une autorisation de séjour en faveur de A._ et a prononcé son renvoi de Suisse.
Le 4 mars 2019, A._ a recouru contre la décision précitée auprès du Tribunal cantonal. Dans le cadre de la procédure, il a notamment produit un rapport psychiatrique du 15 février 2019, qui indiquait que son état dépressif avait continué à s'aggraver et avait "très probablement" conduit à une intervention chirurgicale suivie d'une hospitalisation pour des infections graves, dont une appendicite et péritonite, en janvier 2019. Le traitement médicamenteux administré avait par conséquent été complexifié et une hospitalisation en milieu psychiatrique évoquée pour le cas où la situation continuerait à se dégrader. Sa situation de détresse psychologique et psychiatrique était d'une gravité extrême et son éloignement de la Suisse et du tissu social construit sur place depuis 2011 risquait de péjorer encore sa situation, voire même de conduire à sa mort.
Par arrêt du 19 décembre 2019, le Tribunal cantonal a rejeté le recours et confirmé la décision du Service cantonal du 31 janvier 2019.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, de réformer l'arrêt du 19 décembre 2019 du Tribunal cantonal en ce sens qu'une autorisation de séjour lui est octroyée; subsidiairement, d'annuler l'arrêt précité et de renvoyer la cause au Tribunal cantonal pour complément d'instruction et nouvelle décision dans le sens des considérants. Il sollicite également l'assistance judiciaire.
Par ordonnance du 3 février 2020, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif. Le 4 février 2020, le Tribunal fédéral a renoncé provisoirement à exiger une avance de frais et a informé l'intéressé qu'il serait statué ultérieurement sur sa demande d'assistance judiciaire.
Le Tribunal cantonal et le Service cantonal ont renoncé à se déterminer sur le recours. Le Secrétariat d'Etat aux migrations n'a pas déposé d'observations.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions qui relèvent du droit des étrangers et qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Selon la jurisprudence, il suffit qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et, partant, que la voie du recours en matière de droit public soit ouverte (<ref-ruling> consid. 1.1 p. 332 et les arrêts cités).
En l'occurrence, le recourant entend être mis au bénéfice de l'art. 50 al. 1 let. b de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr [dans sa teneur en vigueur lors du dépôt de la demande de regroupement familial, RO 2007 5437], intitulée, depuis le 1er janvier 2019, loi fédérale sur les étrangers et l'intégration [LEI; RO 2017 6521]) selon lequel, après dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour subsiste lorsque la poursuite du séjour en Suisse s'impose pour des raisons personnelles majeures. Dès lors qu'il n'est pas d'emblée exclu, au vu du décès de l'épouse de l'intéressé, que les conditions de cette disposition soient remplies, il convient d'admettre le droit de recourir sous l'angle de l'art. 83 let. c ch. 2 LTF. La voie du recours en matière de droit public est ainsi ouverte.
1.2. Au surplus, déposé en temps utile compte tenu des féries (art. 46 al. 1 let. c et 100 al. 1 LTF) et dans les formes prescrites par la loi (<ref-law>), par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), le présent recours, dirigé contre une décision finale (<ref-law>) rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>), est recevable.
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Il y procède en se fondant sur les faits constatés par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>.
3.
Dans un grief formel qu'il convient d'examiner en premier lieu, le recourant se plaint de la violation de son droit d'être entendu (art. 29 al. 2 Cst.). Il reproche aux juges précédents d'avoir refusé de procéder à l'audition de sa belle-mère, alors que ce témoignage aurait eu pour effet de lui permettre "d'étayer son mémoire de recours" sur "sa relation réelle et intense" avec son épouse et sa belle-famille, et de démontrer que ses attaches sont en Suisse et que la poursuite de son séjour s'impose pour des "raisons personnelles majeures".
3.1. Le droit d'être entendu découlant de l'art. 29 al. 2 Cst. comprend pour le justiciable le droit d'obtenir l'administration des preuves pertinentes et valablement offertes, de participer à l'administration des preuves essentielles et de se déterminer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (cf. <ref-ruling> consid. 2.3 p. 222; <ref-ruling> consid. 6.3.1 p. 298 s.). Il ne comprend pas le droit d'obtenir l'audition de témoins. Le refus d'une mesure probatoire par appréciation anticipée des preuves ne peut être remis en cause devant le Tribunal fédéral qu'en invoquant l'arbitraire (art. 9 Cst.) de manière claire et détaillée (<ref-law>; <ref-ruling> consid. 4.3.2 p. 376; arrêt 2C_1125/2018 du 7 janvier 2019 consid. 5.1 et l'arrêt cité).
3.2. En l'espèce, il ressort de l'arrêt entrepris que, au terme d'une appréciation anticipée des preuves, le Tribunal cantonal a considéré que l'audition requise n'était pas de nature à influer sur le sort de la décision à rendre. En effet, outre que le recourant n'avait jamais fourni les coordonnées de sa belle-mère, la réalité et l'intensité des liens qui l'unissaient avec son épouse n'étaient pas contestées, si bien que le témoignage de l'intéressée sur ce point n'apparaissait pas nécessaire. Au surplus, le recourant avait pu s'exprimer par écrit dans le cadre de son mémoire de recours et avait produit plusieurs documents médicaux décrivant notamment la détresse dans laquelle il se trouvait à la suite du décès de sa conjointe.
On ne voit pas, et le recourant ne le démontre pas non plus, en quoi cette appréciation anticipée des preuves serait arbitraire. Le recourant oublie que la présence d'attaches en Suisse n'est pas déterminante sous l'angle de l'art. 50 al. 1 let. b LEI (cf. arrêt 2C_709/2018 du 27 février 2019 consid. 3.6), si bien que l'instruction sur cette question n'était pas propre à influer sur le sort du litige. Il en va de même s'agissant des liens unissant le recourant à sa belle-famille, dans la mesure où, faute pour l'intéressé de n'avoir ni allégué ni a fortiori démontré l'existence d'un quelconque rapport de dépendance particulier entre eux (cf. <ref-ruling> consid. 3.1 p. 231 et les arrêts cités), de tels liens ne sont pas de nature à lui conférer un quelconque droit au séjour en Suisse. Enfin, dans la mesure où il entendait se prévaloir de raisons personnelles majeures autres que celles pouvant découler du décès de sa conjointe (cf. infra consid. 4) ou d'une réintégration sociale dans son pays de provenance particulièrement compromise (cf. infra consid. 5), il lui aurait appartenu de les exposer précisément, ce qu'il ne fait nullement. Dans ces circonstances, le grief ne peut être que rejeté.
4.
Le recourant se plaint en premier lieu de la violation de l'art. 50 al. 1 let. b LEI.
4.1. Conformément à l'art. 50 al. 1 let. b LEI, après dissolution de la famille, le droit du conjoint et des enfants à l'octroi d'une autorisation de séjour subsiste si la poursuite du séjour en Suisse s'impose pour des raisons personnelles majeures. L'art. 50 al. 1 let. b et al. 2 LEI vise à régler les situations qui échappent aux dispositions de l'art. 50 al. 1 let. a LEI, parce que le séjour en Suisse durant le mariage n'a pas duré trois ans ou parce que l'intégration n'est pas suffisamment accomplie ou encore parce que ces deux aspects font défaut mais que - eu égard à l'ensemble des circonstances - l'étranger se trouve dans un cas de rigueur après la dissolution de la famille (<ref-ruling> consid. 3.1 p. 395; <ref-ruling> consid. 3.2.1 p. 348; arrêt 2C_777/2015 du 26 mai 2016 consid. 3.1, non publié in <ref-ruling>). A cet égard, c'est la situation personnelle de l'intéressé qui est décisive et non l'intérêt public que revêt une politique migratoire restrictive. Il s'agit par conséquent uniquement de décider du contenu de la notion juridique indéterminée "raisons personnelles majeures" et de l'appliquer au cas d'espèce, en gardant à l'esprit que l'art. 50 al. 1 let. b LEI confère un droit à la poursuite du séjour en Suisse, contrairement à l'art. 30 al. 1 let. b LEI (<ref-ruling> consid. 3.1 p. 395; arrêt 2C_1030/2018 du 8 février 2019 consid. 4.1 et les arrêts cités). Comme il s'agit de cas de rigueur survenant à la suite de la dissolution de la famille, en relation avec l'autorisation de séjour découlant du mariage, les raisons qui ont conduit à sa dissolution revêtent par conséquent de l'importance. L'admission d'un cas de rigueur personnel survenant après la dissolution de la communauté conjugale suppose que, sur la base des circonstances d'espèce, les conséquences pour la vie privée et familiale de la personne étrangère liées à ses conditions de vie après la perte du droit de séjour découlant de la communauté conjugale (art. 42 al. 1 et 43 al. 1 LEI) soient d'une intensité considérable (<ref-ruling> consid. 3.1 p. 395; <ref-ruling>).
4.2. Selon le Tribunal fédéral, le décès du conjoint dont dépend le droit de séjour en Suisse de l'étranger ne constitue pas un motif conduisant nécessairement à la prolongation de l'autorisation en vertu de l'art. 50 al. 1 let. b LEI. Il convient plutôt de déterminer, sur la base des circonstances de l'espèce, si l'on est en présence d'un cas de rigueur (<ref-ruling> consid. 3.3; <ref-ruling>). Il faut en particulier prendre en compte l'ensemble des circonstances qui ont prévalu avant et pendant le mariage, jusqu'à sa dissolution en raison du décès. La situation de l'étranger après le décès doit aussi être prise en considération. Ces éléments jouent un rôle important pour établir la volonté réelle des conjoints d'officialiser l'intensité des liens qui les unissaient et évaluer l'importance des conséquences qui découlent du décès du conjoint établi en Suisse sur la vie privée et familiale de l'étranger (<ref-ruling> consid. 3.3; <ref-ruling>). Lorsqu'aucune circonstance particulière ne permet de douter du bien-fondé du mariage ni de l'intensité des liens entre les conjoints, il existe une présomption - réfragable - que le décès du conjoint suisse de l'étranger constitue une raison personnelle grave qui impose la poursuite du séjour en Suisse de ce dernier, sans qu'il soit nécessaire d'examiner encore le caractère fortement compromis de la réintégration de ce dernier dans le pays de provenance (<ref-ruling> consid. 3.3; arrêt 2C_103/2018 du 19 juin 2018 consid. 2.1).
Il ressort ainsi de la jurisprudence que c'est, d'une part, la vie commune du couple en Suisse consécutivement au mariage qui est déterminante pour fonder la présomption au regard de l'art. 50 al. 1 let. b LEI et que, d'autre part, la durée de cette vie commune en Suisse, même si elle ne doit pas atteindre la durée requise à la let. a de l'art. 50 al. 1 LEI (trois ans), doit être assez longue pour apparaître comme consolidée et présentant des attaches suffisantes avec ce pays (arrêt 2C_103/2018 précité consid. 2.2; cf. également arrêt 2C_669/2012 du 5 mai 2013 consid. 3.3 et les arrêts cités). Dans l'<ref-ruling>, une vie conjugale d'un peu plus de deux ans a été jugée suffisante à cet égard; en revanche, tel n'a pas été le cas d'une vie commune en Suisse n'ayant duré que trente-neuf jours (arrêt 2C_103/2018 précité consid. 2.3), respectivement qu'un seul jour (arrêt 2C_669/2012 précité consid. 3.4).
4.3. En l'occurrence, il ressort des constatations cantonales, qui lient le Tribunal fédéral (<ref-law>; cf. supra consid. 2.2), que la communauté conjugale formée par le recourant et son épouse en Suisse à la suite de leur mariage a été brève, puisqu'elle n'a duré que huitante-huit jours. Par ailleurs, le couple n'a jamais fait ménage commun durant cette période, l'épouse du recourant étant hospitalisée à des fins d'assistance au moment du mariage et devant de ce fait vivre seule dans une structure protégée.
Sous cet angle, les juges cantonaux ont en substance considéré que le recourant, en dépit du fait que celui-ci rendait visite et voyait son épouse très régulièrement pendant la brève durée du mariage, ne pouvait, en l'absence de ménage commun, pas se prévaloir d'une communauté conjugale effectivement vécue, si bien que c'était à juste titre que le Service cantonal avait retenu que le décès de sa conjointe ne constituait pas une raison personnelle majeure au sens de l'art. 50 al. 1 let. b LEI.
Le recourant, pour sa part, considère que, lorsque le Service cantonal lui avait délivré une autorisation de séjour en vue du mariage, il avait dû se questionner sur la réalisation des conditions d'un regroupement familial ultérieur, au sens de l'art. 42 LEI, dont celle du ménage commun, si bien que ledit Service avait par conséquent connaissance de la situation particulière de son épouse, à savoir que celle-ci était sous curatelle de portée générale et qu'elle était hospitalisée depuis décembre 2016. On pouvait ainsi, selon lui, déduire de cette autorisation que le Service cantonal avait considéré que l'exigence de ménage commun était remplie ou, à tout le moins, qu'elle n'était pas applicable, dès lors que la communauté familiale était maintenue et que des raisons majeures justifiant l'existence de domiciles séparés, au sens de l'art. 49 LEI, pouvaient être invoqués. En tout état de cause, ledit Service aurait "admis" que le fait que l'intéressée vivait à une adresse différente de son époux "n'empêchait pas l'existence d'une communauté familiale" entre eux.
4.4. Le recourant semble oublier que la tolérance de séjour en vue du mariage lui a été accordée par le Service cantonal le 13 mars 2018, soit après que son épouse avait notamment exprimé sa volonté de faire ménage commun avec lui et avait produit un contrat de bail à loyer valable à partir du 23 octobre 2017 pour un appartement dans lequel le recourant avait précisé qu'il était autorisé à passer du temps et où il envisageait de s'installer après le mariage avec l'accord de l'Office des curatelles et tutelles professionnelles. Or, le Service précité n'avait pas encore eu, à ce moment-là, connaissance du certificat médical du CHUV du 14 juin 2018, selon lequel l'épouse du recourant devait vivre, au vu de son placement à des fins d'assistance, dans une structure protégée, et qu'elle ne pouvait donc pas faire ménage commun avec son époux. En d'autres termes, c'est notamment sur la promesse d'un futur ménage commun, au sens de l'art. 42 LEI, suffisamment tangible au vu des pièces et des déclarations des intéressés, que le Service cantonal avait octroyé l'autorisation concernée au recourant, ménage commun qui s'était, par la suite avéré impossible, ce que l'autorité des étrangers ignorait.
4.5. Il faut en revanche suivre le raisonnement du recourant s'agissant de l'existence d'un cas d'application de l'art. 49 LEI. Selon cette disposition, l'exigence du ménage commun prévue aux art. 42 à 44 LEI n'est pas applicable lorsque la communauté familiale est maintenue et que des raisons majeures justifiant l'existence de domiciles séparés peuvent être invoquées. Il ressort de la formulation de l'art. 49 LEI ("raisons majeures"; voir aussi l'art. 76 de l'ordonnance du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative [OASA; RS 142.201] qui évoque des "problèmes familiaux importants") que ces dispositions visent des situations exceptionnelles (arrêt 2C_1123/2014 du 24 avril 2015 consid. 3.1 et les arrêts cités). A cet égard, la jurisprudence a considéré qu'une incarcération constitue indéniablement une raison majeure justifiant l'existence de domiciles séparés, au sens de l'art. 49 LEI (arrêt 2C_723/2010 du 14 février 2011 consid. 4.2). Dans la mesure où le placement à des fins d'assistance est une mesure de privation de la liberté prononcée en application du droit civil, qui consiste à ordonner le placement d'une personne, sans son consentement, dans une institution (art. 426 ss du Code civil [RS 210]), il convient également d'admettre qu'une telle mesure constitue une raison majeure au sens de l'art. 49 LEI. Il y a en outre lieu d'admettre que la communauté conjugale était en l'espèce maintenue, l'autorité précédente n'ayant pas fait valoir d'indices contraires. Dans ces circonstances, on ne saurait valablement retenir l'absence de ménage commun comme critère permettant de renverser la présomption selon laquelle le décès du conjoint suisse de l'étranger constitue une raison personnelle grave qui impose la poursuite du séjour en Suisse de ce dernier.
4.6. Cela ne suffit toutefois pas pour admettre le recours. En effet, comme on l'a vu (cf. supra consid. 4.3), la communauté conjugale formée par le recourant et son épouse a été très brève, puisqu'elle n'a duré que huitante-huit jours. Dès lors que la jurisprudence, qui considère que le décès du conjoint constitue une présomption réfragable de nature à justifier un cas de rigueur, trouve son fondement dans le fait que le décès a détruit une union conjugale vécue en Suisse (et que l'époux survivant devrait abandonner la vie qu'il a menée dans notre pays avec le conjoint décédé, cf. supra consid. 4.1 in fine), on ne saurait considérer qu'une communauté conjugale aussi courte remplisse la condition de durée nécessaire à la reconnaissance d'un tel cas. En effet, indépendamment de la volonté des époux de former une véritable communauté conjugale, ainsi que de la réalité et de l'intensité des liens les unissant, qui ne sont pas contestés, on ne voit pas - et le recourant ne le démontre pas - en quoi l'intéressé aurait mené en Suisse une vie telle que, en moins de trois mois d'union conjugale, l'abandon de celle-ci aurait des conséquences importantes sur sa vie privée et familiale.
Il ne saurait par ailleurs, contrairement à ce que soutient le recourant, être tenu compte de la vie de couple que le recourant menait avec son épouse avant leur mariage. En effet, conformément à la jurisprudence, seule peut être prise en considération la vie commune après le mariage (cf. supra consid. 4.2). A cela s'ajoute que le recourant ne séjournait pas, du moins jusqu'à la délivrance d'une tolérance de séjour en vue du mariage, de manière légale en Suisse. Or, admettre que les années de vie commune passées illégalement en Suisse puissent, en définitive, permettre à l'étranger d'obtenir une autorisation de séjour fondée sur l'art. 50 al. 1 let. b LEI reviendrait à récompenser en dernier ressort une attitude contraire au droit, ce qui ne saurait correspondre à la volonté du législateur. Dans ce contexte, c'est également en vain que l'intéressé se prévaut des relations qu'il aurait nouées en Suisse depuis son entrée clandestine en 2011. Au surplus, il convient aussi de rappeler que le recourant a subi plusieurs condamnations en Suisse durant cette période, pour des actes n'étant pas uniquement en lien avec son séjour illégal (actes d'ordre sexuel avec une enfant, faux dans les certificats, conduite sans permis, etc.).
4.7. Dans ces circonstances, c'est à bon droit que le Tribunal cantonal a considéré que le décès de l'épouse du recourant, pour pénible qu'il soit, ne constituait pas un cas de rigueur personnel au sens de l'art. 50 al. 1 let. b LEI. Le grief de violation de cette disposition doit partant être rejeté.
5.
Le recourant invoque ensuite une violation de l'art. 50 al. 2 LEI, en tant que les juges précédents ont estimé que sa réintégration sociale dans son pays d'origine ne semblait pas fortement compromise.
5.1. L'art. 50 al. 2 LEI dispose que les raisons personnelles majeures visées à l'al. 1 let. b de cette disposition sont notamment données lorsque la réintégration sociale dans le pays de provenance semble fortement compromise (cf. <ref-ruling> consid. 5.3 p. 4). A ce sujet, la question n'est pas de savoir s'il est plus facile pour la personne concernée de vivre en Suisse, mais uniquement d'examiner si, en cas de retour dans le pays d'origine, les conditions de la réintégration sociale, au regard de la situation personnelle, professionnelle et familiale de l'étranger, seraient gravement compromises (cf. <ref-ruling> consid. 3.1 p. 232). Le simple fait que l'étranger doit retrouver des conditions de vie qui sont usuelles dans son pays de provenance, ne constitue pas une raison personnelle majeure au sens de l'art. 50 LEI, même si ces conditions de vie sont moins avantageuses que celles dont cette personne bénéficie en Suisse (arrêt 2C_1125/2018 du 7 janvier 2019 consid. 6.2 et l'arrêt cité).
5.2. En l'occurrence, le recourant fait en substance valoir que le stress post-traumatique et la grave dépression chronique dont il souffre, telle qu'attestés par les rapports psychiatriques des 17 décembre 2018 et 15 février 2019, constituent une atteinte sérieuse à sa santé nécessitant, pendant une longue période, des soins permanents ou des mesures médicales ponctuelles d'urgence. Il se prévaut également d'un rapport de l'Organisation suisse d'aide aux réfugiés (ci-après : OSAR) du 24 mai 2004, selon lequel le phénomène de stigmatisation des maladies psychiques est encore très répandu et peut aboutir à un rejet par la société et la famille, et que les traitements médicaux en place au Kosovo ne permettent pas de faire face aux maladies psychiques graves. Enfin, selon un rapport de ladite Organisation du 3 avril 2017, une pénurie de personnel qualifié serait toujours constatée au Kosovo et le temps d'attente moyen pour un traitement psychothérapeutique se situerait aux alentours de deux mois. L'intéressé conclut que, dans la mesure où il est suivi à raison de deux fois par semaine par un psychiatre, les soins dont il a besoin sont indisponibles dans son pays d'origine.
5.3. Le raisonnement du recourant ne saurait être suivi. D'une part, il est permis de douter que les constats du rapport OSAR 2004 soient encore d'actualité s'agissant de la stigmatisation des maladies psychiques et de l'impossibilité structurelle de traiter les maladies psychiques graves, dans la mesure où le rapport OSAR 2017 ne fait plus aucune allusion à de tels phénomènes. Du reste, selon la jurisprudence rendue ultérieurement au rapport OSAR 2004, le Kosovo n'est pas dépourvu de centres de traitement ambulatoire pour les maladies psychiques et certains hôpitaux généraux disposent d'espaces réservés à la neuropsychiatrie pour le traitement des cas de psychiatrie aigüe (cf. arrêt du Tribunal administratif fédéral E-4998/2010 du 16 juillet 2014 consid. 4.4.2). D'autre part, s'agissant du rapport OSAR 2017, et quoi qu'en pense le recourant, il en ressort tout au plus que l'intéressé peut obtenir des prestations médicales psychiatriques supérieures en Suisse, pays qui dispose d'une infrastructure médicale de pointe et où se trouvent les médecins qui l'ont suivi depuis plusieurs années. Ce point n'est toutefois pas déterminant selon la jurisprudence citée plus haut (consid. 5.1 in fine). Enfin, le recourant ne démontre pas en quoi un retour dans son pays d'origine soulèverait des considérations humanitaires impérieuses qui lui permettraient exceptionnellement de rester sur le territoire helvétique (cf. arrêt 2C_1067/2018 du 7 décembre 2018 et les arrêts cités).
5.4. Pour le reste, il ressort de l'arrêt entrepris (<ref-law>) que le recourant, encore jeune, a vécu au Kosovo jusqu'à l'âge de 21 ans, pays dont il parle ainsi la langue et dans lequel vivent encore ses parents, tout comme une partie de ses frères et soeurs. Son retour n'apparaît, sous cet angle, pas d'emblée insurmontable, dès lors qu'il pourra vraisemblablement compter sur le soutien de ses proches sur place, ce que le recourant, bien qu'il affirme qu'un tel soutien ne pourrait se substituer au réseau social dont il bénéficie en Suisse, ne conteste pas.
5.5. Compte tenu de ce qui précède, c'est à bon droit que l'autorité précédente pouvait retenir que la réintégration du recourant dans son pays d'origine ne serait pas fortement compromise. Le grief de violation de l'art. 50 al. 2 LEI est dès lors rejeté.
6.
Les considérants qui précèdent conduisent au rejet du recours.
7.
S'agissant des frais et dépens, le recourant a déposé une demande d'assistance judiciaire. Cette demande peut être admise au vu de la situation économique et personnelle de l'intéressé et dans la mesure où les conclusions du recours n'étaient pas d'emblée dépourvues de chances de succès (<ref-law>). Me Arnaud Thièry lui sera donc désigné comme défenseur d'office, rétribué par la caisse du Tribunal fédéral. Il ne sera pas perçu de frais judiciaires (art. 64 al. 1 et 2 LTF) ni alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La requête d'assistance judiciaire est admise.
2.1. Il n'est pas perçu de frais judiciaires.
2.2. Me Arnaud Thièry est désigné comme avocat d'office du recourant et une indemnité de 2'000 fr. lui est allouée à titre d'honoraires, à payer par la caisse du Tribunal fédéral.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Service de la population du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et au Secrétariat d'Etat aux migrations.
Lausanne, le 9 juin 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Rastorfer