Considérant en fait et en droit :
1.
X._, ressortissant kosovar né en 1967, est entré en Suisse en avril 1992 en compagnie de sa fiancée, afin d'y déposer une demande d'asile. Celle-ci leur a été refusée le 10 septembre 1992, mais ils y ont obtenu une admission provisoire. Les concubins se sont mariés le 15 juillet 1994. Trois enfants sont issus de cette union (nés en 1992, 1996 et 1997). Une autorisation de séjour leur a été délivrée le 2 septembre 1997 et a été régulièrement renouvelée.
Jusqu'en 2005, X._ a alterné les activités lucratives à temps partiel et les périodes de chômage. Il a été victime d'un accident du travail en 1999. La famille X._ a été aidée par les services sociaux. En 2010, elle présentait une dette d'aide sociale d'un montant de 308'707 fr. 85. L'intéressé a obtenu une demi-rente de l'assurance-invalidité (AI) le 16 décembre 2010, avec effet au 1 er septembre 2009. Entre 1994 et 2014, X._ a été condamné à neuf reprises, en particulier le 14 septembre 2011 (jugement confirmé sur recours le 8 décembre 2011) à deux ans de peine privative de liberté pour infraction grave à la LStup (RS 812.121).
Par décision du 4 juillet 2014, le Service de la population du canton de Vaud (ci-après: le Service de la population) a proposé à l'Office fédéral des migrations (actuellement: le Secrétariat d'Etat aux migrations; ci-après: le Secrétariat d'Etat) de prolonger l'autorisation de séjour de X._ et de lui adresser un avertissement formel, ce que le Secrétariat d'Etat a approuvé. Le 21 août 2015, l'intéressé a été condamné pour infraction à la LCR, pour des faits survenus le 23 juillet 2015.
Par décision du 1 er novembre 2016, le Service de la population a refusé de prolonger l'autorisation de séjour de X._. Celui-ci a contesté ce prononcé le 28 novembre 2016 auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal), produisant en particulier une expertise psychiatrique relative à son épouse, faisant état d'un syndrome somatoforme douloureux persistant, d'un état dépressif et d'un trouble panique, tous présents depuis 2003. Par arrêt du 19 avril 2017, le Tribunal cantonal a partiellement admis le recours de X._. Il a constaté que les conditions permettant de ne pas prolonger l'autorisation de séjour était réunies et qu'il existait un intérêt public important à l'éloignement de l'intéressé de Suisse. Le Tribunal cantonal a renvoyé la cause au Service de la population, pour que celui-ci instruise en particulier l'éventuel état de dépendance de l'épouse de X._ envers celui-ci et rende une nouvelle décision.
Après avoir rassemblé plusieurs documents médicaux relatifs à l'état de santé de la femme de l'intéressé, le Service de la population, par décision du 28 août 2018, a refusé de prolonger l'autorisation de séjour de X._. Sur recours du 24 septembre 2018, le Tribunal cantonal, par arrêt du 20 février 2019, a partiellement admis ledit recours. Il a annulé la décision du Service de la population en tant que celle-ci ordonnait le départ immédiat de Suisse de X._, a renvoyé la cause à l'autorité de première instance pour qu'un nouveau délai de départ soit imparti à l'intéressé et a rejeté le recours pour le surplus.
2.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de dépens, outre l'effet suspensif, d'annuler l'arrêt du Tribunal cantonal du 20 février 2019 et de prolonger son autorisation de séjour.
Par ordonnance du 21 mars 2019, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la requête d'effet suspensif.
Le Tribunal cantonal conclut au rejet du recours, alors que le Service de la population renonce à se déterminer.
3.
D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions relatives à une autorisation de droit des étrangers à laquelle ni le droit fédéral ni le droit international ne donnent droit. Dans la mesure où le recourant invoque une violation de l'art. 8 CEDH et qu'il se trouve en Suisse depuis plus de 20 ans au bénéfice d'une autorisation de séjour, cette disposition est potentiellement de nature à lui conférer un droit (cf. <ref-ruling> consid. 3.9 p. 278 s.). Les autres conditions de recevabilité du recours en matière de droit public, notamment celle de l'<ref-law> (le renvoi au Service de la population ne laissant aucune latitude de décision à celui-ci; cf. <ref-ruling> consid. 1.2 p. 148), sont également réunies (cf. art. 42, 82 let. a, 86 al. 1 let. d et al. 2, 89 al. 1 et 100 al. 1 LTF), si bien qu'il convient d'entrer en matière.
4.
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 6.3 p. 375). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
Dans la mesure où le recourant estime que les faits de l'arrêt entrepris ne sont pas complets et qu'il présente ses propres vision et appréciation, sans expliquer en quoi les faits qu'il mentionnent ont une quelconque incidence sur l'issue de la cause, sa motivation ne saurait être considérée comme étant suffisante au sens de l'<ref-law>. Par conséquent, le Tribunal fédéral vérifiera la correcte application du droit sur la seule base des faits retenus par l'autorité précédente.
5.
En l'occurrence, en ayant été condamné à deux ans de peine privative de liberté en 2011, c'est à juste titre que le Tribunal cantonal, dans son arrêt du 19 avril 2017, a jugé que le recourant remplissait les conditions de révocation de son autorisation de séjour (cf. art. 62 al. 1 let. b LEI; <ref-ruling> consid. 2.1 p. 18 et les références). Celui-ci ne le conteste d'ailleurs pas.
5.1. Il convient en premier lieu de rappeler que, dans sa jurisprudence récente, le Tribunal fédéral a jugé qu'un séjour légal d'environ dix ans permettait en principe de se prévaloir de l'art. 8 CEDH sous l'angle de la vie privée (<ref-ruling> consid. 3.9 p. 278 s.), l'intégration suffisante devant être prise en compte dans l'examen de la proportionnalité de l'art. 8 par. 2 CEDH (<ref-ruling> consid. 3.8 p. 277). En l'espèce, le recourant se trouve en Suisse depuis plus de 20 ans au bénéfice d'une autorisation de séjour, ce qui fonde un droit à une autorisation de séjour. C'est donc uniquement l'examen de la proportionnalité qui est litigieux en l'espèce, en particulier en relation avec la situation médicale de la femme du recourant et de la nécessité pour celle-ci d'être prise en charge par son mari.
5.2. S'agissant du principe de proportionnalité, le recourant ne fait en réalité que remettre en question la pesée des intérêts effectuée par le Tribunal cantonal, en y ajoutant certains faits qui ne sauraient être pris en compte (cf. consid. 4 ci-dessus). Il peut en conséquence être renvoyé aux considérants de l'arrêt de cette autorité, qui a correctement exposé la jurisprudence relative aux dispositions topiques et dûment appliqué le droit (<ref-law>). Elle a notamment expliqué que le recourant avait commis de nombreuses infractions, dont une ayant conduit à une condamnation à deux ans de peine privative de liberté. Elle a en outre pris en considération le temps qui s'est écoulé depuis cette importante condamnation, mais a relevé que le recourant ne s'était pas amendé et qu'il avait récidivé, certes dans une moindre mesure, mais malgré un avertissement formel que lui avait adressé le Service de la population. Le Tribunal cantonal a également pris en compte l'absence d'intégration du recourant en Suisse et le fait que, nonobstant une capacité de travail constatée de 50%, celui-ci avait attendu près de dix ans avant de trouver une activité à temps partiel, activité que le Tribunal cantonal a justement relativisée car exercée dans l'établissement du fils de l'intéressé et pour laquelle aucun certificat de salaire n'a été produit. L'autorité précédente a de surcroît pris en considération la situation économique du recourant et sa très importante dette sociale. Elle a surtout considéré l'état de santé de l'épouse du recourant et admis que celle-ci se trouvait dans une situation de dépendance vis-à-vis de son mari. Le Tribunal cantonal a néanmoins jugé qu'il pouvait être attendu des époux qu'ils réalisent leur vie de famille à l'étranger, dans la mesure où, tel qu'il l'a retenu en fait, des soins gratuits sont disponibles au Kosovo. Il a par ailleurs ajouté que si l'épouse du recourant désirait rester en Suisse, elle y trouverait du soutient auprès de ses enfants qui y vivent. Considérant l'ensemble de ces éléments, le résultat de la pesée des intérêts opérée par le Tribunal cantonal ne traduit aucune violation des dispositions légales applicables, l'intérêt public à l'éloignement du recourant primant sur son intérêt privé à demeurer en Suisse.
6.
Les considérants qui précèdent conduisent au rejet du recours en matière de droit public, en application de la procédure de l'<ref-law>. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).


Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 27 mai 2019
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette