Faits :
A.
A.a. X._, ressortissant de Serbie-et-Monténégro, né en 1962, est entré en Suisse le 21 mai 1996. Ses trois enfants sont restés dans leur pays. Le jour de son arrivée, il a requis l'asile, sans succès, et son renvoi a été ordonné le 6 septembre 1996.
Le Conseil fédéral a prononcé, sous certaines conditions, l'admission collective provisoire des ressortissants yougoslaves, dont, le 14 juillet 1999, X._.
Par ordonnance du 24 juin 1999, X._ a été reconnu coupable de recel et condamné à 22 jours d'emprisonnement par le Juge d'instruction de l'arrondissement de l'Est Vaudois. Le 31 août 2000, alors que son vol de retour avait été organisé, X._ a disparu. Selon des déclarations ultérieures de l'intéressé recueillies par la police, il serait alors retourné au Kosovo.
A.b. Le 15 avril 2004, X._ a annoncé son arrivée au Contrôle des habitants de la commune de Lausanne (ci-après: le Contrôle des habitants), puis a épousé, en 2004, à Lausanne, Y._, ressortissante suisse.
Par décision du 27 septembre 2004, X._ s'est vu délivrer une autorisation de séjour au titre du regroupement familial, dont la validité a été prolongée régulièrement jusqu'au 16 décembre 2012.
Un formulaire du Contrôle des habitants, daté du 30 octobre 2006, relatif au livret pour étranger et intitulé "Z1 - Annonce de mutations pour ressortissants étrangers" signale que X._ s'est séparé à l'amiable de son épouse et que cette annonce a été effectuée à cette autorité à la même date. Le 13 novembre suivant, Y._ et X._ ont fait savoir qu'ils avaient repris la vie commune. Cette autorité a donc rectifié l'état civil de X._ en l'enregistrant comme marié avec effet au 13 novembre 2006. Puis, le 14 novembre 2006, les époux sont passés aux guichets du Contrôle des habitants pour indiquer qu'ils faisaient à nouveau ménage commun depuis le 1er novembre 2006.
Le 23 juin 2008, Y._ a adressé une lettre à l'administration pour l'informer qu'elle n'était pas divorcée, mais qu'une procédure de séparation était en cours. Lors de son interrogatoire par la police, le 16 février 2009, elle a déclaré que son mariage était plus un mariage de raison qu'un mariage d'amour et qu'elle s'était séparée de son mari en mars ou avril 2008. Auditionné le même jour, X._ a exposé pour sa part qu'il s'agissait d'un mariage d'amour et qu'il s'était séparé de son épouse huit mois auparavant à la suite de problèmes financiers. Il a également indiqué être revenu en Suisse en 2004 et n'avoir pas travaillé depuis. Finalement, il a relevé ne pas avoir d'attache en Suisse et que sa famille vivait au Kosovo et en Italie.
A.c. Par décision du 7 septembre 2009, l'Office fédéral des migrations (à partir du 1.1.2015: Secrétariat d'Etat aux migrations SEM) a refusé d'approuver la prolongation de l'autorisation de séjour de X._ et a prononcé le renvoi de celui-ci.
A la suite de cette décision, les époux sont passés aux guichets du Contrôle des habitants en date du 27 octobre 2009 pour indiquer qu'ils faisaient à nouveau ménage commun, ce qui a conduit à l'annulation de la décision du 7 septembre 2009.
En date du 2 avril 2011, le couple s'est définitivement séparé.
Auditionnée le 15 novembre 2012, Y._ a déclaré que les époux avaient à plusieurs reprises fait ménage séparé, en 2006, 2008, 2010 et 2011. Elle a indiqué être consciente qu'elle se remettait avec X._ à chaque fois qu'il avait besoin de renouveler son permis, mais que cette fois la séparation était définitive.
Par décision du 30 juillet 2013, le Service de la population du canton de Vaud (ci-après: le Service de la population) a refusé le renouvellement de l'autorisation de séjour et l'octroi anticipé d'une autorisation d'établissement et imparti à X._ un délai de trois mois pour quitter la Suisse.
B.
La Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté, par arrêt du 14 juillet 2014, le recours de X._. Les conjoints s'étant séparés à plusieurs reprises, soit en 2006, 2008, puis définitivement en 2011, le mariage de l'intéressé, contracté le 16 juillet 2004, n'avait pas duré trois ans; en outre, l'intégration de X._ en Suisse ne pouvait être qualifiée de réussie au sens des dispositions topiques du droit fédéral; s'il parlait le français, l'intéressé n'avait pas travaillé de 2004 à 2009; même s'il donnait alors satisfaction à son employeur, il avait, depuis 2009, changé à cinq reprises d'emploi et avait bénéficié plusieurs fois du revenu minimum d'insertion; le total des aides sociales perçues, directement ou indirectement par le biais de son épouse, s'élevait à 136'698 fr.; de plus, des poursuites et des actes de défaut de biens en mai 2012 se montaient à 1'542 fr. respectivement 40'385 fr. Aucune raison personnelle majeure n'imposait une poursuite du séjour dans notre pays. Compte tenu de ces éléments, X._ ne bénéficiait d'aucun droit à la prolongation de son autorisation de séjour, ni à l'octroi anticipé d'une autorisation d'établissement.
C.
Agissant par la voie du recours en matière de droit public et du recours constitutionnel subsidiaire, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 14 juillet 2014 du Tribunal cantonal et de le mettre au bénéfice d'une autorisation de séjour.
Le Service de la population a renoncé à se déterminer sur le recours. Le Tribunal cantonal et le Secrétariat d'Etat aux migrations concluent au rejet du recours.
Par ordonnance du 18 septembre 2014, le Président de la IIe Cour de droit public a accordé l'effet suspensif au recours.
Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
L'art. 50 al. 1 let. a LEtr subordonne la prolongation de l'autorisation de séjour à certaines conditions dont se prévaut le recourant. Il invoque aussi le bénéfice de l'art. 8 CEDH en raison de la durée de sa présence en Suisse. La voie du recours en matière de droit public est par conséquent ouverte, le point de savoir si les conditions posées par les textes légaux sont effectivement réunies relevant du fond de la cause et non de la recevabilité (ATF 136 II 177 consid. 1.1 p. 179). La voie du recours en matière de droit public est donc ouverte.
1.2. Au surplus, le recours remplit les conditions des art. 42 et 82 ss LTF. Par conséquent, le recours en matière de droit public est recevable à l'exclusion du recours constitutionnel subsidiaire (art. 113 LTF a contrario).
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral, y compris la violation des droits fondamentaux (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation de l'art. 106 al. 2 LTF.
En outre, le Tribunal fédéral fonde son raisonnement juridique sur les faits constatés par l'autorité précédente (art. 105 al. 1 LTF), à moins que ces faits n'aient été établis de façon manifestement inexacte ou incomplète - notion qui correspond à celle d'arbitraire (ATF 138 I 49 consid. 7.1 p. 51) - ou encore en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF).
En l'espèce, les faits contestés par le recourant, en particulier la durée de la vie commune des époux et la dépendance aux services sociaux, se confondent avec l'application et l'interprétation faites par le Tribunal cantonal de l'art. 50 LEtr et doivent être examinés dans ce cadre.
3.
3.1. Selon l'art. 50 al. 1 let. a LEtr, après dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 subsiste si l'union conjugale a duré au moins trois ans et l'intégration est réussie. L'existence d'une véritable union conjugale suppose que la relation entre époux soit effectivement vécue et que ces derniers aient la volonté de la maintenir (ATF 138 II 229 consid. 2 p. 231; 137 II 345 consid. 3.1.2 p. 347). Pour cela, il faut se baser essentiellement sur la durée pendant laquelle le couple a fait ménage commun en Suisse (ATF 136 II 113 consid. 3.3.5 p. 120). La période minimale de trois ans de l'union conjugale commence à courir dès le début de la cohabitation effective des époux en Suisse et s'achève au moment où ceux-ci cessent de faire ménage commun (ATF 138 II 229 consid. 2 p. 231; 136 II 113 consid. 3.3.3 p. 119).
3.2. Le Tribunal cantonal a retenu que la première exigence de l'art. 50 al. 1 let. a LEtr n'était pas remplie car les époux, mariés depuis le 16 juillet 2004, s'étaient séparés à de multiples reprises, soit en 2006, 2008, puis définitivement 2011. Or, compte tenu de ces éléments et des déclarations de l'épouse du recourant selon lesquelles les intéressés se remettaient ensemble chaque fois que le recourant devait renouveler son permis, il a considéré que la communauté conjugale n'avait pas été maintenue durant ces séparations et que cette communauté n'avait donc pas duré trois ans.
3.3. Le recourant conteste cette affirmation. Il allègue que la séparation intervenue, selon l'arrêt attaqué, en 2006, ne saurait être interprétée comme étant la fin de la vie commune compte tenu de sa brièveté: elle n'aurait duré qu'un jour. La première véritable séparation aurait eu lieu en mars 2008, comme l'attesteraient plusieurs pièces du dossier.
3.4. Le document qui signale la séparation des époux en 2006 n'est pas négligeable, comme le prétend le recourant, puisqu'il s'agit d'un formulaire officiel du Contrôle des habitants répertoriant les changements intervenants dans la vie de l'étranger séjournant en Suisse et qui sont pertinents quant au permis de séjour octroyé (cf. supra partie " Faits " let. Ab). Ce document mentionne que la séparation était une séparation à l'amiable; il en précise la date, soit le 30 octobre 2006 en relevant qu'il s'agit de la date de l'annonce. Puis, Y._ et X._ ont communiqué à cette autorité qu'ils avaient repris la vie commune et le Contrôle des habitants de Lausanne a donc rectifié l'état civil de X._ en l'enregistrant comme marié avec effet au 13 novembre 2006. Que par la suite les époux soient passés aux guichets du Contrôle des habitants de Lausanne pour indiquer qu'ils faisaient à nouveau ménage commun depuis le 1er novembre 2006, ne modifie pas le fait qu'ils avaient préalablement annoncé leur séparation au 30 octobre 2006 et la reprise de la vie commune au 13 novembre 2006. Au demeurant, si la séparation a été annoncée le 30 octobre 2006, il est très probable que les époux était alors déjà séparé depuis quelque temps. Il faut ajouter à cela les déclarations du 16 février 2009 de l'épouse selon lesquelles son mariage était plus un mariage de raison qu'un mariage d'amour et celles du 15 novembre 2012 où elle affirmait que les époux avaient à plusieurs reprises fait ménage séparé, soit en 2006, 2008, 2010 et 2011 et qu'elle était consciente qu'elle se remettait avec le recourant à chaque fois qu'il avait besoin de renouveler son permis.
Compte tenu de ces éléments, le recourant ne saurait reprocher au Tribunal cantonal d'avoir procédé à une analyse arbitraire de sa situation. C'est à bon droit que cette autorité a jugé que l'union conjugale n'existait plus depuis 2006, les époux n'ayant plus depuis cette période la volonté de vivre ensemble et ne sauvant l'apparence d'une telle union que dans le but de voir l'autorisation de séjour du recourant être prolongée. Partant, le recourant ne remplit pas la première condition d'application de l'art. 50 al.1 let. a LEtr, soit les trois ans d'union conjugale. Les conditions posées par cette disposition étant cumulatives (ATF 136 II 113 consid. 3.3.3 p. 119), il n'y pas lieu de vérifier si l'intégration en Suisse est réussie.
Finalement, l'arrêt attaqué ne révèle aucun élément déterminant qui ferait apparaître le refus de prolonger l'autorisation de séjour du recourant comme disproportionné (cf. art. 96 LEtr).
4.
Le recourant ne se plaint pas d'une violation de l'art. 50 al. 1 let. b LEtr, pas plus qu'il n'allègue qu'en cas de retour dans son pays d'origine les conditions de sa réintégration sociale, au regard de sa situation personnelle, professionnelle et familiale, seraient gravement compromises. Au demeurant, les faits de la cause démontrent qu'il ne pourrait pas tirer un droit à la prolongation de son autorisation de cette disposition.
5.
Le recourant invoque encore un droit au séjour en Suisse sur la base des art. 13 Cst. et 8 CEDH.
5.1. En matière de droit des étrangers, l'art. 13 al. 1 Cst. n'a pas une portée plus grande que l'art. 8 CEDH (ATF 137 I 284 consid. 2.1 p. 288; 129 II 215 consid. 4.2 p. 218 s.; arrêt 2D_7/2013 du 30 mai 2013 consid. 7), ce que le recourant ne prétend au demeurant pas. Il convient dès lors d'examiner le grief soulevé à la lumière de l'art. 8 CEDH seulement.
5.2. Sous l'angle étroit de la protection de la vie privée, l'art. 8 § 1 CEDH invoqué par le recourant n'ouvre le droit à une autorisation de séjour qu'à des conditions restrictives. L'étranger doit en effet établir l'existence de liens sociaux et professionnels spécialement intenses avec la Suisse, notablement supérieurs à ceux qui résultent d'une intégration ordinaire. Le Tribunal fédéral n'adopte pas une approche schématique qui consisterait à présumer, à partir d'une certaine durée de séjour en Suisse, que l'étranger y est enraciné et dispose de ce fait d'un droit de présence dans notre pays. Il procède bien plutôt à une pesée des intérêts en présence, en considérant la durée du séjour en Suisse comme un élément parmi d'autres (cf. ATF 130 II 281 consid. 3.2.1 p. 286 et les arrêts cités). Les années passées dans l'illégalité ou au bénéfice d'une simple tolérance - par exemple en raison de l'effet suspensif attaché à des procédures de recours - ne doivent normalement pas être prises en considération dans l'appréciation ou alors seulement dans une mesure très restreinte (cf. ATF 137 II 1 consid. 4.3 p. 8; 134 II 10 consid. 4.3 p. 23 s.; 130 II 281 consid. 3.3 p. 289).
5.3. En l'espèce, contrairement à ce qu'il prétend, cela ne fait pas 18 ans que le recourant vit en Suisse puisque les années passées dans l'illégalité ne revêtent que peu de poids et ne sont par conséquent pas déterminantes. Il a été admis provisoirement dans notre pays en juillet 1999 et aurait dû en être expulsé fin août 2000 (il ne s'était pas présenté pour le vol de retour prévu), à la suite d'une condamnation pénale. Il est revenu en Suisse en avril 2004 pour son mariage. Il est donc depuis un peu plus de 10 ans en Suisse. Si, cette durée est effectivement importante, elle est le seul élément en faveur d'une poursuite du séjour en Suisse. En effet, les relations professionnelles sont en deçà de ce qu'implique une intégration ordinaire. En outre, pendant différentes périodes de son séjour, le recourant n'a pas été autonome financièrement, il a des dettes, il n'a pas toujours respecté l'ordre public (une condamnation pour recel) et s'est soustrait à l'époque à son renvoi pour le Kosovo. Le recourant ne se prévaut pas de liens sociaux intenses. L'ensemble de sa famille, en particulier ses trois enfants, vit au Kosovo.
Le recourant se prévaut du chiffre 4 de la recommandation Rec (2000) 15 du 13 septembre 2000 du Comité des Ministres aux Etats membres sur la sécurité de résidence des immigrés de longue durée qui suggère que toute décision d'expulsion, eu égard au principe de proportionnalité, tienne compte de certains critères (comportement personnel de l'intéressé, durée de résidence, conséquences de l'expulsion, liens avec le pays d'origine) et qui propose qu'après dix ans de résidence un étranger ne soit pas expulsé sauf s'il a été condamné pour un délit pénal à une peine dépassant cinq ans de détention sans sursis. Comme le relève lui-même le recourant, dans la mesure où il s'agit d'une recommandation, il faut constater qu'elle n'a pas force de loi (cf. arrêts 2C_457/2014 du 3 juin 2014 consid. 4.2 et 2C_1026/2011 du 23 juillet 2012 consid. 4.5). En outre, les autorités nationales jouissent d'une certaine marge d'appréciation dans l'application du principe de proportionnalité (cf. arrêt de la Cour européenne des droits de l'homme [ci-après: CourEDH] Maslov contre Autriche du 23 juin 2008, n° 1638/03, § 76). De plus, lorsqu'elle mentionne cette recommandation, la CourEDH poursuit en rappelant que l'art. 8 CEDH ne confère pas un droit à ne pas être expulsé. Il en va d'ailleurs ainsi dans l'arrêt invoqué par le recourant, soit l'arrêt Maslov susmentionné (cf. § 73 et 74; cf. aussi arrêts Samsonnikov contre Estonie du 3 juillet 2012, n° 52178/10, § 86; Emre contre Suisse du 22 mai 2008, n° 42034/04, § 67; Üner contre Pays-Bas du 18 octobre 2006, n° 46410/99, § 55). Quant à cet arrêt, l'état de fait n'étant pas comparable au cas d'espèce, puisqu'il concernait le séjour d'un requérant, arrivé à l'âge de six ans en Autriche, qui avait commis des infractions pendant sa minorité et où la Cour a retenu qu'il fallait prendre en compte l'intérêt supérieur de l'enfant lorsque des infractions avaient lieu durant cette période de la vie, le recourant ne peut rien en tirer.
En conclusion, contrairement à ce que soutient le recourant, la durée de son séjour en Suisse n'est pas déterminante et il ne peut tirer aucun droit de l'art. 8 CEDH.
6.
Au regard de ce qui précède, le recours en matière de droit public est rejeté et le recours constitutionnel subsidiaire est irrecevable.
Succombant, le recourant doit supporter les frais judiciaires (art. 65 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 1 et 3 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours en matière de droit public est rejeté.
2.
Le recours constitutionnel subsidiaire est irrecevable.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 4 mars 2015
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
La Greffière : Jolidon