Faits :
A.
Après avoir en vain demandé l'asile en Allemagne, A._, ressortissant kosovar né en 1979, est venu en Suisse en 2010, où il a séjourné illégalement. Le 24 février 2015, il a sollicité l'octroi d'une autorisation de séjour par regroupement familial à la suite de son mariage célébré le 6 février 2015 avec B._, ressortissante suisse. Aucun enfant n'est né de cette union.
A la question du formulaire de demande d'autorisation de séjour " L'étranger (ère) - de plus de 18 ans - a-t-il (elle) fait l'objet d'une condamnation en Suisse ou à l'étranger (dans l'affirmative, fournir un extrait du casier judiciaire) ? ", A._ a répondu par la négative (<ref-law>).
B.
B.a. D'après l'extrait du 27 avril 2015 de son casier judiciaire suisse, A._ a été condamné à quatre reprises en Suisse: le 11 mai 2010 à une peine pécuniaire de 30 jours-amende avec sursis et à une amende de 1'000 fr. pour séjour illégal et activité lucrative sans autorisation; le 26 août 2011 à une peine pécuniaire de cinq jours-amende avec sursis et à une amende de 100 fr. pour séjour illégal; le 17 octobre 2011 à une peine privative de liberté de 120 jours pour entrée et séjour illégaux, ainsi qu'activité lucrative sans autorisation, et le 27 septembre 2012 à une peine privative de liberté de 90 jours pour séjour illégal et activité lucrative sans autorisation, ainsi que pour avoir induit la justice en erreur.
B.b. Il ressort d'une décision du 27 mai 2002 relative à son renvoi d'Allemagne que A._ a été condamné le 7 mai 1999 à une peine de 20 jours-amende, pour avoir transgressé une interdiction de quitter le territoire, et le 31 août 2000 à une peine de 50 jours-amende pour conduite sans permis de conduire et lésions corporelles causées par négligence. En outre, A._ a été incarcéré à titre provisoire à partir du 28 septembre 2000, puis condamné le 26 mars 2001 par le " Jugendschöffengericht bei dem Amtsgericht Augsburg " à une peine privative de liberté de trois ans pour trafic illicite de stupéfiants. Cette condamnation figure sur l'extrait du casier judiciaire allemand de l'intéressé daté du 11 janvier 2016 (<ref-law>).
C.
Après lui avoir donné l'occasion de s'exprimer, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a, par décision du 20 octobre 2015, refusé d'octroyer une autorisation de séjour à A._ et prononcé son renvoi de Suisse.
A._ a formé un recours contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal).
Le Service cantonal a transmis au Tribunal cantonal une copie d'un arrêt, rendu par la Cour d'appel pénale du canton de Vaud le 24 février 2016, condamnant A._ à une peine de travail d'intérêt général de 240 heures pour faux dans les certificats et conduite d'un véhicule automobile sans permis de conduire, faits qui se sont produits les 8 et 9 novembre 2014 (<ref-law>). Ce jugement est entré en force.
Par arrêt du 28 septembre 2016, le Tribunal cantonal a rejeté le recours de A._ contre la décision du 20 octobre 2015 et confirmé celle-ci, tout en octroyant l'assistance judiciaire à l'intéressé. En substance, il a considéré que le refus d'octroyer une autorisation de séjour à A._ était justifié compte tenu des fausses déclarations de l'intéressé au cours de la procédure et des condamnations pénales dont il avait fait l'objet. La décision du Service cantonal respectait en outre le principe de la proportionnalité.
D.
A l'encontre de l'arrêt du 28 septembre 2016, A._ forme un recours en matière de droit public et un recours constitutionnel subsidiaire auprès du Tribunal fédéral. Il conclut, sous suite de frais et dépens, principalement à la réforme de l'arrêt du 28 septembre 2016 en ce sens qu'il est mis au bénéfice d'une autorisation de séjour; subsidiairement à l'annulation de cet arrêt et au renvoi de la cause au Tribunal cantonal pour instruction complémentaire et nouvelle décision dans le sens des considérants. Il sollicite l'effet suspensif et l'octroi de l'assistance judiciaire.
Par ordonnance présidentielle du 2 novembre 2016, l'effet suspensif a été accordé au recours.
Le 3 novembre 2016, le Tribunal fédéral a renoncé provisoirement à demander une avance de frais et informé A._ qu'il sera statué ultérieurement sur l'octroi de l'assistance judiciaire.
Le Service cantonal renonce à se déterminer sur le recours. Le Tribunal cantonal se réfère à l'arrêt attaqué. Le Secrétariat d'Etat aux migrations n'a pas déposé d'observations. A._ a indiqué ne pas avoir d'observations supplémentaires à formuler.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2.1 p. 397; <ref-ruling> consid. 2 p. 59).
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
En l'espèce, le recourant se prévaut de l'art. 42 al. 1 LEtr (RS 142.20), qui prévoit que le conjoint d'un ressortissant suisse a droit à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité à condition de vivre en ménage commun avec lui, et du droit au respect de la vie familiale tel que protégé par l'art. 8 CEDH. Etant marié à une ressortissante suisse, avec laquelle il cohabite, le recourant peut en principe déduire un droit à une autorisation de séjour de ces dispositions (arrêt 2C_240/2012 du 15 mars 2013 consid. 1.1, non publié in <ref-ruling>). Il s'ensuit que la présente cause ne tombe pas sous le coup de l'art. 83 let. c ch. 2 LTF. La voie du recours en matière de droit public est par conséquent ouverte.
1.2. Pour le surplus, le recours est dirigé contre une décision finale (<ref-law>), rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>). Il a en outre été déposé en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>), par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification et a partant la qualité pour recourir (<ref-law>). Il convient donc d'entrer en matière.
1.3. Le recours en matière de droit public étant ouvert s'agissant du refus de délivrer une autorisation de séjour au recourant, le recours constitutionnel subsidiaire formé parallèlement par celui-ci doit être déclaré irrecevable (<ref-law> a contrario), étant précisé que le renvoi n'est pas contesté dans le recours.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral contrôle librement le respect du droit fédéral (art. 95 let. a et 106 al. 1 LTF), alors qu'il n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant (<ref-law>).
2.2. Pour statuer, le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (<ref-law>), à moins que ceux-ci n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (<ref-ruling> consid. 2.3 p. 266) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). Si la partie recourante entend s'écarter des constatations de l'autorité précédente (<ref-law>), elle doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées. A défaut d'une telle motivation, il n'est pas possible de prendre en considération un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 3.1.2 p. 34; <ref-ruling> consid. 10.1 p. 444).
En l'occurrence, dans la mesure où le recourant complète, notamment dans la partie de son mémoire intitulée "rappel des faits", les faits constatés dans l'arrêt entrepris sans faire valoir, ni a fortiori démontrer que ceux-ci auraient été constatés de manière manifestement inexacte ou arbitraire, il n'y a pas lieu de tenir compte des éléments qu'il avance. Le Tribunal fédéral se fondera donc exclusivement sur les faits retenus par l'autorité précédente.
3.
Dans un grief d'ordre formel qu'il convient de traiter en premier lieu (<ref-ruling> consid. 3 p. 191), le recourant invoque une violation de son droit d'être entendu (art. 29 al. 2 Cst.). Il se plaint du refus du Tribunal cantonal de procéder à son audition, nécessaire, selon lui, pour qu'il puisse expliquer sa situation, ainsi qu'à celle de son épouse, laquelle aurait permis d'établir que la vie de famille ne peut pas se poursuivre au Kosovo et que le couple ne dispose pas de moyens financiers suffisants pour entretenir une relation familiale à distance.
3.1. Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. comprend notamment le droit pour le justiciable de s'expliquer avant qu'une décision ne soit prise à son détriment, de produire des preuves pertinentes et d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes (<ref-ruling> consid. 6.3.1 p. 299; <ref-ruling> consid. 3.2 p. 270). L'art. 29 al. 2 Cst. impose en particulier à l'autorité de donner suite à une offre de preuve lorsque celle-ci a été demandée en temps utile, dans les formes prescrites et qu'elle apparaît de nature à influer sur le sort de la décision à rendre. Il n'y a toutefois pas violation du droit à l'administration des preuves lorsque la mesure probatoire refusée est inapte à établir le fait à prouver, lorsque ce fait est sans pertinence ou lorsque, sur la base d'une appréciation non arbitraire des preuves dont elle dispose déjà, l'autorité parvient à la conclusion que les faits pertinents sont suffisamment établis et que le résultat, même favorable au requérant, de la mesure probatoire sollicitée ne pourrait pas modifier sa conviction (<ref-ruling> consid. 6.3.1 p. 299; <ref-ruling> consid. 5.3 p. 236 s.; <ref-ruling> consid. 5.3 p. 148). En particulier, l'autorité peut renoncer à faire citer des témoins si, dans le cadre d'une appréciation anticipée des preuves dénuée d'arbitraire, elle peut dénier à ces témoignages une valeur probante décisive pour le jugement (<ref-ruling> consid. 6c/cc p. 135 et 6c/ dd p. 135 s.; <ref-ruling> consid. 5b p. 285; arrêt 2C_850/2014 du 10 juin 2016 consid. 6.1, non publié in <ref-ruling>).
3.2. En l'occurrence, on peut regretter que le Tribunal cantonal ne se soit pas exprimé expressément sur la demande d'audition du recourant, mais seulement sur celle de son épouse. Il s'agit apparemment d'une inadvertance, dont le recourant ne se plaint du reste pas sous l'angle de l'art. 29 Cst.
Il résulte toutefois des faits de l'arrêt entrepris que le recourant a pu se déterminer par écrit auprès du Service cantonal, puis tout au long de la procédure. Le recourant a ainsi eu la possibilité de fournir toutes informations utiles au sujet de ses condamnations et, notamment, d'expliquer, comme il dit vouloir le faire par oral, les circonstances entourant les infractions commises en Allemagne et en Suisse. Au sujet de son passé pénal en Allemagne, le recourant a en outre expressément été invité par les précédents juges à fournir une copie des décisions prises à son encontre, demande à laquelle il n'a pas donné suite. Or, le recourant ne peut pas prétendre à une audition orale au lieu de déterminations écrites auxquelles il a renoncé. A cela s'ajoute que le droit d'être entendu ne garantit pas, de façon générale, le droit d'être entendu oralement (<ref-ruling> consid. 9.6.1 p. 76; <ref-ruling> consid. 5.3 p. 148) et que le dossier à disposition du Tribunal cantonal était suffisant pour juger la cause au fond (cf. infra consid. 4 et 5). Dans ces circonstances, le Tribunal cantonal pouvait, même implicitement, renoncer à l'audition du recourant sans violer le droit d'être entendu de celui-ci.
3.3. S'agissant de l'audition de l'épouse du recourant, le Tribunal cantonal y a expressément renoncé aux motifs que le Service cantonal ne contestait pas l'existence d'une relation réellement vécue entre les époux et que le refus de l'autorisation de séjour avait uniquement trait au comportement du recourant. Le recourant ne démontre pas que cette appréciation anticipée du moyen de preuve proposé serait insoutenable. Dans la mesure où on ne voit pas que l'audition de l'épouse du recourant aurait permis de réunir des informations supplémentaires par rapport à celles figurant déjà au dossier sur les motifs justifiant le refus de l'autorisation de séjour et la situation de la famille en cas de confirmation de ce refus, le Tribunal cantonal pouvait, sur la base d'une appréciation anticipée des preuves dénuée d'arbitraire, renoncer à l'audition de l'épouse du recourant sans violer le droit d'être entendu de celui-ci.
Il s'ensuit que le grief relatif à la violation du droit d'être entendu doit être écarté.
4.
Sur le fond, le litige revient à se demander si la confirmation par le Tribunal cantonal du refus d'octroyer une autorisation de séjour au recourant est conforme au droit.
4.1. En sa qualité de conjoint d'une ressortissante suisse avec laquelle il fait ménage commun, le recourant peut en principe prétendre à une autorisation de séjour en vertu de l'art. 42 al. 1 LEtr. Toutefois, à teneur de l'art. 51 al. 1 let. b LEtr, les droits prévus à l'art. 42 LEtr s'éteignent s'il existe des motifs de révocation au sens de l'art. 63 LEtr.
4.2. En l'espèce, le recourant estime qu'il ne réalise pas le motif de révocation envisagé à l'art. 63 al. 1 let. b LEtr (atteinte très grave à la sécurité et l'ordre publics). Cette disposition n'a toutefois pas été appliquée par le Tribunal cantonal, qui a retenu que le recourant réalisait les motifs de révocation visés respectivement à l'art. 62 let. a et b LEtr (devenu, depuis le 1er octobre 2016, et ci-après: l'art. 62 al. 1 let. a et 62 al. 1 let. b LEtr [RO 2016 2329]), à savoir la dissimulation de faits essentiels et la condamnation à une peine privative de liberté de longue durée, applicables par le renvoi de l'art. 63 al. 1 let. a LEtr en lien avec l'art. 51 al. 1 let. b LEtr. Il convient donc d'examiner uniquement ces deux motifs de révocation, dont le recourant conteste également qu'ils soient réalisés.
4.3. Aux termes de l'art. 62 al. 1 let. a LEtr, l'autorisation peut notamment être révoquée lorsque l'étranger ou son représentant légal a fait de fausses déclarations ou a dissimulé des faits essentiels durant la procédure d'autorisation. Ainsi, lorsque l'autorité pose des questions à l'étranger, celui-ci doit y répondre conformément à la vérité. Les fausses déclarations doivent porter sur des éléments déterminants pour l'octroi de l'autorisation de séjour ou d'établissement. Il ne doit toutefois pas être établi que l'autorisation aurait avec certitude été refusée si l'autorité avait obtenu une information correcte. Quant à la dissimulation de faits essentiels, au même titre que pour les fausses déclarations, il faut que l'étranger ait la volonté de tromper l'autorité. Cela est notamment le cas lorsqu'il cherche à provoquer, respectivement à maintenir, une fausse apparence sur un fait essentiel (<ref-ruling> consid. 3.1 p. 266). La dissimulation d'une condamnation pénale suffit pour que le motif de révocation de l'art. 62 al. 1 let. a LEtr soit réalisé (arrêts 2C_317/2016 du 14 septembre 2016 consid. 4.3; 2C_855/2012 du 21 janvier 2013 consid. 4.2; 2C_227/2011 du 25 août 2011 consid. 2.2).
4.4. Quant à l'art. 62 al. 1 let. b LEtr, il prévoit que l'autorisation peut, entre autres, être révoquée si l'étranger a été condamné à une peine privative de liberté de longue durée, c'est-à-dire à une peine supérieure à un an, résultant d'un seul jugement pénal, prononcée avec sursis, sursis partiel ou sans (<ref-ruling> consid. 2.1 p. 18; <ref-ruling> consid. 2.3 p. 300 ss; <ref-ruling> consid. 4.2 et 4.5 p. 379 ss). Selon la jurisprudence, les jugements étrangers peuvent être pris en compte lorsque les infractions concernées constituent des délits ou des crimes selon l'ordre juridique suisse et que la condamnation a été prononcée dans un Etat et dans le cadre d'une procédure qui respecte les garanties constitutionnelles minimales de procédure ainsi que les droits de la défense (arrêts 2C_662/2016 du 8 décembre 2016 consid. 2.1; 2C_8/2014 du 8 janvier 2015 consid. 2.2; 2C_694/2013 du 26 mars 2014 consid. 4.1; 2C_641/2013 du 17 décembre 2013 consid. 2.3 et les références). Ces conditions sont manifestement réunies s'agissant d'une condamnation prononcée par un tribunal allemand pour trafic de stupéfiants.
4.5. En l'espèce, le recourant a expressément répondu par la négative à la question, figurant dans le formulaire de demande d'autorisation de séjour, relative à l'existence de condamnations pénales en Suisse ou à l'étranger. S'il a été admis par le Tribunal cantonal que l'intéressé pouvait ne pas être conscient de ses condamnations en Suisse (du fait, vraisemblablement, de sa libération immédiate après ses arrestations et d'une notification irrégulière des ordonnances de condamnation) et, partant, de la nécessité de les indiquer, le recourant ne peut en revanche prétendre qu'il en irait de même s'agissant de sa condamnation, prononcée le 26 mars 2001 en Allemagne, à une peine privative de liberté de trois ans - et non deux ans comme il l'écrit dans son recours - pour trafic illicite de stupéfiants. Ces faits graves et importants pour apprécier le droit du recourant à une autorisation de séjour auraient dû être signalés. L'ancienneté de la condamnation ne justifiait pas que le recourant la taise. En effet, selon le formulaire de demande, toute condamnation prononcée en Suisse ou à l'étranger doit être mentionnée et l'extrait du casier judiciaire doit y être joint le cas échéant. Or, au moment de la demande, la condamnation figurait sur la casier judiciaire allemand du recourant. Il n'y a par ailleurs pas lieu d'examiner si, selon le droit suisse, cette inscription aurait déjà été éliminée comme le soutient le recourant, et si, dans l'affirmative, le recourant était légitimé pour ce motif à ne pas mentionner la condamnation dans sa demande d'autorisation de séjour. Le recourant se contente en effet d'invoquer l'art. 369 al. 1 let. d CP (élimination du casier judiciaire des peines privatives de liberté prononcées selon le droit pénal des mineurs), perdant de vue que le Tribunal cantonal a écarté son grief sur la base de constatations de fait relatives à son âge que le recourant ne remet pas en cause et qui lient la Cour de céans (<ref-law>).
Il suit de ce qui précède que c'est à juste titre que le Tribunal cantonal a retenu que le recourant réalisait le motif de révocation, et partant de refus d'octroi, d'une autorisation de séjour prévu à l'art. 62 al. 1 let. a LEtr.
4.6. Compte tenu de la peine privative de liberté de trois ans qui lui a été infligée le 26 mars 2001 par un tribunal allemand, le recourant réalise également le motif de révocation, et partant de refus d'octroi, d'une autorisation de séjour de l'art. 62 al. 1 let. b LEtr, ainsi que l'a également retenu à bon droit le Tribunal cantonal.
Par conséquent, on ne peut reprocher au Tribunal cantonal d'avoir retenu que le recourant ne peut pas se prévaloir d'un droit à un titre de séjour au sens de l'art. 42 al. 1 LEtr, sa situation tombant sous le coup de l'art. 51 al. 1 let. b LEtr.
5.
Le recourant invoque une violation de l'art. 8 CEDH. Le refus de lui accorder une autorisation de séjour ne viserait aucun but légitime au sens de l'art. 8 par. 2 CEDH et serait disproportionné.
5.1. Un étranger peut se prévaloir de l'art. 8 par. 1 CEDH (et de l'art. 13 Cst.), qui garantit le droit au respect de la vie privée et familiale, pour s'opposer à l'éventuelle séparation de sa famille pour autant qu'il entretienne une relation étroite et effective avec une personne de sa famille ayant le droit de résider durablement en Suisse (<ref-ruling> consid. 2.1 p. 335 s.; <ref-ruling> consid. 1.3.1 p. 145 s.; <ref-ruling> consid. 3.1 p. 286), ce qui est le cas en l'espèce, étant précisé que la réalité du lien conjugal entre le recourant et son épouse ressortissante suisse n'est pas contesté.
Le droit au respect de la vie privée et familiale garanti par l'art. 8 par. 1 CEDH n'est toutefois pas absolu. Une ingérence dans l'exercice de ce droit est possible selon l'art. 8 par. 2 CEDH, pour autant qu'elle soit prévue par la loi et qu'elle constitue une mesure qui, dans une société démocratique, est nécessaire à la sécurité nationale, à la sûreté publique, au bien-être économique du pays, à la défense de l'ordre et à la prévention des infractions pénales, à la protection de la santé ou de la morale ou à la protection des droits et libertés d'autrui. La mise en oeuvre d'une politique restrictive en matière de séjour des étrangers constitue un but légitime au regard de cette disposition conventionnelle (<ref-ruling> consid. 2.1 p. 288; <ref-ruling> consid. 2.2.1 p. 156).
Le refus d'octroyer une autorisation de séjour (ou d'établissement) fondé sur l'art. 8 par. 2 CEDH ne se justifie que si la pesée des intérêts à effectuer dans le cas d'espèce fait apparaître la mesure comme proportionnée aux circonstances (<ref-ruling> consid. 2.2 p. 147 s.; <ref-ruling> consid. 4.3 p. 381). Cette condition correspond aux exigences de l'art. 96 LEtr (<ref-ruling> consid. 2.1 p. 287 s.). Lors de l'examen de la proportionnalité, il y a lieu de prendre en considération la gravité de la faute commise par l'étranger, la durée de son séjour en Suisse, son degré d'intégration, ainsi que le préjudice qu'il aurait à subir avec sa famille du fait de l'expulsion, respectivement du refus d'accorder ou de prolonger une autorisation de séjour (<ref-ruling> consid. 2.3 p. 148 s.; <ref-ruling> consid. 4.3 et 4.4 p. 381 s.; <ref-ruling> consid. 4.1 p. 185).
5.2. En l'espèce, le Tribunal cantonal a admis qu'il ne pourrait que difficilement être exigé de l'épouse du recourant, de nationalité suisse, d'origine congolaise et mère d'enfants issus de précédentes unions qui résident en Suisse, qu'elle quitte ce pays pour s'établir au Kosovo. Le refus d'octroyer une autorisation de séjour au recourant, qui implique son renvoi de Suisse, aura ainsi pour conséquence que le couple devra vivre séparé, ce qui constitue une atteinte importante au droit au respect de la vie familiale. Il convient donc de se demander si cette atteinte est justifiée, compte tenu de l'ensemble des circonstances.
5.3. En l'occurrence, le recourant a été condamné le 26 mars 2001 à une peine privative de liberté de trois ans pour trafic illicite de stupéfiants. Cette peine excède la limite indicative de deux ans à partir de laquelle la jurisprudence admet qu'un étranger dont c'est la première demande d'autorisation de séjour, ce qui est le cas en l'espèce, ne peut en principe pas bénéficier d'un titre de séjour, même lorsqu'on ne peut pas ou difficilement exiger de son conjoint suisse qu'il quitte son pays (<ref-ruling> consid. 2.3 p. 148 s.; <ref-ruling> consid. 4.3 et 4.4 p. 382 s.). On doit certes admettre, avec le recourant, que l'ancienneté de sa condamnation relativise la portée de ce principe (cf. arrêt 2C_963/2015 du 29 février 2016 consid. 4.3). Il convient toutefois de souligner que le recourant s'est rendu coupable de trafic illicite de stupéfiants, infraction pour laquelle le Tribunal fédéral se montre particulièrement rigoureux (<ref-ruling> consid. 2.5 p. 149 s.; <ref-ruling> consid. 5.3 p. 125 s. et les références). En outre, le refus d'octroyer une autorisation de séjour au recourant ne repose pas seulement sur l'existence de cette ancienne condamnation, mais aussi sur la dissimulation de faits essentiels au cours de la procédure d'autorisation de séjour, l'intéressé ayant volontairement caché son passé pénal aux autorités. Or, ce comportement démontre une désinvolture, voire un mépris, à l'égard des règles applicables, qui est confirmé par le fait que le recourant a séjourné en Suisse illégalement, ainsi que par les condamnations prononcées à son encontre depuis 2010 et y compris alors que la procédure d'autorisation de séjour était en cours. La possible ignorance du recourant quant à l'existence de condamnations pénales pour certains des faits reprochés (cf. supra consid. 4.3) ne signifie pas la méconnaissance de leur caractère illégal, ni l'inexistence du comportement délictueux à leur origine. Elle ne peut par conséquent pas démontrer que le recourant aurait veillé à adopter un comportement exempt de tout reproche depuis son arrivée en Suisse, comme il tente de le faire valoir. Compte tenu de ce qui précède, il existe un intérêt légitime à refuser au recourant une autorisation de séjour.
Du point de vue des facteurs plaidant en faveur de l'octroi d'une telle autorisation, le recourant ne peut pas se prévaloir de liens particuliers avec la Suisse autres que ceux résultant de son mariage. Il n'a en effet pas eu d'enfant avec son épouse et il ne ressort pas des faits de l'arrêt entrepris, qui lient le Tribunal fédéral (<ref-law>), que sa famille vivrait en Suisse comme il l'allègue dans son recours. Reste la relation du recourant avec son épouse. La séparation du couple demeurera toutefois supportable, les moyens de communication actuels permettant de maintenir des contacts réguliers (cf. arrêt 2C_139/2013 du 11 juin 2013 consid. 7.3), même si des voyages fréquents ne seront peut-être pas envisageables compte tenu de leurs ressources financières.
5.4. En définitive, le refus d'octroyer une autorisation de séjour au recourant poursuit un but légitime et n'apparaît pas disproportionné compte tenu de l'ensemble des circonstances. En rendant l'arrêt attaqué, le Tribunal cantonal n'a donc pas violé le droit fédéral; en particulier il a appliqué correctement les art. 51 al. 1, 63 al. 1 let. a et 62 al. 1 let. a et b LEtr, ainsi que 8 CEDH.
6.
Les considérants qui précèdent conduisent au rejet du recours en matière de droit public. Le recours constitutionnel subsidiaire est quant à lui irrecevable (cf. supra consid. 1.3). Le recours étant d'emblée dénué de chances de succès, la requête d'assistance judiciaire doit être rejetée (<ref-law>). Succombant, le recourant doit supporter les frais judiciaires, qui seront toutefois fixés en tenant compte de sa situation (art. 65 al. 2 et 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours en matière de droit public est rejeté.
2.
Le recours constitutionnel subsidiaire est irrecevable.
3.
La requête d'assistance judiciaire est rejetée.
4.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
5.
Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 21 mars 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber