Faits :
A.
X._, ressortissant kosovar né en 1979, venu en Suisse en 2010 illégalement, s'est marié le 6 février 2015 avec une ressortissante suisse. Le 24 février 2015, il a sollicité l'octroi d'une autorisation de séjour par regroupement familial auprès du Service de la population du canton de Vaud (ci-après: le Service cantonal). Au cours de la procédure, X._ a tu l'existence de condamnations pénales prononcées à son encontre, notamment sa condamnation, en 2001, par un tribunal allemand, à une peine privative de liberté de trois ans pour trafic illicite de stupéfiants.
Le 20 octobre 2015, le Service cantonal a refusé d'octroyer l'autorisation sollicitée et a prononcé le renvoi de Suisse de X._. Par arrêt du 21 mars 2017 (2C_1011/2016), le Tribunal fédéral a confirmé l'arrêt du 28 septembre 2016 de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal), qui avait rejeté le recours formé par X._ contre la décision du 20 octobre 2015. A l'instar des autorités cantonales, le Tribunal fédéral a considéré que les condamnations pénales et les fausses déclarations du recourant constituaient des motifs de refus de l'autorisation de séjour (cf. art. 51 al. 1 let. b cum art. 63 al. 1 let. a LEtr [RS 142.20]) et que ce refus respectait le principe de proportionnalité.
Le 18 avril 2017, le Service cantonal a imparti un délai immédiat à X._ pour quitter la Suisse. Celui-ci est néanmoins demeuré sur le territoire.
B.
Le 28 avril 2017, X._ a présenté au Service cantonal une demande de reconsidération de la décision du 20 octobre 2015, respectivement une nouvelle demande d'autorisation de séjour au titre du regroupement familial.
Par décision du 1 er juin 2017, le Service cantonal a déclaré cette requête irrecevable, subsidiairement l'a rejetée.
Par arrêt du 16 janvier 2018, le Tribunal cantonal a rejeté le recours de X._ contre cette décision et confirmé celle-ci. En substance, les juges cantonaux ont retenu que les éléments invoqués par le recourant, à savoir l'écoulement du temps, son bon comportement depuis 2015 et ses troubles psychologiques liés à la procédure administrative, ne démontraient pas une modification notable des circonstances justifiant l'entrée en matière sur la demande de réexamen de la décision du 20 octobre 2015 et que la (nouvelle) demande d'autorisation de séjour du recourant était prématurée.
C.
Contre l'arrêt du 16 janvier 2018, X._ forme un recours en matière de droit public au Tribunal fédéral. Il demande, sous suite de frais et dépens, outre l'effet suspensif et l'octroi de l'assistance judiciaire, principalement la réforme de l'arrêt entrepris en ce sens que son recours est admis, la décision du Service cantonal du 1 er juin 2017 annulée et la cause renvoyée à cette autorité pour qu'elle entre en matière et examine sa nouvelle demande d'autorisation de séjour; subsidiairement le renvoi de la cause à l'autorité précédente ou au Service cantonal pour nouvelle décision dans le sens des considérants.
Par ordonnance du 5 mars 2018, le Président de la II e Cour de droit public du Tribunal fédéral a rejeté la requête d'effet suspensif.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit :
1.
1.1. En vertu de l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est notamment irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. En l'occurrence, du moment que le recourant est marié à une ressortissante suisse, l'art. 42 al. 1 LEtr et l'art. 8 CEDH sont potentiellement de nature à lui conférer un droit à une autorisation de séjour (cf. arrêt 2C_173/2017 du 19 juin 2017 consid. 1.1). Le recours échappe en conséquence à la clause d'irrecevabilité de l'art. 83 let. c ch. 2 LTF. La voie du recours en matière de droit public est donc en principe ouverte.
1.2. Au surplus, le recours remplit les conditions des art. 42 et 82 ss LTF. Il convient donc d'entrer en matière, sous la réserve qui suit.
1.3. Le dispositif doit être interprété à la lumière de la motivation (cf. arrêt 4A_561/2008 du 9 février 2009 consid. 2.6.4, non publié in <ref-ruling>). En l'occurrence, le Service cantonal a, dans le dispositif de sa décision du 1 er juin 2017, déclaré la demande en reconsidération irrecevable, subsidiairement l'a rejetée, ce qui peut prêter à confusion. Toutefois, il ressort de la motivation de la décision qu'il s'agit d'un refus d'entrée en matière, sans examen au fond. L'arrêt attaqué confirme également ce refus et n'envisage pas, même à titre subsidiaire, la cause au fond. Dans un tel cas, la procédure devant le Tribunal fédéral ne peut porter que sur le bien-fondé du refus d'entrée en matière (cf. arrêts 2C_689/2016 du 30 novembre 2016 consid. 1.4; 2C_876/2013 du 18 novembre 2013 consid. 1.3; 2C_1007/2011 du 12 mars 2012 consid. 4.1; cf. aussi <ref-ruling> consid. 3.2 p. 235 s.). Il s'ensuit que le recourant ne peut pas invoquer le fond, à savoir l'existence des conditions justifiant l'octroi d'une autorisation de séjour (cf. arrêt 2C_781/2013 du 4 mars 2014 consid. 4.1).
En tant que le recourant expose, au fond, pour quels motifs une autorisation de séjour devrait, selon lui, lui être octroyée, il perd de vue les principes précédemment exposés. Il ne sera partant pas entré en matière sur cette partie de l'argumentation, ni sur le grief tiré de la violation du droit au respect de la vie familiale (art. 8 CEDH et 13 Cst.) y relatif. L'examen du Tribunal fédéral portera uniquement sur la question de savoir si c'est à juste titre que le Tribunal cantonal a confirmé la décision du Service cantonal refusant d'entrer en matière sur la demande de reconsidération.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral contrôle librement le respect du droit fédéral, qui comprend les droits de nature constitutionnelle (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Aux termes de cet alinéa, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par la partie recourante, à savoir exposé de manière claire et détaillée (cf. <ref-ruling> consid. 1.3 p. 41).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. En vertu de l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 6 p. 358; <ref-ruling> consid. 1.6 p. 144 s.). Lorsque la partie recourante s'en prend à l'établissement des faits ou à l'appréciation des preuves, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a procédé à des déductions insoutenables (cf. <ref-ruling> consid. 6 p. 358).
3.
Le recourant invoque une violation de son droit d'être entendu (art. 29 al. 2 Cst.), sous l'angle du droit à la preuve. Il reproche à l'autorité précédente de s'être contentée d'indiquer, dans les faits, qu'il avait produit devant elle un document attestant que son casier judiciaire allemand était désormais vierge, sans prendre en considération cet élément déterminant dans son raisonnement juridique.
Il résulte de la lecture de cette critique que ce n'est pas d'une violation de son droit d'être entendu dont le recourant désire se plaindre, mais plutôt d'une mauvaise appréciation des preuves. Le recourant reproche en effet au Tribunal cantonal de ne pas avoir tenu compte dans son appréciation juridique d'un moyen de preuve qui, selon lui, serait propre à modifier la décision attaquée. A défaut de grief tiré de la violation de l'interdiction de l'arbitraire, ce point n'aurait pas à être examiné plus avant (cf. supra consid. 2.2). On relèvera néanmoins que la radiation de l'inscription figurant au casier judiciaire allemand n'a pas d'influence en l'espèce sur l'éventuelle entrée en matière sur la demande d'autorisation de séjour du recourant (cf. infra consid. 4.3), de sorte que le grief devrait de toute façon été rejeté.
En tant que le recourant semble également dénoncer une violation du droit d'être entendu sous l'angle du droit à une décision motivée, il sera rappelé que l'autorité n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (cf. <ref-ruling> consid. 3.2.1 p. 564 s.). En l'occurrence, le Tribunal cantonal, qui a détaillé les raisons pour lesquelles il n'était pas justifié d'entrer en matière sur la requête du recourant, a satisfait à son obligation de motivation. Le grief du recourant doit donc également être rejeté de ce point de vue.
4.
Le recourant estime que le refus d'entrée en matière sur sa nouvelle demande d'autorisation de séjour est injustifié. Il invoque la violation du principe de proportionnalité inscrit à l'art. 96 LEtr et de l'interdiction de l'arbitraire (art. 9 Cst.).
4.1. Après un refus ou une révocation d'une autorisation de séjour, il est possible de demander l'octroi d'une nouvelle autorisation, dans la mesure où, au moment du prononcé, l'étranger qui en fait la demande remplit les conditions posées à un tel octroi (cf. arrêt 2C_736/2017 du 28 novembre 2017 consid. 3.3). Indépendamment du fait que cette demande s'intitule reconsidération ou nouvelle demande, elle ne saurait avoir pour conséquence de remettre continuellement en question des décisions entrées en force (cf. arrêts 2C_790/2017 du 12 janvier 2018 consid. 2.1 renvoyant à l'arrêt 2C_253/2017 du 30 mai 2017 consid. 4.3; 2C_736/2017 du 28 novembre 2017 consid. 3.3; 2C_689/2016 du 30 novembre 2016 consid. 2.2). L'autorité administrative n'est ainsi tenue d'entrer en matière sur une nouvelle demande que lorsque les circonstances ont subi des modifications notables ou lorsqu'il existe un cas de révision, c'est-à-dire lorsque l'étranger se prévaut de faits importants ou de preuves dont il n'avait pas connaissance dans la procédure précédente, qu'il lui aurait été impossible d'invoquer dans cette procédure pour des motifs juridiques ou pratiques ou encore qu'il n'avait alors pas de raison d'alléguer (cf. <ref-ruling> consid. 2.1 p. 181; arrêt 2C_253/2017 du 30 mai 2017 consid. 4.3).
4.2. La jurisprudence a toutefois admis que l'existence d'un motif de révocation ou de refus d'une autorisation en matière de droit des étrangers (art. 62 et 63 LEtr) ne peut pas indéfiniment faire obstacle à l'octroi d'une (nouvelle) autorisation. Ainsi, il sied d'opérer un nouvel examen au fond de la prétention au regroupement familial après cinq ans environ, ou plus tôt lorsque les circonstances se sont à ce point modifiées que ce nouvel examen s'impose de lui-même (cf. arrêts 2C_299/2017 du 11 janvier 2018 consid. 4.3; 2C_253/2017 du 30 mai 2017 consid. 4.3; 2C_1224/2013 du 12 décembre 2014 consid. 5.1.2; 2C_1170/2012 du 24 mai 2013 consid. 3.4.2). Le délai de cinq ans commence à courir à compter de la date d'entrée en force de la décision initiale de refus, de non-renouvellement ou de révocation de l'autorisation de séjour ou d'établissement (cf. arrêt 2C_1224/2013 du 12 décembre 2014 consid. 5.1.2). Le nouvel examen de la demande suppose que l'étranger ait respecté son obligation de quitter la Suisse et ait fait ses preuves dans son pays d'origine ou de séjour (cf. arrêts 2C_254/2017 du 6 mars 2018 consid. 3.2.2; 2C_790/2017 du 12 janvier 2018 consid. 2.1 et 2.4; 2C_253/2017 du 30 mai 2017 consid. 4.3; 2C_519/2014 du 15 janvier 2015 consid. 3.7; 2C_1224/2013 du 12 décembre 2014 consid. 5.1.2; 2C_1170/2012 du 24 mai 2013 consid. 3.4.2).
4.3. En l'occurrence, ainsi que l'a relevé le Tribunal cantonal, la décision initiale de refus de délivrer au recourant une autorisation de séjour du Service cantonal du 20 octobre 2015 est entrée en force le 21 mars 2017, lorsque le Tribunal fédéral a rejeté le recours contre l'arrêt du Tribunal cantonal la confirmant (cf. <ref-law>). Le recourant a déposé sa demande de reconsidération, respectivement sa nouvelle demande, le 28 avril 2017. Quoi qu'il en pense, on ne voit pas que, dans ce très bref laps de temps, les circonstances aient pu se modifier au point qu'un nouvel examen de la demande d'autorisation de séjour s'imposerait largement avant le délai général de cinq ans. En particulier, la radiation de l'inscription figurant au casier judiciaire allemand, sur laquelle insiste le recourant, n'est pas déterminante; ce n'est en effet pas l'inscription en tant que telle qui a justifié le refus d'autorisation de séjour, mais l'infraction commise par le recourant - dont le caractère ancien a du reste été pris en considération - et ses fausses déclarations à ce sujet.
A cela s'ajoute que le recourant ne s'est pas conformé à l'ordre qui lui avait été donné de quitter la Suisse, ce qui est pourtant un préalable nécessaire. Ne pas exiger le respect de cette condition reviendrait en effet à permettre au recourant de contourner la décision de renvoi prise à son encontre (cf. arrêt 2C_790/2017 du 12 janvier 2018 consid. 2.4). Dans ces circonstances, un nouvel examen du droit à une autorisation de séjour ne peut pas entrer en considération.
4.4. Aucun des arguments du recourant ne remet en cause le résultat qui précède.
4.4.1. Le recourant critique de manière générale le délai de cinq ans fixé par la jurisprudence, ainsi que le moment à partir duquel ce délai commence à courir. Dès lors que les conditions à une entrée en matière sur la nouvelle demande d'autorisation de séjour ne sont pas réunies, indépendamment du fait que la demande a été déposée un mois environ seulement après l'entrée en force de la décision de refus et un an et demi seulement après le prononcé de cette décision, les critiques du recourant tombent à faux. Au demeurant, celui-ci se méprend lorsqu'il considère que le délai de cinq ans ne devrait pas s'appliquer dans sa situation au motif qu'il n'aurait, selon ses dires, pas fait l'objet d'une interdiction d'entrée en Suisse sur la base de l'art. 67 LEtr. En effet, la procédure d'interdiction d'entrée est distincte de celle liée à la (nouvelle) demande d'autorisation de séjour, ce qui justifie d'ailleurs que le délai de cinq ans ne soit pas calculé depuis la date de l'éventuelle décision d'interdiction d'entrée en Suisse, mais depuis l'entrée en force de la décision initiale de refus, de non-renouvellement ou de révocation de l'autorisation (cf. arrêt 2C_1224/2013 du 12 décembre 2014 consid. 5.1.2). Quant au point de départ du délai de cinq ans, que le recourant juge peu précis, on peine à comprendre en quoi la notion d'entrée en force prête à confusion.
4.4.2. Le recourant fait aussi valoir que le délai général de cinq ans qui lui est opposé depuis l'entrée en force de la décision de refus aura, selon toute probabilité, pour conséquence de lui faire perdre tout droit au regroupement familial, puisque, selon l'art. 47 al. 1 et 3 let. a LEtr, le regroupement familial doit être demandé dans les cinq ans après l'établissement du lien familial, soit, dans son cas, dans les cinq ans à compter du 6 février 2015. Là encore, l'argument ne remet pas en cause l'absence de modification notable des circonstances et le fait que le recourant n'a pas quitté la Suisse, de sorte qu'il ne lui est d'aucun secours. Au surplus, dès lors que le recourant a déjà déposé une première demande d'autorisation de séjour dans le délai de l'art. 47 al. 1 et 3 let. a LEtr, ce délai ne lui sera pas opposé à l'avenir. Estimer que les autorités n'auraient pas à examiner de nouvelles demandes d'autorisation de séjour passé le délai de cinq ans à compter de l'établissement du lien familial reviendrait à vider de sa substance la jurisprudence relative au droit de déposer et de voir examiner une nouvelle demande d'autorisation de séjour une fois que l'étranger a fait ses preuves dans son pays d'origine ou de séjour pendant environ cinq ans. La position du recourant ne peut donc pas être suivie.
Enfin, la situation d'incertitude juridique dans laquelle le recourant dit se trouver faute de savoir à quel moment une nouvelle demande d'autorisation de séjour sera examinée au fond n'est pas la conséquence des règles exposées ci-avant comme il le prétend, mais de son comportement. En tout état, elle n'est pas susceptible de constituer un motif d'entrée en matière sur la demande actuelle.
4.5. En résumé, dès lors que la nouvelle demande d'autorisation a été déposée pratiquement immédiatement après l'entrée en force de la décision de refus du 20 octobre 2015, soit le 21 mars 2017, sans qu'aucune circonstance n'ait changé et que le recourant n'a pas même pris la peine de quitter la Suisse comme il le lui avait été ordonné, c'est à bon droit que l'autorité précédente a confirmé le refus du Service cantonal d'examiner, au fond, la nouvelle demande d'autorisation de séjour du recourant. Partant, les griefs du recourant doivent être rejetés.
5.
Les considérants qui précèdent conduisent au rejet du recours. Celui-ci étant d'emblée dénué de chances de succès, la requête d'assistance judiciaire doit être rejetée (<ref-law>). Succombant, le recourant doit supporter les frais judiciaires, qui seront toutefois fixés en tenant compte de sa situation (art. 65 al. 2 et 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué à la mandataire du recourant, au Service de la population et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 18 avril 2018
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber