Faits :
A.
A.X._, ressortissant nigérian né en 1979, est entré une première fois en Suisse le 1er mars 2006, date à laquelle il a déposé une demande d'asile. Celle-ci a été rejetée par l'Office fédéral des migrations (actuellement le Secrétariat d'Etat aux migrations) le 31 mars 2006. Il a ensuite vécu en France, en Suisse et en Espagne avant de revenir s'installer en Suisse, au moins dès octobre 2012.
A.X._ a fait l'objet de plusieurs condamnations pénales. Il a ainsi été condamné:
- le 31 juillet 2007, par prononcé préfectoral, à une amende de 600 fr. avec sursis pour infraction à l'ancienne loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (aLSEE; RO 49 279);
- le 1er avril 2008, par le Tribunal correctionnel de l'arrondissement de Lausanne, à une peine privative de liberté de deux ans, dont une année ferme, pour infraction grave à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121), contravention à la LStup et infraction à l'aLSEE commises entre septembre 2006 et octobre 2007;
- le 25 mars 2013, par la Cour d'appel pénale du Tribunal cantonal du canton de Vaud, à une peine privative de liberté de 24 mois et à une amende de 200 fr. pour infraction grave à la LStup, contravention à la LStup et infraction à l'aLSEE et à la LEtr (RS 142.20) commises durant l'année 2007 puis durant l'année 2009, jusqu'au 23 février 2010;
- le 14 juin 2013, par le Ministère public du canton de Bâle-Campagne, à une peine pécuniaire de 120 jours-amende à 30 fr. et à une amende de 500 fr. pour infraction à la LEtr et pour contravention à la LStup, pour des faits survenus entre août 2010 et octobre 2012.
Le 30 avril 2011, l'intéressé s'est marié en Espagne avec une ressortissante suisse d'origine congolaise, née en 1977. Une fille est née de cette union en août 2012.
B.
Le 24 septembre 2013, A.X._ a requis auprès du Service de la population du canton de Vaud (ci-après: le Service de la population) une autorisation de séjour au titre du regroupement familial, invoquant le droit au respect de sa vie privée et familiale.
Par décision du 25 février 2014, le Service de la population a refusé l'octroi d'une autorisation de séjour en faveur de l'intéressé et prononcé son renvoi de Suisse. Ce dernier, sa femme et sa fille ont contesté ce prononcé auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) le 31 mars 2014.
Par arrêt du 17 novembre 2014, le Tribunal cantonal a rejeté le recours de A.X._ et sa famille. Il a jugé que l'intéressé s'était rendu coupable d'infractions graves qui constituaient un motif de révocation de l'autorisation de séjour et que dans la pesée des intérêts en présence, la protection de l'ordre public apparaissait prépondérante par rapport à l'intérêt des époux X._ et leur fille à voir leur vie familiale protégée.
C.
Agissant par la voie du recours en matière de droit public, A.X._, sa femme et sa fille demandent au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, d'annuler l'arrêt du 17 novembre 2014 du Tribunal cantonal et de renvoyer la cause à celui-ci pour nouvelle décision dans le sens des considérants. Ils se plaignent de constatation inexacte des faits, de violation de leur droit d'être entendus et de violation des art. 14 et 36 Cst. ainsi que 8 CEDH.
Par ordonnance du 20 décembre 2014, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif.
Le Service de la population renonce à se déterminer. Le Tribunal cantonal et le Secrétariat d'Etat aux migrations concluent tous deux au rejet du recours.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (art. 29 al. 1 LTF). Il contrôle donc librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 369).
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable à l'encontre des décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Il suffit toutefois qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et que, partant, la voie du recours en matière de droit public soit ouverte. La question de savoir si les conditions d'un tel droit sont effectivement réunies relève du fond (<ref-ruling> consid. 1.1 p. 179). En l'occurrence, le recourant 1 se prévaut des art. 42 LEtr et 8 CEDH sous l'angle du droit au respect de sa vie familiale. Les recourantes 2 et 3 se prévalent quant à elles de l'art. 8 CEDH (<ref-ruling> consid. 1d/aa p. 64 s.). Ces griefs étant articulés de manière soutenable, la voie du recours en matière de droit public est ouverte.
1.2. Pour le surplus, l'arrêt attaqué est une décision finale (art. 90 LTF), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (art. 82 let. a LTF). Le recours ayant de surcroît été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 LTF), par les recourants qui sont atteints par la décision entreprise et ont un intérêt digne de protection à son annulation ou à sa modification, de sorte qu'il faut leur reconnaître la qualité pour recourir (art. 89 al. 1 LTF), il est partant recevable.
2.
Les recourants se plaignent en premier lieu de violation de leur droit d'être entendus et d'arbitraire dans l'établissement des faits.
2.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (cf. art. 105 al. 1 LTF). Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF, et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF), ce que la partie recourante doit démontrer d'une manière circonstanciée, conformément aux exigences de motivation de l'art. 106 al. 2 LTF (cf. <ref-ruling> consid. 1.4.3 p. 254 s.). La notion de "manifestement inexacte" correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.1 p. 450).
Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 2.3 p. 282). L'autorité peut cependant renoncer à procéder à des mesures d'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 2.2 p. 210; <ref-ruling> consid. 5.2 p. 147 s.; <ref-ruling> consid. 2.1 p. 429). Le juge cantonal enfreint tant la règle générale de l'art. 8 CC, applicable également en droit public, que la garantie du droit d'être entendu de l'art. 29 al. 2 Cst. s'il tient pour exactes les allégations non prouvées d'une partie, nonobstant leur contestation par la partie adverse, ou s'il refuse toute administration de preuve sur des faits pertinents en droit (arrêt 2C_778/2012 du 19 novembre 2012 consid. 3.2 et les références citées).
2.2. Les recourants font grief au Tribunal cantonal de ne pas avoir constaté que la recourante 2 était également mère d'une première fille, ressortissante suisse née d'une précédente union, et sur laquelle le père de celle-ci exerce un droit de visite. De plus, ils critiquent l'autorité précédente pour ne pas avoir pris en compte le rapport particulier existant entre le recourant 1 et la première fille de la recourante 2. Les recourants estiment encore que le Tribunal cantonal aurait aussi dû tenir compte du fait que la recourante 2 et sa famille, tous ressortissants suisses, ont développé avec le recourant 1 des liens de respect et d'amitié et se sont engagés à le soutenir et à l'accompagner, ainsi qu'à subvenir à ses besoins et à ceux de sa famille. Finalement, ils contestent le fait que la recourante 2 ait été au courant du passé délictuel du recourant 1. Selon eux, la Cour cantonale ne pouvait tenir ce fait pour avéré sans précédemment leur donner la possibilité de se prononcer à son sujet.
Tout d'abord, il faut constater que le Tribunal cantonal, contrairement à l'avis des recourants, a retenu que la recourante 2 avait une fille d'une précédente union. Certes, il relève que l'exercice du droit de visite par le père n'est qu'allégué et pas établi. Cela est toutefois sans incidence puisqu'il explique que l'intérêt au maintien d'une vie familiale sur sol helvétique ne doit pas être négligé et prend en compte la possibilité pour la recourante 2 de rester en Suisse auprès de sa première fille. Contrairement à ce que les recourants avancent, le Tribunal cantonal n'exige pas de la recourante 2 qu'elle quitte la Suisse. C'est à juste titre que les faits constatés ont mené l'autorité précédente à reconnaître un intérêt privé des trois recourants à ce que le recourant 1 puisse demeurer en Suisse. Au demeurant, le fait que ce dernier ait de bons rapports avec la première fille de sa femme ou que la famille de celle-ci soit disposée à le soutenir financièrement ne permet pas d'arriver à un résultat différent dans la pesée des intérêts en présence (cf. consid. 3.4 i.f. ci-dessous).
La recourante 2 conteste avoir eu connaissance des condamnations de son mari et estime qu'elle aurait au moins dû avoir la possibilité de s'exprimer sur ce fait avant que le Tribunal cantonal ne le prenne en compte. Elle explique ne pas avoir été en possession du document sur lequel le Tribunal cantonal s'est fondé. Force est ici tout d'abord de constater que si la recourante 2 n'était pas en possession du jugement dans lequel figuraient ses déclarations signées, on pouvait partir du principe que le recourant 1, en tant que partie, devait en disposer. En tout état de cause, alors que le passé délictuel du recourant 1 est pertinent pour la présente procédure, le jugement précité figure au dossier de la cause qui était librement consultable auprès de l'autorité précédente. En ne requérant pas une telle consultation alors qu'ils en avaient l'occasion, les recourants ne peuvent par la suite invoquer une violation de leur droit d'être entendus à ce propos. Cela leur est d'autant moins possible qu'en se fondant sur des déclarations signées de la recourante 2, le Tribunal cantonal pouvait logiquement partir du principe que cet élément de fait était connu de celle-ci. En outre, que le Tribunal cantonal ait cité le jugement pénal dans la partie en droit de son arrêt, à l'exclusion de la partie en fait, est sans importance.
Le recours, en tant qu'il porte sur une constatation inexacte des faits et une violation du droit d'être entendu doit par conséquent être rejeté.
3.
Les recourants se plaignent ensuite d'une violation de l'art. 8 CEDH ainsi que des art. 14 et 36 Cst. Ils invoquent en particulier une mauvaise pesée des intérêts en présence effectuée par le Tribunal cantonal et citent l'arrêt de la Cour européenne des droits de l'homme (ci-après: CourEDH) Udeh contre Suisse du 16 avril 2013 (in Plaidoyer 2013/3 p. 58).
3.1. Il n'est en l'occurrence pas contesté que le recourant 1, de par son mariage avec une ressortissante suisse, a droit à une autorisation de séjour fondée sur l'art. 42 al. 1 LEtr. C'est en outre à juste titre que les recourants ne se plaignent pas d'une mauvaise application de l'art. 62 let. b LEtr (par renvoi des art. 63 al. 1 let. a et 51 al. 1 let. b LEtr), dès lors que le recourant 1, par ses deux condamnations à deux ans de peine privative de liberté, remplit les conditions de la peine de longue durée prévue par cette disposition (cf. <ref-ruling> consid. 2.1 p. 147). Au surplus, marié à une ressortissante helvétique et père d'une fille bénéficiant de la nationalité suisse, le recourant 1 peut également faire valoir un droit au respect de sa vie familiale, protégé par l'art. 8 par. 1 CEDH.
Seuls sont donc litigieux les points de savoir si la pesée des intérêts en présence a été correctement effectuée par l'autorité précédente, en application des art. 96 LEtr et 8 par. 2 CEDH (l'examen de la première de ces dispositions se confondant avec celui de la seconde; cf. <ref-ruling> consid. 2.2 p. 147 s.), et si la mesure confirmée par le Tribunal cantonal constitue une restriction admissible du droit au mariage et à la famille des recourants, conformément aux art. 14 et 36 Cst.
3.2. Il convient en premier lieu de mentionner que l'arrêt de la CourEDH auquel font référence les recourants n'énonce aucun principe nouveau et que sa portée a été fortement relativisée par le Tribunal fédéral (<ref-ruling> consid. 2.4 p. 327 ss; arrêts 2C_280/2014 du 22 août 2014 consid. 4.7; 2C_339/2013 du 18 juillet 2013 consid. 2.9; 2C_139/2013 du 11 juin 2013 consid. 7.5). Pour autant qu'ils entendent en déduire un droit, cet arrêt ne leur est d'aucun secours en l'espèce.
3.3. L'art. 8 par. 1 CEDH dispose que toute personne a droit au respect de sa vie privée et familiale, de son domicile et de sa correspondance. Le droit au respect de la vie privée et familiale garanti par cette disposition n'est toutefois pas absolu. Une ingérence dans l'exercice de ce droit est possible selon l'art. 8 par. 2 CEDH, pour autant qu'elle soit prévue par la loi et qu'elle constitue une mesure qui, dans une société démocratique, est nécessaire à la sécurité nationale, à la sûreté publique, au bien-être économique du pays, à la défense de l'ordre et à la prévention des infractions pénales, à la protection de la santé ou de la morale ou à la protection des droits et libertés d'autrui. Le refus de prolonger une autorisation de séjour fondé sur l'art. 8 par. 2 CEDH suppose une pesée des intérêts en présence et l'examen de la proportionnalité de la mesure (cf. <ref-ruling> consid. 2.2 p. 147 s.; <ref-ruling> consid. 4.3 p. 381). Pour apprécier ce qui est équitable, l'autorité doit notamment tenir compte de la gravité de la faute commise par l'étranger, de la durée de son séjour en Suisse et du préjudice qu'il aurait à subir avec sa famille du fait de l'expulsion. Normalement, en cas de peine d'au moins deux ans de détention, l'intérêt public à l'éloignement l'emporte sur l'intérêt privé - et celui de sa famille - à pouvoir rester en Suisse (cf. <ref-ruling> consid. 2.3 p. 148 s.; <ref-ruling> consid. 4.3 et 4.4 p. 381 s.; <ref-ruling> consid. 4.1 p. 185).
3.4. A ce propos, le Tribunal cantonal a pris en considération tous les éléments imposés par la jurisprudence du Tribunal fédéral et de la CourEDH pour procéder à la pesée des intérêts. Ainsi en va-t-il en particulier de la gravité des actes pénaux, de l'âge d'arrivée en Suisse, de la durée et de la qualité du séjour légal en Suisse, des conséquences pour l'intéressé, son épouse et sa fille d'un départ de Suisse et des possibilités d'intégration à l'étranger, du fait que le mariage ait eu lieu après la commission d'une partie des infractions, respectivement des condamnations et que la conjointe les ait connues au moment de s'engager ou encore de la possibilité des époux de conserver des liens en dépit de l'éloignement. Intégrant l'ensemble de ces circonstances, le Tribunal cantonal a retenu à juste titre que l'intérêt public à maintenir éloigné le recourant de la Suisse l'emportait sur l'intérêt privé de celui-ci, de son épouse et de sa fille à pouvoir y vivre ensemble. Le résultat de la pesée des intérêts ainsi effectuée est correct.
Par ailleurs, même si l'on devait admettre que le Tribunal cantonal n'a pas tenu compte de la relation du recourant 1 avec la première fille de la recourante 2 dans la pesée des intérêts, cela ne changerait rien à l'issue du litige. En effet, il faut constater, comme pour les rapports du recourant 1 avec sa femme et sa fille, que celui-ci n'a pas d'interdiction d'entrée en Suisse et qu'il lui sera aussi possible de venir régulièrement rendre visite à cet enfant. Il n'est pas non plus exclu que la première fille de la recourante 2 aille, accompagnée de sa mère et de sa demi-soeur puis plus tard seule, rejoindre le recourant 1 au Nigéria pour des vacances ou, le cas échéant, pour y vivre. Cela n'empêchera au demeurant nullement son père biologique d'exercer son droit de visite. S'agissant de la grossesse alléguée de la recourante 2, celle-ci ne conduit pas à un autre résultat dans la pesée des intérêts, pas plus que d'éventuelles garanties de bonne conduite données par la famille de la recourante 2. En effet, on voit mal en quoi celle-ci pourrait attester du respect de l'ordre juridique par le recourant 1, dès lors que ce dernier s'est fait condamner en 2013 pour une infraction à la LStup, juste après avoir été condamné à deux reprises pour d'autres infractions graves à cette loi. A ce propos, contrairement à ce que semblent penser les recourants, il n'est pas ici question de remettre en cause le bien fondé de la dernière condamnation du recourant 1. Ainsi, comme l'a expliqué à satisfaction l'autorité précédente, cette condamnation dénote une absence de volonté de se soumettre à l'ordre juridique suisse.
3.5. Les recourants se plaignent au surplus d'une violation de leur droit constitutionnel au mariage et à la famille (art. 14 Cst.). Ils font implicitement valoir que la restriction à ce droit n'est pas proportionnelle.
S'agissant de la proportionnalité de la restriction des droits fondamentaux des recourants, il peut également être renvoyé à la pesée des intérêts effectuée par les juges cantonaux (cf. consid. 3.4 ci-dessus). On peut en particulier rappeler que l'intérêt public à l'éloignement des étrangers ayant commis des infractions graves à la loi sur les stupéfiants l'emporte généralement sur l'intérêt privé des recourants (<ref-ruling> consid. 5.3 p. 125 s.).
4.
Les considérants qui précèdent conduisent au rejet du recours. Succombant, les recourants doivent ainsi supporter les frais judiciaires (art. 66 al. 1 LTF) solidairement entre eux (art. 66 al. 5 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Le présent arrêt est communiqué au mandataire des recourants, au Service de la population et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 4 avril 2015
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
Le Greffier : Tissot-Daguette