Faits : A. A.X._, ressortissant nigérian né en 1979, est entré une première fois en Suisse le 1er mars 2006, date à laquelle il a déposé une demande d'asile. Celle-ci a été rejetée par l'Office fédéral des migrations (actuellement le Secrétariat d'Etat aux migrations) le 31 mars 2006. Il a ensuite vécu en France, en Suisse et en Espagne avant de revenir s'installer en Suisse, au moins dès octobre 2012. A.X._ a fait l'objet de plusieurs condamnations pénales. Il a ainsi été condamné: - le 31 juillet 2007, par prononcé préfectoral, à une amende de 600 fr. avec sursis pour infraction à l'ancienne loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (aLSEE; RO 49 279); - le 1er avril 2008, par le Tribunal correctionnel de l'arrondissement de Lausanne, à une peine privative de liberté de deux ans, dont une année ferme, pour infraction grave à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121), contravention à la LStup et infraction à l'aLSEE commises entre septembre 2006 et octobre 2007; - le 25 mars 2013, par la Cour d'appel pénale du Tribunal cantonal du canton de Vaud, à une peine privative de liberté de 24 mois et à une amende de 200 fr. pour infraction grave à la LStup, contravention à la LStup et infraction à l'aLSEE et à la LEtr (RS 142.20) commises durant l'année 2007 puis durant l'année 2009, jusqu'au 23 février 2010; - le 14 juin 2013, par le Ministère public du canton de Bâle-Campagne, à une peine pécuniaire de 120 jours-amende à 30 fr. et à une amende de 500 fr. pour infraction à la LEtr et pour contravention à la LStup, pour des faits survenus entre août 2010 et octobre 2012. Le 30 avril 2011, l'intéressé s'est marié en Espagne avec une ressortissante suisse d'origine congolaise, née en 1977. Une fille est née de cette union en août 2012. B. Le 24 septembre 2013, A.X._ a requis auprès du Service de la population du canton de Vaud (ci-après: le Service de la population) une autorisation de séjour au titre du regroupement familial, invoquant le droit au respect de sa vie privée et familiale. Par décision du 25 février 2014, le Service de la population a refusé l'octroi d'une autorisation de séjour en faveur de l'intéressé et prononcé son renvoi de Suisse. Ce dernier, sa femme et sa fille ont contesté ce prononcé auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) le 31 mars 2014. Par arrêt du 17 novembre 2014, le Tribunal cantonal a rejeté le recours de A.X._ et sa famille. Il a jugé que l'intéressé s'était rendu coupable d'infractions graves qui constituaient un motif de révocation de l'autorisation de séjour et que dans la pesée des intérêts en présence, la protection de l'ordre public apparaissait prépondérante par rapport à l'intérêt des époux X._ et leur fille à voir leur vie familiale protégée. C. Agissant par la voie du recours en matière de droit public, A.X._, sa femme et sa fille demandent au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, d'annuler l'arrêt du 17 novembre 2014 du Tribunal cantonal et de renvoyer la cause à celui-ci pour nouvelle décision dans le sens des considérants. Ils se plaignent de constatation inexacte des faits, de violation de leur droit d'être entendus et de violation des art. 14 et 36 Cst. ainsi que 8 CEDH. Par ordonnance du 20 décembre 2014, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif. Le Service de la population renonce à se déterminer. Le Tribunal cantonal et le Secrétariat d'Etat aux migrations concluent tous deux au rejet du recours.