Faits : A. B.X._, ressortissant kosovar né en janvier 1982, a séjourné illégalement en Suisse à partir de mai 2003. Le 10 mai 2006, il a été condamné par le Tribunal pénal de l'arrondissement de la Sarine à quatre ans et demi de réclusion et à une amende de 100 fr. pour crimes contre la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121) et délit et contravention à l'ancienne loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (aLSEE; RO 49 279). B.X._ avait participé à un trafic de 1'349 g d'héroïne pure (soit plus de 6 kg d'héroïne conditionnée) ainsi que séjourné et travaillé en Suisse sans autorisation de mai 2003 à juin 2004. Suite à ce jugement, l'Office fédéral des migrations (actuellement: le Secrétariat d'Etat au migrations; ci-après: le Secrétariat d'Etat), par décision du 24 janvier 2007, a prononcé une interdiction d'entrée et de séjour en Suisse pour une durée indéterminée contre l'intéressé. Celui-ci a quitté la Suisse le 28 juin 2007, après avoir été libéré conditionnellement. Par jugement du 27 avril 2010, le Juge d'instruction de Lausanne a condamné B.X._ à une peine pécuniaire de 20 jours-amende à 30 fr. pour avoir exercé une activité lucrative en Suisse sans autorisation en avril 2010. Le 18 octobre 2010, le Service de la population et des migrants du canton de Fribourg (ci-après: le Service de la population) a refusé d'octroyer à l'intéressé une autorisation d'entrée et de séjour en vue du mariage pour des motifs d'ordre public. Le 17 janvier 2011, dans son pays d'origine, l'intéressé a épousé A.X._, une compatriote née en 1989 et naturalisée suisse en décembre 2004. Un enfant est né de cette union en 2013. B. Le 20 janvier 2011, B.X._ a déposé une nouvelle demande d'autorisation de séjour et d'entrée en Suisse au titre du regroupement familial. Cette demande a été rejetée par décision du Service de la population du 25 mars 2013. Les époux X._ ont recouru contre ce prononcé le 6 mai 2013 auprès de la I e Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal). Durant cette procédure, les intéressés ont indiqué au Tribunal cantonal que le 29 novembre 2011, B.X._ avait requis le réexamen de la décision d'entrée en Suisse prononcée par l'Office fédéral des migrations. Ce dernier, dans une décision du 24 mai 2013, avait partiellement admis cette demande en réduisant à quinze ans la mesure d'interdiction d'entrée en Suisse prononcée contre l'intéressé. Saisi d'un recours, le Tribunal administratif fédéral avait quant à lui ordonné la suspension de la procédure jusqu'à droit connu dans la cause relative à l'autorisation de séjour. Par arrêt du 22 septembre 2014, le Tribunal cantonal a rejeté le recours des intéressés. Il a en substance considéré que la peine de quatre ans et demi à laquelle avait été condamné B.X._ constituait un motif de révocation de l'autorisation de séjour permettant de refuser l'octroi d'une telle autorisation. En outre, l'intéressé, par son comportement, avait porté une atteinte extrêmement sérieuse à la santé et à la sécurité publique. Le Tribunal cantonal, en procédant à une pesée des intérêts en cause, a jugé que le Service de la population n'avait pas violé le droit en considérant que l'intérêt à la sécurité et l'ordre publics l'emportait sur l'intérêt privé des intéressés à vivre leur vie familiale avec leur enfant en Suisse. C. Agissant par la voie du recours en matière de droit public, A.X._ et B.X._ demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 22 septembre 2014 du Tribunal cantonal et de leur reconnaître le droit au regroupement familial. Ils invoquent des violations du droit fédéral et international. Le Service de la population se réfère aux considérants de la décision du Tribunal cantonal. Ce dernier et le Secrétariat d'Etat concluent tous deux au rejet du recours.