Faits :
A.
B.X._, ressortissant kosovar né en janvier 1982, a séjourné illégalement en Suisse à partir de mai 2003.
Le 10 mai 2006, il a été condamné par le Tribunal pénal de l'arrondissement de la Sarine à quatre ans et demi de réclusion et à une amende de 100 fr. pour crimes contre la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121) et délit et contravention à l'ancienne loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (aLSEE; RO 49 279). B.X._ avait participé à un trafic de 1'349 g d'héroïne pure (soit plus de 6 kg d'héroïne conditionnée) ainsi que séjourné et travaillé en Suisse sans autorisation de mai 2003 à juin 2004. Suite à ce jugement, l'Office fédéral des migrations (actuellement: le Secrétariat d'Etat au migrations; ci-après: le Secrétariat d'Etat), par décision du 24 janvier 2007, a prononcé une interdiction d'entrée et de séjour en Suisse pour une durée indéterminée contre l'intéressé. Celui-ci a quitté la Suisse le 28 juin 2007, après avoir été libéré conditionnellement.
Par jugement du 27 avril 2010, le Juge d'instruction de Lausanne a condamné B.X._ à une peine pécuniaire de 20 jours-amende à 30 fr. pour avoir exercé une activité lucrative en Suisse sans autorisation en avril 2010.
Le 18 octobre 2010, le Service de la population et des migrants du canton de Fribourg (ci-après: le Service de la population) a refusé d'octroyer à l'intéressé une autorisation d'entrée et de séjour en vue du mariage pour des motifs d'ordre public. Le 17 janvier 2011, dans son pays d'origine, l'intéressé a épousé A.X._, une compatriote née en 1989 et naturalisée suisse en décembre 2004. Un enfant est né de cette union en 2013.
B.
Le 20 janvier 2011, B.X._ a déposé une nouvelle demande d'autorisation de séjour et d'entrée en Suisse au titre du regroupement familial. Cette demande a été rejetée par décision du Service de la population du 25 mars 2013. Les époux X._ ont recouru contre ce prononcé le 6 mai 2013 auprès de la I e Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal). Durant cette procédure, les intéressés ont indiqué au Tribunal cantonal que le 29 novembre 2011, B.X._ avait requis le réexamen de la décision d'entrée en Suisse prononcée par l'Office fédéral des migrations. Ce dernier, dans une décision du 24 mai 2013, avait partiellement admis cette demande en réduisant à quinze ans la mesure d'interdiction d'entrée en Suisse prononcée contre l'intéressé. Saisi d'un recours, le Tribunal administratif fédéral avait quant à lui ordonné la suspension de la procédure jusqu'à droit connu dans la cause relative à l'autorisation de séjour.
Par arrêt du 22 septembre 2014, le Tribunal cantonal a rejeté le recours des intéressés. Il a en substance considéré que la peine de quatre ans et demi à laquelle avait été condamné B.X._ constituait un motif de révocation de l'autorisation de séjour permettant de refuser l'octroi d'une telle autorisation. En outre, l'intéressé, par son comportement, avait porté une atteinte extrêmement sérieuse à la santé et à la sécurité publique. Le Tribunal cantonal, en procédant à une pesée des intérêts en cause, a jugé que le Service de la population n'avait pas violé le droit en considérant que l'intérêt à la sécurité et l'ordre publics l'emportait sur l'intérêt privé des intéressés à vivre leur vie familiale avec leur enfant en Suisse.
C.
Agissant par la voie du recours en matière de droit public, A.X._ et B.X._ demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 22 septembre 2014 du Tribunal cantonal et de leur reconnaître le droit au regroupement familial. Ils invoquent des violations du droit fédéral et international.
Le Service de la population se réfère aux considérants de la décision du Tribunal cantonal. Ce dernier et le Secrétariat d'Etat concluent tous deux au rejet du recours.

Considérant en droit :
1.
1.1. Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public (faussement nommé recours en matière pénale par les recourants à la p. 3 de leur mémoire) est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Il suffit, sous l'angle de la recevabilité, qu'il existe un droit potentiel à l'autorisation pour que cette clause d'exclusion ne s'applique pas (cf. <ref-ruling> consid. 1.1 p. 179; arrêt 2C_14/2014 du 27 août 2014 non publié in <ref-ruling>). En l'espèce, le recourant 2 est marié à une ressortissante suisse qui réside en Suisse, dont il a un enfant mineur suisse qui vit avec sa mère. Il s'ensuit que le recourant 2 peut potentiellement se prévaloir d'un droit de séjourner en Suisse en vertu de 42 al. 1 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20), ainsi que de l'art. 8 CEDH. Quant à elle, la recourante 1 se prévaut de manière soutenable de l'art. 8 CEDH (<ref-ruling> consid. 1d/aa p. 64 s.). Le recours, en tant qu'il concerne l'octroi d'une autorisation de séjour, échappe ainsi à l'exception de l'art. 83 let. c ch. 2 LTF, de sorte que la voie du recours en matière de droit public est ouverte.
1.2. Se référant à l'art. 67 LEtr, les recourants reprochent à l'autorité précédente de ne pas avoir discuté le grief relatif à la levée de l'interdiction d'entrée en Suisse. Outre le fait que cette autorité a brièvement invoqué la jurisprudence relative à cette disposition (cf. p. 5 de l'arrêt entrepris) et qu'elle n'était de toute façon pas compétente pour se prononcer sur ce point (cf. art. 67 al. 1 LEtr; procédure actuellement suspendue devant le Tribunal administratif fédéral), force est de constater que selon l'art. 83 let. c ch. 1 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent l'entrée en Suisse et qu'un éventuel recours constitutionnel subsidiaire serait irrecevable contre les arrêts du Tribunal administratif fédéral (<ref-law> a contrario). Par conséquent, le recours, en tant qu'il a trait à une violation de l'art. 67 LEtr, doit être déclaré irrecevable.
1.3. Le mandataire des recourants a établi l'existence de ses pouvoirs de représentation par une procuration qu'il a jointe au mémoire de recours, conformément aux art. 40 al. 2 et 42 al. 5 LTF. Toutefois, seule la recourante 1 a signé cette procuration, ce qui laisse ouvert le point de savoir si le recourant 2 entend également contester l'arrêt du Tribunal cantonal. Compte tenu de l'issue du litige, ce point demeure cependant de rester indécis.
1.4. Au surplus, déposé en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>; à l'exception de la question de la procuration), le présent recours, dirigé contre une décision d'une dernière instance cantonale (<ref-law>), est recevable comme recours en matière de droit public en tant qu'il porte sur l'octroi d'une autorisation de séjour au titre du regroupement familial.
2.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (cf. <ref-law>). Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>), ce que la partie recourante doit démontrer d'une manière circonstanciée, conformément aux exigences de motivation de l'<ref-law> (cf. <ref-ruling> consid. 1.4.3 p. 254 s.). La notion de "manifestement inexacte" correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.1 p. 450).
Par conséquent, en tant que les recourants avancent des éléments de fait ne ressortant pas du jugement attaqué, notamment en relation avec un contrat de travail en faveur du recourant 2, sans exposer en quoi les conditions qui viennent d'être rappelées seraient réunies, il n'en sera pas tenu compte.
3.
Les recourants invoquent tout d'abord une violation des art. 62 et 63 LEtr et en particulier de l'art. 62 let. c LEtr.
3.1. Pour les étrangers qui, comme le recourant 2, sont soumis à la loi fédérale sur les étrangers, le droit au regroupement familial est réglé aux art. 42 ss LEtr. Selon l'art. 42 al. 1 LEtr, le conjoint d'un ressortissant suisse a le droit à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité à condition de vivre en ménage commun avec lui. L'exigence du ménage commun n'est pas applicable lorsque la communauté familiale est maintenue et que des raisons majeures justifiant l'existence de domiciles séparés peuvent être invoquées (art. 49 LEtr). Le droit au regroupement familial s'éteint toutefois, en vertu de l'art. 51 al. 1 let. b LEtr, s'il existe un motif de révocation au sens de l'art. 63 LEtr.
Tel est notamment le cas si l'étranger a été condamné à une peine privative de liberté de longue durée (art. 62 let. b en relation avec l'art. 63 al. 1 let. a LEtr), soit, selon la jurisprudence, à une peine privative de liberté supérieure à un an, indépendamment du fait qu'elle ait été assortie d'un sursis complet ou partiel, ou prononcée sans sursis (<ref-ruling> consid. 2.1 p. 18; <ref-ruling> consid. 2.1 p. 32; <ref-ruling> consid. 4.2 et 4.5 p. 381 et 383). Tel est également le cas si l'étranger attente de manière très grave à la sécurité et l'ordre publics en Suisse ou à l'étranger, les met en danger ou représente une menace pour la sécurité intérieure ou extérieure de la Suisse (cf. art. 63 al. 1 let. b LEtr). D'après la jurisprudence, attente de manière très grave à la sécurité et l'ordre publics, l'étranger dont les actes lèsent ou compromettent des biens juridiques particulièrement importants, tels que l'intégrité physique, psychique ou sexuelle d'une personne (cf. <ref-ruling> consid. 3.3 p. 303 s.; arrêts 2C_242/2011 du 23 septembre 2011 consid. 3.3.3; 2C_722/2010 du 3 mai 2011 consid. 3.2). Le critère de la gravité qualifiée de l'atteinte peut également être réalisé par des actes contrevenant à des prescriptions légales ou à des décisions de l'autorité qui présentent un degré de gravité comparativement moins élevé, mais qui, par leur répétition malgré des avertissements et des condamnations successives, démontrent que l'étranger ne se laisse pas impressionner par les mesures de droit pénal et qu'il ne possède ni la volonté ni la capacité de respecter à l'avenir l'ordre juridique (cf. <ref-ruling> consid. 3.3 p. 303 s.; arrêts 2C_881/2012 du 16 janvier 2013 consid. 4.3.1; 2C_242/2011 du 23 septembre 2011 consid. 3.3.3; FF 2002 3469, p. 3565 s.).
3.2. En l'espèce, contrairement à l'avis des recourants, il ne saurait être question de violation de l'art. 62 let. c LEtr, dès lors que seuls les motifs de révocation prévus par l'art. 63 LEtr s'appliquent aux cas de conjoints de ressortissants suisses (certes avec un renvoi à l'art. 62 LEtr, mais uniquement aux let. a et b de cette disposition; cf. art. 63 al. 1 let. a LEtr; s'agissant de la différence entre l'art. 62 let. c LEtr et l'art. 63 al. 1 let. b LEtr, cf. <ref-ruling> consid. 3.3 p. 303 s.).
En tout état de cause, par sa condamnation à quatre ans et demi de réclusion, le recourant 2 remplit d'emblée la condition de la peine privative de longue durée prévue à l'art. 62 let. b LEtr, par renvoi de l'art. 63 al. 1 let. a LEtr. Pour cette raison, il n'y a pas à examiner plus avant s'il remplit également celle de l'atteinte très grave à la sécurité et l'ordre publics de l'art. 63 al. 1 let. b LEtr. L'autorité précédente n'a donc pas violé l'art. 63 LEtr en confirmant le refus d'octroi d'une autorisation de séjour.
4.
Dès lors qu'existe au moins un motif justifiant un refus d'octroi de l'autorisation de séjour du recourant 2, il reste à vérifier la proportionnalité de cette mesure. Le recourant invoque à ce propos l'art. 8 par. 2 CEDH. Il faut ici mentionner que l'examen sous l'angle de l'art. 8 par. 2 CEDH se confond avec celui imposé par l'art. 96 LEtr (arrêt 2C_1125/2012 du 5 novembre 2013 consid. 3.1).
4.1. L'art. 8 par. 1 CEDH dispose que toute personne a droit au respect de sa vie privée et familiale, de son domicile et de sa correspondance. Le droit au respect de la vie privée et familiale garanti par cette disposition n'est toutefois pas absolu. Une ingérence dans l'exercice de ce droit est possible selon l'art. 8 par. 2 CEDH, pour autant qu'elle soit prévue par la loi et qu'elle constitue une mesure qui, dans une société démocratique, est nécessaire à la sécurité nationale, à la sûreté publique, au bien-être économique du pays, à la défense de l'ordre et à la prévention des infractions pénales, à la protection de la santé ou de la morale ou à la protection des droits et libertés d'autrui. Le refus d'octroyer une autorisation de séjour fondé sur l'art. 8 par. 2 CEDH suppose une pesée des intérêts en présence et l'examen de la proportionnalité de la mesure (cf. <ref-ruling> consid. 2.2 p. 147 s.; <ref-ruling> consid. 4.3 p. 381). Pour apprécier ce qui est équitable, l'autorité doit notamment tenir compte de la gravité de la faute commise par l'étranger, de la durée de son séjour en Suisse et du préjudice qu'il aurait à subir avec sa famille du fait de l'expulsion. Normalement, en cas de peine d'au moins deux ans de détention, l'intérêt public à l'éloignement l'emporte sur l'intérêt privé - et celui de sa famille - à pouvoir rester en Suisse (cf. <ref-ruling> consid. 2.3 p. 148 s.; <ref-ruling> consid. 4.3 et 4.4 p. 381 s.; <ref-ruling> consid. 4.1 p. 185).
4.2. Le Tribunal cantonal a pris en considération tous les éléments imposés par la jurisprudence du Tribunal fédéral et de la Cour européenne des droits de l'homme pour procéder à la pesée des intérêts. Ainsi en va-t-il en particulier de la gravité des actes pénaux, de l'âge d'arrivée en Suisse, de la durée et de la qualité du séjour légal en Suisse, des conséquences pour l'intéressé, son épouse et son enfant d'un refus de demeurer en Suisse et des possibilités d'intégration à l'étranger, du fait que le mariage ait eu lieu après la commission de l'infraction, respectivement de la condamnation et que la recourante 1 les ait connues au moment de s'engager ou encore de la possibilité des époux de conserver des liens en dépit de l'éloignement. Intégrant l'ensemble de ces circonstances, le Tribunal cantonal a retenu à juste titre que l'intérêt public à maintenir éloigné le recourant de la Suisse l'emportait sur l'intérêt privé de celui-ci et de son épouse à pouvoir y vivre ensemble. Le résultat de la pesée des intérêts ainsi effectuée est correct.
Par ailleurs, on relèvera encore que la recourante 1 a des racines kosovares et que rien ne l'empêche de rejoindre le recourant 2 au Kosovo avec leur enfant pour y vivre leur vie de famille.
4.3. Les recourants se plaignent enfin d'une violation de leur droit au mariage, protégé par l'art. 12 CEDH. Le droit au mariage appartient en principe à toute personne physique majeure, quelle que soit sa nationalité et sa religion, et lui permet de décider si et quand elle veut se marier (cf. arrêt 2C_117/2012 du 11 juin 2012 consid. 4.1 et 4.2 et les références citées; Meyer-Ladewig, Europäische Menschenrechtskonvention, Handkommentar, 3e éd. 2011, n° 2 ad art. 12 CEDH). En l'occurrence, les recourants étant déjà mariés, l'invocation de l'art. 12 CEDH ne leur est d'aucun secours. Au demeurant, la portée de cette disposition, plus restrictive que celle de l'art. 8 CEDH (cf. Meyer-Ladewig, op. cit., n° 8 ad art. 12 CEDH; Frowein/Peukert, Europäische Menschenrechtskonvention, 3e éd. 2009, n° 8 ad art. 12 CEDH), ne leur permettrait pas d'obtenir une protection alternative de leur vie familiale. Leur recours doit par conséquent également être rejeté sur ce point.
5.
Les considérants qui précèdent conduisent au rejet du recours, dans dans la mesure où il est recevable. Succombant, les recourants doivent ainsi supporter les frais judiciaires, solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Le présent arrêt est communiqué au mandataire des recourants, au Service de la population et des migrants et au Tribunal cantonal du canton de Fribourg, Ie Cour administrative, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 30 mars 2015
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
Le Greffier : Tissot-Daguette