Faits :
A.
A._, ressortissant nigérian né en 1978, est arrivé en Suisse en décembre 2003 et y a déposé une demande d'asile sous l'identité de C._, ressortissant gabonais né en 1981. Suite au rejet de sa demande d'asile en mai 2004, il est resté clandestinement en Suisse jusqu'en novembre 2006 au moins. Durant cette période, il a été condamné à plusieurs reprises, soit:
- le 8 février 2004, par le Service régional de juges d'instruction III Berne-Mittelland, à une peine de 14 jours d'emprisonnement avec sursis pendant 2 ans pour violence ou menace contre les autorités et les fonctionnaires;
- le 15 juin 2004, par le Tribunal d'arrondissement VIII Berne-Laupen, à une peine de 20 jours d'emprisonnement et à la révocation du sursis antérieur pour délit à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (loi sur les stupéfiants; LStup; RS 812.121);
- le 10 août 2004, par le Service régional de juges d'instruction III Berne-Mittelland, à une peine de 30 jours d'emprisonnement pour contravention et délit à la loi sur les stupéfiants, violence ou menaces contre les autorités et les fonctionnaires et délit à l'ancienne loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (aLSEE; RO 49 279);
- le 22 février 2006, par le Tribunal d'arrondissement VIII Berne-Laupen, à une peine de 4 mois d'emprisonnement pour contravention et délit à la loi sur les stupéfiants et délit à l'ancienne loi sur le séjour et l'établissement des étrangers.
Le 31 mars 2008, A._ a épousé au Nigeria B._, ressortissante suisse née en 1970 et mère d'un enfant né d'un premier mariage. Au bénéfice d'un visa, A._ est arrivé en Suisse le 21 septembre 2008. Il y a obtenu une autorisation de séjour.
Le 7 juillet 2009, A._ a été placé en détention préventive en raison de sa participation à un trafic de stupéfiants. Par jugement du 10 février 2010, le Tribunal correctionnel de La Chaux-de-Fonds a condamné celui-ci à une peine privative de liberté de 40 mois sans sursis pour crime, délit et contravention à la loi sur les stupéfiants. Il a été en substance retenu que A._ avait acquis 515 grammes de cocaïne. L'intéressé les avait revendus pour un chiffre d'affaires de 50'000 fr. et un bénéfice de 10'000 fr. Les juges pénaux ont constaté que le trafic auquel le prévenu s'était livré portait sur une quantité importante de drogue, qu'il avait perduré plusieurs mois et que l'intéressé, récidiviste, avait agi par appât du gain. Ils ont toutefois soulignés qu'il n'avait eu qu'une seule véritable cliente et qu'il n'avait pas cherché à la remplacer lorsqu'il l'avait perdue.
Le 14 novembre 2011, le Service des migrations de la République et canton de Neuchâtel (ci-après: Service des migrations) a refusé la prolongation de l'autorisation de séjour de A._. Il a retenu que la condamnation du 10 février 2010 constituait, de par sa nature et sa durée, un motif de révocation au sens de l'art. 62 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20), et excluait au surplus l'application de l'art. 8 CEDH.
A._ et B._ ont recouru contre cette décision auprès du Département de l'économie de la République et canton de Neuchâtel (actuellement Département de l'économie et de l'action sociale de la République et canton de Neuchâtel; ci-après: le Département). Par décision du 13 avril 2012, ce dernier a rejeté le recours, estimant en particulier que l'atteinte au respect de la vie familiale des intéressés était compatible avec l'art. 8 par. 2 CEDH.
Ceux-ci ont contesté ce prononcé par écriture du 16 mai 2012 auprès du Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public (ci-après: Tribunal cantonal).
B.
Par arrêt du 6 décembre 2013, le Tribunal cantonal a rejeté le recours des époux A_ B._. Il a en particulier considéré qu'il existait un intérêt public prépondérant à éloigner des étrangers qui, pareillement à A._, avaient commis des infractions graves à la loi sur les stupéfiants.
C.
Agissant par la voie du recours en matière de droit public et celle subsidiaire du recours constitutionnel, A._ et B._ demandent en substance au Tribunal fédéral, sous suite de frais et dépens, d'annuler la décision du Tribunal cantonal du 6 décembre 2013. Ils se plaignent de violations des art. 42 al. 1 et 62 LEtr, ainsi que des art. 9, 13, 14, 27 Cst., 8 CEDH, 9 et 12 de la Convention du 20 novembre 1989 relative aux droits de l'enfant (ci-après: CDE; RS 0.107). Ils estiment que la décision du Tribunal cantonal de confirmer le refus de prolongation de l'autorisation de séjour de A._ est une mesure disproportionnée au vu de la situation personnelle et professionnelle de celui-ci.
Le Tribunal cantonal, le Département, le Service des migrations et l'Office fédéral des migrations concluent tous au rejet du recours.
Considérant en droit :
1.
1.1. Les recourants ont formé, en un seul acte (cf. art. 119 LTF), un recours en matière de droit public et un recours constitutionnel subsidiaire. La recevabilité du premier excluant celle du second (cf. art. 113 LTF), il convient d'examiner en priorité si la voie du recours en matière de droit public est ouverte.
1.2. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Selon la jurisprudence, il suffit, sous l'angle de la recevabilité, qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et que, partant, la voie du recours en matière de droit public soit ouverte. La question de savoir si les conditions d'un tel droit sont effectivement réunies relève du fond (ATF 136 II 177 consid. 1.1 p. 179).
En l'occurrence, le recourant 1 se prévaut de manière soutenable des art. 42 al. 1 LEtr et 8 CEDH sous l'angle du droit au respect de sa vie privée. La recourante 2 se prévaut quant à elle de l'art. 8 CEDH (ATF 127 II 60 consid. 1d/aa p. 64 s.). Ces griefs étant articulés de manière soutenable, le recours échappe au motif d'irrecevabilité de l'art. 83 let. c ch. 2 LTF et la voie du recours en matière de droit public est donc ouverte. Le recours constitutionnel subsidiaire est, partant, irrecevable.
1.3. Le recours en matière de droit public peut être interjeté pour violation du droit, au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Toutefois, il n'examine que les griefs soulevés, sauf en présence de violations de droit évidentes (ATF 138 I 274 consid. 1.6 p. 280). En outre, le Tribunal fédéral ne se prononce sur la violation de droits fondamentaux que s'il se trouve saisi d'un grief motivé de façon détaillée conformément aux exigences accrues de l'art. 106 al. 2 LTF. Le recourant doit énoncer le droit ou principe constitutionnel violé et exposer de manière claire et circonstanciée en quoi consiste la violation (cf. ATF 138 I 171 consid. 1.4 p. 176).
1.4. Pour le surplus, l'arrêt attaqué est une décision finale (art. 90 LTF), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF). Déposé en temps utile (art 100 al. 1 LTF) et dans les formes prescrites (art. 42 LTF) par les destinataires de l'arrêt attaqué qui ont qualité pour recourir au sens de l'art. 89 al. 1 LTF, le recours en matière de droit public est par conséquent recevable.
2.
En application de l'art. 42 al. 1 LEtr, le conjoint d'un ressortissant suisse ainsi que ses enfants célibataires de moins de 18 ans ont droit à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité à condition de vivre en ménage commun avec lui. Selon l'art. 51 al. 1 let. b LEtr, les droits prévus à l'art. 42 LEtr s'éteignent s'il existe des motifs de révocation au sens de l'art. 63 LEtr.
Aux termes de l'art. 63 al. 1 LEtr, l'autorisation d'établissement peut être révoquée si les conditions visées à l'art. 62 let. a ou b LEtr sont remplies (let. a) ou si l'étranger attente de manière très grave à la sécurité et l'ordre publics en Suisse ou à l'étranger, les met en danger ou représente une menace pour la sécurité intérieure ou extérieure de la Suisse (let. b). Aux termes de l'art. 62 let. b LEtr, l'autorité compétente peut révoquer une autorisation si l'étranger a été condamné à une peine privative de liberté de longue durée. Selon la jurisprudence, une peine privative de liberté de plus d'une année est une peine de longue durée et constitue un motif de révocation de l'autorisation au sens de l'art. 62 let. b LEtr. Il s'agit d'une limite fixe, indépendante des circonstances du cas d'espèce (cf. ATF 135 II 377 consid. 4.2 p. 379 ss). La durée supérieure à une année, pour constituer une peine privative de liberté de longue durée, doit impérativement résulter d'un seul jugement pénal. En revanche, il importe peu que la peine ait été prononcée avec un sursis complet ou partiel, ou sans sursis (ATF 139 I 16 consid. 2.1 p. 18 s.).
La condamnation à quarante mois d'emprisonnement dont a fait l'objet le recourant 1 constitue par conséquent un motif de révocation de son autorisation de séjour.
3.
Dès lors qu'existent des motifs justifiant un refus de prolongation de l'autorisation de séjour du recourant 1, il reste à vérifier qu'un tel refus ne contrevient pas au principe de la proportionnalité dont le respect s'impose aux autorités en application des art. 96 LEtr et 8 par. 2 CEDH.
3.1. Un étranger peut se prévaloir de l'art. 8 CEDH, qui garantit le respect de sa vie privée et familiale, pour s'opposer à une éventuelle séparation de sa famille. Encore faut-il, pour pouvoir invoquer cette disposition, que la relation entre l'étranger et une personne de sa famille ayant le droit de résider durablement en Suisse soit étroite et effective (cf. ATF 135 I 143 consid. 1.3.1 p. 145; 130 II 281 consid. 3.1 p. 285 et les arrêts cités). Les relations familiales qui peuvent fonder, en vertu de l'art. 8 par. 1 CEDH, un droit à une autorisation de police des étrangers sont avant tout les rapports entre époux ainsi qu'entre parents et enfants mineurs vivant ensemble (cf. ATF 135 I 143 consid. 1.3.2 p. 146 et consid. 3.1 p. 148 s.; 127 II 60 consid. 1d/aa p. 65). En l'occurrence, la question de savoir si le recourant 1 peut se prévaloir de l'art. 8 CEDH en relation avec les rapports qu'il entretient avec l'enfant de la recourante 2 peut être laissée indécise. En effet, il convient de toute façon de procéder à une pesée des intérêts, et donc de prendre en compte ces rapports, lors de l'application de l'art. 42 LEtr, tel que cela ressort de l'art. 96 LEtr. L'examen sous l'angle de l'art. 8 par. 2 CEDH se confond avec celui imposé par l'art. 96 LEtr (arrêt 2C_1125/2012 du 5 novembre 2013 consid. 3.1). En outre, le recourant 1 n'étant pas le père de l'enfant de la recourante 2, il ne peut être question de violation de l'art. 9 CDE, telle qu'invoquée par les époux A._ B._ (à ce propos, cf. Message sur l'adhésion de la Suisse à la Convention de 1989 relative aux droits de l'enfant; FF 1994 V 1, en particulier p. 31 ss). Contrairement à l'avis des recourants, il n'est pas non plus question d'entendre personnellement cet enfant. En effet, l'enfant de la recourante 2 ne saurait être intéressé à la procédure. Quand bien même il l'aurait été, il faudrait considérer qu'il a pu valablement s'exprimer sur la cause à travers sa mère (cf. à ce sujet, arrêt 2C_746/2009 du 16 juin 2010 consid. 4.1 et 4.2).
3.2. Pour le reste, le Tribunal cantonal a pris en considération tous les éléments imposés par la jurisprudence du Tribunal fédéral et de la Cour européenne des droits de l'homme pour procéder à la pesée des intérêts. Ainsi en va-t-il en particulier de la gravité des actes pénaux, de l'âge d'arrivée en Suisse, de la durée et de la qualité du séjour légal en Suisse, des conséquences pour l'intéressé, sa conjointe et l'enfant de celle-ci d'un départ de Suisse et des possibilités d'intégration à l'étranger, du fait que le mariage ait eu lieu après la commission de la plupart des infractions, respectivement des condamnations et que la conjointe les ait connues au moment de s'engager ou encore de la possibilité des époux de conserver des liens en dépit de l'éloignement. Intégrant l'ensemble de ces circonstances, le Tribunal cantonal a retenu à juste titre que l'intérêt public à maintenir éloigné A._ de la Suisse l'emportait sur l'intérêt privé de celui-ci et de son épouse à pouvoir y vivre ensemble. Le résultat de la pesée des intérêts ainsi effectué est correct et il suffit de renvoyer sur ce point à l'arrêt attaqué (art. 109 al. 3 LTF).
4.
Les recourants se plaignent au surplus de violations de leurs droits constitutionnels, en l'occurrence la protection de leur sphère privée (art. 13 Cst.), leur droit au mariage (art. 14 Cst.) et la liberté économique du recourant 1 (art. 27 Cst.). Ils font valoir que la restriction à ces droits n'est pas proportionnelle. Ils invoquent également l'arbitraire (art. 9 Cst.).
S'agissant de la proportionnalité de la restriction des droits fondamentaux des recourants, il peut également être renvoyé à la pesée des intérêts effectuée par les juges cantonaux (cf. consid. 3.2 ci-dessus). On peut en particulier rappeler que l'intérêt public à l'éloignement des étrangers ayant commis des infractions graves à la loi sur les stupéfiants l'emporte généralement sur l'intérêt privé des recourants (ATF 139 II 121 consid. 5.3 p. 125 s.). Au surplus, l'arrêt attaqué n'est nullement arbitraire, les arguments des recourants à ce propos étant purement appellatoires.
5.
Les considérants qui précèdent conduisent au rejet du recours, dans dans la mesure où il est recevable. Succombant, les recourants doivent ainsi supporter les frais judiciaires (art. 66 al. 1 LTF) solidairement entre eux (art. 66 al. 5 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours en matière de droit public est rejeté.
2.
Le recours constitutionnel subsidiaire est irrecevable.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants, solidairement entre eux.
4.
Le présent arrêt est communiqué au mandataire des recourants, au Service des migrations de la République et canton de Neuchâtel, au Département de l'économie et de l'action sociale de la République et canton de Neuchâtel, au Tribunal cantonal, Cour de droit public, de la République et canton de Neuchâtel et à l'Office fédéral des migrations.
Lausanne, le 16 juin 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Le Greffier :
Zünd Tissot-Daguette