Faits : A. A._, ressortissant nigérian né en 1978, est arrivé en Suisse en décembre 2003 et y a déposé une demande d'asile sous l'identité de C._, ressortissant gabonais né en 1981. Suite au rejet de sa demande d'asile en mai 2004, il est resté clandestinement en Suisse jusqu'en novembre 2006 au moins. Durant cette période, il a été condamné à plusieurs reprises, soit: - le 8 février 2004, par le Service régional de juges d'instruction III Berne-Mittelland, à une peine de 14 jours d'emprisonnement avec sursis pendant 2 ans pour violence ou menace contre les autorités et les fonctionnaires; - le 15 juin 2004, par le Tribunal d'arrondissement VIII Berne-Laupen, à une peine de 20 jours d'emprisonnement et à la révocation du sursis antérieur pour délit à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (loi sur les stupéfiants; LStup; RS 812.121); - le 10 août 2004, par le Service régional de juges d'instruction III Berne-Mittelland, à une peine de 30 jours d'emprisonnement pour contravention et délit à la loi sur les stupéfiants, violence ou menaces contre les autorités et les fonctionnaires et délit à l'ancienne loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (aLSEE; RO 49 279); - le 22 février 2006, par le Tribunal d'arrondissement VIII Berne-Laupen, à une peine de 4 mois d'emprisonnement pour contravention et délit à la loi sur les stupéfiants et délit à l'ancienne loi sur le séjour et l'établissement des étrangers. Le 31 mars 2008, A._ a épousé au Nigeria B._, ressortissante suisse née en 1970 et mère d'un enfant né d'un premier mariage. Au bénéfice d'un visa, A._ est arrivé en Suisse le 21 septembre 2008. Il y a obtenu une autorisation de séjour. Le 7 juillet 2009, A._ a été placé en détention préventive en raison de sa participation à un trafic de stupéfiants. Par jugement du 10 février 2010, le Tribunal correctionnel de La Chaux-de-Fonds a condamné celui-ci à une peine privative de liberté de 40 mois sans sursis pour crime, délit et contravention à la loi sur les stupéfiants. Il a été en substance retenu que A._ avait acquis 515 grammes de cocaïne. L'intéressé les avait revendus pour un chiffre d'affaires de 50'000 fr. et un bénéfice de 10'000 fr. Les juges pénaux ont constaté que le trafic auquel le prévenu s'était livré portait sur une quantité importante de drogue, qu'il avait perduré plusieurs mois et que l'intéressé, récidiviste, avait agi par appât du gain. Ils ont toutefois soulignés qu'il n'avait eu qu'une seule véritable cliente et qu'il n'avait pas cherché à la remplacer lorsqu'il l'avait perdue. Le 14 novembre 2011, le Service des migrations de la République et canton de Neuchâtel (ci-après: Service des migrations) a refusé la prolongation de l'autorisation de séjour de A._. Il a retenu que la condamnation du 10 février 2010 constituait, de par sa nature et sa durée, un motif de révocation au sens de l'art. 62 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20), et excluait au surplus l'application de l'art. 8 CEDH. A._ et B._ ont recouru contre cette décision auprès du Département de l'économie de la République et canton de Neuchâtel (actuellement Département de l'économie et de l'action sociale de la République et canton de Neuchâtel; ci-après: le Département). Par décision du 13 avril 2012, ce dernier a rejeté le recours, estimant en particulier que l'atteinte au respect de la vie familiale des intéressés était compatible avec l'art. 8 par. 2 CEDH. Ceux-ci ont contesté ce prononcé par écriture du 16 mai 2012 auprès du Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public (ci-après: Tribunal cantonal). B. Par arrêt du 6 décembre 2013, le Tribunal cantonal a rejeté le recours des époux A_ B._. Il a en particulier considéré qu'il existait un intérêt public prépondérant à éloigner des étrangers qui, pareillement à A._, avaient commis des infractions graves à la loi sur les stupéfiants. C. Agissant par la voie du recours en matière de droit public et celle subsidiaire du recours constitutionnel, A._ et B._ demandent en substance au Tribunal fédéral, sous suite de frais et dépens, d'annuler la décision du Tribunal cantonal du 6 décembre 2013. Ils se plaignent de violations des art. 42 al. 1 et 62 LEtr, ainsi que des art. 9, 13, 14, 27 Cst., 8 CEDH, 9 et 12 de la Convention du 20 novembre 1989 relative aux droits de l'enfant (ci-après: CDE; RS 0.107). Ils estiment que la décision du Tribunal cantonal de confirmer le refus de prolongation de l'autorisation de séjour de A._ est une mesure disproportionnée au vu de la situation personnelle et professionnelle de celui-ci. Le Tribunal cantonal, le Département, le Service des migrations et l'Office fédéral des migrations concluent tous au rejet du recours.