Faits : A. Ressortissant gambien né en 1977 (cf. art. 105 al. 2 LTF), B.Y._ est arrivé en Suisse en 2002 sous une fausse identité. Une première demande d'asile a été rejetée en 2003 et la seconde, toujours sous une fausse identité, en janvier 2004. En février 2004, B.Y._ a été condamné à deux jours de détention par les autorités fribourgeoises pour infractions à la loi fédérale du 3 octobre 1951 sur les stupéfiants (LStup, RS 812.121). Le 17 juin 2004, l'intéressé a fait l'objet d'une condamnation à deux mois d'emprisonnement, avec sursis pendant trois ans, pour des faits similaires. B.Y._ a par la suite quitté la Suisse pour quelques mois. Le 27 avril 2007, l'intéressé a épousé A.Y._, de nationalités suisse et italienne. Il a de ce fait obtenu une autorisation de séjour. Deux enfants sont issus de cette union, Kemo, né en 2009 et Tigane, né en 2010. Par jugement du 6 septembre 2011, le Tribunal pénal de première instance du canton du Jura a condamné B.Y._ à une peine privative de liberté de trois ans, dont dix-huit mois ferme, le solde avec sursis pendant cinq ans pour infractions graves à la LStup. L'intéressé s'est vu reprocher d'avoir, du 22 mars au 13 juillet 2010, acheté, détenu, vendu, pris des mesures aux fins d'importer et offert une quantité indéterminée de cocaïne, mais au moins 87.1 grammes de cocaïne pure. La peine a été exécutée en semi-détention depuis le 25 mai 2012, son travail à l'extérieur consistant à s'occuper de ses deux enfants au domicile de la famille pendant que son épouse effectuait sa formation d'animatrice socio-culturelle en cours d'emploi. Dès le 25 novembre 2012, l'intéressé a obtenu l'autorisation de terminer sa peine en régime de travail et logement externes. La fin de la peine a été fixée au 25 février 2012 ( recte: 25 février 2013). En novembre 2012, une nouvelle procédure a été ouverte contre B.Y._ pour violence et menace contre les autorités, ainsi que conduite inconvenante. B. Le 11 avril 2012, le Service de la population du canton du Jura (ci après: le Service de la population) a informé B.Y._ qu'il envisageait de ne pas renouveler son autorisation de séjour. Par décision du 3 septembre 2012, le Service de la population a refusé de renouveler l'autorisation de B.Y._ et lui a imparti un délai de huit semaines pour quitter le territoire suisse. Cette décision a été confirmée sur opposition le 11 janvier 2013. Saisi d'un recours contre le prononcé sur opposition, la Cour administrative du Tribunal cantonal du canton du Jura (ci-après: le Tribunal cantonal) l'a rejeté par arrêt du 18 octobre 2013. Le Tribunal cantonal a imparti à B.Y._ un délai de deux mois dès l'entrée en force du jugement pour quitter le territoire suisse. C. Le 15 novembre 2013, A.Y._ et B.Y._ ont interjeté un recours en matière de droit public auprès du Tribunal fédéral contre l'arrêt du Tribunal cantonal du 18 octobre 2013. Ils concluent, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué et de la décision de révocation de l'autorisation " d'établissement " (recte: séjour) et de renvoi du 11 janvier 2013. Ils demandent également au Tribunal fédéral de dire que l'ALCP trouve application en l'espèce et que le recourant satisfait aux conditions de renouvellement de son autorisation " d'établissement " (recte: séjour). Le Tribunal cantonal et l'Office fédéral des migrations concluent au rejet du recours et à la confirmation de l'arrêt attaqué. Le Service de la population a déposé des observations et propose également le rejet du recours. Après avoir pris connaissance de ces déterminations, les recourants ont confirmé les conclusions de leur recours.