Faits :
A.
A._, ressortissant turc né en 1982, est arrivé en Suisse le 14 février 1986 avec sa famille et a été mis au bénéfice d'une autorisation de séjour pour cas de rigueur en 1991.
Le 3 février 2000, le recourant a été menacé de refus de renouvellement de son autorisation de séjour et de renvoi, à la suite de rapports de dénonciation. Le 12 janvier 2006, il a à nouveau été menacé d'expulsion du territoire suisse, compte tenu des rapports de dénonciation, ainsi que des condamnations dont il avait fait l'objet (le 27 juin 2002, amende de 100 fr. pour conduite inconvenante; le 8 mars 2005, emprisonnement de deux mois avec sursis pour vol d'importance mineure, vol d'usage, dommages à la propriété et vol; le 2 août 2005, amende de 520 fr. avec sursis pendant un an pour délit contre la loi fédérale sur les armes, les accessoires d'armes et les munitions du 20 juin 1997 [loi sur les armes, LArm; RS 514.54], ainsi que contravention à la loi fédérale sur les stupéfiants et les substances psychotropes du 3 octobre 1951 [loi sur les stupéfiants, LStup; RS 812.121]).
Par la suite, A._ a été condamné le 6 juin 2006 à une amende de 400 fr. avec sursis pendant deux ans pour délit contre la loi sur les armes et délit contre la loi sur les stupéfiants et le 11 octobre 2007 à une peine pécuniaire de 15 jours-amende avec sursis pendant deux ans et à une amende de 300 fr. pour non restitution de permis et/ou de plaques de contrôle. Le 20 juin 2012, il a été sanctionné d'une peine pécuniaire de 40 jours-amende, avec sursis pendant deux ans, et d'une amende de 560 fr. pour conduite d'un véhicule automobile sans le permis requis ainsi que pour avoir circulé sans permis de circulation ou plaques de contrôle et, le 2 octobre 2013, d'une peine pécuniaire de 20 jours-amende pour non restitution de permis et/ou de plaques de contrôle. Le 27 janvier 2017, A._ a été condamné à une peine privative de liberté de quatre ans pour délits contre la législation sur les armes et les stupéfiants, crime en bande contre la LStup et crime contre la LStup avec mise en danger de la santé de nombreuses personnes, ainsi que complicité pour les mêmes infractions. Les faits sanctionnés remontent à 2014.
B.
Par décision du 6 mai 2019, le Service de la population de la République et canton du Jura (ci-après: le Service cantonal) a refusé de renouveler l'autorisation de séjour de A._ et lui a imparti un délai pour quitter la Suisse. Cette décision a été confirmée sur opposition le 5 mai 2020.
Contre ce prononcé, A._ a formé le 8 juin 2020 un recours auprès de la Cour administrative du Tribunal cantonal de la République et canton du Jura (ci-après: le Tribunal cantonal). Il a notamment indiqué qu'il s'était marié le 5 juin 2020 avec une ressortissante française au bénéfice d'une autorisation d'établissement en Suisse. Le 17 septembre 2020, A._ a informé le Tribunal cantonal que son épouse attendait leur enfant.
Par arrêt du 11 novembre 2020, le Tribunal cantonal a rejeté le recours et imparti un nouveau délai à A._ pour quitter la Suisse.
C.
Contre l'arrêt du 11 novembre 2020, A._ forme un recours en matière de droit public auprès du Tribunal fédéral. Il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué et, principalement, à la prolongation de son autorisation de séjour, ainsi que, subsidiairement, au renvoi de la cause à l'autorité de première instance pour compléter l'état de fait.
Le Tribunal cantonal conclut au rejet du recours. Le Service cantonal n'a pas déposé de réponse dans le délai imparti. Le Secrétariat d'Etat aux migrations a renoncé à se déterminer.

Considérant en droit :
1.
1.1. Le recourant a déposé un mémoire de recours en allemand alors que l'arrêt entrepris a été rendu en français, ce qui est admissible (<ref-law>; arrêt 2C_228/2015 du 7 juin 2016 consid. 1). Dans la mesure où il n'y a aucun motif de s'écarter en l'espèce de la règle générale de l'<ref-law> selon laquelle la procédure devant le Tribunal fédéral est conduite dans la langue de la décision attaquée, la présente décision est toutefois rendue en français (arrêt 2C_45/2011 du 3 octobre 2011 consid. 2, non publié in <ref-ruling>).
1.2. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions dans le domaine du droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Selon la jurisprudence, il suffit toutefois, sous l'angle de la recevabilité, qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et que la voie du recours en matière de droit public soit ouverte (<ref-ruling> consid. 1.1). La question de savoir si les conditions d'un tel droit sont effectivement réunies relève du fond (<ref-ruling> consid. 1.1).
En l'occurrence, le recourant peut potentiellement déduire un droit de séjourner en Suisse de son mariage avec une ressortissante française titulaire d'une autorisation d'établissement en vertu de l'ALCP (RS 0.142.112.681, cf. art. 7 let. d ALCP en relation avec l'art. 3 par. 1 et 2 annexe I ALCP; <ref-ruling> consid. 8.3), ainsi que de l'art. 43 LEI (RS 142.20). Du fait de son mariage, le recourant peut aussi se prévaloir de la garantie de la protection de la vie familiale de l'art. 8 CEDH et de l'art. 13 Cst., dès lors que son épouse dispose d'un droit de séjour durable en Suisse (cf. <ref-ruling> consid. 2.1). Enfin, le recourant, arrivé en Suisse en 1986 à l'âge de trois ans, séjourne légalement dans ce pays depuis plus de 30 ans, de sorte qu'il peut également se prévaloir de l'art. 8 CEDH sous l'angle de la vie privée pour prétendre au renouvellement de son autorisation de séjour (cf. <ref-ruling> consid. 5.2; <ref-ruling> consid. 3.9). Le présent recours ne tombe en conséquence pas sous le coup de l'exception prévue à l'art. 83 let. c ch. 2 LTF, ni d'aucune autre clause d'irrecevabilité figurant à l'<ref-law>. La voie du recours en matière de droit public est donc ouverte.
1.3. Pour le surplus, l'arrêt attaqué est une décision finale (<ref-law>), rendue par un tribunal supérieur de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF), dans une cause de droit public (<ref-law>). Déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>; cf. aussi supra consid. 1.1) par le destinataire de l'arrêt entrepris qui a qualité pour recourir (<ref-law>), le recours est recevable.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral contrôle librement le respect du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>.
2.2. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits constatés par l'autorité précédente (<ref-law>), hormis dans les cas prévus à l'<ref-law>.
3.
Le recourant a produit un rapport de son médecin daté du 10 décembre 2020, qu'il estime recevable.
3.1. Selon l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral à moins de résulter de la décision de l'autorité précédente. Le Tribunal fédéral ne peut pas tenir compte de faits ou moyens de preuve survenus postérieurement au prononcé de la décision entreprise, c'est-à-dire de véritables nova (<ref-ruling> consid. 3.1.2; <ref-ruling> consid. 3).
3.2. Le Tribunal fédéral ne prendra pas en considération le rapport daté du 10 décembre 2020 joint au recours. Etant postérieur à l'arrêt attaqué, il s'agit en effet d'un véritable novum, inadmissible quoi qu'en pense le recourant.
4.
Le recourant nie constituer une menace réelle et actuelle pour l'ordre et la sécurité publics au sens de l'<ref-law> en se fondant sur une série de documents et rapports figurant au dossier que le Tribunal cantonal aurait selon lui à tort ignorés.
4.1. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 2 et les arrêts cités). La partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées (<ref-law>).
4.2. Le Tribunal cantonal n'a pas examiné la cause sous l'angle de l'ALCP. Pour savoir s'il aurait dû prendre en compte les documents et rapports cités par le recourant pour évaluer l'existence d'une menace au sens de l'<ref-law>, il faut donc d'abord déterminer s'il devait appliquer l'Accord (cf. infra consid. 6).
5.
Le litige porte sur la conformité au droit du refus du Service cantonal de renouveler l'autorisation de séjour du recourant.
Pour confirmer ce refus, le Tribunal cantonal s'est référé au passé délinquant du recourant et en particulier à sa condamnation à une peine privative de liberté de quatre ans en janvier 2017. Il a noté que les infractions à la base de cette condamnation avaient été commises en 2014, à savoir avant l'entrée en vigueur le 1er octobre 2016 des dispositions conférant la compétence au juge pénal de statuer sur l'expulsion des étrangers ayant commis des infractions (cf. <ref-law>; cf. art. 62 al. 2 et 63 al. 3 LEI), de sorte que l'autorité administrative pouvait refuser la prolongation de l'autorisation de séjour. Il a ensuite considéré que, du fait de cette condamnation, le recourant réalisait les motifs de révocation, respectivement de refus de renouvellement, de l'autorisation de séjour inscrits à l'art. 62 al. 1 let. b et c LEI et que son intérêt privé à demeurer en Suisse ne l'emportait pas sur l'intérêt public à son éloignement. Selon le Tribunal cantonal, le mariage du recourant avec une ressortissante française, survenu après le prononcé de la décision de première instance, ne modifiait pas l'appréciation de la situation, car l'épouse du recourant connaissait le passé délinquant de son mari et la procédure en cours de non-renouvellement de l'autorisation de séjour au moment de l'union.
6.
Le recourant reproche en premier lieu au Tribunal cantonal d'avoir examiné la cause uniquement sous l'angle des dispositions du droit interne, alors que les règles de l'ALCP trouveraient application en l'espèce compte tenu de la nationalité française de son épouse.
6.1. En vertu de son art. 2 al. 2, la loi sur les étrangers et l'intégration n'est applicable aux ressortissants des Etats membres de l'Union européenne et aux membres de leur famille que dans la mesure où l'ALCP n'en dispose pas autrement ou lorsqu'elle prévoit des dispositions plus favorables.
6.2. D'après l'<ref-law> première phrase, en relation avec l'art. 7 let. d ALCP, les membres de la famille d'une personne ressortissant d'une partie contractante ayant un droit de séjour ont le droit de s'installer avec elle. Est considéré comme membre de la famille, quelle que soit sa nationalité, notamment le conjoint (art. 3 par. 2 let. a annexe I ALCP).
L'ALCP prévoit, de manière générale, un régime plus favorable que la loi fédérale sur les étrangers (RO 2007 5437) en matière de regroupement familial (cf. <ref-ruling> consid. 3.1). Ce constat vaut toujours depuis les modifications entrées en vigueur le 1er janvier 2019 et le nouvel intitulé de la loi en "loi sur les étrangers et l'intégration" (RO 2017 6521). Les art. 43 et 47 LEI, relatifs au regroupement familial en faveur du conjoint du titulaire d'une autorisation d'établissement, qui est le titre de séjour dont dispose l'épouse du recourant à teneur de l'arrêt attaqué, ne sont en particulier pas plus favorables que l'ALCP, car ils fixent des conditions supplémentaires par rapport à celles de l'Accord.
L'ALCP ne réglemente pas en tant que tels les motifs de retrait, respectivement de refus d'octroi d'une autorisation de séjour notamment par regroupement familial, de sorte que, s'agissant de ces motifs, il est fait référence à l'art. 62 LEI (cf. arrêts 2C_362/2019 du 10 janvier 2020 consid. 5.1; 2C_44/2017 du 28 juillet 2017 consid. 4.1; cf. aussi arrêt 2C_556/2020 du 21 janvier 2021 consid. 2.2). Toutefois, comme l'ensemble des droits octroyés par l'ALCP, le droit au regroupement familial découlant de l'Accord ne peut être limité que par des mesures d'ordre public, de sécurité publique et de santé publique au sens de l'<ref-law> (cf. <ref-ruling> consid. 4.1 et 4.2). En substance, conformément à la jurisprudence rendue en rapport avec l'<ref-law>, une limitation des droits découlant de l'Accord n'est admise qu'en présence d'une menace actuelle et réelle d'une certaine gravité pour l'ordre public (cf. <ref-ruling> consid. 5.3; <ref-ruling> consid. 4.2; <ref-ruling> consid. 4.3). Le risque de récidive est par conséquent un élément essentiel de l'appréciation (<ref-ruling> consid. 4.2; arrêt 2C_491/2019 du 11 novembre 2019 consid. 2.3.1), contrairement à ce qui prévaut pour les mesures d'éloignement prises sur la base du droit interne, où ce risque ne constitue qu'un facteur parmi d'autres dans la pesée des intérêts (cf. <ref-ruling> consid. 4.2; arrêt 2C_1002/2015 du 14 septembre 2016 consid. 3.3).
6.3. Il découle de ce qui précède que l'ALCP contient des règles spécifiques sur le regroupement familial en faveur du conjoint du ressortissant d'une partie contractante et que ces règles se révèlent plus favorables que celles fixées par le droit interne, y compris en ce qui concerne les limitations au droit.
On ne comprend donc pas, à la lecture de l'arrêt entrepris, pour quel motif le Tribunal cantonal n'a pas examiné la situation sous l'angle de l'ALCP alors que l'épouse du recourant est ressortissante d'un Etat partie. Le fait que le mariage du recourant avec une ressortissante française soit survenu après le prononcé de la décision entreprise ne constitue en tout cas pas un motif. En effet, en vertu de l'<ref-law>, le Tribunal cantonal, en tant qu'autorité judiciaire statuant en dernière instance avant le Tribunal fédéral, doit examiner librement les faits et appliquer d'office le droit déterminant. Lorsque le litige porte sur le droit de séjourner en Suisse, il appartient à l'autorité judiciaire précédant le Tribunal fédéral d'examiner l'ensemble des faits pertinents, en tenant compte d'éventuels changements des circonstances au moment où il statue, puis d'y appliquer toutes les dispositions légales topiques pouvant permettre à la personne d'obtenir une autorisation (cf. arrêt 2C_800/2019 du 7 février 2020 consid. 3.4.2 et 3.4.3). Le Tribunal cantonal a du reste lui-même relevé qu'en tant qu'autorité d'appel il devait prendre en compte le fait nouveau que constituait le mariage du recourant. Le Tribunal cantonal devait toutefois également appliquer d'office les dispositions pertinentes en lien avec ce changement de statut, ce qu'il a, à tort, manqué de faire. Le recours doit donc être admis sur ce point.
7.
Reste à examiner les conséquences de cette conclusion.
7.1. En soi, le Tribunal fédéral, qui applique le droit d'office (cf. <ref-law>; cf. supra consid. 2.1), peut se prononcer sur la conformité à l'ALCP et notamment aux exigences de l'<ref-law> du retrait ou du refus d'un titre de séjour même lorsque l'autorité le précédant a totalement omis de le faire (cf. pour un exemple où les conditions de l'<ref-law> n'avaient pas été examinées et n'étaient pas réunies, arrêt 2C_479/2018 du 15 février 2019 consid. 3.4; cf. <ref-ruling> consid. 1.1).
7.2. Un tel examen suppose toutefois que l'ensemble des questions juridiques puissent être traitées sur la base des faits retenus dans l'arrêt attaqué, dès lors qu'il n'appartient pas au Tribunal fédéral d'établir les faits et d'apprécier les preuves (cf. <ref-law>).
Or, tel n'est pas le cas en l'espèce. En effet, on ignore tout d'abord la situation de l'épouse du recourant et du couple, de sorte qu'on ne peut pas confirmer la réalisation des conditions à un regroupement familial fondé sur l'ALCP (sur ces conditions, cf. <ref-ruling>; <ref-ruling>; <ref-ruling>). Ensuite, l'arrêt entrepris contient très peu d'informations au sujet de la condamnation pénale de janvier 2017, de la dangerosité du recourant que l'on peut en déduire et du risque de récidive, qui est pourtant un élément déterminant sous l'angle de l'<ref-law> (cf. supra consid. 6.2). Le Tribunal cantonal a en effet refusé les requêtes du recourant tendant à la production du dossier pénal, ainsi que du dossier relatif à l'exécution de la peine, au motif notamment que le risque de récidive n'était pas un élément important dans le cadre d'un examen fondé sur le droit interne (arrêt entrepris, point 8.2.2 p. 12). Il n'a en outre pas examiné, ni apprécié les pièces figurant au dossier qui pourraient renseigner sur le point de savoir si le recourant constitue une menace réelle et actuelle d'une certaine gravité pour l'ordre et la sécurité publics. A tort, comme le relève le recourant, dont la critique relative aux faits (cf. supra consid. 4) apparaît dès lors également bien fondée.
Au sujet du risque de récidive, l'arrêt entrepris fait uniquement état des rapports de probation des 28 mai et 26 septembre 2018, qui ont retenu que le risque était faible. Cette indication pourrait plaider en faveur du recourant. On ne saurait toutefois tirer de conclusion sur la base de ce seul élément, qui n'a pas été actualisé.
En définitive, établir si le recourant constitue une menace actuelle et réelle d'une certaine gravité pour l'ordre et la sécurité publics requiert un examen circonstancié (cf. sur tous les éléments à prendre en compte, <ref-ruling> consid. 5.3 et les arrêts cités), qui nécessite de disposer d'informations beaucoup plus détaillées et précises que celles contenues dans l'arrêt attaqué. Au surplus, quand bien même ces informations résulteraient déjà du dossier, il n'appartiendrait pas au Tribunal fédéral d'apprécier pour la première fois la portée de pièces au sujet desquelles le Tribunal cantonal ne s'est pas prononcé.
7.3. Sur le vu de ce qui précède, il convient de renvoyer la cause au Tribunal cantonal (cf. <ref-law>). Dans le cadre du renvoi, il appartiendra au Tribunal cantonal, après instruction, de s'assurer que les conditions à un regroupement familial fondé sur l'ALCP sont réunies. Devant se prononcer sur la situation telle qu'elle se présente au moment où il statue, il devra tenir compte le cas échéant de la naissance de l'enfant du recourant, annoncée dans l'arrêt attaqué (cf. arrêt 2C_489/2020 du 16 octobre 2020 consid. 6.1). Si les conditions d'un regroupement familial sont réunies, une autorisation de séjour ne pourra être refusée au recourant que s'il est établi que celui-ci constitue une menace actuelle et réelle d'une certaine gravité pour l'ordre et la sécurité publics et que le refus d'autorisation respecte le principe de proportionnalité (cf. <ref-ruling> consid. 6.5.1).
8.
Sur le vu de ce qui précède, le recours doit être admis. L'arrêt du 11 novembre 2020 du Tribunal cantonal doit être annulé et la cause renvoyée à l'autorité précédente pour instruction complémentaire et nouvelle décision dans le sens des considérants.
Il n'est pas perçu de frais judiciaires (art. 66 al. 1 et 4 LTF). Obtenant gain de cause avec l'aide d'une mandataire professionnelle, le recourant a droit à des dépens, à la charge du canton du Jura (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. L'arrêt du 11 novembre 2020 du Tribunal cantonal est annulé. La cause est renvoyée à cette autorité pour instruction complémentaire et nouvelle décision dans le sens des considérants.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton du Jura versera au recourant une indemnité de 2'500 fr. à titre de dépens.
4.
Le présent arrêt est communiqué à la mandataire du recourant, au Service de la population et au Tribunal cantonal de la République et canton du Jura, Cour administrative, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 22 mars 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber