Faits :
A.
Le 20 juin 2002, A._ titulaire d'un diplôme de médecin, a obtenu une autorisation d'exercer la profession de médecin sur le territoire de la République et canton du Jura. Il a pratiqué en tant que médecin indépendant jusqu'en avril 2018, moment où sa faillite personnelle a été prononcée, ce qui a entraîné la fermeture immédiate de son cabinet médical. Dès le 1er novembre 2018 en tout cas, il a repris ses activités de médecin au sein d'une clinique.
Par décision du 18 décembre 2017, le Département de l'économie et de la santé de la République et canton du Jura (ci-après: le Département cantonal) a prononcé un blâme à l'encontre de A._, lui reprochant en substance de ne pas avoir annoncé un traitement off-label concernant une prescription d'un médicament assimilé à un stupéfiant et de ne pas avoir transmis la restriction médicamenteuse aux autorités cantonales malgré de nombreux rappels. De surcroît, l'intéressé avait refusé sans motif valable de se déplacer durant sa garde médicale pour un cas de placement à des fins d'assistance et n'avait pas collaboré pendant la procédure.
A._ a formé opposition contre cette décision, contestant toute violation de ses obligations professionnelles.
B.
Par décision sur opposition du 18 novembre 2019, le Département cantonal a rejeté l'opposition formée par A._ contre la décision du 18 décembre 2017 et a modifié cette dernière en prononçant désormais une interdiction de pratiquer à titre d'activité économique privée sous propre responsabilité professionnelle pendant une année, en lieu et place d'un blâme. En complément aux violations des obligations professionnelles mentionnées dans la décision du 18 décembre 2017, le Département cantonal a retenu que l'intéressé avait manqué sa garde médicale les 26 avril, 4 mai et 14 mai 2018 et qu'il n'avait procédé à aucune communication officielle ni aux autorités ni à ses patients quant à son absence et à la fermeture de son cabinet médical. Il lui a également été reproché de ne pas avoir transmis, dans le cadre de la procédure disciplinaire, les attestations de formation continue pour les années 2014 à 2017, ainsi que les attestations d'assurance responsabilité civile professionnelle.
A._ a recouru contre cette décision auprès du Tribunal cantonal de la République et canton du Jura (ci-après: le Tribunal cantonal) qui, par arrêt du 5 août 2020, a rejeté le recours. Il a notamment considéré qu'au vu des manquements graves et répétés de l'intéressé à ses obligations professionnelles, ainsi que de son absence de prise de conscience de la gravité de ses actes, la mesure litigieuse n'était pas disproportionnée.
C.
Contre l'arrêt du 5 août 2020, A._ forme un recours "en matière de droit administratif" auprès du Tribunal fédéral. Il conclut, sous suite de frais et de dépens, à l'annulation de l'arrêt entrepris; subsidiairement, à l'annulation de cet arrêt et au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Il sollicite en outre l'effet suspensif.
Par ordonnance du 8 octobre 2020, le Président de la IIe Cour de droit public du Tribunal fédéral a accordé l'effet suspensif au recours.
Le Tribunal cantonal conclut au rejet du recours et à la confirmation de son arrêt. Le Département cantonal dépose des observations et conclut au rejet du recours. L'Office fédéral de la santé publique renonce à se déterminer. Le recourant a répliqué.

Considérant en droit :
1.
Le recours est dirigé contre une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) ne tombant pas sous le coup de l'une des exceptions prévues à l'<ref-law>. Il est donc en principe recevable comme recours en matière de droit public; l'erreur dans la dénomination de l'acte de recours (qualifié de recours "en matière de droit administratif") demeure dès lors sans conséquence pour le recourant (cf. <ref-ruling> consid. 1.1 et les arrêts cités). Le recours a en outre été déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'<ref-law>, de sorte qu'il convient d'entrer en matière.
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral, qui comprend les droits de nature constitutionnelle (art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Il y procède en se fondant sur les faits constatés par l'autorité précédente (<ref-law>), à moins que ceux-ci n'aient été établis de façon manifestement inexacte, c'est-à-dire arbitraire, ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 6.3 et les arrêts cités). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
En l'occurrence, dans la mesure où le recourant présente une argumentation partiellement appellatoire, en complétant librement l'état de fait retenu dans l'arrêt entrepris, comme il le ferait devant une juridiction d'appel, ce que le Tribunal fédéral n'est pas (cf. notamment arrêts 2C_922/2018 du 13 mai 2019 consid. 3; 2C_497/2011 du 15 mars 2012 consid. 3.2 non publié in <ref-ruling>), sans cependant invoquer ni l'arbitraire, ni une constatation manifestement inexacte des faits, il n'en sera pas tenu compte. Il sera donc statué sur la base des faits tels qu'ils ressortent de l'arrêt attaqué.
Pour le surplus, les courriers du 10 septembre 2020 et du 2 octobre 2020 que le recourant et le Département cantonal produisent à l'appui de leurs écritures constituent des pièces nouvelles postérieures à l'arrêt attaqué, de sorte qu'elles sont irrecevables devant le Tribunal fédéral (<ref-law>).
3.
Dans un grief d'ordre formel qu'il y a lieu d'examiner en premier lieu (<ref-ruling> consid. 3), le recourant invoque la violation de son droit d'être entendu (art. 29 al. 2 Cst.) sous l'angle d'un défaut de motivation.
3.1. Le droit d'être entendu consacré à l'art. 29 al. 2 Cst. comprend l'obligation pour l'autorité de motiver sa décision, afin que l'intéressé puisse la comprendre, l'attaquer utilement s'il y a lieu et que l'autorité de recours puisse exercer son contrôle (<ref-ruling> consid. 6.1 et les arrêts cités). Selon la jurisprudence, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. L'autorité n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais elle peut au contraire se limiter à ceux qui lui paraissent pertinents (cf. <ref-ruling> consid. 5.2; <ref-ruling> consid. 1.3.1).
3.2. Le recourant est d'avis que la décision rendue par le Département cantonal le 18 novembre 2019 présentait un défaut de motivation quant à la mesure infligée. Selon l'intéressé, en confirmant et en faisant siens les motifs de cette décision, auxquels il renvoyait, le Tribunal cantonal aurait lui-même violé les exigences de motivation des décisions découlant du droit d'être entendu. Le recourant reproche en outre aux juges précédents de ne pas avoir précisé les facteurs objectifs et subjectifs justifiant la décision prise et de ne pas s'être déterminés sur la nature ou la durée de ladite mesure par rapport à d'autres arrêts du Tribunal fédéral, du Tribunal cantonal du canton de Vaud et de la Cour de justice de la République et canton de Genève auxquels il s'était référé dans ses écritures.
3.3. Il ressort du dossier (<ref-law>) que le Département cantonal a motivé de manière détaillée sa décision sur opposition. Celle-ci compte 23 pages et expose soigneusement les faits reprochés au recourant, les violations de la loi fédérale du 23 juin 2006 sur les professions médicales universitaires (LPMéd; RS 811.11) retenues à son encontre, ainsi que les facteurs objectifs et subjectifs justifiant, selon ledit Département, une interdiction de pratiquer à titre d'activité économique privée sous propre responsabilité professionnelle pendant une année. En 2018 et 2019, le recourant a pu se déterminer sur les faits qui lui étaient reprochés, avant que la décision ne soit prise.
Si le Tribunal cantonal "confirme intégralement et fait sienne la motivation" de la décision du 18 novembre 2019 (cf. arrêt attaqué, consid. 9.4 in initio), il ne se borne pas pour autant à ce renvoi. En effet, il examine précisément les violations, par le recourant, de ses obligations professionnelles (consid. 4 à 7). Il indique par ailleurs, de manière complète quoique condensée, les facteurs objectifs et subjectifs l'ayant amené à conclure que l'interdiction prononcée respectait le principe de la proportionnalité (consid. 9.4). Le recourant était ainsi parfaitement en mesure de connaître les faits retenus à son encontre par le Tribunal cantonal et de comprendre les motifs sur lesquels celui-ci s'est appuyé pour confirmer la sanction disciplinaire infligée à son encontre par le Département cantonal. Il pouvait ainsi attaquer cet arrêt en toute connaissance de cause, ce qu'il n'a d'ailleurs pas manqué de faire.
Enfin, s'agissant des jurisprudences citées par le recourant, il sera rappelé que le juge n'a pas à se prononcer sur tous les arguments juridiques soulevés, tant que la motivation permet de comprendre le raisonnement juridique suivi (cf. <ref-ruling> consid. 3.3.1; arrêt 4A_300/2019 du 17 avril 2020 consid. 4.1). Savoir si la motivation est convaincante ne relève pas du droit d'être entendu.
Mal fondé, le grief de violation du droit d'être entendu doit partant être rejeté.
4.
Le recourant se plaint ensuite d'une violation de l'interdiction de l'arbitraire (art. 9 Cst.), concluant en substance que la mesure prononcée à son encontre "est difficilement soutenable en termes de justice et d'équité" et que "l'équité n'y trouve pas son compte". Tel qu'il est formulé, le grief considéré revient en réalité à reprocher au Tribunal cantonal d'avoir violé le principe de la proportionnalité lors de l'examen des conditions de restriction de la liberté économique. Ce point sera partant examiné en lien avec celle-ci (cf. infra consid. 5).
5.
Le recourant fait valoir que la sanction prononcée à son encontre par le Département cantonal et confirmée par le Tribunal cantonal constitue une atteinte disproportionnée à sa liberté économique (art. 27 et 36 Cst.).
5.1. Selon l'art. 27 al. 1 Cst., la liberté économique est garantie. Elle comprend notamment le libre choix de la profession, le libre accès à une activité économique lucrative privée et son libre exercice (art. 27 al. 2 Cst.). Cette liberté protège toute activité économique privée, exercée à titre professionnel et tendant à la production d'un gain ou d'un revenu, telle celle de médecin (cf. <ref-ruling> consid. 5.1; <ref-ruling> consid. 5.6.1; <ref-ruling> consid. 6.2 et les arrêts cités).
Conformément à l'art. 36 Cst., toute restriction d'un droit fondamental doit être fondée sur une base légale, qui doit être de rang législatif en cas de restriction grave (al. 1); elle doit en outre être justifiée par un intérêt public ou par la protection d'un droit fondamental d'autrui (al. 2) et être proportionnée au but visé (al. 3). En l'occurrence, seule la proportionnalité est contestée par le recourant. Pour évaluer celle-ci, il est toutefois nécessaire au préalable d'exposer les dispositions légales sur lesquelles la mesure litigieuse se fonde et l'intérêt public poursuivi.
5.2. La LPMéd, entrée en vigueur le 1er septembre 2007, a pour but d'unifier le droit disciplinaire en prévoyant des mesures uniformes en cas de violation des obligations professionnelles par les personnes soumises au régime de ladite loi (cf. <ref-ruling> consid. 3.3; Message du 3 décembre 2004 concernant la loi fédérale sur les professions médicales universitaires, FF 2005 212 ad art. 43; YVES DONZALLAZ, Traité de droit médical, vol. II, 2021, p. 2743 s. ch. 5730 et les références citées).
Sous le titre "devoirs professionnels", l'<ref-law> dresse la liste des devoirs professionnels que les personnes exerçant une profession médicale sous leur propre responsabilité doivent observer. Parmi ceux-ci figurent notamment celui, général, d'exercer leur activité avec soin et conscience professionnelle (let. a), ainsi que ceux d'approfondir, de développer et d'améliorer leurs connaissances, aptitudes et capacités professionnelles par une formation continue (let. b), de garantir les droits du patient (let. c), de participer aux services d'urgence (let. g) et de conclure une assurance responsabilité civile professionnelle (let. h). L'<ref-law> énumère les mesures disciplinaires possibles en cas de violation des devoirs professionnels précités, soit notamment l'interdiction de pratiquer sous propre responsabilité professionnelle pendant six ans au plus (interdiction temporaire; let. d) et l'interdiction définitive de pratiquer sous propre responsabilité professionnelle pour tout ou partie du champ d'activité (let. e), étant souligné que l'<ref-law> précise qu'en cas de violation du devoir de formation continue au sens de l'<ref-law>, seules peuvent être prononcées les mesures disciplinaires visées à l'art. 43 al. 1 let. a (avertissement), let. b (blâme) ou let. c (amende de 20'000 fr. au plus).
Les sanctions disciplinaires de l'<ref-law> ont principalement pour but de maintenir l'ordre dans la profession de médecin, d'en assurer le fonctionnement correct, d'en sauvegarder le bon renom et la confiance des citoyens envers cette profession, ainsi que de protéger le public contre ceux de ses représentants qui pourraient manquer des qualités nécessaires. Les mesures disciplinaires ne visent pas, au premier plan, à punir le destinataire, mais à l'amener à adopter à l'avenir un comportement conforme aux exigences de la profession, à rétablir le fonctionnement correct de celle-ci et, indirectement, à protéger le public (cf. <ref-ruling> consid. 3.3; arrêt 2C_539/2020 du 28 décembre 2020 consid. 4.2.2 et les arrêts cités). S'agissant plus particulièrement de l'interdiction de pratiquer, cette mesure vise principalement à protéger la santé des patients (cf. arrêt 2C_694/2016 du 23 décembre 2016 consid. 3.2 et les arrêts cités; cf. également YVES DONZALLAZ, op. cit., p. 2774 ch. 5796).
5.3. En l'espèce, il a été constaté en fait dans l'arrêt attaqué, d'une manière qui lie le Tribunal fédéral (<ref-law>), que le recourant a violé de façon répétée et systématique plusieurs de ses obligations professionnelles telles que prévues à l'<ref-law>.
Entre le 29 avril 2016 et le 20 décembre 2017, le recourant a ainsi régulièrement prescrit à une patiente, sans examiner de manière approfondie la situation de cette dernière, un médicament assimilable à un stupéfiant avec un dosage jusqu'à quatre fois supérieur à la dose recommandée (prescription off-label), créant de ce fait un risque de dépendance. Qui plus est, averti à plusieurs reprises sur ce dernier point par la pharmacie ayant remis le médicament à la patiente, puis par le médecin cantonal, le recourant a continué à prescrire ledit médicament à des doses élevées, la dernière ordonnance datant du 20 décembre 2017. L'intéressé n'a en outre pas donné suite aux nombreux rappels du médecin cantonal, qui l'avait rendu attentif à l'art. 11 de la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121) - dont l'al. 1bis prévoit notamment l'obligation pour les médecins d'annoncer au médecin cantonal la remise ou la prescription non conforme de stupéfiants autorisés - et qui lui avait fixé un délai (prolongé) pour transmettre les formulaires demandés. De tels manquements, notamment aux règles de comportement prévues à la LStup, constituent indéniablement une violation au devoir professionnel du médecin d'exercer son activité avec soin et conscience professionnelle au sens de l'<ref-law> (cf. arrêts 2C_879/2013 du 17 juin 2014 consid. 5.4; 2C_901/2012 du 30 janvier 2012 consid. 3.2 et 3.3). A cet égard, l'argumentation de l'intéressé, qui consiste en substance à affirmer qu'il ignorait l'existence de l'<ref-law>, qu'il avait agi selon les recommandations d'un rapport psychiatrique du 9 décembre 2014 et que, en tout état de cause, si faute il y avait, les conséquences de celle-ci étaient faibles voire inexistantes, frise la témérité. Il faut au contraire retenir qu'il était parfaitement au courant de ses obligations en matière d'utilisation off-label de stupéfiants enregistrés comme médicaments, puisqu'il avait été interpellé sur ce point par le médecin cantonal, que le rapport psychiatrique en cause ne prescrivait aucun médicament à sa patiente, et qu'en prescrivant le médicament litigieux à des dosages sans cesse plus importants et susceptibles d'engendrer une dépendance, sans en informer le médecin cantonal, il a créé un danger pour la santé, voire la vie, de sa patiente, en violation de ses devoirs professionnels.
A cela s'ajoute que l'intéressé a, le 13 décembre 2016, alors qu'il était de garde, refusé de se déplacer pour un cas de placement à des fins d'assistance. Il n'a également pas, à la suite de sa faillite personnelle, informé la Société médicale du Canton du Jura qu'il n'était pas en mesure d'honorer les gardes médicales des 26 avril, 4 mai et 14 mai 2018. Ses explications, qui consistent à affirmer, de manière purement appellatoire, qu'il pensait de bonne foi qu'il aurait appartenu à un médecin spécialiste du domaine de la santé mentale d'intervenir à sa place en décembre 2016, respectivement qu'il avait été empêché sans sa faute d'effectuer les gardes de 2018, ne sont pas recevables (cf. supra consid. 2). Force est ainsi d'admettre que le recourant, en n'assurant pas les gardes à laquelle il était astreint, a violé l'art. 40 let. g LPMéd, qui prévoit l'obligation pour tous les médecins au bénéfice d'un droit de pratiquer de participer aux services d'urgences (cf. sur ce sujet YVES DONZALLAZ, op. cit., pp. 2779 ss).
Le recourant n'était par ailleurs, entre le 4 mars 2015 et le 18 février 2016, plus au bénéfice d'une couverture d'assurance responsabilité civile professionnelle, ce qui - et l'intéressé l'admet lui-même - constitue une violation de l'art. 40 let. h LPMéd.
Enfin, le recourant n'a, durant plusieurs mois, pas informé ses patients notamment sur la fermeture de son cabinet et sur la manière dont ils pouvaient récupérer leur dossier médical, certains d'entre eux ayant ainsi dû attendre plusieurs mois avant de le récupérer. Ce faisant, le recourant n'a pas adopté une attitude propre à garantir les droits de ses patients au sens de l'art. 40 let. c LPMéd, en particulier celui d'avoir accès à son dossier et d'obtenir toute information médicale le concernant (cf. YVES DONZALLAZ, op. cit., p. 2635 ch. 5943; pp. 2871 ss). Il ne le conteste du reste pas.
5.4. Compte tenu de ce qui précède, et dans la mesure où, conformément à l'art. 43 al. 1 let. d et al. 2 LPMéd, chacune des violations précitées est en soit suffisante pour permettre le prononcé d'une interdiction temporaire de pratiquer sous propre responsabilité professionnelle pendant six ans au plus, il convient de retenir que la sanction disciplinaire infligée au recourant repose sur une base légale suffisante. Il n'est par ailleurs pas contesté que la mesure litigieuse poursuit concrètement un intérêt public notamment de protection de la santé des patients.
5.5. Encore faut-il, pour justifier la restriction à la liberté économique dont se plaint le recourant, que la mesure soit proportionnée au but de protection de la santé des patients précité, ce que l'intéressé remet en cause devant la Cour de céans.
5.5.1. Le principe de la proportionnalité exige que la mesure en cause soit apte à produire les résultats escomptés (aptitude) et que ceux-ci ne puissent être atteints par une mesure moins incisive (nécessité). En outre, il interdit toute limitation allant au-delà du but visé et exige un rapport raisonnable entre celui-ci et les intérêts publics ou privés compromis (proportionnalité au sens étroit, impliquant une pesée des intérêts; cf. ATF <ref-ruling> consid. 5.6.3; <ref-ruling> consid. 3.5.1).
En matière de sanction disciplinaire, le choix de la nature et de la quotité de la sanction doit être approprié au genre et à la gravité de la violation des devoirs professionnels et ne pas aller au-delà de ce qui est nécessaire pour assurer les buts d'intérêt public recherchés. A cet égard, l'autorité doit tenir compte en premier lieu d'éléments objectifs, à savoir des conséquences que la faute a entraînées sur le bon fonctionnement de la profession en cause, et de facteurs subjectifs, tels que la gravité de la faute, ainsi que les mobiles et les antécédents de l'intéressé (<ref-ruling> consid. 2b p. 232; <ref-ruling> consid. 13c p. 121; arrêt 2C_922/2018 du 13 mai 2019 consid. 6.6.2). S'agissant en particulier de l'interdiction de pratiquer - qu'elle soit temporaire ou définitive - il est admis que celle-ci ne peut sanctionner que des cas graves, que ce soit par les faits commis, leur cumul ou leur réitération (cf. YVES DONZALLAZ, op. cit., p. 2774 ch. 5796).
L'autorité compétente dispose ainsi d'un large pouvoir d'appréciation dans la fixation d'une sanction disciplinaire prévue par la LPMéd, à condition qu'elle respecte le principe de la proportionnalité (cf. arrêts 2C_345/2017 du 31 juillet 2017 consid. 5.1; 2C_694/2016 du 23 décembre 2016 consid. 3.3 et les arrêts cités). Par analogie avec le droit pénal, le Tribunal fédéral, qui examine l'ensemble de la question d'office (<ref-law>), n'intervient ainsi que lorsque l'autorité cantonale a fait un usage insoutenable de la marge de manoeuvre que lui accorde le droit fédéral (cf. <ref-ruling> consid. 1.2; <ref-ruling> consid. 5.6; <ref-ruling> consid. 2.1).
5.5.2. En l'espèce, la mesure prise à l'encontre du recourant est apte à protéger la santé des patients, puisqu'il ne pourra plus pratiquer une activité économique privée sous propre responsabilité pendant une année.
5.5.3. Concernant le critère de la nécessité, le recourant, qui est d'avis que les violations qu'il a commises sont de peu de gravité, affirme que seule une mesure moins incisive, à savoir un blâme ou une amende de 20'000 fr. au plus, aurait pu entrer en considération dans son cas.
Sous cet angle, on relèvera qu'il ressort du dossier (<ref-law>) que le recourant a déjà fait l'objet, en 2015, d'un avertissement après avoir employé sans autorisation une assistante durant près d'une année, l'avoir laissée travailler à son cabinet en son absence et avoir utilisé une dénomination professionnelle erronée, ne correspondant pas à la formation réellement effectuée. Nonobstant cet antécédent, et malgré le fait qu'une procédure disciplinaire avait une nouvelle fois été ouverte à son encontre en 2017 et que celle-ci avait abouti au prononcé d'un blâme, l'intéressé n'a pas modifié son comportement et n'a pas hésité à commettre de nouvelles violations à ses devoirs professionnels, notamment en ne participant pas, sans en être dispensé, à plusieurs services d'urgence. Dans ces circonstances, le Tribunal cantonal pouvait à bon droit confirmer qu'un avertissement ou qu'un blâme étaient insuffisants dans la présente procédure. Eu égard à la faillite personnelle du recourant, il pouvait en outre considérer qu'une amende aurait été inappropriée et qu'en définitive, seule une interdiction temporaire de pratiquer était à même d'atteindre l'objectif de protection de la santé des patients.
Il découle de ce qui précède que le Tribunal cantonal a respecté le critère de la nécessité dans le choix de la sanction prononcée à l'encontre du recourant.
5.5.4. Enfin, du point de vue de la pesée des intérêts, force est de constater que le recourant a violé de façon continue plusieurs règles importantes de la profession médicale, violations qui, quoi qu'il en pense, doivent être qualifiées de graves, ne serait-ce que par le cumul de celles-ci. L'intéressé a ainsi adopté un comportement susceptible de mettre en danger la santé de la population en manquant aux services d'urgence auxquels il était astreint. Il a par ailleurs créé un danger pour la santé, voire la vie, de l'une de ses patientes en lui prescrivant un médicament à des doses susceptibles d'engendrer une dépendance, sans permettre au médecin cantonal de vérifier ladite prescription. On relèvera en outre que le fait, pour le recourant, de poursuivre, durant près d'une année, son activité médicale alors qu'il ne bénéficiait d'aucune couverture d'assurance aurait pu avoir des conséquences graves sur la garantie des droits des patients, étant précisé qu'un tel comportement, qu'il soit fautif ou non, est en soi suffisant pour justifier une suspension temporaire de l'activité de médecin (cf. YVES DONZALLAZ, op. cit., p. 2743 ch. 5728). De tels manquements aux devoirs professionnels justifient indéniablement une sanction disciplinaire sévère. Sous cet angle, c'est en vain que le recourant se prévaut d'un certain nombre d'arrêts (cf. mémoire de recours, p. 6-8) portant sur le prononcé des mesures disciplinaires moins sévères que celle du cas d'espèce, dans la mesure où ceux-ci ne portent pas sur des faits comparables à ceux qui lui sont reprochés. Il convient enfin de souligner que la durée de la sanction disciplinaire infligée au recourant se situe au bas de l'échelle prévue à l'art. 43 al. 1 let. d LPMéd, qui permet une interdiction temporaire pour une durée maximale de six ans, et que l'interdiction en cause vise l'activité de médecin à titre d'activité économique privée sous propre responsabilité professionnelle, ce qui signifie que d'autres activités médicales, par exemple au sein d'une clinique, restent accessibles au recourant pendant l'interdiction prononcée. De ce point de vue, l'ingérence dans sa liberté économique est mesurée.
En définitive, au regard de l'intérêt public notamment à la protection de la santé des patients et de l'ensemble des circonstances de la cause, en particulier des violations répétées du recourant à ses obligations professionnelles, de son antécédent disciplinaire et de l'attitude générale de l'intéressé, qui n'a eu cesse de contester sinon de minimiser les violations commises, ce qui révèle une absence de prise de conscience de sa part, on ne voit pas que le Tribunal cantonal aurait excédé son pouvoir d'appréciation en confirmant la mesure contestée. Il s'ensuit que le grief tiré d'une restriction disproportionnée à la liberté économique est infondé et, partant, doit être rejeté.
6.
Les considérants qui précèdent conduisent au rejet du recours, envisagé comme un recours en matière de droit public. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Département de l'économie et de la santé de la République et canton du Jura, au Tribunal cantonal de la République et canton du Jura, Chambre administrative, et à l'Office fédéral de la santé publique.
Lausanne, le 26 mai 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Rastorfer