Faits :
A.
A.a. A._, né en 1961, travaillait comme maçon indépendant à U._ et était à ce titre assuré de manière obligatoire contre le risque d'accident auprès de la Caisse nationale suisse d'assurance en cas d'accidents (ci-après: CNA). Par déclaration d'accident du 18 février 2009, il a annoncé à celle-ci qu'il s'était fait piquer par une tique en automne 2008 et qu'il était en incapacité de travail depuis le 14 décembre 2009 en raison de douleurs et enflures des deux genoux.
Dans un premier temps, après avoir consulté son médecin d'arrondissement, la CNA a refusé de prendre en charge le cas. Ensuite d'un séjour à l'Hôpital B._ du 27 septembre au 15 octobre 2012, lors duquel le diagnostic de neuroborréliose avec une méningo-encéphalite et vasculite d'accompagnement avec multiples infarctus cérébraux a été posé, la CNA a néanmoins décidé d'allouer les prestations d'assurance pour la neuroborréliose tardive comme étant une conséquence de la morsure de tique, tout en excluant la prise en charge des troubles rhumatologiques aux genoux.
A.b. Après avoir procédé à des examens neurologiques, neuropsychologiques et psychiatriques, la CNA a rendu le 12 novembre 2014 une décision par laquelle elle a mis un terme aux prestations d'assurance avec effet au 1er décembre 2014. Sur oppositions de l'assuré et de sa caisse-maladie, elle a consulté, à plusieurs reprises, son service médical interne et a mandaté la psychologue C._, afin d'effectuer un examen neuropsychologique (cf. rapport du 13 novembre 2017). Parallèlement, l'office de l'assurance-invalidité du canton du Jura (ci-après: office AI) a mis en oeuvre une expertise pluridisciplinaire (rhumatologie, médecine interne générale, psychiatrie, neurologie et neuropsychologie) auprès du Centre Médical Expertises (ci-après: CEMEDEX), dont le rapport a été rendu le 8 septembre 2016 et porté le 16 suivant à la connaissance de la CNA. Celle-ci a rejeté les oppositions par décision du 4 mai 2018.
B.
Par arrêt du 3 février 2020, la Cour des assurances du tribunal cantonal de la république et canton du Jura a admis le recours interjeté par l'assuré contre la décision sur opposition du 4 mai 2018, a annulé celle-ci et a renvoyé la cause à la CNA pour nouvelle décision au sens des considérants.
C.
La CNA interjette un recours en matière de droit public contre cet arrêt, en concluant principalement à sa réforme dans le sens de la confirmation de sa décision sur opposition du 4 mai 2018, et subsidiairement à son annulation suivie du renvoi de la cause à l'instance précédente pour mise en oeuvre d'une expertise judiciaire.
L'intimé et la cour cantonale concluent au rejet du recours. L'Office fédéral de la santé publique renonce à se déterminer.

Considérant en droit :
1.
1.1. Le recours est recevable contre les décisions finales, soit celles qui mettent fin à la procédure (<ref-law>), et contre les décisions partielles, soit celles qui statuent sur un objet dont le sort est indépendant de celui qui reste en cause (<ref-law>) ou qui mettent fin à la procédure à l'égard d'une partie des consorts (<ref-law>). Les décisions préjudicielles et incidentes autres que celles concernant la compétence ou les demandes de récusation (cf. <ref-law>) ne peuvent faire l'objet d'un recours que si elles peuvent causer un préjudice irréparable (<ref-law>) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (<ref-law>).
1.2. En règle générale, une décision de renvoi ne met pas fin à la procédure (<ref-ruling> consid. 4.2 p. 481 f.; arrêt 8C_819/2017 du 25 septembre 2018 consid. 1.2.1, non publié in <ref-ruling>, mais in SVR 2019 UV n° 13 p. 51) et n'est pas non plus de nature à causer un préjudice irréparable aux parties, le seul allongement de la durée de la procédure ou le seul fait que son coût s'en trouve augmenté n'étant pas considéré comme constitutif d'un tel dommage (<ref-ruling> consid. 5.2.1 et 5.2.2 p. 483). Néanmoins, si l'arrêt de renvoi ne laisse aucune latitude de jugement à l'autorité administrative appelée à statuer (à nouveau), il est assimilé à une décision finale et peut, de ce fait, faire l'objet d'un recours en matière de droit public (<ref-ruling> consid. 1.2 p. 283).
1.3. En l'espèce, le jugement attaqué s'analyse comme une décision de renvoi qui, en tant qu'elle oblige la CNA à allouer les prestations d'assurance au-delà du 1er décembre 2014, particulièrement en reconnaissant à l'intimé une incapacité de travail totale, tant dans son activité habituelle de maçon que dans une activité adaptée, ne laisse aucune latitude de jugement à l'assureur-accidents appelé à statuer à nouveau et doit donc être assimilée à une décision finale.
1.4. Pour le surplus, le recours est dirigé contre un arrêt rendu en matière de droit public (art. 82 ss. LTF) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable.
2.
Le litige porte sur le point de savoir si la cour cantonale a violé le droit fédéral en reconnaissant à l'intimé une incapacité de travail totale, tant dans son activité habituelle de maçon que dans une activité adaptée, de nature à lui ouvrir le droit à une rente d'invalidité entière.
La procédure portant sur l'octroi ou le refus de prestations en espèces de l'assurance-accidents, le Tribunal fédéral n'est pas lié par les faits établis par l'autorité précédente (art. 97 al. 2 et art. 105 al. 3 LTF).
3.
3.1. Le jugement entrepris a correctement rappelé les dispositions légales et les principes jurisprudentiels applicables, en particulier l'arrêt de principe <ref-ruling> d'après lequel la morsure de la tique du genre Ixodes réunit les éléments caractéristiques d'un accident, ce qui fonde l'obligation de l'assureur-accidents de prendre en charge les cas de maladies infectieuses (maladie de Lyme, encéphalite virale) occasionnées par une telle morsure et leurs conséquences. On peut y renvoyer.
3.2. S'agissant de la valeur probante de rapports médicaux, on rappellera que selon la jurisprudence, le tribunal peut accorder une pleine valeur probante à une expertise mise en oeuvre dans le cadre d'une procédure administrative au sens de l'<ref-law>, aussi longtemps qu'aucun indice concret ne permettait de douter de son bien-fondé (<ref-ruling> consid. 4.4 p. 470; <ref-ruling> consid. 3b/bb p. 353). En revanche, lorsqu'un cas d'assurance est réglé sans avoir recours à une expertise externe, l'appréciation des preuves est soumise à des exigences sévères: s'il existe un doute même minime sur la fiabilité et la validité des constatations du médecin de l'assurance, il y a lieu de procéder à des investigations complémentaires (<ref-ruling> consid. 5.2 p. 229; <ref-ruling> consid. 4.4 p. 470). En effet, si la jurisprudence a reconnu la valeur probante des rapports médicaux des médecins-conseils, elle a souligné qu'ils n'avaient pas la même force probante qu'une expertise judiciaire ou une expertise mise en oeuvre par un assureur social dans une procédure selon l'<ref-law> (<ref-ruling> consid. 4.4 p. 469 et les références).
4.
4.1. La cour cantonale a accordé pleine valeur probante à l'expertise pluridisciplinaire du CEMEDEX. Plus particulièrement, il ressortait du consensus interdisciplinaire du 19 août 2016 que l'intimé était en incapacité de travail totale en raison de la neuroborréliose. La cour cantonale a en outre précisé que l'intimé souffrait certes de deux problématiques distinctes, à savoir la neuroborréliose et l'oligoarthrite bilatérale des genoux, mais que la neuroborréliose apparaissait comme étant l'unique cause de son incapacité de travail totale dans toute activité professionnelle. Dans ces circonstances, les conclusions de l'expertise pluridisciplinaire ordonnée par l'office AI liaient également l'assureur-accidents. Les conclusions de la neuropsychologue C._ et du docteur D._, spécialiste en neurologie et médecin auprès du centre de compétence de la médecine d'assurance de la CNA, reconnaissant une pleine capacité de travail à l'intimé dans son ancienne activité de maçon ainsi que dans toute activité adaptée aux troubles cognitifs, n'étaient pas susceptibles de remettre en cause le bien-fondé de celles des experts du CEMEDEX.
4.2. La recourante conteste l'appréciation des preuves opérée par le tribunal cantonal. Elle soutient que l'expertise du CEMEDEX contiendrait des contradictions apparentes s'agissant notamment des volets neurologique et neuropsychologique. Par ailleurs, la recourante fait valoir que l'expertise ne saurait se voire reconnaître une valeur probante accrue, dès lors qu'elle a été mise en oeuvre par l'assurance-invalidité et qu'elle n'aurait bénéficié d'aucun droit de participation. Ainsi, ce rapport d'expertise devrait être considéré à l'instar d'un rapport médical produit par la personne assurée. Se référant aux rapports du docteur D._ du 8 janvier 2018, de la neuropsychologue C._ du 13 novembre 2017 et des docteurs E._ et F._ du 16 juin 2017, spécialistes auprès de la Policlinique neurologique et neurochirurgicale de l'Hôpital B._, elle affirme que l'intimé aurait une pleine capacité de travail dès le 1er décembre 2014.
4.3.
4.3.1. On ne saurait suivre l'argumentation de la recourante lorsqu'elle tente de démontrer une incohérence dans le rapport d'expertise du docteur G._, selon lequel l'examen neurologique montrait une faiblesse de l'hémicorps droit. D'après la recourante, cette faiblesse ne serait objectivée par aucun trouble du système nerveux central ou périphérique. Or la faiblesse de l'hémicorps droit avait déjà été relevée par les neurologues de l'Hôpital B._ en octobre 2012 dans le contexte du diagnostic de la neuroborréliose, ce qui a été confirmé par la suite dans leur rapport du 16 juin 2017. On rappellera par ailleurs que les docteurs H._, I._ et D._, spécialistes FMH en neurologie et médecins au centre de compétence de la médecine d'assurance de la CNA, ont explicitement admis dans les rapports des 24 octobre 2013 et 4 août 2017 un rapport de causalité entre la faiblesse de l'hémicorps droit et la neuroborréliose (tardive), elle-même en relation de causalité avec la morsure de tique dont l'intimé a été victime en automne 2008.
4.3.2. Quant à la qualification de l'expertise du CEMEDEX, il est exact que celle-ci a été mise en oeuvre par l'office AI dans le cadre d'une procédure d'assurance-invalidité. Toutefois, il n'en demeure pas moins qu'il s'agit d'une expertise administrative externe réalisée eu égard aux exigences de l'<ref-law>. A priori, elle dispose donc d'une valeur probante accrue au sens de la jurisprudence, à moins qu'un indice concret ne permette de douter de son bien-fondé (cf. consid. 3.2 supra). Le fait que ce ne soit pas la recourante, mais l'office AI qui a mandaté les experts ne saurait modifier cette qualification. En effet, dès lors que la recourante était en échange régulier avec l'office AI au sujet de l'intimé, elle était orientée sur le fait qu'une procédure en matière d'assurance-invalidité était en cours. Aussi lui appartenait-il de coordonner avec ce dernier les éventuelles démarches en vue d'une expertise médicale conjointe, ce qui lui aurait permis de joindre son propre questionnaire à l'attention des experts.
4.3.3.
4.3.3.1. Selon le consensus pluridisciplinaire, les experts du CEMEDEX ont évalué la capacité de travail de l'intimé comme étant nulle depuis le 14 novembre 2009 dans son ancienne activité de maçon, respectivement depuis septembre 2012 dans toute activité professionnelle. Ils ont également précisé que l'exercice d'une activité adaptée n'était pas possible en raison "de l'atteinte neuropsychologique". Au vu de ces constatations, la recourante a procédé à des investigations complémentaires auprès de la neuropsychologue C._, laquelle a conclu que l'expertisé ne présentait actuellement aucune limitation quant à l'exercice d'une activité professionnelle adaptée. La cour cantonale a toutefois considéré que l'avis de la neuropsychologue, qui n'avait pas procédé à un examen neurologique et n'avait nullement traité la problématique des séquelles de la vascularite cérébrale, ne saurait en aucun cas remettre en cause le bien-fondé des conclusions des experts du CEMEDEX. Il en allait de même du rapport médical du docteur D._ du 8 janvier 2018, dans lequel celui-ci concluait à une pleine capacité de travail de l'intimé dans son ancienne activité de maçon ainsi que dans toute activité manuelle qui soit cognitivement non exigeante. Selon les premiers juges, cette appréciation apparaissait totalement contradictoire, dans la mesure où le docteur D._ se ralliait d'une part aux constatations de son collègue, le docteur J._, spécialiste FMH en médecine du travail et en médecine générale, Division de la médecine du travail de la CNA, concluant à une pleine capacité de travail de l'intimé, et reconnaissait d'autre part l'existence de troubles cognitifs en se référant au constatations du docteur G._.
4.3.3.2. Cette appréciation des preuves ne saurait être suivie. Contrairement à l'appréciation de la cour cantonale, les conclusions du docteur D._ n'apparaissent pas contradictoires. On rappellera à ce propos que tous les neurologues de la CNA s'entendent pour admettre, en l'espèce, l'existence de troubles neurologiques, potentiellement invalidants (cf. consid. 4.3.1 supra). Or dans la mesure où, selon les experts du CEMEDEX, l'incapacité de travail de l'intimé est principalement, voire même exclusivement motivée par l'existence d'une atteinte neuropsychologique, sans toutefois qu'il soit précisé de quelle manière et dans quelle mesure cette atteinte se répercute concrètement sur la capacité de travail (cf. volet neuropsychologique), c'est à juste titre que le docteur D._, conjointement avec le docteur I._, ont décidé de procéder à des investigations neuropsychologiques avant de se prononcer définitivement sur la capacité de travail de l'intimé. Cette démarche apparaissait d'autant plus justifiée compte tenu du rapport du 16 juin 2017 rendu par les neurologues de l'Hôpital B._, qui préconisaient, au vu des symptômes de fatigue prononcés, de les faire valider par un examen neuropsychologique de contrôle. En effet, lorsqu'il s'agit d'évaluer la capacité de travail d'une personne assurée, des examens neuropsychologiques peuvent s'avérer indispensables afin de valider les troubles neuropsychologiques et de quantifier les limitations fonctionnelles qui en découlent. En l'espèce, après avoir réalisé un examen neuropsychologique d'une durée de 4 h 30 min, la neuropsychologue C._ a retenu que l'expertisé, d'un point de vue strictement neuropsychologique, ne présentait actuellement aucune limitation quant à l'exercice d'une activité professionnelle adaptée. Elle a en outre relevé l'existence d'incohérences par rapport aux troubles mnésiques et aux maux de tête, en indiquant notamment que les troubles neuropsychologiques ne pouvaient pas, contrairement à ce que l'expertisé avait rapporté, être présents certains jours et absents à d'autres moments. Se fondant sur cette appréciation, le docteur D._ est parvenu à la conclusion que la capacité de travail de l'intimé, d'un point de vue neurologique, était entière, aussi bien dans son ancienne activité de maçon que dans toute activité manuelle cognitivement non exigeante.
4.4. En résumé, on se trouve en présence d'appréciations médicales probantes émanant d'une part d'experts mandatés dans une procédure selon l'<ref-law>, et d'autre part du médecin-conseil de la recourante, qui aboutissent à des conclusions diamétralement opposées. Par ailleurs, l'expertise du CEMEDEX ayant été mise en oeuvre dans le cadre d'une procédure d'assurance-invalidité, toutes les atteintes ont été prises en compte dans l'évaluation de la capacité de travail, indépendamment de leur étiologie. S'agissant en particulier de l'oligoarthrite, dont les experts estiment qu'elle est de nature invalidante, ils n'ont pas pu dire s'il s'agissait d'une arthrite de Lyme, qui serait liée à la neuroborréliose. Dans ces conditions, les juges cantonaux ne pouvaient pas statuer sur le recours de l'intimé en se ralliant aux conclusions des experts du CEMEDEX. Au vu notamment de l'appréciation du docteur D._, il existe en effet des indices concrets permettant de douter de leur bien-fondé.
Conformément à la jurisprudence (cf. consid. 3.2 supra), cela justifie de renvoyer la cause aux juges cantonaux pour qu'ils ordonnent une expertise judiciaire pluridisciplinaire (rhumatologie, neurologie et neuropsychologie) afin de déterminer la capacité de travail de l'intimé dans son ancienne activité de maçon et dans une activité adaptée compte tenu des séquelles de la morsure de tique. Dans la mesure du possible, les experts répondront au préalable à la question de savoir si les troubles aux genoux doivent également être attribués, au degré de la vraisemblance prépondérante, à la neuroborréliose. Enfin, il conviendra aussi de faire examiner par les experts judiciaires s'il existe une atteinte à l'intégrité au sens de l'<ref-law>. Après quoi, les juges cantonaux rendront un nouveau jugement. Dans cette mesure, le recours se révèle bien fondé.
5.
En ce qui concerne la répartition des frais judiciaires et des dépens, le renvoi de la cause pour nouvel examen et décision revient à obtenir gain de cause au sens des art. 66 al. 1 et 68 al. 1 et 2 LTF, indépendamment du fait qu'une conclusion ait ou non été formulée à cet égard, à titre principal ou subsidiaire (<ref-ruling> consid. 7.1 p. 271; arrêt 8C_465/2017 du 12 janvier 2018 consid. 5, non publié in <ref-ruling>). L'intimé, qui succombe, supportera les frais judiciaires (<ref-law>). Bien qu'elle obtienne gain de cause, la recourante n'a pas droit à une indemnité de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. La décision du Tribunal cantonal de la République et canton du Jura, Cour des assurances, du 3 février 2020 est annulée. La cause est renvoyée à la cour cantonale pour qu'elle rende une nouvelle décision au sens des considérants. Pour le surplus, le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de l'intimé.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton du Jura, Cour des assurances, et à l'Office fédéral de la santé publique.
Lucerne, le 11 décembre 2020
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Elmiger-Necipoglu