Faits :
A.
Après avoir déposé successivement deux demandes de prestations de l'assurance-invalidité en 2009 et en 2011 qui ont été rejetées, A._ a présenté une troisième demande en 2016. Dans sa demande datée du 5 août 2016, il a invoqué des problèmes neurologiques et un coup du lapin en relation avec un accident de la circulation routière survenu le 17 mai 2011. L'Office de l'assurance-invalidité du canton du Jura (ci-après: l'office AI) a mis en oeuvre une expertise pluridisciplinaire auprès du Centre d'Expertises Médicales à Nyon (ci-après: le CEMed), qui a été réalisée par les docteurs B._, spécialiste en médecine interne et en rhumatologie, C._, spécialiste en psychiatrie et psychothérapie, D._, spécialiste en neurologie, et la neuropsychologue E._ (rapport du 28 septembre 2017).
Sur la base de l'expertise du CEMed, l'office AI a retenu une incapacité de travail inférieure à une année (soit une incapacité totale du 17 mai au 17 août 2011, de 50 % du 18 août au 18 novembre 2011, puis de 0 % à compter du 19 novembre 2011) et a rejeté la demande par décision du 30 janvier 2019.
B.
A._ a déféré cette décision au Tribunal cantonal de la République et canton du Jura, Cour des assurances, qui l'a débouté par arrêt du 28 juillet 2020.
C.
A._ interjette un recours en matière de droit public contre cet arrêt dont il demande l'annulation en concluant au renvoi de la cause au Tribunal cantonal pour complément d'instruction dans le sens des considérants.
L'office AI conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé notamment pour violation du droit fédéral (<ref-law>), que le Tribunal fédéral applique d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées, sinon un état de fait divergent ne peut être pris en considération.
2.
Les premiers juges ont reconnu pleine valeur probante au rapport d'expertise du CEMed du 28 septembre 2017, considérant qu'il avait été établi conformément aux exigences posées par la jurisprudence (cf. <ref-ruling> consid. 3a). A cet égard, ils ont relevé que les experts ont établi conjointement le rapport après une discussion consensuelle, à la suite de leur lecture du dossier et de l'examen médical séparé de l'assuré. Les premiers juges ont aussi constaté que les experts disposaient d'un résumé du dossier établi par un tiers de leur choix, qu'ils en ont vérifié la conformité aux pièces, puisqu'ils ont dûment pris connaissance de l'ensemble du dossier et procédé à leur propre analyse de celles-ci. Dès lors que les experts avaient accompli personnellement les tâches fondamentales de l'expertise, l'instance précédente a admis qu'on ne saurait leur reprocher de ne pas avoir lu les pièces médicales résumées et d'avoir une connaissance insuffisante du dossier en se référant à l'<ref-ruling> (consid. 4.2.2, 4.2.3 et 4.4).
3.
Dans un premier grief, le recourant soutient que le "processus d'expertise" auprès du CEMed est "très formellement discutable". Il relève que les experts du CEMed ont mentionné que le dossier avait été analysé et résumé par un médecin ne participant pas aux examens. Alléguant que le soi-disant résumé du médecin tiers n'apparaît pas dans le corps du rapport d'expertise, le recourant se plaint d'avoir été privé de la possibilité de faire valoir ses droits à l'encontre de ce résumé. Par ailleurs, comme les experts ont précisé qu'ils avaient lu attentivement le dossier (et le résumé), le recourant se demande ce qu'un tel résumé établi par un tiers leur apporte. Il est d'avis que ce résumé a été recueilli informellement sans son accord, en violation de la loi sur la protection des données, respectivement du secret médical voire du secret de fonction des experts. Invoquant en outre la présence d'erreurs dans le rapport, le recourant en déduit que les experts n'ont effectivement pas eu une connaissance attentive du dossier et se sont fondés probablement sur le simple résumé établi par le tiers médecin.
Le recourant se plaint encore de l'intervention d'un "second médecin tiers" à qui le rapport final a été soumis, alors que les conclusions de celui-ci ne ressortent pas de l'expertise finale. Dans ces conditions, il conteste l'ensemble des conclusions de l'expertise incriminée.
4.
4.1. Dans la procédure d'expertise auprès du CEMed, la protection des données, de même que le secret médical et le secret de fonction n'ont a priori pas été menacés par les délégations de tâches, puisque lorsqu'ils accomplissent leurs mandats, les experts ainsi que les médecins tiers auxquels il est fait appel sont tous tenus de se conformer aux obligations qui en découlent. Il n'y a toutefois pas lieu de se prononcer plus avant sur ce grief, compte tenu de l'issue du litige.
4.2.
4.2.1. En tant que le recourant fait grief aux experts du CEMed d'avoir fait appel à des médecins tiers, il y a lieu d'examiner si l'expertise en cause réalise les exigences relatives à l'<ref-law> et les règles de participation précisées dans ce contexte par l'<ref-ruling>. Il s'agit d'une question de droit que le Tribunal fédéral examine librement (<ref-ruling> consid. 4.1).
Selon l'<ref-law>, si l'assureur doit recourir aux services d'un expert indépendant pour élucider les faits, il donne connaissance du nom de celui-ci aux parties. Celles-ci peuvent récuser l'expert pour des raisons pertinentes et présenter des contre-propositions.
D'après la jurisprudence applicable aux délégations de tâches et aux droits de participation de l'assuré en matière d'expertise médicale dans le domaine des assurances sociales, l'obligation de l'assureur de donner connaissance du nom du médecin expert à l'assuré, avant le début de l'expertise, s'étend au nom du médecin qui est chargé par l'expert d'établir l'anamnèse de base de la personne soumise à l'expertise, d'analyser et de résumer le dossier médical ou de relire le rapport pour vérifier la pertinence de ses conclusions (<ref-ruling> consid. 4.2.3). Cette jurisprudence est applicable aux affaires pendantes devant un tribunal au moment de son adoption (cf. <ref-ruling> consid. 4.1).
4.2.2. Bien que l'instance précédente eût mentionné à juste titre l'arrêt <ref-ruling>, elle en a toutefois fait une lecture incomplète et ne l'a pas appliqué correctement. En effet, il ne suffisait pas de retenir que les experts qui avaient vérifié la conformité du résumé du dossier établi par un tiers avaient accompli personnellement les tâches fondamentales de l'expertise. La juridiction cantonale devait aussi tenir compte du fait que le ou les médecins tiers appelés par les experts à résumer le dossier et à relire l'expertise avaient eux aussi effectué des tâches fondamentales d'expertise (et non des tâches secondaires), leur analyse contribuant au résultat de l'évaluation médicale. Dans ces conditions, elle aurait dû aborder les conséquences du défaut de communication du nom des médecins tiers au recourant (<ref-ruling> consid. 4.2.3 et 4.3.2), ce qu'elle a manqué de faire.
En l'espèce, on ignore l'identité des médecins auxquels les experts du CEMed ont fait appel pour analyser et résumer le dossier, l'intimé ne se prononçant pas sur ce point dans sa réponse. Etant donné l'importance de la démarche consistant à établir le résumé du dossier médical ou à relire celui-ci pour vérifier la pertinence de ses conclusions, le recourant a droit de connaître le nom du ou des médecins qui ont participé à l'expertise par ce biais. Il doit donc être placé dans la situation dans laquelle il peut reconnaître s'il entend ou non soulever un motif de récusation à l'encontre de la ou des personnes auxiliaires impliquées.
La cause doit dès lors être renvoyée à l'office AI pour qu'il procède aux démarches nécessaires à cette fin. Il lui incombera ensuite de rendre une nouvelle décision sur le droit du recourant à une rente d'invalidité.
5.
L'intimé, qui succombe, supportera les frais de la procédure (<ref-law>) ainsi que les dépens du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis en ce sens que l'arrêt du Tribunal cantonal de la République et canton du Jura, Cour des assurances, du 28 juillet 2020, et la décision de l'Office de l'assurance-invalidité du canton du Jura, du 30 janvier 2019, sont annulés, la cause étant renvoyée audit office pour nouvelle décision dans le sens des considérants. Le recours est rejeté pour le surplus.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de l'intimé.
3.
L'intimé versera une indemnité de dépens de 2800 fr. au recourant pour la procédure fédérale.
4.
La cause est renvoyée au Tribunal cantonal de la République et canton du Jura, Cour des assurances, pour nouvelle décision sur les frais et dépens de la procédure cantonale.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton du Jura, Cour des assurances, et à l'Office fédéral des assurances sociales.
Lucerne, le 10 juin 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Berthoud