Faits :
A.
A.a. A._, né en 1987, employé de banque diplômé, était au chômage depuis le 1er janvier 2018. A ce titre, il était assuré auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA) contre le risque d'accidents. Le 4 novembre 2018, il a été victime d'un accident de la circulation routière. Une voiture l'a percuté par l'arrière alors qu'il était lui-même en mouvement avec son véhicule. Il a été amené à l'Hôpital B._, où il a séjourné jusqu'au 7 novembre 2018. Dans leur rapport du 7 novembre 2018, les médecins de l'Hôpital B._ ont retenu le diagnostic principal de polytraumatisme sur accident de la voie publique, accompagné de diagnostics secondaires, à savoir de contusions abdominale et de la colonne cervicale et lombaire ainsi que de céphalées avec photophobie, traitées avec une antalgie et de la physiothérapie. La CNA a pris en charge le cas.
Par la suite, le médecin traitant de A._ a adressé celui-ci à la Clinique C._, Centre de réadaptation médicale et neurologique, pour un séjour de réadaptation psychosomatique et rééducation physique dans le cadre d'un tableau d'"arthromyalgique" des ceintures scapulaires et du rachis cervico-dorsal ensuite d'un accident de la voie publique avec décompensation somatoforique sur un terrain thymique fragile et dépressif. Les médecins de cette clinique, où l'assuré a séjourné du 3 au 12 décembre 2018, ont retenu les diagnostics principaux de douleurs à la nuque et au niveau lombaire après un accident de voiture, de trouble dépressif récurrent, de soupçon de trouble de la personnalité et trouble du déficit de l'attention avec hyperactivité.
Dans une évaluation interdisciplinaire - neurologie, psychiatrie et médecine interne générale et rhumatologie - du 4 mars 2019, les médecins de la Clinique de réadaptation D._ ont diagnostiqué un traumatisme cervical indirect le 4 novembre 2018.
Suivant l'avis de son médecin-conseil, selon lequel il n'existait pas de lésion structurelle due à l'accident du 4 novembre 2018, la CNA a, par décision du 9 juillet 2019, mis un terme à son obligation de prester au 10 juillet 2019.
A.b. A._ a formé opposition contre cette décision, faisant valoir que son épaule droite présentait une lésion en cours d'investigation. Le 17 octobre 2019, il a subi une arthroscopie de l'épaule droite (avec décompression sous-acromiale et résection de l'articulation acromio-claviculaire respectivement de la clavicule latérale), justifiée par une arthrose activée post-traumatique de l'articulation acromio-claviculaire, diagnostiquée par arthro-IRM le 9 septembre 2019. Le 11 novembre 2019, le docteur E._, spécialiste en chirurgie orthopédique et traumatologie de l'appareil locomoteur et médecin d'arrondissement de la CNA, a retenu que les troubles de l'épaule droite ayant nécessité cette intervention ne correspondaient pas à une lésion structurelle causée par l'accident du 4 novembre 2018. Par décision sur opposition du 27 novembre 2019, la CNA a rejeté l'opposition.
B.
Saisi d'un recours contre la décision sur opposition du 27 novembre 2019, la Cour des assurances du Tribunal cantonal de la République et canton du Jura l'a rejeté par arrêt du 24 août 2021.
C.
A._ interjette un recours en matière de droit public contre cet arrêt, en concluant à son annulation et au renvoi de la cause à l'autorité inférieure afin qu'elle mette en oeuvre une expertise orthopédique. Il sollicite en outre le bénéfice de l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (art. 90 LTF) rendu en matière de droit public (art. 82 ss LTF) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (art. 100 LTF) et la forme (art. 42 LTF) prévus par la loi. Il est donc recevable.
2.
2.1. Le litige porte sur le point de savoir si la cour cantonale a violé le droit fédéral en confirmant la décision sur opposition du 27 novembre 2019 mettant fin au droit du recourant aux indemnités journalières et à la prise en charge des frais médicaux avec effet au 10 juillet 2019. Au vu de la motivation du recours et des conclusions prises, est uniquement litigieuse la question de savoir s'il subsiste un lien de causalité entre les atteintes à l'épaule droite du recourant et l'accident de la circulation routière dont il a été victime le 4 novembre 2018.
2.2. Lorsque la décision qui fait l'objet d'un recours concerne l'octroi ou le refus de prestations en espèces de l'assurance-accidents, le Tribunal fédéral n'est pas lié par les faits établis par l'autorité précédente (art. 97 al. 2 et 105 al. 3 LTF). Aussi, lorsque sont en jeu des prestations en espèces et en nature, comme c'est le cas ici, le Tribunal fédéral dispose-t-il d'un pouvoir d'examen étendu en ce qui concerne les faits communs aux deux types de prestations (arrêt 8C_490/2021 du 11 février 2022 consid. 2.2 et la référence).
3.
L'arrêt attaqué expose de manière complète les dispositions légales et les principes jurisprudentiels relatifs à l'allocation de prestations d'assurance en cas d'accident (art. 6 al. 1 LAA), en particulier quant à l'exigence d'un lien de causalité entre l'accident et l'atteinte à la santé (<ref-ruling> consid. 1; <ref-ruling> consid. 3) ainsi qu'à l'appréciation des preuves, notamment des rapports des médecins internes à l'assurance (<ref-ruling> consid. 4.4; <ref-ruling> consid. 3). Il suffit d'y renvoyer.
4.
4.1.
4.1.1. Les juges cantonaux ont accordé une pleine valeur probante à l'appréciation médicale du 11 novembre 2019 du médecin d'arrondissement, le docteur E._. Ils ont considéré que cette appréciation prenait en compte le rapport opératoire du 17 octobre 2019 et avait pour objet l'analyse de l'existence d'un lien de causalité entre les lésions qui avaient motivé cette intervention à l'épaule et l'accident du 4 novembre 2018. Ce médecin avait exposé, de manière convaincante, qu'aucune indication relative à un traumatisme de l'épaule droite n'avait été documentée dans les premiers actes médicaux, ce qui s'expliquait aisément par la faiblesse de l'impact, dès lors que les dégâts matériels s'étaient révélés minimes (le montant des réparations se chiffrant à 1145 fr. 55) et que les airbags ne s'étaient pas déclenchés. Il contredisait par ailleurs le caractère post-traumatique de l'arthrose de l'articulation évoqué par le docteur F._, spécialiste en chirurgie orthopédique et traumatologie de l'appareil locomoteur, dans un rapport du 9 septembre 2019, en expliquant qu'une arthrose de l'articulation aussi avancée n'aurait pas pu se développer en l'espace de quelques mois seulement.
4.1.2. Selon les premiers juges, l'avis du médecin d'arrondissement était corroboré par l'ensemble des pièces versées au dossier. Ainsi, les premiers rapports médicaux - de l'Hôpital B._, du médecin traitant du 13 novembre 2018 et d'ailleurs aussi du psychiatre traitant du 14 novembre 2018 - ne faisaient pas état de plaintes relatives à l'épaule droite. Bien que lors du séjour à la Clinique C._ en décembre 2018, il eût été question de douleurs à l'épaule et à l'omoplate droite, celles-ci s'inscrivaient dans le descriptif détaillé de l'accident, après lequel aucune séquelle structurelle n'avait été objectivable. Lors du séjour à la Clinique de réadaptation D._ en février 2019, des douleurs à l'épaule avaient été évoquées, mais aucune limitation de la mobilité passive n'avait été constatée, de même qu'aucun signe de rupture de coiffe. En outre, le médecin traitant avait indiqué dans un courrier du 20 février 2019 qu'une radiographie de l'épaule droite du 4 février 2019 n'avait pas montré de lésion ostéo-articulaire ou de calcification tendineuse et qu'il n'avait pas prévu de bilan plus approfondi dans l'immédiat; au surplus, il avait mentionné que cette omalgie était d'origine peu claire et à investiguer, en ne la considérant pas comme suite de l'accident lors de la catégorisation des affections du recourant. Les premiers juges en ont conclu que le moment de l'apparition des douleurs, qui ne s'étaient pas manifestées immédiatement après l'accident, était certes un élément à prendre en considération dans l'examen du cas particulier mais qu'en tout état de cause, les circonstances de l'accident n'étaient pas propres à provoquer les lésions opérées et ne sauraient mener à la conclusion d'une origine traumatique de l'affection litigieuse.
4.1.3. La cour cantonale a ensuite relevé que les conclusions du docteur E._ avaient été confirmées par l'appréciation orthopédique du 11 mars 2020 des docteurs G._, spécialiste en chirurgie orthopédique et traumatologie de l'appareil locomoteur, et H._, spécialiste en chirurgie générale et traumatologie, du centre de compétence de médecine des assurances de l'intimée. Ceux-ci avaient exposé de manière distincte, précise et complète qu'une arthrose post-traumatique de l'articulation acromio-claviculaire était certes concevable en cas d'atteinte des structures osseuses, cartilagineuses ou capsulo-ligamentaires de cette articulation, mais que ceci impliquait un traumatisme violent avec une symptomatologie immédiate et des signes cliniques évidents, qui motivaient une imagerie appropriée précoce, et qu'il fallait par la suite une durée de plusieurs années pour permettre aux lésions arthrosiques, telles que mises en évidence sur l'IRM du 9 septembre 2019, de se constituer. Tel n'était pas le cas en l'espèce dès lors qu'il s'agissait d'un évènement à basse énergie entrainant un mouvement de compression dirigée vers le dossier du siège, sans effet vulnérant sur l'épaule du recourant, de constitution vigoureuse. Ces praticiens avaient ajouté que des activités sportives recrutant les membres supérieurs, telles que le tennis, le squash ou le golf, pratiquées par le recourant, étaient de nature à favoriser une atteinte purement dégénérative. Selon les juges cantonaux, les circonstances de l'accident ne correspondaient ni à un choc violent, ni à un choc suffisamment ancien pour causer le genre de lésions ayant motivé l'opération du 17 octobre 2019.
4.1.4. Finalement, il n'y avait, d'après les juges cantonaux, pas lieu de s'écarter des conclusions des médecins-conseils de l'intimée au profit de celles des docteurs I._, spécialiste en chirurgie orthopédique et traumatologie de l'appareil locomoteur, et F._, tous deux impliqués dans le traitement de l'épaule droite du recourant. Le rapport de consultation du docteur F._ du 28 (recte: 22) août 2019 n'avait pas été établi en pleine connaissance de l'anamnèse et du dossier médical et ne décrivait clairement ni le contexte médical, ni l'appréciation de la situation médicale: preuve en était l'indication selon laquelle de fortes douleurs dans l'épaule avaient été ressenties dès le départ ("anfänglich"), alors qu'il était établi que tel n'avait pas été le cas. Au demeurant, dans son rapport du 9 septembre 2019, le docteur F._ justifiait le lien de causalité entre l'accident du 4 novembre 2018 et l'arthrose activée de l'articulation par l'absence de plainte avant l'accident et se fondait ainsi sur une argumentation de type "post hoc ergo propter hoc", insuffisante pour établir un lien de causalité entre une atteinte à la santé et un accident (<ref-ruling> consid. 2b/bb). Quant au docteur Hahn, il avait décrit une action ayant exercé une force antérolatérale, qui aurait provoqué un coup sur l'épaule, comme circonstances concevables ("denkbar") de l'accident, ce qui ne convainquait pas au vu des circonstances réelles de l'accident, qui ne correspondaient manifestement pas à un mécanisme lésionnel violent au niveau de l'épaule droite.
4.1.5. Au vu de ces éléments, la cour cantonale a nié - au degré de la vraisemblance prépondérante - l'existence d'un lien de causalité naturelle entre l'accident du 4 novembre 2018 et les lésions à l'épaule droite opérées le 17 octobre 2019 (ainsi que les autres affections le long du biceps diagnostiquées encore plus tardivement et dans le même contexte que l'atteinte à l'épaule).
4.2. Le recourant se plaint d'une application arbitraire des règles légales et jurisprudentielles relatives à la causalité naturelle, en lien notamment avec la maxime inquisitoire (art. 43 al. 1 LPGA) et avec l'appréciation des rapports médicaux des médecins internes à l'assurance.
Force est de constater qu'il se borne à répéter, pour l'essentiel, les arguments qu'il avait déjà présentés devant l'autorité cantonale et ne prend guère position sur l'argumentation détaillée et pertinente de l'arrêt attaqué. Or, comme l'a déjà constaté la cour cantonale, l'intimée à soumis le rapport opératoire du 17 octobre 2019 à son médecin d'arrondissement, dans le seul but que celui-ci se prononce sur un éventuel lien de causalité entre les lésions de l'épaule et l'évènement accidentel. Quant au fait que le recourant s'était déjà plaint en février 2019 des douleurs à l'épaule droite (notamment auprès de son médecin traitant et des médecins de la Clinique de réadaptation D._), l'on peut renvoyer aux considérants de la cour cantonale exposant que les douleurs ne s'étaient pas manifestées immédiatement après l'accident, que le mécanisme de l'accident n'était pas apte à provoquer les lésions constatées lors de l'intervention chirurgicale du 17 octobre 2019 et qu'il ne s'était pas écoulé suffisamment de temps entre l'accident et l'opération pour causer ce genre de lésions (cf. consid. 4.1.2 et 4.1.3 supra), ce que le recourant ne remet pas en question. Finalement, le recourant répète les critiques qu'il avait soulevées en instance cantonale contre l'évaluation interdisciplinaire des médecins de la Clinique de réadaptation D._ du 4 mars 2019. Or celle-ci ne constitue pas le fondement de l'arrêt attaqué, les juges cantonaux s'étant appuyés principalement sur l'avis du médecin d'arrondissement du 11 novembre 2017, émis en connaissance des lésions opérées lors de l'intervention chirurgicale du 17 octobre 2019. Par conséquent, le recourant ne peut pas non plus être suivi lorsqu'il prétend que la cour cantonale aurait reconnu une pleine valeur probante au rapport de la Clinique de réadaptation D._, et un examen approfondi des points critiqués s'avère superflu.
5.
Au vu de ce qui précède, le recours, mal fondé, doit être rejeté. Le recourant, qui succombe, a demandé à bénéficier de l'assistance judiciaire gratuite. Une partie ne remplit les conditions de l'assistance judiciaire que si elle ne dispose pas de ressources suffisantes et si ses conclusions ne paraissent pas vouées à l'échec (art. 64 al. 1 LTF; <ref-ruling> consid. 9.1). Au regard des motifs avancés dans le mémoire de recours, celui-ci apparaissait d'emblée dénué de chances de succès, de sorte que la requête d'assistance judiciaire doit être rejetée. Le recourant doit par conséquent payer les frais judiciaires (cf. art. 66 al. 1 LTF) et ne peut pas prétendre à la prise en charge des honoraires de son avocat.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton du Jura, Cour des assurances, et à l'Office fédéral de la santé publique.
Lucerne, le 2 mai 2022
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Wirthlin
La Greffière : Betschart