Faits :
A.
A.a. A._, née en 1966, était engagée dès le 24 juillet 2017 dans un programme d'emploi temporaire par l'assurance-chômage et était à ce titre assurée de manière obligatoire contre le risque d'accident auprès de la Caisse nationale suisse en cas d'accidents (ci-après: CNA). Le 27 juillet 2017, alors qu'elle aidait un client à sortir un gros meuble, l'assurée "s'est fait mal au bras droit", ce qu'elle a fait annoncer à la CNA le 31 juillet 2017. Une incapacité de travail a été attestée dès le 28 juillet 2017. Dans un rapport médical du 5 septembre 2017, le docteur B._, spécialiste FMH en médecine interne, a indiqué que l'assurée s'était blessée le 27 juillet 2017 au dos sur son lieu de travail après avoir soulevé une charge importante et qu'elle présentait depuis lors des lombalgies. Après avoir soumis le dossier à son médecin d'arrondissement, la CNA a refusé par décision du 20 octobre 2017, entrée en force, d'allouer des prestations d'assurance pour l'événement du 27 juillet 2017, dès lors qu'il n'y avait pas eu d'accident et que les conditions pour la prise en charge d'une lésion assimilée à un accident n'étaient pas non plus remplies.
A.b. Par courrier du 16 mars 2018, A._ a demandé à la CNA de réouvrir son dossier. A l'appui de sa requête, elle a annexé un rapport opératoire du 15 février 2018 concernant son épaule droite, et a expliqué que le 27 juillet 2017, elle avait dû aider un client pressé à descendre un meuble de sa camionnette; son épaule droite avait alors lâché, les vertèbres de sa colonne s'étaient tassées et elle avait perdu le contrôle de sa vessie. Le 19 mars 2018, la CNA lui a répondu qu'elle ma intenait son refus de prise en charge. Agissant désormais par sa mandataire et se prévalant de nouveaux certificats médicaux, l'assurée a demandé par courrier du 14 mars 2019 à la CNA de procéder à une analyse du dossier sous l'angle de la reconsidération voire de la révision procédurale de la décision du 20 octobre 2017. Par décision du 23 avril 2019, confirmée sur opposition le 19 juin 2019, la CNA a refusé d'entrer en matière sur la demande de reconsidération et a rejeté la requête de révision procédurale, dès lors que les documents médicaux reçus après la décision du 20 octobre 2017 n'apportaient pas de faits nouveaux importants qui lui permettraient de revenir sur sa position.
B.
Par arrêt du 15 juillet 2020, la Cour des assurances sociales du Tribunal cantonal fribourgeois a rejeté le recours interjeté par l'assurée contre la décision sur opposition du 19 juin 2019.
C.
A._ forme un recours en matière de droit public contre cet arrêt, en concluant principalement à sa réforme en ce sens qu'il soit constaté qu'elle a droit à des prestations de l'assurance-accidents, et subsidiairement à son annulation suivie du renvoi de la cause à l'instance précédente pour qu'elle mette en oeuvre une expertise pluridisciplinaire, ou toute mesure d'instruction qu'elle jugera opportune, et rende une nouvelle décision. Elle sollicite en outre d'être mise au bénéfice de l'assistance judiciaire.
L'intimée conclut au rejet du recours. L'Office fédéral de la santé publique n'a pas déposé d'observations.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (<ref-law>) rendu en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable.
2.
2.1. Le litige porte sur le point de savoir si la cour cantonale a violé le droit fédéral en confirmant le rejet de la demande de révision (procédurale) de la décision du 20 octobre 2017. Il s'agit plus particulièrement d'examiner si les atteintes découvertes lors de l'arthroscopie du 15 février 2018 (lésion intervalle et lésion non transfixiante de la partie articulaire à l'insertion du tendon du sus-épineux de l'épaule droite) constituent des faits nouveaux au sens de l'<ref-law>.
2.2. Un litige qui porte sur le bien-fondé d'une requête de révision procédurale ne concerne pas en soi l'octroi ou le refus de prestations en espèces (arrêt 8C_562/2019 du 16 juin 2020 consid. 2.2; JOHANNA DORMANN, in Basler Kommentar, Bundesgerichtsgesetz, 3e éd., 2018, n.b.p. 178 ad <ref-law>). Par conséquent, l'exception prévue à l'<ref-law>, qui doit être interprétée de manière restrictive (<ref-ruling> consid. 1.2.2 p. 138), ne s'applique pas, indépendamment du fait que l'octroi ou le refus de prestations en espèces peut dépendre de la solution de la question litigieuse (<ref-ruling> consid. 1.2.1 p. 413). Le Tribunal fédéral est donc lié par les faits établis par l'autorité précédente (art. 97 al. 2 et 105 al. 3 LTF a contrario) et ne peut s'en écarter que si ces faits ont été établis en violation du droit au sens de l'art. 95 ou de manière manifestement inexacte (<ref-law>), à savoir arbitraire (<ref-ruling> consid. 2 p. 190; <ref-ruling> consid. 2 p. 117). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (<ref-law>); à défaut, un état de fait divergent de celui de la décision attaquée ne peut pas être pris en compte (<ref-ruling> consid. 2 précité; <ref-ruling> consid. 5.2.2 p. 322).
3.
3.1. Selon l'<ref-law>, les décisions et les décisions sur opposition formellement passées en force sont soumises à révision si l'assuré ou l'assureur découvre subséquemment des faits nouveaux importants ou trouve des nouveaux moyens de preuve qui ne pouvaient pas être produits auparavant.
3.2. La notion de faits ou moyens de preuve nouveaux s'apprécie de la même manière en cas de révision (procédurale) d'une décision administrative (<ref-law>), de révision d'un jugement cantonal (<ref-law>) ou de révision d'un arrêt fondée sur l'<ref-law> (qui correspond à l'ancien art. 137 let. b OJ et auquel s'applique la jurisprudence rendue à propos de cette norme, cf. <ref-ruling> consid. 5.1 p. 248 s.). La révision suppose ainsi la réalisation de cinq conditions: 1° le requérant invoque un ou des faits; 2° ce ou ces faits sont "pertinents", dans le sens d'importants ("erhebliche"), c'est-à-dire qu'ils sont de nature à modifier l'état de fait qui est à la base du jugement et à conduire à un jugement différent en fonction d'une appréciation juridique correcte; 3° ces faits existaient déjà lorsque le jugement a été rendu: il s'agit de pseudo-nova (unechte Noven), c'est-à-dire de faits antérieurs au jugement ou, plus précisément, de faits qui se sont produits jusqu'au moment où, dans la procédure principale, des allégations de faits étaient encore recevables; 4° ces faits ont été découverts après coup (nachträglich), soit postérieurement au jugement, ou, plus précisément, après l'ultime moment auquel ils pouvaient encore être utilement invoqués dans la procédure principale; 5° le requérant n'a pas pu, malgré toute sa diligence, invoquer ces faits dans la procédure précédente (<ref-ruling> consid. 2.2 p. 275 s. et les références).
3.3. Quant aux preuves concluantes, elles supposent en bref aussi la réunion de cinq conditions: 1° elles doivent porter sur des faits antérieurs (pseudo-nova); 2° elles doivent être concluantes, c'est-à-dire propres à entraîner une modification du jugement dans un sens favorable au requérant; 3° elles doivent avoir déjà existé lorsque le jugement a été rendu (plus précisément jusqu'au dernier moment où elles pouvaient encore être introduites dans la procédure principale); 4° elles doivent avoir été découvertes seulement après coup; 5° le requérant n'a pas pu les invoquer, sans faute de sa part, dans la procédure précédente (<ref-ruling> consid. 2.2 p. 276). Ce qui est décisif, c'est que le moyen de preuve ne serve pas à l'appréciation des faits seulement, mais à l'établissement de ces derniers. Ainsi, il ne suffit pas qu'un nouveau rapport médical donne une appréciation différente des faits; il faut bien plutôt des éléments de fait nouveaux, dont il résulte que les bases de la décision entreprise comportaient des défauts objectifs. Pour justifier la révision d'une décision, il ne suffit pas que le médecin ou l'expert tire ultérieurement, des faits connus au moment de la décision principale, d'autres conclusions que l'administration ou le tribunal. Il n'y a pas non plus motif à révision du seul fait que l'administration ou le tribunal paraît avoir mal interprété des faits connus déjà lors de la décision principale. L'appréciation inexacte doit être, bien plutôt, la conséquence de l'ignorance ou de l'absence de preuve de faits essentiels pour la décision (<ref-ruling> consid. 5b p. 358 et les références; arrêt 8C_687/2017 du 24 octobre 2018 consid. 3).
3.4. Savoir si l'autorité cantonale s'est fondée sur une juste conception des notions de faits nouveaux ou de moyens de preuves nouveaux est une question de droit. En revanche, savoir si un fait ou un moyen de preuve était effectivement inconnu est une question de fait; il en va de même de la question de savoir si un fait nouveau ou un moyen de preuve nouveau est propre à modifier l'état de fait retenu (<ref-ruling> consid. 2b p. 356 et les références citées); il s'agit alors d'une question d'appréciation des preuves (arrêt U 561/06 du 28 mai 2007 consid. 7.1, in RSAS 2008 p. 169). L'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier, ou lorsque l'autorité ne tient pas compte, sans raison sérieuse, d'un élément propre à modifier la décision, se trompe sur le sens et la portée de celui-ci ou, se fondant sur les éléments recueillis, en tire des constatations insoutenables (<ref-ruling> consid. 4.3 p. 62 et les références; arrêt 9C_764/2009 du 26 mars 2010 consid. 3.2). Ces principes s'appliquent aux constatations de fait que le Tribunal fédéral revoit sous l'angle restreint de l'<ref-law>.
4.
La recourante a produit en annexe à son recours deux courriels du docteur C._, spécialiste FMH en orthopédie et traumatologie de l'appareil locomoteur, datés des 1eret 7 septembre 2020. En vertu de l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente. On rappellera qu'il incombait à la recourante de faire valoir devant la cour cantonale tous les faits et d'invoquer tous les moyens de preuves utiles. Or en faisant valoir que ces nouvelles pièces portent sur la question litigieuse de l'existence de faits nouveaux, elle ne démontre pas en quoi il lui était impossible de produire ces avis au stade de la procédure cantonale. Quoi qu'en dise la recourante, la question de l'existence d'atteintes à l'épaule droite, susceptibles de constituer des faits nouveaux au sens de l'<ref-law>, était déjà litigieuse en procédure administrative, même si la CNA ne l'a pas traitée de manière aussi exhaustive que la cour cantonale. En tant que les avis du docteur C._ sont postérieurs au jugement attaqué, ils sont donc irrecevables.
5.
5.1. Les premiers juges ont considéré que la lésion intervalle et les lésions non transfixiantes de la partie articulaire à l'insertion du tendon du sus-épineux de l'épaule droite constituaient des lésions de tendons au sens de l'art. 6 al. 2 let f. LAA. Relevant que ces atteintes n'avaient pas été mises en évidence lors de l'examen IRM (imagerie par résonance magnétique) du 16 novembre 2017 et qu'elles avaient été constatées pour la première fois trois mois plus tard, lors de l'arthroscopie réalisée le 15 février 2018, la juridiction cantonale a conclu qu'il n'y avait pas d'élément objectif allant dans le sens que les lésions précitées existaient déjà lorsque la décision initiale avait été rendue le 20 octobre 2017, voire qu'elles seraient apparues lors de l'événement du 27 juillet 2017. Le seul fait que la recourante avait ressenti des douleurs à ce moment pouvait par ailleurs tout aussi bien être mis en lien avec l'arthrose et la tendinopathie qui avaient été identifiées lors de l'examen IRM en novembre 2017 et qui, vu leur développement progressif par nature, existaient déjà probablement durant l'été 2017. Quant à l'avis émis le 18 mai 2018 par le docteur B._, selon lequel les lésions pourraient être mises en lien avec l'événement du 27 juillet 2017, sans qu'une cause dégénérative puisse être exclue, il n'était pas fondé sur des constatations médicales objectives et ne permettait pas de retenir qu'une hypothèse serait plus vraisemblable que l'autre. Sur la base des conclusions dans le rapport d'appréciation chirurgicale du 14 octobre 2019 de la doctoresse D._, spécialiste FMH en chirurgie générale et traumatologie auprès du centre de compétences de la médecine des assurances de la CNA, les premiers juges ont retenu que l'ensemble des éléments médicaux accréditait la thèse d'une origine dégénérative des lésions.
5.2. Sous l'angle formel, la recourante reproche à la juridiction cantonale d'avoir violé son droit d'être entendue (art. 29 al. 2 Cst.) en se fondant sur l'appréciation médicale de la doctoresse D._, laquelle avait été produite en cours de procédure cantonale, sans consultation ni détermination préalable de la recourante.
5.2.1. La procédure devant le tribunal cantonal doit être simple et rapide (<ref-law>), ce qui exclut que l'assureur-accidents procède à des mesures d'instructions complémentaires longues et exhaustives nécessitant la participation de la personne assurée. Le Tribunal fédéral a toutefois considéré que l'administration avait le droit d'effectuer, en cours de procédure cantonale, des instructions ponctuelles, notamment de solliciter un complément d'avis médical (<ref-ruling> consid. 2.7 p. 6; <ref-ruling> consid. 2b/bb p. 232 ss.; cf., pour la production en procédure cantonale de rapports médicaux établis par des médecins internes à la CNA, arrêts 8C_81/2017 du 2 mars 2017 consid. 6, publié in SVR 2017 UV n° 25 p. 83; 8C_410/2013 du 15 janvier 2014 consid. 5 publié in SZS 2014 p. 375).
5.2.2. En l'espèce, l'intimée avait fondé son refus initial d'allouer des prestations d'assurance, s'agissant d'une éventuelle lésion assimilée à un accident, sur un rapport du médecin d'arrondissement du 12 octobre 2017, lequel avait indiqué que le diagnostic de dorsolombalgies ne correspondait à aucun diagnostic de la liste figurant à l'<ref-law>. Ce n'est qu'en mars 2018, lorsque la recourante a demandé à l'intimée de réexaminer son dossier, en transmettant le protocole opératoire du 15 février 2018, que l'accent a été mis sur les atteintes de l'épaule droite. La décision de refus de reconsidérer respectivement de réviser la décision du 20 octobre 2017 a été rendue sans instruction médicale supplémentaire. Aussi, il se pose la question de savoir si l'assureur-accidents est en droit de procéder à une telle instruction au stade de la procédure cantonale. Cette question peut toutefois rester indécise en l'occurrence. Le rapport de la doctoresse D._ ayant été établi sur dossier, c'est-à-dire sans la participation de la recourante, et produit en annexe au mémoire de réponse, force est de constater que le complément d'instruction n'a pas conduit à une prolongation notable de la procédure. Par ailleurs, on relèvera que la recourante a eu la possibilité de se déterminer sur le rapport de la spécialiste dans le cadre de la réplique, puisqu'elle a produit un rapport médical du docteur E._, chiropraticien, lequel a donné son avis sur l'appréciation de la doctoresse D._. Dès lors, le grief de violation du droit d'être entendu est dénué de fondement.
5.3. Sur le fond, la recourante se plaint d'une appréciation arbitraire des preuves.
5.3.1. Elle estime d'abord que ce serait à tort que la cour cantonale a accordé pleine valeur probante au rapport de la doctoresse D._, dès lors que celle-ci ne l'aurait pas auscultée. Or le seul fait que la spécialiste n'a pas effectué d'examen clinique de la recourante ne saurait disqualifier ses conclusions. Dans la mesure où la doctoresse D._ disposait d'un dossier médical et radiologique complet, et qu'il s'agissait uniquement d'examiner sur cette base l'existence d'une lésion assimilée à un accident et, le cas échéant, de déterminer si cette lésion était due, de manière prépondérante, à l'usure ou à la maladie, un examen clinique n'était pas nécessaire (cf. arrêt 8C_108/2020 du 22 décembre 2020 consid. 4.4.1 et la référence citée). C'est par ailleurs en vain que la recourante tente de discréditer l'appréciation de cette spécialiste en alléguant que le dossier, sur lequel elle s'était fondée serait incomplet; en effet, on ne saurait reprocher à la doctoresse D._ d'avoir omis de citer dans son rapport des documents médicaux dont la pertinence pour la question litigieuse à trancher peut être d'emblée écartée.
5.3.2. En tant que la recourante tente d'imposer sa propre version des faits, selon laquelle les lésions en cause existaient déjà au moment où la décision du 20 octobre 2017 avait été rendue, en se référant à divers rapports médicaux qui font état de douleurs à l'épaule droite, elle ne démontre pas en quoi les premiers juges auraient procédé à une appréciation arbitraire des preuves. On rappellera que compte tenu de son pouvoir d'examen restreint (cf. consid. 2.2 et 3.4 supra), il n'appartient pas au Tribunal fédéral de procéder une nouvelle fois à l'appréciation des preuves administrées, mais à la partie recourante d'établir en quoi celle opérée par l'autorité précédente serait manifestement insoutenable. Contrairement aux allégations de la recourante, la cour cantonale n'a pas ignoré le contenu des rapports médicaux des spécialistes traitants. Elle a, bien au contraire, exposé pour quels motifs l'apparition des douleurs ne suffisait pas, à elle seule, pour étayer l'hypothèse d'une cause traumatologique. Cette appréciation n'apparaît pas critiquable.
5.4. S'agissant enfin du grief de violation de l'<ref-law>, il tombe également à faux. De l'avis de la recourante, l'arthroscopie du 15 février 2018 constituerait un moyen de preuve nouveau, au sens de l'<ref-law>, qui mettrait en évidence des lésions post-traumatiques non décelées auparavant. Or même s'il fallait admettre avec la recourante cette qualification, il n'en demeurerait pas moins qu'il ne s'agit pas d'un moyen de preuve concluant, c'est-à-dire propre à entraîner une modification de la décision du 20 octobre 2017 dans un sens qui lui est favorable (cf. consid. 3.3 supra). En effet, c'est sans violer le droit fédéral que la cour cantonale a retenu qu'il existait en l'occurrence suffisamment d'indices qui plaident en faveur d'une étiologie maladive ou dégénérative des lésions constatées, ce qui libère l'intimée de son devoir d'allouer des prestations d'assurance en vertu de l'<ref-law>.
6.
Au vu de ce qui précède, le recours se révèle mal fondé et doit être rejeté.
7.
La recourante, qui succombe (<ref-law>), a déposé une demande d'assistance judiciaire visant à la dispense des frais judiciaires et à la désignation d'un avocat d'office. Dès lors que les conditions d'octroi en sont réalisées (art. 64 al. 1 et 2 LTF), l'assistance judiciaire lui sera accordée. La recourante est toutefois rendue attentive au fait qu'elle devra rembourser la Caisse du Tribunal fédéral, si elle retrouve ultérieurement une situation financière lui permettant de le faire (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est admise et Maître Katia Berset est désignée comme avocate d'office de la recourante.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de la recourante. Ils sont toutefois supportés provisoirement par la Caisse du Tribunal fédéral.
4.
Une indemnité de 2800 fr. est allouée à l'avocate de la recourante à titre d'honoraires à payer par la Caisse du Tribunal fédéral.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 14 avril 2021
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Elmiger-Necipoglu