Faits :
A.
A.a. A._, née en 1961, a travaillé comme ouvrière de production pour B._ SA. A ce titre, elle était assurée contre le risque d'accidents auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA). Le 27 juillet 2011, elle a glissé dans la baignoire, est tombée et s'est blessée à l'épaule droite. La CNA a pris en charge le cas. Sur recommandation du docteur C._, spécialiste FMH en chirurgie et médecin d'arrondissement de la CNA, l'assurée a séjourné à la Clinique romande de réadaptation à Sion (CRR) du 18 avril au 22 mai 2012. Une arthro-IRM du 27 avril 2012 a mis en évidence une déchirure interstitielle du tendon du sus-épineux associée à une discrète bursite sous-acromio-deltoïdenne ainsi qu'une déchirure du labrum supérieur s'étendant sur son versant antérosupérieur sans mise en évidence d'atteintes du long chef du biceps. Le 16 août 2012, l'assurée a été opérée par le docteur D._, spécialiste FMH en chirurgie orthopédique, en raison d'une tendinopathie post-traumatique du sus-épineux. Du 19 juin au 17 juillet 2013, elle a fait un second séjour à la CRR. Lors d'un examen médical du 5 mars 2014, le docteur C._ a estimé que la situation était stabilisée et a attesté à l'assurée une capacité de travail entière dans une activité adaptée à ses limitations fonctionnelles. Par décision du 25 avril 2014, la CNA a donc mis un terme à l'indemnité journalière au 30 avril 2014 et a alloué à l'assurée une indemnité pour atteinte à l'intégrité d'un taux de 10 %. Cette décision n'a pas été attaquée.
A.b. Le 28 janvier 2013, A._ a déposé une demande de prestations de l'assurance-invalidité auprès de l'Office de l'assurance-invalidité du canton de Vaud (ci-après: l'office AI), invoquant une contusion de l'épaule droite le 27 juillet 2011 et une tendinopathie du sus-épineux droit.
A.c. Le 19 septembre 2014, le docteur D._ a informé la CNA que l'assurée était en arrêt total de travail. La CNA a pris en charge cette rechute. Par la suite, A._ a subi une arthroscopie diagnostique et une boursectomie sous-acromiale en raison d'ossifications intra-tendineuses (retirées seulement partiellement) le 28 novembre 2014, puis une excision des ossifications restantes le 8 avril 2016. Par avis du 9 novembre 2016, la CNA a informé l'assurée qu'elle allait mettre un terme au paiement des soins médicaux et de l'indemnité journalière au 30 novembre 2016.
A.d. Lors d'un examen médical final du 24 février 2017, le docteur E._, spécialiste FMH en chirurgie orthopédique et médecin d'arrondissement de la CNA, a retenu que le cas était stabilisé et que la reprise d'un travail à plein temps était possible dans le cadre des limitations fonctionnelles. Par décision du 17 mars 2017, confirmée sur opposition le 19 juillet 2017, la CNA a clos le cas avec effet au 30 novembre 2016, en reconnaissant à l'assurée une pleine capacité de travail dans une activité adaptée.
A.e. Par décision du 8 février 2018, l'office AI a alloué à A._ une rente entière limitée dans le temps du 1er juillet 2013 jusqu'au 28 février 2017, soit trois mois après l'amélioration de l'état de santé selon les constatations du médecin d'arrondissement de la CNA du 24 février 2017. Pour la période ultérieure, la rente était supprimée en raison d'un degré d'invalidité de 3 %.
B.
B.a. A._ a déféré cette décision à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud. Pendant la procédure cantonale, elle a produit un rapport du docteur F._, spécialiste FMH en chirurgie orthopédique et traumatologie de l'appareil locomoteur, du 8 août 2018 et - en annexe - un consilium du professeur G._, Radiologue FMH, du 5 juillet 2018. Par jugement du 25 juin 2020, le Tribunal cantonal a rejeté le recours et a confirmé la décision du 8 février 2018.
B.b. Statuant le même jour, cette même juridiction a partiellement admis le recours de l'assuré dirigé contre la décision sur opposition du 19 juillet 2017 de la CNA (cf. let. A.d supra) en ce sens qu'elle a fixé le terme du paiement des soins médicaux et de l'indemnité journalière au 28 février 2017.
C.
A._ interjette un recours en matière de droit public contre le jugement du 25 juin 2020 dans la cause l'opposant à l'office AI. Elle conclut principalement à sa réforme en ce sens qu'elle ait droit à une rente entière de l'assurance-invalidité au-delà du 28 février 2017; subsidiairement, elle conclut à la réforme de ce jugement en ce sens que la décision de l'office AI du 8 février 2018 soit annulée et la cause renvoyée à l'office AI pour complément d'instruction.
L'office AI, le Tribunal cantonal et l'office fédéral des assurances sociales ont renoncé à se déterminer.
D.
Par arrêt de ce jour, le Tribunal fédéral a partiellement admis le recours dirigé contre le jugement rendu le 25 juin 2020 en matière d'assurance-accidents (cf. let. B.b supra) et a renvoyé la cause au Tribunal cantonal pour nouvelle décision (cause 8C_511/2020).
Considérant en droit :
1.
Le recours en matière de droit public (art. 82 ss. LTF) peut être formé pour violation du droit au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il statue sur la base des faits retenus par la juridiction précédente (art. 105 al. 1 LTF), qu'il peut rectifier ou compléter d'office si des lacunes et erreurs manifestes apparaissent aussitôt (art. 105 al. 2 LTF). Le recourant n'est habilité à critiquer les constatations de fait que si les faits ont été établis de manière manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 97 al. 1 LTF), et si la correction du vice est susceptible d'influer sur le sort de la cause (ATF 134 V 53 consid. 4.3 p. 62 et les références).
2.
2.1. Le litige porte sur le point de savoir si le Tribunal cantonal a violé le droit fédéral en confirmant la décision de l'intimé du 8 février 2018 qui mettait un terme au droit de la recourante à une rente entière d'invalidité avec effet au 28 février 2017. Sont litigieux, d'une part, la question de savoir si les conditions d'une révision du droit à la rente étaient remplies, et, d'autre part, le droit de la recourante à des mesures de réadaptation professionnelle. En cas de suppression d'une rente d'invalidité, la question de l'exigibilité d'une réadaptation par soi-même fait partie de l'objet du litige (arrêt 8C_494/2018 du 6 juin 2019 consid. 2.2, non publié in: ATF 145 V 209, mais in: SVR 2019 IV n. 73 p. 233).
2.2. Le jugement attaqué expose de manière correcte les dispositions légales et les principes jurisprudentiels relatifs à la notion d'invalidité (art. 7 et 8 al. 1 LPGA en relation avec l'art. 4 al. 1 LAI), à l'évaluation du taux d'invalidité (art. 16 LPGA et art. 28a LAI), à la naissance du droit à la rente (art. 29 al. 1 et 3 LAI) et à l'octroi, à titre rétroactif, d'une rente limitée dans le temps, qui doit être examiné à la lumière des conditions de révision du droit à la rente (cf. art. 17 LPGA; art. 88a RAI; ATF 145 V 209 consid. 5.3 p. 213; 131 V 164 consid. 2.2 p. 165; 125 V 413 consid. 2d p. 417 s. et les références). Il suffit d'y renvoyer.
On rappellera cependant qu'une amélioration de la capacité de gain ou de la capacité d'accomplir les travaux habituels de l'assuré n'est déterminante pour la suppression de tout ou partie du droit aux prestations qu'à partir du moment où l'on peut s'attendre à ce que l'amélioration constatée se maintienne durant une assez longue période. Il en va de même lorsqu'un tel changement déterminant a duré trois mois déjà, sans interruption notable et sans qu'une complication prochaine soit à craindre (art. 88a al. 1 RAI). Le fardeau de la preuve quant à cette amélioration de la capacité de travail incombe à l'office AI (arrêts 9C_315/2018 du 5 mars 2019 consid. 6.3.2.1, in: SVR 2019 IV n. 76 p. 243; 8C_481/2013 du 7 novembre 2013 consid. 3.1, non publié in: ATF 139 V 585, mais in: SVR 2014 UV n. 7 p. 21).
2.3. La maxime inquisitoire, consacrée à l'art. 61 let. c LPGA pour la procédure devant le tribunal cantonal des assurances, impose au juge d'établir d'office les faits déterminants pour la solution du litige et d'administrer, le cas échéant, les preuves nécessaires (cf. ATF 125 V 193 consid. 2 p. 195; cf. art. 43 al. 1 LPGA pour la procédure d'instruction de l'assureur). Des mesures d'instruction s'imposent s'il y a des raisons suffisantes de douter des faits constatés dans la décision contestée ou de compléter ces faits au regard de la motivation du recours ou du dossier de l'autorité intimée (ATF 146 V 240 consid. 8.1 p. 248; JEAN MÉTRAL, in: Commentaire romand, Loi sur la partie générale des assurances sociales, n° 53 ad art. 61 LPGA et les références). Le devoir d'instruction s'étend jusqu'à ce que les faits nécessaires à l'examen des prétentions en cause soient suffisamment élucidés (arrêt 9C_237/2013 du 22 mai 2013 consid. 4.1). En cas de doute sur le sérieux de l'existence d'un fait, il appartient au juge de compléter l'instruction de la cause, pour autant que l'on puisse attendre un résultat probant des mesures d'instruction entrant raisonnablement en considération (ATF 130 II 425 consid. 2.1 p. 429 et les références; arrêts 8C_641/2019 du 8 avril 2020 consid. 3.3.1, non publié in: ATF 146 V 121, mais in: SVR 2020 MV n. 3 p. 7; 9C_468/2011 du 12 décembre 2011 consid. 4.3).
2.4. Selon le principe de la libre appréciation des preuves, consacré également à l'art. 61 let. c LPGA, le juge apprécie librement les preuves médicales qu'il a recueillies, sans être lié par des règles formelles, en procédant à une appréciation complète et rigoureuse des preuves. En ce qui concerne la valeur probante d'un rapport médical, ce qui est déterminant, c'est que les points litigieux aient fait l'objet d'une étude circonstanciée, que le rapport se fonde sur des examens complets, qu'il prenne également en considération les plaintes exprimées par la personne examinée, qu'il ait été établi en pleine connaissance de l'anamnèse, que la description du contexte médical et l'appréciation de la situation médicale soient claires et enfin que les conclusions de l'expert soient dûment motivées. Au demeurant, l'élément déterminant pour la valeur probante n'est ni l'origine du moyen de preuve ni sa désignation comme rapport ou comme expertise, mais bel et bien son contenu (ATF 125 V 351 consid. 3a p. 352; 122 V 157 consid. 1c p. 160 et les références). Le juge ne peut pas écarter un rapport médical au seul motif qu'il est établi par le médecin interne d'un assureur social, respectivement par le médecin traitant (ou l'expert privé) de la personne assurée, sans examiner autrement sa valeur probante. Lorsqu'une décision administrative s'appuie exclusivement sur l'appréciation d'un médecin interne à l'assureur social et que l'avis d'un médecin traitant ou d'un expert privé auquel on peut également attribuer un caractère probant laisse subsister des doutes même minimes quant à la fiabilité et la pertinence de cette appréciation, la cause ne saurait être tranchée en se fondant sur l'un ou sur l'autre de ces avis et il y a lieu de mettre en oeuvre une expertise par un médecin indépendant selon la procédure de l'art. 44 LPGA ou une expertise judiciaire (ATF 135 V 465 consid. 4.7 p. 471; voir aussi l'arrêt 8C_796/2016 du 14 juin 2017 consid. 3.3).
2.5. L'application de la maxime inquisitoire ainsi que du principe de la libre appréciation des preuves selon l'art. 61 let. c LPGA relève du droit, tandis que l'appréciation concrète des preuves, y compris l'appréciation anticipée des preuves (cf. arrêt 5A_453/2007 du 3 octobre 2007 consid. 3, non publié in: BGE 133 III 638), est une question de fait, qui ne peut être contrôlée par le Tribunal fédéral que sous un angle restreint (cf. consid. 1 supra; ATF 132 V 393 consid. 3.2 p. 398 et consid. 4.1 p. 399 s.). Vu sous cet angle, il ne serait notamment pas justifié que l'instance précédente renonce à de nouvelles mesures d'instruction si un fait déterminant pour l'issue du litige repose sur une administration de preuves incomplète, ce qui est le cas, par exemple, lorsqu'un tribunal, qui ne dispose pas des connaissances nécessaires, tranche un litige sans faire appel à un expert judiciaire indépendant (cf. ATF 132 III 83 consid. 3.5 p. 88).
3.
3.1. Les juges cantonaux se sont appuyés principalement sur les conclusions du docteur H._, médecin auprès du Service médical régional de l'office AI (SMR) du 12 avril 2017, qui s'était basé sur le rapport médical du docteur E._, médecin d'arrondissement de la CNA, du 24 février 2017. Le docteur H._ retenait en particulier les diagnostics avec répercussion sur la capacité de travail de tendinopathie du sus-épineux et de capsulite rétractile de l'épaule droite ayant entraîné deux rechutes et plusieurs interventions chirurgicales. Il avait retenu, à l'instar du docteur E._, que la situation était stabilisée et que la capacité de travail était entière dans une activité légère adaptée aux limitations fonctionnelles ostéo-articulaires dès le 30 novembre 2016. Les rapports du docteur F._ du 8 août 2017 et du professeur G._ du 16 juillet 2018 n'apportaient aucun élément nouveau établissant que la situation sur le plan ostéo-articulaire aurait perduré de manière à empêcher l'exercice d'une activité adaptée au-delà du 30 novembre 2016. S'agissant en particulier du rapport du docteur F._ du 8 août 2017, les juges cantonaux ont relevé que ce médecin ne se prononçait pas sur la capacité de travail de la recourante; il faisait état d'une augmentation des douleurs en cas de mouvements, de limitations des rotations, d'une diminution de la force ainsi que de craquements douloureux occasionnels, mais n'expliquait pas en quoi ces plaintes seraient à l'origine de limitations fonctionnelles autres que celles déjà retenues et propres à empêcher l'exercice d'une activité adaptée au-delà du 30 novembre 2016. Les premiers juges ont conclu que la recourante ne soulevait aucun argument lié à son épaule sinon que l'intimé n'était pas fondé à mettre fin au versement de la rente entière versée, faute de motif de révision, dès lors qu'il n'y avait eu aucune amélioration malgré les trois opérations subies. L'avis du SMR du 12 avril 2017 pouvait donc être suivi. La recourante avait présenté une incapacité de travail durable dès le 27 juillet 2011, mais depuis le 30 novembre 2016, elle disposait d'une capacité de travail entière dans une activité adaptée à ses limitations fonctionnelles.
3.2. La recourante soutient qu'il incomberait à l'office AI et à son service médical d'expliquer les raisons de la date retenue comme moment déterminant pour l'amélioration de la capacité de travail. Or, une telle amélioration de son état de santé ou de sa capacité de travail depuis le 30 novembre 2016 ne ressortirait ni du dossier ni du jugement attaqué, en particulier pas du rapport du docteur E._ du 24 février 2017. Lors de l'examen par ce médecin, elle avait déclaré qu'elle n'avait remarqué aucun changement après l'intervention du 8 avril 2016 et que les douleurs étaient restées inchangées. En outre, le docteur E._ poserait des diagnostics probables (probable rupture partielle intra-tendineuse et suspicion de lésion SLAP II), et l'on peinerait à comprendre les motifs justifiant le recouvrement d'une pleine capacité de travail. Par ailleurs, on voit mal comment le SMR aurait pu retenir comme date d'amélioration de la capacité de travail le moment auquel la CNA a mis fin à ses prestations, étant précisé que cette date a été modifiée par jugement du Tribunal cantonal du canton de Vaud du 25 juin 2020, objet d'une procédure connexe devant le Tribunal fédéral. De surcroit, le docteur F._ mentionnerait dans son rapport du 8 août 2018 une tendinopathie en sablier du biceps, tendinopathie qui n'aurait pas été discutée par le SMR dans son rapport du 27 août 2018. En cas de doute, l'intimé aurait du mettre en oeuvre une expertise médicale conformément à son devoir d'instruction (art. 43 al. 1 LPGA).
4.
4.1.
4.1.1. Dans son appréciation du 8 août 2018, le docteur F._ retient que la recourante se plaint des douleurs antérieures, qui augmentent lors des activités; au status du 18 mai 2018, il note qu'il n'y a pas d'hypoesthésie ou de nette amyotrophie du membre supérieur, de légères douleurs à la palpation de l'articulation acromio-claviculaire et des limitations fonctionnelles qui sont des signes pour l'absence d'une capsulite et la présence d'une déchirure du sous-scapulaire. Il conclut que les limitations fonctionnelles que présente la recourante sont liées à une tendinopathie en sablier du long chef du biceps (LCB) qui, avec la subluxation, entraîne une déchirure partielle du sous-scapulaire, diagnostic qui est confirmé par les constatations du professeur G._ dans son avis du 16 juillet 2018 concernant l'arthro-IRM réalisée le 29 novembre 2017. Le docteur F._ explique ensuite qu'il n'y a pas d'options de traitement, mis à part une chirurgie, et que la recourante a été informée du traitement chirurgical qui consisterait en une ténodèse ou une ténotomie du LCB, une réparation du sous-scapulaire et une résection de la clavicule distale, tout en précisant qu'une 4e opération ne donne jamais les mêmes résultats qu'une première intervention.
4.1.2. Dans son avis médical du 22 août 2018, le docteur H._ conclut que ces deux attestations médicales ne remettent pas en cause sur le fond son appréciation antérieure de la capacité de travail et par conséquent la décision de l'intimé. Il répète les constatations du docteur F._ concernant un diagnostic de déchirure du sous-scapulaire de l'épaule droite, avec une absence de capsulite, pas d'hypoesthésie ni d'amyotrophie nette de ce membre supérieur droit avec de légères douleurs à la palpation de l'articulation acromio-claviculaire. Par rapport à l'éventuelle indication opératoire, le docteur H._ retient que les deux médecins n'apportent aucun élément médical nouveau en faveur de nouvelles limitations fonctionnelles ni une appréciation assécurologique qui lui permettrait de revoir ses conclusions. Si une nouvelle intervention était retenue, elle engendrerait de fait une incapacité de travail temporaire de quelques semaines avec, en principe, à terme une amélioration de la situation fonctionnelle de cette épaule droite sans aucune limitation nouvelle.
4.2. Quoique les rapports du docteur F._ et du professeur G._ n'aient été produits qu'en procédure cantonale, le tribunal cantonal les a pris en compte dans son appréciation, ne serait-ce que pour réparer une violation éventuelle du droit d'être entendu (que la recourante avait reprochée à l'intimé). La conclusion de la cour cantonale, à savoir que ces avis ne changent rien au fait que l'amélioration de la capacité de travail est survenue le 30 novembre 2016, ne peut toutefois pas être suivie. En effet, le docteur H._ ne s'est pas prononcé sur le diagnostic, posé par le docteur F._ après avoir examiné la recourante, de tendinopathie en sablier du LCB, ni sur son influence éventuelle sur les limitations fonctionnelles et la capacité de travail de la recourante. La cour cantonale n'a pas non plus pris position sur ce point. Par ailleurs, le fait que le docteur F._ propose comme unique option thérapeutique une chirurgie fait douter que la situation médicale de la recourante soit stabilisée de manière durable au point que les exigences de l'art. 88a RAI soient remplies, même si cet expert privé émet quelques réserves quant aux chances de succès d'une telle intervention et ne s'explique pas sur une éventuelle incapacité de travail. De surcroît, la recourante relève - à juste titre - qu'il y a une incohérence entre les deux jugements du Tribunal cantonal du 25 juin 2020 la concernant, vu que les juges cantonaux ont retenu en matière d'assurance-invalidité comme date d'amélioration de la capacité de travail le 30 novembre 2016, tandis qu'en matière d'assurance-accidents, ces mêmes juges ont considéré que l'amélioration était intervenue seulement le 28 février 2017 (voir dossier 8C_511/2020 et let. B.b supra). En présence de tels doutes sur la fiabilité et la pertinence de l'avis du médecin interne de l'assureur, la cour cantonale aurait dû approfondir ses investigations. Il convient donc de lui renvoyer la cause pour qu'elle mette en oeuvre une expertise judiciaire concernant le moment de la stabilisation durable de la situation médicale de la recourante.
5.
5.1. La recourante soutient en outre qu'étant née le 19 avril 1961, elle avait plus de 55 ans le 30 novembre 2016, date de l'amélioration de sa capacité de travail selon l'intimé et l'instance judiciaire cantonale. Or, ni l'office intimé ni le tribunal cantonal ne se seraient penchés sur la question si une réadaptation par soi-même était exigible d'elle, ce qui constituerait une violation du droit fédéral.
5.2. Avant de réduire ou de supprimer une rente d'invalidité, l'administration doit examiner si la capacité de travail que la personne assurée a recouvrée sur le plan médico-théorique se traduit pratiquement par une amélioration de la capacité de gain et, partant, par une diminution du degré d'invalidité, ou si, le cas échéant, il est nécessaire de mettre préalablement en oeuvre une mesure d'observation professionnelle (afin d'établir l'aptitude au travail, la résistance à l'effort, etc.), voire des mesures de réadaptation au sens de la loi (arrêt 9C_163/2009 du 10 septembre 2010 consid. 4.2.2 et les références, in SVR 2011 IV n° 30 p. 86). La jurisprudence considère qu'il existe des situations dans lesquelles il convient d'admettre que des mesures d'ordre professionnel sont nécessaires, malgré l'existence d'une capacité de travail médico-théorique. Il s'agit des cas dans lesquels la réduction ou la suppression, par voie de révision (art. 17 al. 1 LPGA) ou de reconsidération (art. 53 al. 2 LPGA), du droit à la rente concerne une personne assurée qui est âgée de 55 ans révolus ou qui a bénéficié d'une rente pendant quinze ans au moins. Cela ne signifie pas que la personne assurée peut se prévaloir d'un droit acquis dans le cadre d'une procédure de révision ou de reconsidération; il est seulement admis qu'une réadaptation par soi-même ne peut pas, sauf exception, être exigée d'elle en raison de son âge ou de la durée du versement de la rente (arrêt 9C_228/2010 du 26 avril 2011 consid. 3.3, in SVR 2011 IV n° 73 p. 220). Des exceptions ont déjà été admises lorsque la personne concernée avait maintenu une activité lucrative malgré le versement de la rente - de sorte qu'il n'existait pas une longue période d'éloignement professionnel - ou lorsqu'elle disposait d'une agilité et d'une flexibilité particulières et était bien intégrée dans l'environnement social (arrêts 9C_92/2016 du 29 juin 2016 consid. 5.1; 9C_183/2015 du 19 août 2015 consid. 5, in SVR 2015 IV n° 41 p. 139). En cas de réduction ou de suppression de la rente d'invalidité d'un assuré âgé de plus de 55 ans, il y a lieu, en principe, de mettre en oeuvre des mesures de réadaptation également lorsque l'on statue sur la limitation et/ou l'échelonnement en même temps que sur l'octroi de la rente (ATF 145 V 209 consid. 5.4 p. 214). Jusqu'à présent, la jurisprudence a laissé ouvert le point de savoir si la réalisation des critères (durée de 15 années d'allocation de la rente ou accomplissement de la 55e année) doit être examinée par rapport au moment du prononcé de la décision de suppression de la rente ou à celui à partir duquel cette prestation a été supprimée (cf. ATF 145 V 209 consid. 5.4 p. 214; 141 V 5; 138 V 457). Vu que la recourante avait de toute façon déjà 55 ans au moment de la prétendue amélioration de l'état de santé, la question peut rester indécise en l'espèce.
5.3. Même s'il s'avérait que la capacité de travail de la recourante s'était améliorée au 30 novembre 2016, elle fait, en raison de son âge, partie de la catégorie des assurés dont il convient d'admettre qu'ils ne peuvent en principe pas entreprendre de leur propre chef tout ce que l'on peut raisonnablement attendre d'eux pour tirer profit de leur capacité résiduelle de travail. Les premiers juges n'ont fait état d'aucun élément propre à fonder une exception au sens de la jurisprudence qui vient d'être exposée. Il incombe donc à la cour cantonale, à laquelle la cause doit déjà être renvoyée pour un autre motif (cf. consid. 4.2 supra), de compléter l'instruction aussi à cet égard.
6.
Il s'ensuit que le recours doit être partiellement admis. L'intimé, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF) et versera à la recourante une indemnité à titre de dépens (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. Le jugement de la Cour des assurances sociales du Tribunal cantonal du canton de Vaud du 25 juin 2020 est annulé et la cause lui est renvoyée pour nouvelle décision. Pour le surplus, le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de l'intimé.
3.
L'intimé versera à la recourante la somme de 2800 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 15 avril 2021
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Betschart