Faits :
A.
A.a. A._, née en 1962, a travaillé en dernier lieu comme employée de restauration à 100 % pour l'Hôpital B._ et exerçait parallèlement une activité en tant que nettoyeuse auprès de l'entreprise C._ SA.
En décembre 2009, elle a déposé une première demande de prestations d'assurance-invalidité ensuite d'un accident de la circulation routière subi en juin 2009, dont les suites ont été prises en charge par son assureur-accidents, Groupe Mutuel Assurances GMA SA (ci-après: Groupe Mutuel). L'assurée ayant pu reprendre ses activités professionnelles, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'OAI) a nié son droit à une rente d'invalidité par décision du 28 septembre 2010.
A.b. En novembre 2013, A._ a déposé une nouvelle demande de prestations de l'assurance-invalidité. A l'initiative commune de l'OAI et du Groupe Mutuel qui avait mis en oeuvre une expertise pluridisciplinaire auprès du Centre d'expertise médicale (ci-après: CEMed, rapport du 2 mai 2014), une nouvelle expertise a été réalisée auprès du même centre. Dans leur rapport du 7 avril 2016, les experts ont indiqué que l'assurée avait une capacité de travail totale dans une activité adaptée depuis la date de l'expertise. Sur cette base, l'OAI a nié le droit de l'assurée à une rente (décision du 21 février 2017).
Par arrêt du 19 décembre 2018, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud a admis le recours interjeté par l'assurée contre cette décision et a renvoyé la cause à l'OAI pour un complément d'instruction (auprès du CEMed en vue de déterminer l'éventuel caractère incapacitant du trouble somatoforme douloureux), puis nouvelle décision.
A.c. Un nouveau rapport d'expertise du CEMed a été rendu le 23 août 2019. Les docteurs D._, spécialiste FMH en chirurgie orthopédique et traumatologie de l'appareil locomoteur, E._, spécialiste FMH en rhumatologie et médecine interne générale, F._, spécialiste FMH en neurologie, et G._, spécialiste FMH en psychiatrie et psychothérapie, ont notamment retenu une insuffisance veineuse superficielle des membres inférieurs et un status après entorse de la cheville droite compliquée d'une algoneurodystrophie de Sudeck. S'agissant de la capacité de travail de l'assurée, les experts ont conclu qu'elle était nulle dans l'activité habituelle d'aide de cuisine, mais complète dans une activité adaptée. Après avoir requis l'avis de son Service médical régional (SMR), l'OAI a rejeté la demande de mesures professionnelles et de rente par décision du 14 juillet 2020, le taux d'invalidité résultant de la comparaison des revenus, avec et sans invalidité, étant de 6,23 %.
B.
Saisie d'un recours interjeté par l'assurée contre cette décision, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud, l'a rejeté par arrêt du 4 mai 2021.
C.
A._ forme un recours en matière de droit public contre cet arrêt en concluant à sa réforme en ce sens qu'elle a droit à une rente d'invalidité. A titre subsidiaire, elle conclut à l'annulation de l'arrêt et au renvoi de la cause à l'autorité judiciaire inférieure pour instruction complémentaire ainsi que pour la mise en oeuvre de débats publics.

Considérant en droit :
1.
1.1. Le recours en matière de droit public (au sens des <ref-law>) peut être formé pour violation du droit (circonscrit par les art. 95 et 96 LTF). Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est limité ni par l'argumentation de la partie recourante ni par la motivation de l'autorité judiciaire précédente. Il statue sur la base des faits établis par celle-ci (<ref-law>) mais peut rectifier ou compléter d'office les lacunes ou les erreurs manifestes (<ref-law>). Il n'examine en principe que les griefs motivés (<ref-law>), en particulier s'ils concernent la violation des droits fondamentaux (<ref-law>), et ne peut aller au-delà des conclusions des parties (<ref-law>). Le recourant peut critiquer la constatation des faits, qui peuvent exercer une influence sur le sort du litige, uniquement s'ils ont été établis en violation du droit ou d'une façon manifestement inexacte (<ref-law>), notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2).
1.2. Les constatations de l'autorité cantonale de recours sur l'atteinte à la santé, la capacité de travail de la personne assurée et l'exigibilité - pour autant qu'elles ne soient pas fondées sur l'expérience générale de la vie - relèvent d'une question de fait et peuvent donc être contrôlées par le Tribunal fédéral uniquement sous l'angle restreint de l'arbitraire (<ref-ruling> consid. 2.4; <ref-ruling> consid. 3.4.2.3; <ref-ruling> consid. 3.2). L'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier, ou lorsque l'autorité ne tient pas compte, sans raison sérieuse, d'un élément propre à modifier la décision, se trompe sur le sens et la portée de celui-ci ou, se fondant sur les éléments recueillis, en tire des conclusions insoutenables (<ref-ruling> consid. 2.3). Il n'y a pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale semble concevable, voire préférable (<ref-ruling> consid. 4.4; <ref-ruling> consid. 2.2; <ref-ruling> consid. 6.1). Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (<ref-ruling> consid. 5.1.1; <ref-ruling> consid. 6.1; <ref-ruling> consid. 3.4).
2.
2.1. Compte tenu des motifs et conclusions du recours, le litige porte sur le droit de la recourante à une rente d'invalidité dans le cadre de la nouvelle demande présentée en novembre 2013.
2.2. L'arrêt attaqué expose correctement les dispositions légales (dans leur teneur en vigueur jusqu'au 31 décembre 2021, antérieure à l'entrée en vigueur de la révision de la LAI [Développement continu de l'AI; RO 2021 705] et déterminante en l'occurrence) et les principes jurisprudentiels applicables en matière de révision de la rente d'invalidité, applicables par analogie à l'examen matériel d'une nouvelle demande (art. 17 PLGA, art. 87 al. 2 et 3 RAI; <ref-ruling> consid. 5; <ref-ruling> consid. 3.5.2; <ref-ruling> consid. 3 et les références), ainsi que ceux relatifs au droit à une rente d'invalidité (<ref-law>) et à son évaluation (<ref-law>), en particulier s'agissant du caractère invalidant de troubles psychiques (<ref-ruling> consid. 4.5; <ref-ruling> consid. 6 et 7; <ref-ruling>). Il rappelle également le principe de la libre appréciation des preuves (art. 61 let. c LPGA) et les règles applicables quant à la valeur probante des rapports médicaux (<ref-ruling> consid. 5.1; <ref-ruling> consid. 3a). Il suffit d'y renvoyer.
3.
Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, la recourante se plaint d'une violation de l'art. 6 par. 1 CEDH, en tant que son droit à la tenue de débats publics aurait été violé.
3.1. L'obligation d'organiser des débats publics au sens de l'art. 6 par. 1 CEDH, qui implique le droit pour le justiciable de plaider sa cause lui-même ou par l'intermédiaire de son avocat (arrêt 5A_1062/2019 du 16 avril 2020 consid. 4.2 et les références), suppose une demande formulée de manière claire et indiscutable de l'une des parties au procès; de simples requêtes de preuves, comme des demandes tendant à une comparution ou à une interrogation personnelle, à un interrogatoire des parties, à une audition des témoins ou à une inspection locale, ne suffisent pas pour fonder une semblable obligation (<ref-ruling> consid. 1 et les arrêts cités).
3.2. En l'espèce, la recourante n'a pas invoqué l'art. 6 par. 1 CEDH en procédure cantonale et n'a pas non plus fait référence à la jurisprudence y relative. A l'appui de sa "requête d'une audience publique" déposée conjointement avec la réplique, elle s'est limitée à demander à "être entendue par ses juges et que la Cour puisse se rendre compte de l'importance des séquelles de l'accident". Or, si l'art. 6 par. 1 CEDH garantit certes à chacun le droit à ce que sa cause soit entendue publiquement (arrêt 8C_964/2012 du 16 septembre 2013 consid. 3.2), une demande formulée de manière claire et indiscutable fait défaut, quoi qu'en dise la recourante. A la suite des premiers juges, on constate que la requête formulée par la recourante - assistée d'un mandataire professionnel - constituait une simple demande tendant à la comparution ou à une interrogation personnelle. Elle visait à ce que les premiers juges l'entendent et se rendent compte de l'importance des séquelles de l'accident, soit un aspect relatif à l'administration des preuves. Dans ces circonstances, la requête de preuve déposée en instance cantonale ne suffisait pas pour fonder l'obligation pour la juridiction cantonale d'organiser des débats publics au sens de l'art. 6 CEDH. Le grief doit dès lors être rejeté.
4.
En se fondant sur les conclusions de l'expertise du CEMed du 23 août 2019, la juridiction cantonale a constaté, sur le plan somatique, que la recourante se plaignait avant tout de douleurs aux deux jambes, qui évoluaient dans un contexte de jambes lourdes et pouvaient être la conséquence d'une insuffisance veineuse chronique. Dans leur évaluation consensuelle, les experts avaient conclu que la thrombose veineuse profonde qui s'était développée au printemps 2015 avait été traitée lege artis et sans qu'aucune séquelle n'en ait résulté. Sur la base de leur examen clinique et de celui réalisé chez le spécialiste angiologue en mars 2019, ils avaient indiqué qu'il s'agissait d'une insuffisance veineuse superficielle, qui ne justifiait pas d'incapacité de travail. Le docteur E._ avait par ailleurs précisé que la tuméfaction signalée à la cheville droite n'avait pas d'explication autre qu'une dilatation veineuse, sans phénomène inflammatoire (phlébite) manifeste. Le docteur D._ avait retenu la présence de douleurs musculo-tendineuses avec des signes de tendinopathie au niveau du tendon d'Achille droit, qu'il avait jugés modérés à discrets. Selon lui, l'état algique à la cheville et au mollet droit pouvait être en relation avec une tendinopathie, en précisant qu'il s'agissait d'une atteinte durable, mais fonctionnellement peu importante avec, à l'examen clinique, une mobilité correcte de la cheville droite et, à l'IRM, des lésion discrètes du tendon d'Achille, les chevilles étant parfaitement stables, sans signes d'arthrite ni de synovite. De son côté, le docteur F._ avait retenu que les troubles algiques et sensitivo-moteurs des membres inférieurs n'avaient pas de substrat neurologique objectivable. Il avait relevé en outre une collaboration de la recourante clairement insuffisante et l'existence d'éléments démonstratifs et majorants. Considérant que les conclusions des experts du CEMed étaient convaincantes, la juridiction cantonale a constaté que l'assurée disposait d'une capacité de travail entière dans une activité adaptée.
5.
La recourante reproche à la juridiction cantonale de s'être fondée sur le rapport d'expertise du CEMed du 23 août 2019, dont elle conteste la valeur probante. En se référant aux critères dits de Budapest (cf. arrêt 8C_416/2019 du 15 juillet 2020 consid. 5.1), elle soutient souffrir d'une récidive du syndrome douloureux régional complexe (SDRC), dont les premiers juges n'auraient pas tenu compte.
6.
L'argumentation de la recourante ne saurait être suivie pour les motifs exposés ci-après.
6.1. A la suite des premiers juges, il y a lieu de constater que déjà en avril 2016, le rapport d'expertise du CEMed faisait état d'une "ancienne algodystrophie du membre inférieur droit". Par la suite, les constatations médicales par rapport au diagnostic de SDRC n'ont pas évolué: ainsi, l'examen de scintigraphie osseuse réalisé en novembre 2018 par le docteur H._, chef de clinique de rhumatologie à l'Hôpital I._, n'a pas permis d'objectiver "des troubles de type algoneurodystrophie". S'il est vrai que le diagnostic d'un SDRC résulte de la réunion de certains critères cliniques, comme le relève la recourante, l'utilisation de l'imagerie joue néanmoins un rôle important, notamment dans la recherche de diagnostics différentiels (arrêt 8C_416/2019 du 15 juillet 2020 consid. 5.1, publié in SVR 2021 UV n° 9 p. 48). On ne saurait dès lors reprocher à la juridiction cantonale d'avoir fait référence au résultat de la scintigraphie osseuse, dont le rhumatologue a déduit le diagnostic de "douleurs musculo-tendineuses des deux mollets, chronique[s], apparues après un accident de la voie publique, multi-investiguées, et dont une IRM de la cheville droite récente démontre une tendinopathie d'insertion du tendon d'Achille D [droit]". Ces diagnostics ont en outre été confirmés dans le cadre du rapport d'expertise du CEMed en août 2019, dans lequel le docteur D._ a retenu "un status après entorse de la cheville droite compliquée d'une algoneurodystrophie de Sudeck de type 1 du membre inférieur droit avec des douleurs chroniques à l'insertion du tendon d'Achille développées à la suite de l'accident en juin 2009". Le grief de la recourante selon lequel les premiers juges n'auraient pas pris suffisamment en considération le diagnostic de SDRC est mal fondé.
6.2. Ensuite, contrairement à ce que soutient la recourante, les premiers juges ont bel et bien tenu compte des nouvelles pièces qu'elle a déposées en procédure cantonale, notamment du rapport d'IRM du 9 juin 2020 ainsi que du rapport du docteur J._ du 1er juillet 2020. Comme l'a constaté la cour cantonale, le docteur J._ ne parlait pas d'une réactivation du SDRC, mais rapportait une péjoration des douleurs de la cheville droite, avec une atteinte inflammatoire des tendons, une atteinte dégénérative de l'articulation et une atteinte des ligaments internes. En tant que la recourante décèle dans l'appréciation de ce médecin une confirmation implicite d'une réactivation du SDRC, cela relève de sa propre interprétation médicale de son dossier et ne démontre pas en quoi la cour cantonale aurait constaté les faits de façon manifestement inexacte ou apprécié les preuves de manière arbitraire. On ne saurait en outre suivre son raisonnement, lorsqu'elle reprend elle-même les critères de Budapest, sans étayer son point de vue par un avis médical circonstancié confirmant précisément le diagnostic de SDRC, respectivement une "récidive" de cette atteinte, ainsi que les effets incapacitants de celle-ci. Elle perd également de vue qu'au moment de l'expertise et dans ses suites, les médecins impliqués ont posé des diagnostics expliquant les symptômes et signes cliniques qu'ils ont retenus, sans pour autant mettre en évidence une récidive de SDRC, ni en août 2019, ni en juin 2020. A cet égard, la cour cantonale a constaté que les nouveaux rapports produits par la recourante avaient été soumis au SMR, selon lequel ces documents ne permettaient pas de modifier sa position car, cliniquement, il n'y avait pas d'éléments de déficit d'amplitude ni de perte de force (avis du 4 août 2020). Avec elle, il faut admettre que cette appréciation médicale est convaincante. Dans l'évaluation de la capacité de travail de la recourante, les experts du CEMed avaient en effet tenu compte des douleurs musculo-tendineuses aux deux mollets en raison d'une tendinopathie, avérée à droite, qui ne permettaient plus à celle-ci de travailler en position debout exclusivement, ni de marcher plus 15 à 30 minutes, avec des pauses. De même, la montée ou descente d'escaliers, d'échelle ou d'escabeau devait être évitée.
Finalement, la recourante n'expose pas en quoi les nouveaux rapports médicaux qu'elle a produits seraient propres à modifier les limitations fonctionnelles retenues par les experts du CEMed, puis par la juridiction cantonale, qui tiennent compte des atteintes aux membres inférieurs. Par son argumentation appellatoire, elle se limite en effet à contester l'appréciation des preuves opérée par les premiers juges, sans alléguer - et encore moins démontrer - que la péjoration de son état de santé invoquée, aurait une influence concrète sur sa capacité de travail résiduelle.
7.
Au vu de ce qui précède, le recours, mal fondé, doit être rejeté. La recourante, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de la recourante.
3.
Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 9 février 2022
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
La Greffière : Elmiger-Necipoglu