Faits :
A.
A.a. A._, née en 1958, a travaillé en dernier lieu comme concierge auxiliaire pour la commune U._. Le 10 décembre 2012, elle a déposé une demande de prestations de l'assurance-invalidité auprès de l'Office de l'assurance-invalidité du canton du Valais (ci-après: l'office AI), qui a nié son droit à des prestations (décision du 30 juin 2014).
Par la suite, l'office AI a rejeté une nouvelle demande de prestations ainsi qu'une demande d'allocation pour impotent de l'assurée (décisions des 7 novembre 2017 et 9 janvier 2018). En bref, compte tenu de l'expertise du docteur B._, spécialiste FMH en psychiatrie et psychothérapie (rapport du 29 avril 2017), l'administration a considéré que l'assurée ne présentait pas de troubles psychiques incapacitants.
A.b. En juillet et octobre 2018, l'assurée a derechef déposé une nouvelle demande de prestations respectivement d'allocation pour impotent. Après avoir consulté son Service médical régional (ci-après: SMR), l'office AI a refusé d'entrer en matière d'abord sur la demande de rente (décision du 19 novembre 2018), puis sur la demande d'allocation pour impotent (décision du 13 août 2019); selon lui, l'assurée n'avait pas rendu plausible une aggravation de son état de santé.
B.
L'assurée a déféré ces décisions à la Cour des assurances sociales du Tribunal cantonal du Valais, laquelle a joint les causes et a rejeté les recours par jugement du 29 décembre 2020.
C.
A._ forme un recours en matière de droit public contre ce jugement en concluant, en substance, à son annulation ainsi qu'au renvoi des causes à l'office AI pour qu'il entre en matière sur les nouvelles demandes de prestations.

Considérant en droit :
1.
1.1. Le recours en matière de droit public (au sens des <ref-law>) peut être formé pour violation du droit (circonscrit par les art. 95 et 96 LTF). Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est limité ni par l'argumentation de la partie recourante ni par la motivation de l'autorité judiciaire précédente. Il statue sur la base des faits établis par celle-ci (<ref-law>) mais peut rectifier ou compléter d'office les lacunes ou les erreurs manifestes (<ref-law>). Il n'examine en principe que les griefs motivés (<ref-law>), en particulier s'ils concernent la violation des droits fondamentaux (<ref-law>), et ne peut aller au-delà des conclusions des parties (<ref-law>). Le recourant peut critiquer la constatation des faits, qui peuvent exercer une influence sur le sort du litige, uniquement s'ils ont été établis en violation du droit ou d'une façon manifestement inexacte (<ref-law>), notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2).
1.2. Les constatations de l'autorité cantonale de recours sur l'atteinte à la santé, la capacité de travail de la personne assurée et l'exigibilité - pour autant qu'elles ne soient pas fondées sur l'expérience générale de la vie - relèvent d'une question de fait et peuvent donc être contrôlées par le Tribunal fédéral uniquement sous l'angle restreint de l'arbitraire (<ref-ruling> consid. 2.4; <ref-ruling> consid. 3.4.2.3; <ref-ruling> consid. 3.2). L'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier, ou lorsque l'autorité ne tient pas compte, sans raison sérieuse, d'un élément propre à modifier la décision, se trompe sur le sens et la portée de celui-ci ou, se fondant sur les éléments recueillis, en tire des conclusions insoutenables (<ref-ruling> consid. 2.3). Il n'y a pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale semble concevable, voire préférable (<ref-ruling> consid. 4.4; <ref-ruling> consid. 2.2; <ref-ruling> consid. 6.1). Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (<ref-ruling> consid. 5.1.1; <ref-ruling> consid. 6.1; <ref-ruling> consid. 3.4).
2.
2.1. Le litige porte sur le point de savoir si la juridiction cantonale était fondée à confirmer le refus de l'intimé d'entrer en matière sur les nouvelles demandes présentées par la recourante en juillet et octobre 2018. Il s'agit plus particulièrement d'examiner si celle-ci a rendu plausible une modification de son état de santé susceptible d'influencer ses droits depuis la dernière décision entrée en force reposant sur un examen matériel du droit aux prestations de l'assurance-invalidité (décisions des 7 novembre 2017 et 9 janvier 2018).
2.2. A la suite des premiers juges, on rappellera qu'en vertu de l'art. 87 al. 2 et 3 RAI, lorsque la rente a été refusée parce que le degré d'invalidité était insuffisant, la nouvelle demande ne peut être examinée que si l'assuré rend plausible que son invalidité ou son impotence s'est modifiée de manière à influencer ses droits. Cette exigence doit permettre à l'administration qui a précédemment rendu une décision de refus de prestations entrée en force d'écarter sans plus ample examen de nouvelles demandes dans lesquelles l'assuré se borne à répéter les mêmes arguments, sans alléguer une modification des faits déterminants (<ref-ruling> consid. 5.2.3; <ref-ruling> consid. 4b et les références). Lorsqu'elle est saisie d'une nouvelle demande, l'administration doit commencer par examiner si les allégations de l'assuré sont, d'une manière générale, plausibles. Si tel n'est pas le cas, l'affaire est liquidée d'entrée de cause et sans autres investigations par un refus d'entrer en matière (ATF <ref-ruling> consid. 3a).
3.
En tant que la recourante fait d'abord valoir que les premiers juges auraient posé des exigences trop élevées concernant le degré de la preuve à apporter pour apprécier le caractère plausible d'une modification de l'état de santé, elle ne saurait être suivie. Contrairement à ce qu'elle prétend, les premiers juges ont correctement appliqué l'art. 87 al. 2 et 3 RAI en examinant les pièces déposées par la recourante sous l'angle de la plausibilité d'un changement notable. Ainsi, à l'issue de leur appréciation des rapports médicaux produits en procédure administrative, ils ont conclu que ces documents n'étaient pas de nature à rendre plausible une aggravation de l'état de santé de la recourante depuis avril 2017 pouvant avoir des conséquences sur ses droits à des prestations de l'assurance-invalidité (rente et allocation pour impotent, consid. 3.3.2 du jugement entrepris).
4.
4.1. La recourante reproche ensuite à la juridiction cantonale d'avoir apprécié les preuves de manière arbitraire en considérant que le rapport du docteur C._ du 5 juin 2018 produit à l'appui de ses nouvelles demandes de prestations ne contenait aucun nouvel élément et que la symptomatologie était toujours la même. D'après elle, le constat médical objectif de l'existence d'un trouble de conversion serait un indice clair justifiant l'entrée en matière sur les nouvelles demandes de prestations et d'allocation. En outre, le seul fait qu'un tel trouble aurait été suspecté en 2012 ne suffirait pas pour justifier le refus d'entrer en matière.
4.2. L'appréciation des premiers juges du rapport du docteur C._ du 5 juin 2018 n'apparaît pas arbitraire. Le diagnostic de syndrome de conversion grave repose sur des éléments médicaux qui avaient déjà été attestés dans le passé. En effet, comme l'ont constaté de manière circonstanciée les premiers juges en se référant aux rapports du SMR des 3 août et 27 septembre 2018, la symptomatologie présentée par la recourante (apathie, difficultés de déplacement et la non-participation aux tâches ménagères) remontait à juillet 2012 et avait déjà été prise en compte dans l'expertise du docteur B._. A l'époque, l'expert avait en effet relevé, au chapitre des plaintes et descriptions subjectives de l'assurée, des maux de tête, des vertiges - en raison desquels elle utilisait un déambulateur -, des blocages imprévisibles des bras ou des mains, des troubles du sommeil et un manque d'énergie, notamment dans l'exécution des tâches ménagères. Constatant qu'aucun trouble organique n'avait pu être mis en évidence comme étant à l'origine du trouble fonctionnel, le docteur B._ avait considéré que des facteurs extra-médicaux jouaient un rôle important dans la diminution des capacités fonctionnelles et avait conclu à une capacité de travail entière de la recourante dans son activité habituelle de nettoyeuse. Contrairement aux allégations de la recourante, peu importe que le diagnostic initialement soupçonné par les spécialistes du Centre psychiatrique D._, soit un "épisode dépressif sévère sans symptôme psychotique", a été révisé en faveur du diagnostic de "trouble dissociatif de conversion". Selon les constatations des premiers juges - que la recourante ne remet pas en cause et qui lient le Tribunal fédéral - celle-ci présente toujours la même symptomatologie qu'en 2012, à savoir des troubles de l'équilibre qui l'obligent à utiliser un déambulateur ou à être accompagnée et un hémi-syndrome fluctuant (auparavant des blocages imprévisibles des membres supérieurs) pour lequel aucun trouble neurologique n'a été objectivé par le docteur C._. Ces constatations sont en outre confirmées par le rapport du Centre psychiatrique D._ du 9 juillet 2018, dont il ressort que les symptômes psychiatriques et les difficultés fonctionnelles présentées par l'assurée existaient déjà depuis plusieurs années. Pour le même motif, la recourante ne saurait tirer un argument en sa faveur du fait que le docteur C._ indique dans son rapport du 5 juin 2018 que le trouble dissociatif s'avère rebelle à une prise en charge physio- et psychothérapeutique. Le rapport de ce médecin n'apporte aucun élément susceptible de rendre plausible une aggravation de l'état de santé de la recourante ouvrant le droit aux prestations requises (rente et allocation pour impotent). C'est dès lors sans arbitraire que la juridiction cantonale a retenu que ni le Centre psychiatrique D._ ni le docteur C._ ne décrivaient des symptômes qui étaient inconnus lors de l'expertise du docteur B._.
5.
Au vu de ce qui précède, dans la mesure où la recourante n'a pas rendu plausible le fait que son degré d'invalidité s'était modifié de manière à influencer ses droits, c'est à juste titre que le tribunal cantonal a confirmé le refus de l'intimé d'entrer en matière sur les nouvelles demandes. Mal fondé, le recours doit être rejeté.
6.
La recourante, qui succombe, supportera les frais de la procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de la recourante.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 15 novembre 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
La Greffière : Elmiger-Necipoglu