Faits :
A.
A._, née en 1961, s'est vu octroyer une demi-rente d'invalidité par l'Office de l'assurance-invalidité du canton de Neuchâtel (ci-après: l'office AI) dès le 1 er septembre 2001 (décisions des 16 octobre et 11 décembre 2002). Cette rente a été maintenue les 6 décembre 2004 et 30 juillet 2008. En se référant notamment à une expertise pluridisciplinaire de la Policlinique médicale universitaire de Lausanne du 7 février 2017, l'office AI a encore confirmé le droit de l'intéressée à une demi-rente d'invalidité le 20 février 2017.
Le 6 mars 2019, l'assurée a fait valoir une aggravation de son état de santé à la suite notamment d'une intervention chirurgicale à sa main droite (trapézectomie du 7 juin 2018). L'office AI a recueilli l'avis des docteurs B._, spécialiste en chirurgie de la main (des 26 février, 23 mai et 1 er juillet 2019), et C._, spécialiste en psychiatrie et psychothérapie (du 4 juin 2019). En se fondant sur l'avis du docteur D._, médecin auprès de son Service médical régional (SMR; du 9 juillet 2019), l'office AI a octroyé à l'assurée une rente entière de l'assurance-invalidité du 1 er mars 2019 au 31 mai 2019, puis une demi-rente dès le 1 er juin 2019 (décision du 13 septembre 2019).
B.
L'assurée a déféré cette décision à la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel et produit notamment un nouvel avis du docteur B._ (du 9 octobre 2019). Statuant le 2 septembre 2020, le Tribunal cantonal a rejeté le recours dans la mesure de sa recevabilité.
C.
A._ forme un recours en matière de droit public contre cet arrêt dont elle demande l'annulation. Elle conclut en substance à l'octroi d'une rente entière de l'assurance-invalidité dès le 1er mars 2019.
Considérant en droit :
1.
Le recours en matière de droit public peut être formé notamment pour violation du droit fédéral (art. 95 let. a LTF), que le Tribunal fédéral applique d'office (art. 106 al. 1 LTF), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte (c'est-à-dire arbitraire au sens de l'art. 9 Cst.; ATF 144 II 246 consid. 6.7; 143 I 310 consid. 2.2) ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
2.
Compte tenu des conclusions et motifs du recours, le litige porte en instance fédérale exclusivement sur l'étendue du droit de la recourante à une rente de l'assurance-invalidité au-delà du 31 mai 2019, étant rappelé que l'administration lui a d'ores et déjà octroyé une rente entière du 1er mars 2019 au 31 mai 2019, puis une demi-rente dès le 1er juin 2019. Il s'agit plus particulièrement de déterminer si la juridiction cantonale a fait preuve d'arbitraire en retenant que les éléments médicaux présentés n'établissaient pas une aggravation durable de l'état de santé de la recourante. A cet égard, le jugement entrepris expose de manière complète les dispositions légales et les principes jurisprudentiels relatifs à la révision (art. 17 LPGA) et à la valeur probante des rapports médicaux (ATF 143 V 124 consid. 2.2.2; 125 V 351 consid. 3). Il suffit d'y renvoyer.
3.
3.1. La juridiction cantonale a constaté que la recourante avait connu une période difficile de six mois après la trapézectomie du 7 juin 2018, entraînant une incapacité totale de travail. La recourante avait ensuite connu dès le 7 décembre 2018 une nette amélioration de sa situation sur le plan des douleurs (avis du docteur B._ du 26 février 2019). Si la recourante avait certes été à nouveau gênée par des douleurs à partir du 20 mars 2019, les premiers juges ont retenu que celles-ci n'étaient en revanche pas aussi intenses que celles subies avant l'intervention du 7 juin 2018, comme l'avait attesté le docteur B._ le 23 mai 2019. Sur le plan somatique, il y avait dès lors eu une légère amélioration de l'état de santé de la recourante dès mars 2019, après une incapacité totale de travail temporaire. Quant à l'aspect psychique, les premiers juges ont considéré que le docteur C._ n'apportait aucun élément médical objectif nouveau par rapport à ceux déjà connus lors de l'expertise pluridisciplinaire de 2017.
3.2. Invoquant une violation du droit fédéral et une constatation arbitraire des faits, la recourante reproche à la juridiction cantonale de s'être fondée uniquement sur une phrase de l'avis du docteur B._ du 26 février 2019 pour nier une invalidité totale d'une durée indéterminée. Elle fait valoir qu'elle est aujourd'hui totalement dépendante de son entourage pour tous les actes ordinaires de la vie quotidienne. Par ailleurs, les autorités précédentes et le médecin du SMR auraient confondu les notions de "limitation de port de charges" et de "force de préhension". Le fait de pouvoir mesurer une force de préhension de 4 kg n'autoriserait en effet nullement un port de charges d'un poids identique.
4.
En l'espèce, la recourante relève elle-même que le chirurgien qui l'a opérée le 7 juin 2018 a constaté que sa situation s'était nettement améliorée sur le plan des douleurs après l'infiltration du 7 décembre 2018 (avis du docteur B._ du 26 février 2019). La juridiction cantonale a donc constaté sans arbitraire que la situation de la recourante s'était améliorée à compter de décembre 2018. De même, elle a pris en considération la réapparition de douleurs et retenu, en se fondant sur l'avis du docteur B._ du 23 mai 2019, que celles-ci étaient moins intenses qu'avant l'opération.
En faisant valoir une aggravation de sa situation en lien avec ses douleurs et sa force musculaire de préhension, la recourante perd de vue que ces éléments ont déjà été examinés et évalués lors de l'expertise de 2017 sans qu'une modification notable ne puisse être retenue depuis. A cet égard, les médecins de la Policlinique médicale universitaire de Lausanne ont indiqué qu'il résultait de l'évaluation de sa force musculaire de préhension des valeurs quasi nulles des deux côtés (1 kg à gauche et 2 kg à droite), ce qui contrastait avec sa bonne musculature, l'absence manifeste de douleur lors de la manoeuvre au dynamomètre et l'absence d'anomalie clinique (rapport d'expertise du 7 février 2017, p. 28). En présence d'un examen clinique qui ne permettait pas d'expliquer les plaintes multiples et vécues comme fortement invalidantes par la recourante, les experts ont donc cherché à établir la mesure de ce qui était raisonnablement exigible de la part de l'intéressée le plus objectivement possible. Ils ne se sont donc pas fondés exclusivement sur le résultat du test au dynamomètre pour fixer à 5 kg les limitations concernant le port de charges. A l'inverse des experts, le docteur B._ a décrit les plaintes de la recourante, notamment en ce qui concerne l'absence de bénéfice d'une seconde infiltration réalisée le 23 juillet 2019, et a communiqué le résultat de l'évaluation de la force musculaire de préhension (amélioration de 1 à 4 kg pour la main gauche et de 2 à 5 ou 6 kg pour la main droite; avis du 23 mai 2019). Il s'est donc essentiellement fondé sur la manière dont l'assurée elle-même ressentait et assumait ses douleurs, sans prendre en considération la problématique du syndrome somatoforme douloureux retenu par les experts. Une telle approche, fondée dans une très large mesure sur le ressenti de la personne assurée est insuffisante pour attester d'un point de vue objectif une aggravation de l'état de santé de la recourante (ATF 143 V 124 consid. 2.2.2). Dans ces circonstances, il n'y a pas lieu de s'écarter des constatations des premiers juges.
5.
Mal fondé, le recours doit être rejeté. Succombant, la recourante supportera les frais judiciaires (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de la recourante.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, et à l'Office fédéral des assurances sociales.
Lucerne, le 10 juin 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Bleicker