Faits :
A.
A.a. A._, née en 1980, mère de deux enfants (nés en 2010 et 2012), a travaillé pour le compte de l'Etat du Valais, en tant qu'agent de police depuis 2002, d'abord à 100%, puis à 50% dès le 1er mai 2011. A ce titre, elle a été assurée pour la prévoyance professionnelle auprès de la Caisse de prévoyance du personnel de l'Etat du Valais (ci-après: la Caisse de pensions ou la CPVAL) depuis le 14 janvier 2002. Par décision du 13 février 2018, l'Office cantonal AI du Valais (ci-après: l'office AI) lui a reconnu le droit à un quart de rente d'invalidité (taux d'invalidité de 40%), assorti de deux rentes pour enfant, dès le 1er octobre 2017, puis à trois quarts de rente à partir du 1er janvier 2018 (taux d'invalidité de 61%). En bref, il a considéré qu'à compter du 29 mai 2015, seule une capacité de travail de 25% d'un plein temps était encore exigible de l'assurée et que celle-ci avait un statut d'active et de ménagère (d'abord à raison de 50/50%, puis de 60/40% dès août 2016, et de 80/20% dès le mois d'août 2017).
A.b. Entre-temps, depuis le 29 août 2017, la CPVAL a reconnu le droit de A._ à une rente d'invalidité de la prévoyance professionnelle d'un montant mensuel de 1427 fr. 95. Le 18 décembre 2017, après avoir été informée par l'office AI du droit de l'assurée à des prestations de l'assurance-invalidité (projet d'acception de rente du 17 octobre 2017), la Caisse de pensions a indiqué à l'intéressée qu'elle allait réduire le montant des prestations de la prévoyance professionnelle, en application de la clause de surassurance figurant à l'art. 30 de son règlement de prévoyance, à compter du 1er octobre 2017. L'assurée ayant fait part de son désaccord quant au calcul de surindemnisation (correspondances des 21 décembre 2017 et 12 mars 2018), la Caisse de pensions lui a transmis le détail de ce calcul (correspondance du 27 avril 2018). Il en ressortait qu'en se fondant sur un traitement annuel brut sans invalidité correspondant à une activité exercée à un taux de 50%, et compte tenu d'une limite de surindemnisation fixée à 90% de ce traitement, la CPVAL allait réduire le montant de la rente d'invalidité de la prévoyance professionnelle due à l'assurée à 1160 fr. 25 du 1er octobre au 31 décembre 2017, puis à 512 fr. 40 dès le 1er janvier 2018, ce dernier montant correspondant à celui des prestations minimales de la prévoyance professionnelle obligatoire. Par courrier du 26 juin 2018, l'assurée a indiqué à la CPVAL qu'il n'y avait pas lieu de prendre en compte l'augmentation des prestations versées par l'assurance-invalidité en lien avec la hausse hypothétique de son activité professionnelle si la limite de surindemnisation n'était pas augmentée en parallèle. Il en résultait, selon elle, un droit à une rente d'invalidité de la prévoyance professionnelle de 1'427 fr. 65 du 1er octobre au 31 décembre 2017, puis de 1'383 fr. 40 dès le 1er janvier 2018. Le 8 août 2018, la Caisse de pensions a maintenu sa position.
B.
Statuant le 7 septembre 2020 sur l'action ouverte le 21 août 2018 par A._ contre la CPVAL, le Tribunal cantonal du Valais, Cour des assurances sociales, l'a rejetée.
C.
A._ interjette un recours en matière de droit public contre ce jugement, dont elle demande l'annulation. Elle conclut à la condamnation de la CPVAL au paiement d'une rente d'invalidité d'un montant de 1'427 fr. 65 par mois pour la période du 1er octobre au 31 décembre 2017, puis de 1'383 fr. 40 dès le 1er janvier 2018.
La CPVAL conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
1.1. Le recours en matière de droit public peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il statue par ailleurs sur la base des faits établis par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut pas être pris en considération.
1.2. Le Tribunal fédéral revoit librement les dispositions de droit public cantonal ou communal en matière de prévoyance professionnelle (cf. <ref-ruling> consid. 5.1; <ref-ruling>).
2.
2.1. Le litige porte sur la réduction pour cause de surindemnisation depuis le 1er octobre 2017 de la rente de la prévoyance professionnelle plus étendue reconnue à l'assurée par la Caisse de pensions.
2.2. Le jugement entrepris expose de manière complète les dispositions légales et les principes jurisprudentiels relatifs notamment à la mesure dans laquelle l'évaluation de l'invalidité effectuée par les organes de l'assurance-invalidité lie l'institution de prévoyance compétente lorsque l'assuré exerce une activité lucrative à temps partiel (<ref-ruling> consid. 4.2; <ref-ruling> consid. 4b), ainsi qu'à la possibilité, pour l'institution de prévoyance, de réduire ses prestations afin d'éviter une surindemnisation de l'assuré (<ref-law>, art. 24 OPP2) et aux modalités du calcul de surindemnisation à opérer lorsqu'une rente de l'assurance-invalidité sert également à indemniser une invalidité en raison de l'incapacité d'accomplir des travaux habituels (<ref-ruling> consid. 6.3.1 et les arrêts cités). Il rappelle également les principes selon lesquels les institutions de prévoyance participant à l'application du régime obligatoire de la prévoyance professionnelle (<ref-law>) doivent respecter les exigences minimales que fixent les art. 7 à 47 LPP (<ref-law>), ainsi que la possibilité qui leur est offerte de prévoir des prestations supérieures aux exigences minimales fixées dans la loi, et les exigences à respecter dans ce cadre (<ref-law>; <ref-ruling> consid. 5.2-5.4 et les arrêts cités). Il suffit d'y renvoyer.
3.
3.1. Selon l'<ref-law>, l'institution de prévoyance peut réduire les prestations de survivants et d'invalidité dans la mesure où celles-ci, ajoutées à d'autres prestations d'un type et d'un but analogues ainsi qu'à d'autres revenus à prendre en compte, dépassent 90% du gain annuel dont on peut présumer que l'intéressé est privé. Par "gain annuel dont on peut présumer que l'intéressé est privé" ("mutmasslich entgangenen Verdienst" resp. "guadagno presumibilmente perso dall'assicurato" selon les versions allemande et italienne de la loi), la jurisprudence a précisé qu'il faut entendre, le salaire hypothétique que l'assuré réaliserait sans invalidité, au moment où doit s'effectuer le calcul de surindemnisation (si le cas de prévoyance ne s'était pas produit), soit au moment où se pose la question de la réduction des prestations LPP. Il ne correspond pas forcément au gain effectivement obtenu avant la survenance du cas de prévoyance (<ref-ruling> consid. 3b; <ref-ruling> consid. 3c; arrêt 9C_853/2018 du 27 mai 2019 consid. 3.3.1 et les références). Le statut de l'affilié dans l'assurance-invalidité a donc des incidences sur le calcul de la surindemnisation en matière de prévoyance professionnelle, tout comme un changement dudit statut. Par exemple, s'il existe des éléments concrets permettant d'admettre qu'un assuré travaillant jusqu'alors à temps partiel aurait repris, en l'absence d'invalidité, une activité à plein temps, la limite de surindemnisation dans la prévoyance professionnelle doit être adaptée en conséquence (<ref-ruling> consid. 6.3.1 et les références citées).
3.2. L'art. 30 al. 1 du règlement de prévoyance de la CPVAL (dans sa teneur en vigueur dès le 1er janvier 2012, applicable en l'espèce) prévoit que: "Les prestations selon le présent règlement sont réduites dans la mesure où, additionnées à d'autres revenus imputables, elles dépassent 90% du traitement annuel brut que réaliserait l'intéressé s'il était resté en activité".
4.
4.1. Après avoir constaté que la CPVAL est une institution de prévoyance de droit privé et rappelé les principes en matière d'interprétation des contrats, applicables à celle du règlement d'une institution de prévoyance de droit privé en tant que contenu préformé du contrat de prévoyance (cf. <ref-ruling> consid. 3.3 et les arrêts cités), la juridiction cantonale a procédé à l'interprétation de la disposition réglementaire litigieuse. Elle a considéré que la notion de "traitement que réaliserait l'intéressé s'il était resté en activité" selon l'art. 30 al. 1 du règlement de prévoyance de la CPVAL n'implique pas, en raison de la seule utilisation du conditionnel, la prise en compte d'une évolution du traitement déterminant consécutive à un changement de statut de l'assuré. Selon les premiers juges, dans la mesure où l'emploi du conditionnel paraît simplement de mise parce que l'on se réfère à une situation hypothétique dans laquelle l'assuré n'aurait pas été invalide et aurait ainsi pu continuer à exercer son activité professionnelle, la prise en considération du taux d'activité au moment de la survenance de l'invalidité afin de fixer la limite de surindemnisation n'est aucunement incompatible avec la notion de "traitement que réaliserait l'intéressé s'il était resté en activité" au sens de la disposition réglementaire précitée. En conséquence, la juridiction de première instance a confirmé que l'intimée était en droit de réduire le montant de ses prestations d'invalidité dès le mois d'octobre 2017, à 1160 fr. 25 jusqu'au 31 décembre 2017, puis à 512 fr. 40 dès le 1er janvier 2018.
4.2. La recourante se prévaut d'une violation du droit fédéral et reproche aux premiers juges d'avoir interprété de manière arbitraire l'art. 30 du règlement de prévoyance de la CPVAL. Elle fait en substance valoir que la notion de "traitement que réaliserait l'intéressé s'il était resté en activité" selon l'art. 30 al. 1 dudit règlement correspond à celle de "gain annuel dont on peut présumer que l'intéressé est privé" au sens des <ref-law> et 24 al. 6 OPP 2, et qu'il s'agit donc également d'une notion évolutive, qui doit tenir compte de l'évolution hypothétique du traitement de la personne assurée. Dans la mesure où elle travaillerait actuellement à 80% et percevrait un traitement correspondant à ce taux, elle soutient que c'est ce traitement qui constitue la limite déterminante pour le calcul de la surindemnisation, avec pour conséquence qu'elle a droit à une rente d'invalidité de la prévoyance professionnelle de 1'427 fr. 65 du 1er octobre au 31 décembre 2017, puis de 1'383 fr. 40 dès le 1er janvier 2018.
4.3. Devant la Cour de céans, la Caisse de pensions se prévaut essentiellement de la liberté dont bénéficient les institutions de prévoyance pour régler les questions liées notamment à la coordination des prestations avec d'autres assurances sociales dans le domaine de la prévoyance plus étendue.
5.
5.1. Comme le fait d'abord valoir à juste titre la recourante, la Caisse de pensions intimée est une institution de prévoyance de droit public cantonal (cf. art. 2 al. 1 de la loi valaisanne du 14 décembre 2018 régissant la Caisse de prévoyance du Canton du Valais [CPVAL; LCPVAL; RS/VS 172.51], et non de droit privé, comme l'a retenu à tort la juridiction cantonale. En conséquence, il convient d'interpréter l'art. 30 du règlement de prévoyance de l'intimée en fonction uniquement des règles d'interprétation de la loi (<ref-ruling> consid. 2.1 et les références), et non des règles d'interprétation en matière contractuelle, auxquelles les premiers juges ont eu recours. Le fait que le règlement de prévoyance a été édicté par la Caisse de pensions (en conformité avec l'art. 11 al. 1 let. c LCPVAL) et ne figure pas dans la loi cantonale n'y change rien (arrêts 9C_426/2008 du 23 décembre 2008 consid. 2.1; B 33/04 du 18 mai 2005 consid. 5.2). On rappellera à ce propos que la loi s'interprète en premier lieu selon sa lettre. Il n'y a lieu de déroger au sens littéral d'un texte clair par voie d'interprétation que lorsque des raisons objectives permettent de penser que ce texte ne restitue pas le sens véritable de la disposition en cause. Si le texte n'est pas absolument clair, si plusieurs interprétations de celui-ci sont possibles, il convient de rechercher quelle est la véritable portée de la norme, en la dégageant de tous les éléments à considérer, soit notamment des travaux préparatoires, du but de la règle, de son esprit, ainsi que des valeurs sur lesquelles elle repose ou encore de sa relation avec d'autres dispositions légales. Le Tribunal fédéral ne privilégie aucune méthode d'interprétation, mais s'inspire d'un pluralisme pragmatique pour rechercher le sens véritable de la norme; en particulier, il ne se fonde sur la compréhension littérale du texte que s'il en découle sans ambiguïté une solution matériellement juste (<ref-ruling> consid. 4.3.1; <ref-ruling> consid. 4.1 et les références; arrêt 9C_886/2018 du 4 juillet 2019 consid. 3.4).
5.2. En l'espèce, le texte de l'art. 30 al. 1 du règlement de prévoyance de la CPVAL n'est pas clair dans la mesure où les termes de "traitement annuel brut que réaliserait l'intéressé s'il était resté en activité" laissent place à une certaine interprétation. En particulier, il n'est pas d'emblée clair si ces termes comprennent une évolution hypothétique du taux d'occupation. Il convient dès lors de rechercher quelle est la portée de la disposition réglementaire.
5.3.
5.3.1. Au regard du sens littéral de l'art. 30 al. 1 du règlement de prévoyance, il apparaît que la notion de "traitement annuel brut que réaliserait l'intéressé s'il était resté en activité" est évolutive et implique de tenir compte de l'évolution du salaire jusqu'au moment du calcul de surindemnisation. La notion de "traitement annuel" comprend en effet les éléments énumérés de manière exhaustive à l'art. 7 al. 1 du règlement de prévoyance, soit, pour les assurés rémunérés au mois, le traitement de base, les parts d'expérience, les augmentations progressives liées à la prestation et la prime de performance limitée à 5%. Le caractère évolutif des termes utilisés à l'art. 30 al. 1 du règlement de prévoyance s'agissant de l'évolution salariale n'est du reste pas contesté par l'intimée, qui a exposé à cet égard, devant la juridiction cantonale, que le recours au conditionnel est destiné à permettre une dynamisation de la limite de surindemnisation en tenant compte de l'évolution salariale qui aurait eu lieu en l'absence d'invalidité, en particulier des parts d'expérience. Cette solution est corroborée par la jurisprudence, selon laquelle ce n'est en effet que lorsqu'une institution de prévoyance recourt à des termes qui ne font pas appel à une notion variable ou hypothétique (telles les expressions "salaire présumé perdu" ou "salaire hypothétique qu'aurait perçu l'assuré"), mais qui se rapportent au revenu brut effectivement réalisé par l'assuré, comme par exemple, les termes de "traitement brut", que l'évolution du salaire jusqu'au moment du calcul de surindemnisation n'a pas à être prise en considération (voir arrêt 9C_48/2007 du 20 août 2007 consid. 6.2).
La CPVAL conteste en revanche le caractère évolutif de la notion de "traitement annuel brut que réaliserait l'intéressé s'il était resté en activité" quant à une éventuelle modification du taux d'activité de la personne assurée, c'est-à-dire quant à d'éventuels changements de statut de l'assuré dans l'assurance-invalidité. Le point de vue de l'intimée est confirmé par l'interprétation littérale de l'art. 30 al. 1 de son règlement de prévoyance. En effet, le terme de "traitement" s'apparente aux notions de gain et de salaire et ne se rapporte pas directement au taux d'occupation professionnelle de l'assuré. Sous l'angle également de l'interprétation historique, si l'on ne dispose certes pas des travaux préparatoires usuels dans une procédure législative (qui a concerné l'adoption de la LCPVAL), la Caisse de pensions a fait valoir, devant l'instance précédente, que selon sa pratique constante, le "traitement annuel brut que réaliserait l'intéressé s'il était resté en activité" est obtenu en se fondant sur le taux d'activité lors de la survenance de l'incapacité de gain (détermination du 21 septembre 2018. Il s'agit ainsi de la solution exposée dans la directive "invalidité" de la CPVAL de juin 2014, dans sa teneur actualisée au mois d'août 2018). La recourante ne prétend du reste pas que la pratique de l'intimée aurait changé dans le temps.
5.3.2. C'est en vain que la recourante se réfère à la notion de "gain annuel dont on peut présumer que l'intéressé est privé" au sens de l'<ref-law>. Si certes, cette notion est évolutive et comprend l'évolution hypothétique du statut de la personne assurée (consid. 3.1 supra), l'<ref-law> n'est pas déterminant en l'espèce. Selon la jurisprudence dûment rappelée par les premiers juges, dans le domaine de la prévoyance plus étendue, les institutions de prévoyance peuvent en effet prévoir une réglementation plus restrictive que celle de l'<ref-law>. Il n'est en l'occurrence pas contesté que l'institution de prévoyance intimée est une institution de prévoyance dite "enveloppante" qui a décidé d'étendre la prévoyance au-delà des exigences minimales légales (prévoyance surobligatoire ou plus étendue) et qu'elle est par conséquent libre de définir dans les limites des dispositions expressément réservées à l'<ref-law> le régime de prestations, le mode de financement et l'organisation qui lui convient pour autant qu'elle respecte les principes d'égalité de traitement et de proportionnalité ainsi que l'interdiction de l'arbitraire (<ref-ruling> consid 3.1 et les références).
5.4. Au-delà du sens commun, dont il ressort que la notion de "traitement" recouvre le salaire ou gain perçu par l'assuré pour l'exercice d'une activité lucrative, sans référence directe au taux auquel cette activité est exercée (consid. 5.3.1 supra), l'art. 30 du règlement de prévoyance s'insère dans le système de la surindemnisation prévu par la loi. On rappellera à cet égard que lorsque le règlement de prévoyance fixe une limite de surindemnisation plus restrictive que celle prévue par l'<ref-law>, l'institution de prévoyance doit procéder à un calcul comparatif entre les prestations selon la LPP (sur la base du compte-témoin que les institutions de prévoyance doivent tenir afin de contrôler le respect des exigences minimales de la LPP [Alterskonto; art. 11 al. 1 OPP 2]) et les prestations réglementaires (Schattenrechnung; cf. <ref-ruling> consid. 3.7 et les références). Cette comparaison permet de s'assurer que les prestations réglementaires respectent les exigences minimales de la LPP, autrement dit que la personne assurée bénéficie au moins des prestations minimales légales selon la LPP (<ref-law> en corrélation avec l'<ref-law>). Une institution de prévoyance doit en effet verser les prestations légales lorsque celles-ci sont supérieures à celles calculées conformément à son règlement. En l'occurrence, la recourante ne conteste ni le calcul comparatif auquel l'intimée a procédé, ni le montant des prestations minimales de la prévoyance professionnelle obligatoire.
6.
Compte tenu de ce qui précède, c'est bien le taux d'activité au moment de la survenance de l'invalidité qu'il convient de prendre en compte afin de fixer la limite de surindemnisation en application de l'art. 30 al. 1 du règlement de prévoyance de la Caisse de pensions intimée. En conséquence, c'est à bon droit que la juridiction cantonale a confirmé la réduction du montant des prestations d'invalidité opérée par l'intimée, prestations dont le calcul n'est pas remis en cause en tant que tel par la recourante, dès le mois d'octobre 2017. Le recours est mal fondé.
7.
La recourante, qui succombe, supportera les frais de la procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de la recourante.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 8 septembre 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
La Greffière : Perrenoud