Faits :
A.
A.a. A._ exerçait six heures par semaine l'activité de téléphoniste et consacrait le reste de son temps à l'entretien de son ménage. Le 7 mai 2008, elle a déposé une demande de prestations de l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI). Elle a résilié son contrat de travail pour le 31 décembre 2008.
Interpellés par l'office AI au sujet de l'état de santé de l'assurée, les médecins traitants de celle-ci ont fait état de troubles physiques (syndrome lombo-pygialgique associé à une discopathie L4/5; arthrose articulaire au même endroit; dysbalance musculaire; obésité morbide) et psychiques (boulimie réactionnelle; hyperphagie associée à d'autres perturbations psychologiques; trouble dépressif récurrent, épisode actuel moyen; anxiété généralisée). Après avoir défini que A._ présentait un statut d'active et de ménagère à mi-temps, l'office AI a mis en oeuvre une enquête économique sur le ménage (rapport du 10 décembre 2008) et confié une expertise au docteur B._, spécialiste en psychiatrie et psychothérapie (rapport du 16 janvier 2009). Sur la base des éléments collectés, l'office AI a alloué à l'assurée trois quarts de rente pour une période limitée allant du 1er mai 2007 au 31 mars 2008 (projet de décision du 23 mars 2009 confirmé par décision du 17 novembre 2010). Cette dernière décision n'a pas été contestée par l'assurée.
A.b. Le 3 décembre 2010, A._ a déposé une nouvelle demande de prestations, faisant valoir une aggravation de son état de santé. Après avoir, dans un premier temps, envisagé de rejeter cette demande en se fondant sur un nouvel avis du docteur B._ (projet de décision du 1er mars 2011), l'office AI a décidé de mandater la Clinique romande de réadaptation (CRR) pour une expertise pluridisciplinaire. Dans leur rapport du 16 janvier 2012, les médecins de la CRR ont retenu un trouble de la personnalité dépendante décompensée sur le mode dysthymique, une hyperphagie associée à d'autres perturbations psychologiques et un status après cure d'épicondylite. Selon eux, les singularités psychiques de l'assurée, essentiellement le trouble de la personnalité, s'accompagnaient de nombreuses limitations fonctionnelles (inhibition intellectuelle et affective; difficultés à organiser la vie quotidienne; dépendance aux autres; conduite d'échec), qui rendaient illusoire une quelconque participation professionnelle dans une activité lucrative depuis le début de l'année 2010. A cela s'ajoutaient diverses autres pathologies n'influençant pas la capacité de travail (obésité morbide, état douloureux chronique diffus, troubles dégénératifs du rachis lombaire, hernie discale D11/12). Concernant la période antérieure à 2010 et l'activité ménagère, les médecins de la CRR ont suggéré de suivre les premières conclusions du docteur B._. Pour terminer, l'administration a réalisé une nouvelle enquête économique sur le ménage (rapport du 1er mars 2012).
Par décision du 3 octobre 2012, l'office AI a octroyé à A._ trois quarts de rente à partir du 1er décembre 2010.
B.
B.a. Saisie d'un recours de l'intéressée, la Cour des assurances sociales du Tribunal cantonal fribourgeois (ci-après: la Cour des assurances) l'a rejeté, par arrêt du 21 juillet 2014. Le Tribunal fédéral a admis le recours de l'assurée contre cet arrêt qu'il a annulé, de même que la décision de l'office AI du 3 octobre 2012; il a renvoyé la cause à l'office AI pour instruction complémentaire (arrêt du 30 mars 2015; cause 9C_687/2014).
B.b. A la suite de cet arrêt, et malgré le désaccord de l'assurée, l'office AI a décidé de mettre sur pied une nouvelle enquête ménagère (décision incidente du 17 février 2016). A._ a alors recouru contre cette décision devant la Cour des assurances, en demandant à ce que le complément d'instruction demandé par l'instance fédérale soit confié au docteur C._, de la CRR, qui avait déjà accompli la première évaluation psychiatrique. Par arrêt du 4 novembre 2016, la Cour des assurances a admis le recours et enjoint à l'office AI notamment de s'adresser au psychiatre de la CRR pour qu'il revoie l'assurée. Ce médecin étant entre-temps décédé, le mandat a été finalement confié au docteur D._, spécialiste en psychiatrie et psychothérapie, qui a rendu son rapport le 11 septembre 2018. Le 10 octobre 2018, l'office AI a informé A._ qu'il entendait lui allouer trois quarts de rente dès le 1er décembre 2010. L'assurée a présenté des objections et produit de nouveaux rapports médicaux, notamment de la doctoresse E._, psychiatre traitante, du 10 octobre 2018 et du docteur F._ du Centre G._ du 4 décembre 2018. Après avoir requis un avis complémentaire du docteur D._, qui l'a rendu le 17 juin 2019, l'office AI a mis l'assurée au bénéfice de trois quarts de rente à partir du 1er décembre 2010, par décision du 5 novembre 2019.
B.c. Statuant le 30 novembre 2020 sur le recours formé par A._ contre cette décision, la Cour des assurances l'a rejeté.
C.
A._ interjette un recours en matière de droit public contre ce dernier arrêt. Elle en demande l'annulation et conclut à l'octroi d'une rente entière de l'assurance-invalidité dès le 1er décembre 2010.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé notamment pour violation du droit fédéral (art. 95 let. a LTF), que le Tribunal fédéral applique d'office (art. 106 al. 1 LTF), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), à moins que ces faits aient été établis de façon manifestement inexacte - à savoir arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.2) - ou en violation du droit au sens de l'art. 95 LTF (cf. 105 al. 2 LTF) et que la correction du vice soit susceptible d'influer sur le sort de la cause. Conformément à l'art. 106 al. 2 LTF, la partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 2).
2.
Dans son arrêt de renvoi du 30 mars 2015 (cause 9C_687/2014), le Tribunal fédéral a reproché à la cour cantonale d'avoir considéré, sur la base d'une appréciation arbitraire des preuves, que les pathologies psychiatriques diagnostiquées chez la recourante n'influençaient pas l'exécution des travaux ménagers dans une mesure supérieure à celle retenue dans la décision de l'office AI du 3 octobre 2012 (30 % avant pondération). En particulier, les enquêtes à domicile réalisées par cet office contenaient des incohérences dans la détermination des taux de pondération et il était douteux que les enquêteurs aient eu une connaissance suffisante de la problématique psychique de la recourante vu l'absence de constatation à ce sujet dans leurs rapports. Cela étant, après avoir rappelé qu'en présence d'une pathologie psychiatrique, les constatations d'ordre médical sur la capacité à accomplir les travaux habituels ont en principe plus de poids que les conclusions de l'enquête à domicile, le Tribunal fédéral a également constaté qu'aucun des experts mandatés de la CRR ne s'était prononcé sur l'impact des affections psychiques constatées dans la sphère ménagère. Il a donc annulé l'arrêt cantonal et renvoyé le dossier à l'office AI pour mise en oeuvre d'un complément d'instruction à ce sujet et nouvelle décision.
3.
A ce stade de la procédure et conformément à l'arrêt de renvoi du Tribunal fédéral précité, est seul litigieux le point de savoir si, dans le cadre de la révision du droit à la rente de la recourante, les empêchements rencontrés par celle-ci dans l'activité ménagère à raison de ses affections psychiques justifient l'octroi de trois quarts de rente, comme l'a confirmé la juridiction cantonale, ou d'une rente entière dès le 1er décembre 2010, comme le voudrait la recourante.
En ce qui concerne les dispositions légales et les principes jurisprudentiels applicables au cas, en particulier sur la méthode mixte d'évaluation de l'invalidité, il suffit de renvoyer à l'arrêt cantonal entrepris. On précisera que sont déterminantes, du point de vue temporel, les dispositions légales dans leur teneur applicable jusqu'au 31 décembre 2021, soit antérieure à l'entrée en vigueur, le 1er janvier 2022, de la modification de la loi fédérale sur l'assurance-invalidité du 19 juin 2020 (Développement continu de l'AI, RO 2021 705), compte tenu de la date déterminante de la décision administrative litigieuse (<ref-ruling> consid. 4.3; <ref-ruling> consid. 1; <ref-ruling> consid. 1.2).
4.
Après avoir cité des passages extraits du rapport d'expertise du docteur D._ ainsi que d'autres documents médicaux produits par la recourante (émanant notamment de la doctoresse E._), la cour cantonale a déclaré se rallier à l'avis de l'expert précité qui, à ses yeux, avait clairement conclu que l'état de santé de l'assurée ne s'était pas aggravé dans une mesure entraînant une plus grande limitation dans l'accomplissement des tâches ménagères depuis la décision de novembre 2010. Pour la cour cantonale, les "vives critiques" de la recourante à l'encontre du rapport du docteur D._ étaient infondées. En effet, ce dernier "a[vait] parfaitement compris le sens de sa mission, se référant de manière correcte à l'arrêt de renvoi du Tribunal fédéral auquel il a[vait] cherché à apporter une réponse après avoir passé en revue l'ensemble du dossier médical et interrogé la recourante, dans le détail et en reprenant l'un après l'autre les postes à l'instar de ce qui se fait pour les enquêtes ménagères de l'AI, sur la manière [de celle-ci] d'appréhender et de gérer la tenue du ménage". En procédant ainsi, le docteur D._ avait pu observer que certains empêchements n'étaient pas liés aux troubles psychiques de la recourante, mais bien plutôt à des problèmes physiques ou relevaient simplement d'un choix personnel. Il ressortait également de son analyse que le moment déterminant des problèmes psychiques de la recourante remontait à la survenance de son burnout en 2003 et que la situation s'était globalement figée depuis le dépôt de la première demande de prestations en 2008. L'expert avait répondu de manière convaincante aux objections de la recourante et les nouveaux rapports médicaux que celle-ci avait produits semblaient être "conditionnés" par les questions orientées de sa mandataire. Partant, la cour cantonale a confirmé la décision entreprise.
5.
La recourante a déposé un mémoire de recours de cinquante-cinq pages qui contient de nombreuses répétitions à la limite de la prolixité. Elle aurait pu être invitée à remédier à cette irrégularité (cf. art. 42 al. 6 LTF), mais il y est renoncé pour cette fois exceptionnellement. Cela étant, le chapitre premier du mémoire (pages 3 à 15) sera ignoré dans la mesure où il constitue, sous réserve de quelques modifications de peu d'importance (déplacements de paragraphes) et quelques passages isolés, une reprise du contenu du mémoire déposé en instance cantonale, ce qui n'est pas admissible devant le Tribunal fédéral et rend l'argumentation irrecevable (<ref-ruling> consid. 2.1 à 2.3). Seuls les griefs relatifs à l'arrêt entrepris seront dès lors examinés, étant précisé que la Cour de céans se limitera également dans ce cadre, parmi la pléthore d'arguments et critiques soulevés, à ceux qui lui apparaissent suffisamment clairs et pertinents.
5.1. Premièrement, la recourante reproche à la cour cantonale d'avoir violé l'autorité de la chose jugée de l'arrêt de renvoi du Tribunal fédéral en se ralliant aux conclusions du docteur D._. Pour la recourante, en effet, ce médecin n'avait pas respecté le cadre du complément d'instruction posé par l'instance fédérale en tant qu'il discutait les diagnostics psychiatriques retenus par les précédents experts de la CRR et qu'il remettait en cause leur constat selon lequel elle présentait une aggravation de son état de santé psychique depuis 2010. Or les points précités avaient acquis force de chose jugée avec l'arrêt de renvoi et le docteur D._ ne pouvait y revenir, étant lié par ceux-ci.
La mission confiée au docteur D._ avait certes ceci de particulier que la recourante avait déjà fait l'objet d'une évaluation psychiatrique en 2012, ayant abouti à la conclusion d'une incapacité de travail totale dans la sphère professionnelle, et qu'en raison du décès de l'expert psychiatre de la CRR qui avait procédé à cette évaluation, il revenait au nouvel expert nommé d'examiner, en partant de constats psychiatriques faits avant lui, ce qu'il en était dans la sphère ménagère. En l'espèce, c'est ce qu'a fait le docteur D._ en passant en revue le dossier médical mis à sa disposition, en particulier l'expertise de la CRR, et en complétant sa compréhension du cas par un entretien avec la recourante sur les problèmes psychiques de celle-ci en relation notamment avec la tenue du ménage (cf. chapitre 3 du rapport du 11 septembre 2018). A l'inverse de ce qu'elle soutient, le docteur D._ n'a pas remis en cause la problématique psychique mise en évidence par l'expertise de la CRR. Le diagnostic psychiatrique principal retenu alors consistait en un trouble de la personnalité dépendante décompensée sur le mode dysthymique [F60.7] (le tableau clinique dysthymique observé étant caractérisé par un moral abaissé, une labilité émotionnelle, des idées noires sans scénario, une anhédonie partielle, une perte d'estime de soi, sans perte de concentration ni mémoire et sans repli social); l'expert psychiatre de la CRR avait considéré comme insuffisants les éléments d'un trouble dépressif récurrent léger. Or le docteur D._ a validé l'existence d'une souffrance psychologique chez la recourante - toujours actuelle selon lui - sous la forme d'un trouble d'anxiété généralisée d'intensité faible/modéré (F41.1) et d'un état dysthymique de fond (F.34.1) ou subsidiairement d'un trouble de personnalité non spécifique (F60.9) à traits dépendants, dysthymiques et anxio-dépressifs (cf. page 17 de son rapport). Par ailleurs, si à l'époque les experts de la CRR avaient constaté une aggravation des difficultés rencontrées par la recourante depuis 2010 à raison du diagnostic posé, celle-ci a été mise en rapport avec les exigences d'une participation professionnelle dans une activité rémunérée (voir la page 12 de l'expertise de la CRR du 16 janvier 2012 ainsi que l'évaluation psychiatrique du docteur C._ du 12 janvier 2012). Une telle situation ne se répercute pas nécessairement ou pas de la même manière dans l'accomplissement des travaux domestiques. C'est justement la raison du renvoi de la cause à l'intimé pour un complément d'instruction et, sur ce point, le nouvel expert conservait une entière latitude pour se prononcer. Le docteur D._ n'a donc pas méconnu le contexte dans lequel s'inscrivait sa mission d'expertise. Le grief d'une violation de l'autorité de la chose jugée est mal fondé.
5.2. Deuxièmement, la recourante estime que la cour cantonale n'a arbitrairement pas retenu que le docteur D._ s'est fourvoyé dans les périodes de référence à comparer. A bien comprendre l'argumentation de la recourante, cet expert aurait conclu à l'absence de modification du degré d'incapacité dans les travaux ménagers sous l'angle psychique en effectuant une comparaison des situations existant entre 2012 (date de l'expertise de la CRR) et 2018 (date de son propre examen), ce qui était erroné par rapport à ce qui lui était demandé. La recourante en veut notamment pour preuve le passage suivant du rapport d'expertise (en page 19) : "Mais ce qui importe, c'est, selon l'ordonnance du Tribunal fédéral d'évaluer les activités domestiques, sous l'aspect médical, par rapport à sa situation de 01.2012 (évaluation CRR) & d'en apprécier l'imputabilité aux troubles psychiques validés. Tout en nous référant à nos observations & aux déclarations de l'assurée sur ses possibilités de participation aux tâches domestiques, nous relevons que pour la conduite du ménage & l'entretien du logement, l'implication de [Mme] A._ apparaît semblable/superposable à l'appréciation médicale faite par l'équipe du Dr. H._ de la CRR en 01.2012 [...]". Or cet intervalle de temps (2012 à 2018) correspondait chez elle à une situation psychique stationnaire après aggravation - celle-ci étant survenue dès mars 2009 en lien notamment avec la maladie puis le décès du beau-père comme attesté à plusieurs reprises par la doctoresse E._ -, de sorte qu' "il n'y a[vait] donc rien d'étonnant à ce que l'expert conclue que tout est resté inchangé" (page 28 du mémoire).
C'est en vain que la recourante tente de démontrer que le docteur D._ est passé à côté de sa mission d'expertise. La synthèse de la problématique posée en préambule du rapport, les développements contenus dans le corps de l'expertise - même s'ils ne sont pas de lecture aisée - et les réponses données au questionnaire en fin de rapport montrent de manière suffisante que l'expert s'est bien déterminé sur la question indiquée par le Tribunal fédéral. A savoir quel était l'impact des affections psychiques (décompensation du trouble la personnalité dépendante sur un mode dysthymique) constatées à l'époque par les experts de la CRR sur la capacité de la recourante à accomplir son ménage, ceci dans le contexte de la nouvelle demande de prestations présentée en décembre 2010. Cela explique les références du docteur D._ à l'expertise de la CRR tout au long de son rapport, de même que les termes "par rapport à sa situation de 01.2012 (évaluation de la CRR) ". Par ailleurs, si on lit les considérations du docteur D._ qui suivent l'extrait cité, on comprend qu'il dit observer encore actuellement chez la recourante des capacités organisationnelles réduites du même ordre que celles qui avaient été rapportées par l'équipe de réadaptation professionnelle de la CRR (évaluation en ateliers professionnels). L'expert souligne néanmoins que si elles contribuent à l'incapacité, elles ne sont pas en rapport avec la problématique dysthymique. Ainsi, il indique par exemple que la recourante confie les travaux administratifs à son mari depuis toujours et que la gestion des repas est liée à la présence ou non de l'époux et/ou du fils même si la recourante conserve sa capacité de préparation culinaire. La critique au sujet d'une confusion des périodes déterminantes est donc infondée.
En ce qui concerne la survenue d'une aggravation de l'état psychique de la recourante en mars 2009, le docteur D._ a précisé, dans son rapport complémentaire du 17 juin 2019, qu'il n'y a pas eu de "continuum d'aggravation" et que "la période 2010-2012 fut un temps d'aggravation maladive désormais révolue". Cette précision, certes donnée dans un deuxième temps par l'expert, n'enlève rien à la valeur probante de son expertise contrairement à ce que prétend la recourante. Il faut dire que sa mission a été rendue difficile par le long intervalle de temps séparant la nouvelle demande de prestations de la recourante et la date de réalisation de son propre examen (2018). La formulation du questionnaire établi par l'intimé n'y a pas aidé non plus [par exemple la question 2.1: "Est-ce que le degré d'incapacité de l'assurée dans l'accomplissement des travaux domestiques en lien avec ses affections psychiques s'est ou non aggravé depuis la décision du 17.11.2010 de l'OAI basée sur l'enquête ménagère du 10.12.2008 (en d'autres termes y a-t-il aggravation depuis 2008) ?", alors que les enquêtes ménagères n'avaient pas été jugées fiables par la Cour de céans, ce que l'expert a bien compris]. Cela étant, on peut relever que l'expertise des médecins de la CRR contient également des éléments dans le sens retenu par le docteur D._, dès lors qu'il y est mentionné que la recourante assurait (au temps de leur examen) la préparation des repas et qu'elle pouvait également effectuer la plupart du temps le repassage, la lessive et s'occuper du linge, même si elle requérait l'aide de son mari pour ces activités, l'entretien des sols et les travaux les plus lourds étant confiés à une aide ménagère une fois par semaine (page 6 du rapport d'expertise du 16 janvier 2012; voir également le passage du rapport du docteur C._ dont il ressort que la recourante apparaît capable de faire face aux exigences élémentaires de la vie quotidienne [page 5]). On peut en conclure que l'aggravation survenue en mars 2009 a été passagère.
5.3. Troisièmement, la recourante prétend qu'il a échappé à la cour cantonale que le docteur D._ a en réalité constaté une aggravation des limitations. Ainsi, ce médecin avait relevé qu'elle préparait les repas de midi, mais n'assumait plus aucun repas du soir, et que l'entretien du logement ainsi que le repassage étaient délégués à une femme de ménage. Or, comme cela ressortait de l'enquête ménagère réalisée en 2008, elle assumait encore à cette époque la préparation de tous les repas sans soutien et d'une traite (si parfois elle restait au lit, elle mettait le réveil et était capable de se lever pour préparer le repas), le nettoyage de la cuisine et le reste de l'entretien du logement bien qu'à son rythme et avec l'aide de son mari, mais surtout, elle effectuait seule le repassage.
Comme l'a constaté correctement la cour cantonale, l'expert a retenu, sur la base de l'entretien mené avec la recourante et de ses propres constatations cliniques, que la délégation de certaines tâches (repas du soir, entretien du logement) ou l'abandon de certaines activités (perles, tricot, marchés, Guggenmusik) par rapport à la situation décrite auparavant n'étaient pas en lien avec la problématique psychique mais trouvaient leur origine dans des difficultés physiques ou dans d'autres raisons (voir les pages 19 et 3 respectivement du rapport principal et de celui complémentaire où le docteur D._ passe en revue le catalogue des activités ménagères en comparant les circonstances de fait à 2008). Cela l'a conduit à conclure que le degré d'incapacité dans l'accomplissement des travaux ménagers était resté globalement inchangé par rapport à la période de référence [2008] (voir sa réponse à la question 2.2 du questionnaire). Les arguments de la recourante ne mettent donc pas en évidence une incohérence dans son évaluation médicale. On peut encore ajouter que la doctoresse E._ a indiqué dans son rapport du 10 octobre 2018 que sa patiente décrivait une limitation permanente liée aux troubles physiques (travaux lourds, port de casseroles lourdes, nettoyage des sols et des fenêtres, porter et étendre le linge, faire des travaux en se baissant ou en hauteur) et que l'incapacité en lien avec ces limitations physiques avaient probablement évolué négativement depuis la nouvelle demande de prestations, les limitations psychiques étant demeurées, selon elle, stationnaires jusqu'à ce jour. Il s'ensuit que le grief est mal fondé.
5.4. Quatrièmement, la recourante fait grief aux juges cantonaux d'avoir écarté de manière injustifiée l'opinion de la doctoresse E._, ainsi que celle du docteur F._ du Centre G._. En particulier, il était arbitraire de discréditer, comme ils l'avaient fait, les réponses données par ces médecins au prétexte que les questions qui leur avaient été posées présentaient un caractère ciblé visant à obtenir d'eux des explications de nature à conforter la thèse soutenue dans le recours.
Il n'y a effectivement pas de motif de décrédibiliser les déclarations faites par ces médecins. Cela étant, il y a tout de même lieu de tenir compte du fait que le médecin traitant est généralement enclin, en cas de doute, à prendre parti pour son patient en raison de la relation de confiance qui l'unit à ce dernier (<ref-ruling> consid. 4.5; <ref-ruling> consid. 3a/cc). En ce qui concerne le rapport du docteur F._, il fournit des informations sur une période (24 juin 2008 au 24 août 2010) qui n'est pas déterminante, puisque la nouvelle demande de prestations a été introduite en décembre 2010, que l'intimé est entré en matière sur celle-ci en procédant à diverses mesures d'instruction avant d'admettre un changement important motivant une révision au sens de l'art. 17 LPGA (cf. <ref-ruling>). Quant au rapport du 10 octobre 2018 de la doctoresse E._, on peut observer que sur de nombreux points, elle valide l'évaluation faite par le docteur D._. Ainsi, elle confirme que les plaintes de sa patiente rapportées par l'expert sont "exactes" et lui paraissent "complètes". Elle se déclare également d'accord avec la description des constatations objectives et les diagnostics retenus dans l'expertise. Elle admet qu'il n'y a globalement pas de changements importants de la capacité en lien avec les troubles psychiques entre fin 2010 et octobre 2018. Par contre, elle pense que les limitations psychiques sont plus importantes que ce que l'expert relève et estime qu'elles sont présentes en moyenne 3 à 4 jours par semaine. L'existence de limitations dans cette fréquence et régularité ne trouve toutefois pas de base dans les éléments objectifs mis en avant par le docteur D._.
5.5. Vu ce qui précède, la cour cantonale pouvait sans arbitraire se rallier aux conclusions du docteur D._ et constater que le taux d'empêchement dans l'accomplissement des tâches ménagères était resté de 30 % à partir du mois de décembre 2010.
6.
Mal fondé, le recours doit être rejeté. Les frais de procédure sont mis à la charge de la recourante (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de la recourante.
3.
Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal fribourgeois et à l'Office fédéral des assurances sociales.
Lucerne, le 25 février 2022
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
La Greffière : von Zwehl