Faits :
A.
A._, née en février 1963, mariée et mère de deux enfants adultes (nés en 1982 et 1984), a exercé une activité de femme de ménage à temps partiel parallèlement à la tenue de son propre ménage. En raison de douleurs à l'épaule droite ayant entraîné une incapacité de travail médicalement attestée dès le mois de juin 2015, elle a déposé une demande de prestations de l'assurance-invalidité en décembre 2015.
Durant la phase d'instruction, l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI) a notamment diligenté une enquête économique sur le ménage (rapport du 6 juin 2018). En se fondant sur les constatations de l'enquêtrice, selon lesquelles l'assurée avait un statut mixte de personne active à 22 % et de ménagère à 78 %, l'administration a, par décision du 21 mars 2019, rejeté la demande de prestations, motif pris d'un taux d'invalidité insuffisant pour ouvrir le droit à une rente. En bref, après avoir arrêté le début du délai d'attente au 17 septembre 2016, l'office AI a fixé le taux d'invalidité à 22 % du 17 septembre 2016 au 31 octobre 2017 (100 % d'empêchement dans la sphère professionnelle et 0 % d'empêchement dans l'accomplissement des travaux ménagers), à 0 % du 1er novembre au 31 décembre 2017, puis à 9,92 % dès le 1er janvier 2018 (45,08 % d'empêchement dans la sphère professionnelle et 0 % d'empêchement dans l'accomplissement des travaux ménagers).
B.
Statuant le 6 mars 2020 sur le recours formé par A._ contre la décision du 21 mars 2019, le Tribunal cantonal du canton de Fribourg, IIe Cour des assurances sociales, l'a partiellement admis. Il a réformé la décision litigieuse en ce sens que l'assurée a droit à une rente entière d'invalidité du 1er janvier 2017 au 28 février 2018 et a rejeté le recours pour le surplus (ch. I du dispositif). Il a réparti les frais de justice entre les parties, à raison de 200 fr. à la charge de l'office AI, et de 600 fr. à la charge de l'assurée (ch. II du dispositif), et dit que le montant dû par celle-ci devait être compensé avec l'avance de frais qu'elle avait versée, le solde de 200 fr. devant lui être restitué (ch. III du dispositif). La juridiction cantonale a également alloué à l'assurée une indemnité de dépens qu'elle a fixée à 1207 fr. 15 (ch. IV du dispositif).
C.
A._ interjette un recours en matière de droit public contre ce jugement. Elle conclut principalement à l'annulation de celui-ci et à la reconnaissance du droit à une rente entière de l'assurance-invalidité depuis le 1er juillet 2016. Elle requiert également que les frais de la procédure cantonale soient intégralement mis à la charge de l'office AI, ainsi que l'octroi d'une indemnité de dépens de 4828 fr. 55. Subsidiairement, l'assurée conclut à l'annulation des chiffres II à IV du dispositif du jugement cantonal. Elle demande à ce que la moitié des frais de la procédure de première instance soit mise à la charge de l'office AI, et à ce que celui-ci lui verse une indemnité de dépens de 2414 fr. 25.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il statue sur la base des faits retenus par la juridiction précédente (art. 105 al. 1 LTF), qu'il peut rectifier ou compléter d'office si des lacunes et erreurs manifestes apparaissent aussitôt (art. 105 al. 2 LTF). Le recourant n'est habilité à critiquer les constatations de fait que si les faits ont été établis de manière manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 97 al. 1 LTF), et si la correction du vice est susceptible d'influer sur le sort de la cause (cf. <ref-ruling> consid. 4.3 p. 62 et les références).
2.
2.1. Compte tenu des motifs et conclusions du recours, le litige a trait au droit de la recourante à une rente de l'assurance-invalidité du 1er juillet 2016 au 31 décembre 2016, puis dès le 1er mars 2018.
2.2. Le jugement entrepris expose de manière complète les dispositions légales et les principes jurisprudentiels relatifs notamment à la notion d'invalidité (art. 7 et 8 al. 1 LPGA, en lien avec l'art. 4 al. 1 LAI) et à son évaluation, en particulier s'agissant de la détermination du statut de l'assuré (art. 8 LPGA et art. 28a LAI) et de l'évaluation de l'invalidité des assurés exerçant une activité lucrative à temps partiel (méthode mixte; art. 28a al. 2 et 3 LAI et art. 16 LPGA). Il rappelle également les règles relatives à la valeur probante des rapports d'enquête économique sur le ménage (<ref-ruling> consid. 6.1 p. 61 s.) et à la libre appréciation des preuves (art. 61 let. c LPGA). Il suffit d'y renvoyer.
3.
3.1. La juridiction cantonale a d'abord admis que le début du droit à la rente (au sens de l'art. 29 en relation avec l'art. 28 al. 1 let. b LAI) devait être fixé au 1er juillet 2016 déjà (et non pas au 17 septembre 2016 comme retenu par l'office intimé). Elle a constaté ensuite que la capacité de travail de la recourante avait été nulle du 17 septembre 2016 au 30 novembre 2017, puis de 50 % dans une activité adaptée à partir du 1er décembre 2017. Conformément au résultat de l'enquête économique sur le ménage, le taux d'empêchement dans les travaux habituels était de 12,81 %, réduit à 0 % compte tenu de l'aide exigible des proches, évaluée à un taux entre 10 et 15 %. En application de la méthode mixte, elle a considéré que si l'assurée avait été en bonne santé, elle aurait travaillé à 70 % (et non pas à 22 % comme retenu par l'office intimé), le solde (30 %) étant destiné à l'accomplissement des travaux habituels. En conséquence, et en se fondant sur les revenus déterminants retenus par l'administration, les premiers juges ont admis que le taux d'invalidité était nul du 1er juillet au 16 septembre 2016, de 70 % du 17 septembre 2016 au 30 novembre 2017, de 21,55 % dès le 1er décembre 2017, puis de 31,55 % dès le 1er janvier 2018, compte tenu de l'application de la nouvelle réglementation relative à la méthode mixte dès cette date (art. 27bis al. 3 RAI). Partant, ils ont reconnu le droit de l'assurée à une rente entière d'invalidité du 1er janvier 2017 au 28 février 2018 (art. 88a al. 1 et 2 RAI).
3.2. Invoquant une violation des art. 16 LPGA et 28a al. 3 LAI, la recourante conteste d'abord l'évaluation de son taux d'invalidité dans la sphère ménagère, qui selon elle aurait dû être fixé à 35 %. Si l'assurée ne remet pas en cause l'évaluation faite par la juridiction cantonale de sa capacité de travail, elle soulève la question de l'application rétroactive à la date du début du droit à la rente, le 1er juillet 2016, de la nouvelle réglementation relative à la méthode mixte entrée en vigueur le 1er janvier 2018. La recourante fait également grief aux premiers juges d'avoir fixé le taux d'activité professionnelle à 70 %, alors qu'ils avaient admis que sans l'atteinte à la santé elle aurait exercé une activité professionnelle à un taux de 72 %. Ils n'auraient par ailleurs à tort pas procédé à un abattement sur le salaire statistique avec invalidité, la recourante faisant à cet égard valoir qu'une réduction globale de 20 % était en l'espèce justifiée, ce qui conduisait à une invalidité professionnelle de 56 %. Au vu de son statut de personne active à 72 % et de ménagère à 28 %, et en tenant compte d'une invalidité professionnelle de 56 % et d'une invalidité ménagère de 35 %, son taux d'invalidité aurait dû être fixé à 50,12 %, dès le début du droit à la rente, le 1er juillet 2016 ([72 % x 56 % = 42 %] + [28 % x 35 % = 9,8 %]). La recourante fait finalement valoir que la juridiction cantonale ne pouvait de toute manière pas supprimer son droit à la rente d'invalidité au 1er janvier 2018 sans l'avoir au préalable mise au bénéfice de mesures de réadaptation.
4.
4.1. En ce qui concerne la critique relative à l'évaluation des empêchements dans la sphère ménagère, la recourante remet en cause la valeur probante de l'enquête économique sur le ménage. Elle fait valoir que l'enquêtrice aurait commis une erreur lors de l'évaluation de son taux d'empêchement, car elle serait partie de l'idée que la limitation du port de charge à un kilo ne concernait que son bras droit alors que cette limitation affectait en réalité ses deux bras. Il ne serait par ailleurs pas conforme à la jurisprudence que l'enquêtrice se soit prononcée sur les effets des affections psychiques pour nier toute influence de ces troubles alors même que la psychiatre traitante avait pourtant fait état de limitations de la capacité de concentration et d'adaptation. La recourante se réfère également à un arrêt 9C_568/2017 du 11 janvier 2018 consid. 5.2, où un empêchement ménager de 34 % avait été retenu chez une assurée, qui, comme elle, était totalement incapable d'exercer son activité professionnelle de femme de ménage. Elle en déduit qu'en comparaison, elle présente un taux d'empêchement dans la sphère ménagère de 45 %; compte tenu du taux de l'aide exigible de son époux, fixé entre 10 et 15 % par la juridiction cantonale, son invalidité ménagère s'élèverait donc à 35 %.
4.2. S'agissant d'abord des critiques de la recourante quant à la valeur probante du rapport d'enquête économique sur le ménage, on constate, à la lecture de ce document, que son auteur a fait état des atteintes à la santé retenues par les médecins traitants de l'assurée à titre de diagnostics ayant une répercussion sur la capacité de travail (trouble dépressif récurrent, épisode actuel sévère sans symptômes psychotiques [F 33.2] et rupture irréparable des tendons supra-épineux et intra-épineux de l'épaule droite, notamment). L'enquêtrice avait donc connaissance des limitations et handicaps de l'assurée résultant des diagnostics médicaux. Ses constatations quant à l'absence d'empêchements déterminants dans l'accomplissement des travaux habituels en raison d'affections psychiques ne sont par ailleurs pas en contradiction avec l'avis de la psychiatre traitante, qui n'a pas fait état de limitations sur le plan ménager (rapport de la doctoresse B._, spécialiste en psychiatrie et psychothérapie, du 15 janvier 2018), et elles sont présentées de façon concluante (au sujet de la valeur probante d'une enquête économique sur le ménage lorsqu'il s'agit d'estimer les empêchements rencontrés dans les activités ménagères en raison de troubles d'ordre psychique, cf. arrêt 9C_925/2013 du 1er avril 2014 consid. 2.2 et les arrêts cités).
Sur le plan somatique, c'est également en vain que la recourante reproche à l'enquêtrice de ne pas avoir pris en compte que la limitation du port de charge à un kilo concernait tant son bras droit que son bras gauche. D'une part, selon les observations de l'enquêtrice et les informations que lui a données l'assurée, celle-ci ne présentait pas de douleurs ni de limitations en relation avec son épaule gauche. D'autre part, si le docteur C._, spécialiste en chirurgie orthopédique et traumatologie de l'appareil locomoteur, a certes mentionné une limitation fonctionnelle de l'épaule gauche (rapport du 18 octobre 2018), il n'a pas motivé son point de vue, comme l'ont dûment expliqué les premiers juges.
La recourante ne saurait ensuite rien tirer en sa faveur de son argumentation selon laquelle des limitations plus importantes, même pour certains travaux légers, devaient être retenues, en raison du fait qu'elle vit dans un petit appartement de trois pièces où il n'est pas possible d'adapter le rangement de manière à éviter tout mouvement au-dessus de la poitrine. A la lecture du rapport d'enquête économique sur le ménage, on constate en effet que des aménagements ont été effectués (mise en place d'un étendage sur le balcon, aménagement de la cuisine et réorganisation des placards et armoires pour avoir une meilleure accessibilité aux ustensiles, notamment), et que la recourante peut notamment ranger le matériel dans sa cuisine et son espace de lieu de vie de façon efficace, sûre et logique.
Dans ces circonstances, la juridiction cantonale était en droit de se fonder sur le rapport en cause pour évaluer l'étendue des empêchements ménagers de l'assurée.
4.3. C'est également en vain que la recourante se réfère à l'arrêt 9C_568/2017 du 11 janvier 2018 consid. 5.2 pour affirmer que son taux d'empêchement dans la sphère ménagère devait être fixé à 45 %, avant prise en compte de l'aide exigible de son époux, parce que "l'assurée genevoise [alors concernée] était [...] moins handicapée qu'elle-même". D'une part, comme l'a retenu le Tribunal fédéral dans l'arrêt cité, une activité professionnelle de femme de ménage ne peut pas être comparée à la tenue du foyer familial, de sorte qu'on ne saurait déduire des empêchements ménagers de l'incapacité de travail dans l'activité lucrative (cf. aussi I 593/03 du 13 avril 2005 consid. 5.3). D'autre part, le seul fait invoqué par la recourante qu'elle présente une limitation plus importante du port de charge que l'assurée concernée par la cause citée ne permet aucune conclusion quant aux empêchements dans les différentes activités ménagères, l'appréciation de ceux-ci nécessitant une approche globale de la situation concrète, telle qu'effectuée en l'espèce par l'enquêtrice. Dans ce contexte, les premiers juges n'ont pas fait preuve d'arbitraire en considérant que la recourante présentait un taux d'empêchement dans l'accomplissement des travaux ménagers "nul, à tout le moins négligeable" (soit un taux d'empêchement de 12,81 %, sous déduction d'une aide exigible de l'époux de l'ordre de 10 à 15 %). Le grief de la recourante tiré d'une "[v]iolation des art. 16 LPGA et 28a al. 3 LAI" en relation avec l'évaluation de son taux d'invalidité ménagère est dès lors mal fondé.
5.
5.1. S'agissant ensuite de la question soulevée par la recourante quant à l'application rétroactive, au 1er juillet 2016, de l'art. 27bis RAI, entré en vigueur le 1er janvier 2018, il y a lieu d'y répondre par la négative. La nouvelle réglementation relative à la méthode mixte ne peut pas être appliquée avec effet rétroactif dès lors qu'un tel effet n'est pas prévu par la loi (cf. le ch. II des dispositions transitoires de la modification du RAI du 1er décembre 2017, RO 2017 7581; voir aussi arrêt 9C_553/2017 du 18 décembre 2017 consid. 5 et 6.2).
5.2. La recourante reproche également aux premiers juges de ne pas avoir procédé à un abattement de 20 % sur le salaire statistique avec invalidité. A cet égard, elle fait valoir qu'un tel abattement aurait dû être opéré en raison notamment de son âge (56 ans au moment où la décision attaquée a été rendue) et du fait que les statistiques de l'Enquête suisse sur la structure des salaires (ESS) donnent un salaire médian au niveau national, sans tenir compte des disparités régionales.
5.2.1. L'argumentation de la recourante selon laquelle les premiers juges auraient dû procéder à un abattement en raison du fait que les salaires seraient "notoirement" moins élevés dans le canton de Fribourg, n'est pas fondée. La jurisprudence admet, de manière constante, que l'évaluation de l'invalidité repose sur des données statistiques lorsque la personne assurée n'exerce plus d'activité, ou aucune activité adaptée lui permettant de mettre pleinement en valeur sa capacité résiduelle de travail (<ref-ruling> consid. 5.2 p. 301 et les arrêts cités), et que le principe constitutionnel de l'égalité de traitement commande de recourir aux salaires statistiques ressortant de l'ESS, sans tenir compte de données salariales régionales, et à plus forte raison cantonales (arrêt 9C_535/2019 du 31 octobre 2019 consid. 4 et les arrêts cités). L'assurée ne met en évidence aucun élément qui justifierait de s'écarter de cette jurisprudence constante (sur les conditions d'un changement de jurisprudence, <ref-ruling> consid. 5.3.2 p. 77).
5.2.2. Même en prenant ensuite en considération un éventuel abattement en raison de l'âge, celui-ci pourrait être fixé à 10 % au plus en regard de ce seul critère, ce qui ne modifierait en rien l'issue du litige quant au taux d'invalidité déterminant pour l'ouverture ou le maintien du droit à la rente, comme il ressort de ce qui suit.
5.3. En ce qui concerne la répartition des champs d'activité, la recourante affirme à tort que la juridiction cantonale aurait admis un statut d'active à 72 % et de ménagère à 28 %. Le considérant du jugement entrepris auquel elle se réfère (consid. 6.1 ab initio) ne fait que mentionner l'argumentation de l'assurée sur ce point, tandis que les premiers juges ont ensuite retenu un statut d'active à 70 % sur la base d'une appréciation du dossier (consid. 6.1 in fine). Il n'y a dès lors pas lieu de "préciser le taux d'activité professionnelle", comme l'allègue en vain la recourante, sans présenter d'arguments susceptibles de démontrer le caractère arbitraire de cette appréciation.
En opérant un abattement de 10 % en raison de l'âge de la recourante sur le revenu résiduel, son taux d'invalidité global est insuffisant pour ouvrir le droit à une rente avant le 1er janvier 2017 et au-delà du 28 février 2018 (art. 28 al. 1 lit. c LAI). Compte tenu du statut d'active à 70 % et de ménagère à 30 %, ainsi que des autres constatations de la juridiction cantonale sur les revenus déterminants et les périodes et taux d'incapacité de travail - que la recourante ne conteste pas -, le calcul doit être effectué en prenant en compte un revenu sans invalidité de 49'516 fr. pour une activité à 100 % et un revenu avec invalidité de 54'384 fr.70 pour une activité à 100 % (soit 48'946 fr. 20, sous déduction d'un abattement de 10 %), et un taux d'incapacité de travail dans une activité adaptée de 100 % du 17 septembre 2016 au 30 novembre 2017, puis de 50 % à partir du 1er décembre 2017. Il en ressort un taux d'invalidité professionnelle de: 0 % du 1er juillet au 16 septembre 2016, 70 % du 17 septembre 2016 au 30 novembre 2017 (70 % x 100 % = 70 %), 29,39 % dès le 1er décembre 2017 ([34'661 fr. 20 fr. - 24'473 fr. 12] / [34'661 fr. 20 x 100]), puis 50,57 % dès le 1er janvier 2018 ([49'516 fr. - 24'473 fr. 12] / [49'516 fr. x 100]), compte tenu de l'art. 27bis al. 3 RAI dans sa teneur en vigueur dès cette date. Ce taux d'invalidité professionnelle de 50,57 % est insuffisant pour maintenir le droit à une rente au vu du taux d'invalidité ménagère de 0 % (consid. 4 supra), le taux d'invalidité global atteignant ainsi 35,39 % ([70 % x 50,57 %] + [30 % x 0 %]). Le recours est mal fondé sur ce point.
6.
En revanche, l'argumentation de la recourante selon laquelle la juridiction cantonale ne pouvait pas lui accorder une rente d'invalidité jusqu'au 28 février 2018 et supprimer par la suite le droit à cette prestation, sans que le besoin de mesures de réadaptation n'ait été examiné au préalable, est bien fondée. La jurisprudence considère qu'il existe des situations dans lesquelles il convient d'admettre que des mesures d'ordre professionnel sont nécessaires, malgré l'existence d'une capacité de travail médico-théorique. Il s'agit des cas dans lesquels la réduction ou la suppression, par révision (art. 17 al. 1 LPGA) ou reconsidération (art. 53 al. 2 LPGA), du droit à la rente concerne une personne assurée qui est âgée de 55 ans révolus ou qui a bénéficié d'une rente pendant quinze ans au moins. Cette jurisprudence qui est également applicable lorsque l'on statue sur la limitation et/ou l'échelonnement en même temps que sur l'octroi de la rente (<ref-ruling> consid. 5 p. 211 ss), ne signifie pas que la personne assurée peut se prévaloir d'un droit acquis; il est seulement admis qu'une réadaptation par soi-même ne peut, sauf exception, être exigée d'elle en raison de son âge ou de la durée du versement de la rente. Dans de telles situations, l'office de l'assurance-invalidité doit vérifier dans quelle mesure l'assuré a besoin de la mise en oeuvre de mesures d'ordre professionnel, même si ce dernier a recouvré une capacité de travail et indépendamment du taux d'invalidité qui subsiste (cf. arrêts 9C_308/2018 du 17 août 2018 consid. 5.2; 9C_517/2016 du 7 mars 2017 consid. 5.2 et les arrêts cités).
En l'espèce, la recourante, née en février 1963, avait 55 ans révolus tant au moment où les premiers juges lui ont reconnu le droit à une rente entière d'invalidité limitée dans le temps (le 6 mars 2020) que lors de la suppression du droit à cette prestation (à fin février 2018), si bien que la question de savoir à quel moment la condition afférente à l'âge doit être remplie (date de la suppression du droit à la prestation, date à laquelle la décision a été rendue, ou date où les constatations médicales déterminantes figurent au dossier [en l'espèce, le 18 octobre 2018, en référence au dernier rapport du docteur C._]) peut être laissée ouverte (comme déjà dans l'<ref-ruling> consid. 5.4 in fine p. 214 et les arrêts 8C_648/2019 du 4 juin 2020 consid. 5.1 et 9C_574/2019 du 16 octobre 2019 consid. 3.2, notamment). La recourante a donc droit à ce que le besoin de mesures de réadaptation soit examiné avant la suppression de sa rente. Cet examen n'a pas été effectué par la juridiction cantonale, ni au demeurant par l'intimé compte tenu de sa décision. En particulier, toute constatation sur l'exigibilité d'une réadaptation par soi-même (exceptionnelle) fait défaut. La cause doit dès lors être renvoyée à l'office AI pour qu'il vérifie l'octroi de mesures d'ordre professionnel à l'assurée. Il y a ainsi lieu d'annuler le jugement attaqué en tant qu'il porte sur la suppression du droit à la rente entière d'invalidité au 28 février 2018.
7.
Compte tenu de l'issue du litige en instance fédérale, la cause est renvoyée à la juridiction cantonale pour nouvelle décision sur les frais et les dépens de la procédure antérieure. La conclusion de la recourante quant à une nouvelle répartition des frais et dépens de la procédure cantonale et celle tendant à l'augmentation du montant des dépens réduits qui lui ont été accordés par les premiers juges, de 1207 fr. 15 à 4828 fr. 55, subsidiairement à 2414 fr. 25 deviennent ainsi sans objet.
8.
Vu le renvoi ordonné, qui revient à donner gain de cause à la recourante, les frais judiciaires y afférents doivent être mis à la charge de l'intimé (art. 66 al. 1 LTF). Celui-ci versera par ailleurs une indemnité de dépens à la recourante (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. La décision du Tribunal cantonal du canton de Fribourg, IIe Cour des assurances sociales, du 6 mars 2020 est annulée en tant qu'elle porte sur la suppression du droit à la rente à partir du 28 février 2018. La cause est renvoyée à l'Office de l'assurance-invalidité du canton de Fribourg pour instruction complémentaire au sens des considérants et nouvelle décision. Le recours est rejeté pour le surplus.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de l'intimé.
3.
L'intimé versera à la recourante la somme de 2800 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
La cause est renvoyée au Tribunal cantonal du canton de Fribourg, II e Cour des assurances sociales pour nouvelle décision sur les frais et les dépens de la procédure antérieure.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, II e Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 18 décembre 2020
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
La Greffière : Perrenoud