Faits :
A.
A la suite d'une chute sur une plaque de glace survenue en janvier 2016 et ayant occasionné des lésions du poignet droit, A._, née en 1965, a déposé une demande de prestations de l'assurance-invalidité au mois de juillet 2016.
Entre autres mesures d'instruction, l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI) a fait verser au dossier ceux de l'assureur-accidents et de l'assureur perte de gain en cas de maladie. Il a également ordonné une évaluation auprès du centre d'intégration socioprofessionnelle (CIS) de Fribourg (rapport du 31 mai 2017), puis a diligenté une enquête ménagère (rapport du 3 octobre 2018), dont il a inféré que l'assurée avait un statut mixte de personne active à 53 % et de ménagère à 47 %. Après avoir octroyé une aide au placement à l'assurée (communication du 16 avril 2019), l'administration lui a reconnu le droit à une demi-rente d'invalidité du 1er janvier au 31 novembre 2017 (taux d'invalidité de 58 % [57,75 %]), puis à trois quarts de rente du 1er au 31 décembre 2017 (taux d'invalidité de 67 % [67,15 %]), par décisions du 3 juillet 2020. Dès le 1er janvier 2018, le taux d'invalidité s'élevait à 35 % (35,15 %), insuffisant pour maintenir le droit à une rente.
B.
Statuant le 21 mai 2021 sur le recours formé par A._ contre ces décisions, le Tribunal cantonal du canton de Fribourg, Ie Cour des assurances sociales, l'a rejeté.
C.
A._ interjette un recours en matière de droit public contre cet arrêt, dont elle demande l'annulation. Elle requiert le renvoi de la cause à l'office AI pour complément d'instruction et nouvelle décision "dans le sens du présent recours". Elle sollicite également le bénéfice de l'assistance judiciaire.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit :
1.
Même si la recourante se limite à prendre des conclusions cassatoires, son recours en matière de droit public, qui se caractérise comme un recours en réforme (art. 107 al. 2 LTF), est recevable. Il ressort en effet, à la lecture du mémoire de recours, qu'elle remet en cause le refus de l'intimé de lui octroyer une rente d'invalidité au-delà du 31 décembre 2017 (ATF 137 II 313 consid. 1.3 et les références).
2.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF, et statue par ailleurs sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut pas être pris en considération.
3.
Du point de vue temporel, le droit applicable est déterminé par les règles en vigueur au moment où les faits juridiquement déterminants se sont produits, étant précisé que le juge n'a en principe pas à prendre en considération les modifications du droit postérieures à la date déterminante de la décision administrative litigieuse (ATF 136 V 24 consid. 4.3; 130 V 445 consid. 1; 129 V 1 consid. 1.2). Dans la mesure où ladite décision a en l'espèce été rendue avant l'entrée en vigueur, le 1er janvier 2022, de la modification de la loi fédérale sur l'assurance-invalidité du 19 juin 2020 (Développement continu de l'AI; RO 2021 705), le droit applicable est celui en vigueur jusqu'au 31 décembre 2021.
4.
Les constatations de l'autorité cantonale de recours sur l'atteinte à la santé, la capacité de travail de la personne assurée et l'exigibilité - pour autant qu'elles ne soient pas fondées sur l'expérience générale de la vie - relèvent d'une question de fait et ne peuvent donc être contrôlées par le Tribunal fédéral que sous un angle restreint (ATF 132 V 393 consid. 3.2). On rappellera, en particulier, qu'il n'y a pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale semble concevable, voire préférable (ATF 141 I 70 consid. 2.2; 140 I 201 consid. 6.1). Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (ATF 141 I 49 consid. 3.4).
5.
5.1. Le litige a trait au maintien du droit de la recourante à une rente de l'assurance-invalidité au-delà du 31 décembre 2017.
5.2. L'arrêt attaqué expose de manière complète les dispositions légales et les principes jurisprudentiels relatifs notamment à la notion d'invalidité (art. 7 et 8 al. 1 LPGA en relation avec l'art. 4 al. 1 LAI) et à son évaluation (art. 16 LPGA et art. 28a LAI), à l'examen des rentes temporaires d'invalidité sous l'angle de la révision du droit aux prestations durables (art. 17 LPGA, art. 88a RAI; ATF 131 V 164 consid. 2.2), ainsi qu'à la valeur probante des rapports médicaux (ATF 134 V 231 consid. 5.1; 125 V 351 consid. 3) et à la libre appréciation des preuves (art. 61 let. c LPGA). Il suffit d'y renvoyer.
6.
6.1. Dans une première argumentation, la recourante reproche aux premiers juges d'avoir procédé à une appréciation arbitraire des preuves pour admettre qu'elle ne présentait plus de préjudice économique à compter du 1er janvier 2018. Elle allègue que son incapacité totale de travail aurait été médicalement attestée au moins jusqu'en décembre 2020 et qu'au vu des appréciations médicales divergentes, il existait un doute suffisant pour justifier la mise en oeuvre d'une expertise.
6.2. Contrairement à ce qu'affirme d'abord la recourante, la juridiction de première instance n'a pas "écarté" les avis des docteurs B._, spécialiste en chirurgie, C._, spécialiste en chirurgie de la main et en chirurgie plastique, reconstructive et esthétique, et D._, spécialiste en anesthésiologie et en traitement interventionnel de la douleur.
Pour confirmer la conclusion de l'intimé, selon laquelle la recourante était en mesure de travailler dans une activité adaptée à 100 %, avec une diminution de rendement de 20 %, dès janvier 2018, la juridiction cantonale n'a pas limité son examen aux avis des médecins du Service médical régional de l'AI (SMR). S'agissant d'abord du docteur B._, les premiers juges ont constaté qu'il avait attesté, dans un rapport du 7 septembre 2017, qu'une activité adaptée à 50 % était exigible de l'assurée; ces conclusions devaient cependant être considérées avec retenue parce qu'elles reposaient en partie du moins sur des facteurs extra-médicaux. Le docteur C._ avait, pour sa part, considéré que la recourante pouvait exercer à plein temps et sans diminution de rendement une activité mono-manuelle (à gauche) ou très légère avec la main droite (moins de 3-5 kg; rapport du 19 mars 2018).
Quant au docteur D._, qui avait indiqué qu'une activité permettant de ne pas utiliser le membre supérieur droit était exigible à temps partiel, à un pourcentage débutant à 25 % (rapport du 10 avril 2018), la juridiction cantonale a expliqué qu'elle ne pouvait pas se fonder sur son avis car il n'était pas motivé. A cet égard, force est d'admettre que le docteur D._ ne s'est pas clairement prononcé au sujet de la capacité de travail de sa patiente. Nonobstant un pronostic "sombre" quant à la capacité de travail de l'assurée, le médecin a indiqué qu'elle était, à sa connaissance, en arrêt de travail à 100 %, mais qu'il ne s'était "personnellement pas occupé de cet aspect", tout en précisant qu'il ne disposait d'aucune information sur sa situation professionnelle. Par la suite, si le docteur D._ a fait part de ses doutes quant à l'aptitude de la recourante à exercer l'activité considérée comme adaptée par les organes de l'assurance-invalidité (activité d'ouvrière dans la production industrielle légère pour du montage ou du conditionnement, par exemple, à 100 %, avec une diminution de rendement de 20 %), il a justifié son point de vue par l'incapacité de l'intéressée à effectuer une activité professionnelle nécessitant une utilisation régulière du membre supérieur droit (rapport du 30 avril 2019). Or quoi qu'en dise l'assurée, ces constatations se recoupent non seulement avec celles du docteur C._ (rapport du 19 mars 2018), mais également avec celles des médecins du SMR, qui ont indiqué que l'activité adaptée devait être mono-manuelle (rapports des docteurs E._, spécialiste en chirurgie, des 30 novembre 2017 et 10 juillet 2018, et F._, spécialiste en médecine interne générale, du 24 octobre 2019).
6.3. L'argumentation de la recourante, selon laquelle le "passage" d'une demi-rente à trois quarts de rente (en décembre 2017) juste avant la suppression de son droit (au 1er janvier 2018) serait difficile à comprendre, n'est pas davantage fondée. Comme l'ont dûment expliqué les premiers juges, à la suite de l'office intimé, l'augmentation du taux d'invalidité de 57,75 % à 67,15 % le 1er décembre 2017 est due à l'absence de prise en compte de l'aide exigible de son concubin pour évaluer l'invalidité dans la sphère ménagère dès l'hospitalisation de celui-ci survenue en décembre 2017. Pour le surplus, la recourante ne conteste pas l'évaluation de ses empêchements ménagers.
6.4. En conséquence de ce qui précède, il n'y a pas lieu de s'écarter des constatations de la juridiction cantonale, selon lesquelles l'état de santé de l'assurée s'était amélioré à la fin de l'été 2017, dès lors qu'elle était, malgré ses limitations fonctionnelles de la main droite et indépendamment de toute éventuelle intervention sur celle-ci, en mesure d'exercer une activité mono-manuelle en engageant la main gauche. En ce qu'elle tend à affirmer que la mise en oeuvre de mesures d'instruction complémentaires pourrait apporter des renseignements supplémentaires, l'argumentation de l'assurée n'est pas suffisante pour mettre en évidence en quoi la juridiction cantonale aurait procédé de manière arbitraire à une appréciation anticipée des preuves (à ce sujet, voir ATF 140 I 285 consid. 6.3.1) ou aurait établi les faits de manière incomplète. Le recours est mal fondé sur ce point.
7.
7.1. Dans un second moyen, l'assurée soutient que ni l'office AI, ni à sa suite les premiers juges, n'auraient examiné la nécessité de mettre en oeuvre des mesures d'ordre professionnel préalablement à l'octroi d'une rente d'invalidité limitée dans le temps, alors même qu'elle avait 55 ans au moment où la décision administrative du 3 juillet 2020 a été rendue.
7.2. La jurisprudence considère qu'il existe des situations dans lesquelles il convient d'admettre que des mesures d'ordre professionnel sont nécessaires, malgré l'existence d'une capacité de travail médico-théorique. Il s'agit des cas dans lesquels la réduction ou la suppression, par révision (art. 17 al. 1 LPGA) ou reconsidération (art. 53 al. 2 LPGA), du droit à la rente concerne une personne assurée qui est âgée de 55 ans révolus ou qui a bénéficié d'une rente pendant quinze ans au moins. Cette jurisprudence qui est également applicable lorsque l'on statue sur la limitation et/ou l'échelonnement en même temps que sur l'octroi de la rente (ATF 145 V 209 consid. 5), ne signifie pas que la personne assurée peut se prévaloir d'un droit acquis; il est seulement admis qu'une réadaptation par soi-même ne peut, sauf exception, être exigée d'elle en raison de son âge ou de la durée du versement de la rente. Dans de telles situations, l'office de l'assurance-invalidité doit vérifier dans quelle mesure l'assuré a besoin de la mise en oeuvre de mesures d'ordre professionnel, même si ce dernier a recouvré une capacité de travail et indépendamment du taux d'invalidité qui subsiste (cf. arrêts 9C_211/2021 du 5 novembre 2021 consid. 3.1; 9C_276/2020 du 18 décembre 2020 consid. 6 et les arrêts cités).
7.3. En l'espèce, la recourante, née en mai 1965, avait 55 ans révolus au moment où l'office intimé lui a reconnu le droit à une rente entière d'invalidité limitée dans le temps (le 3 juillet 2020; cf. ATF 141 V 5 consid. 4.2.1; arrêts 9C_748/2020 du 22 mars 2021 consid. 2.2; 9C_473/2019 du 25 février 2020 consid. 5.2.1). Elle a donc droit à ce que le besoin de mesures de réadaptation soit examiné avant la suppression de son droit à la rente. Cet examen n'a pas été effectué par la juridiction cantonale, ni au demeurant par l'intimé. En particulier, toute constatation sur l'exigibilité (exceptionnelle) d'une réadaptation par soi-même fait défaut. La cause doit dès lors être renvoyée à l'office AI pour qu'il vérifie l'octroi de mesures d'ordre professionnel à l'assurée. Il y a ainsi lieu d'annuler l'arrêt attaqué en tant qu'il porte sur la suppression du droit à la rente d'invalidité au 31 décembre 2017. Le recours est bien fondé sur ce point.
8.
Vu le renvoi ordonné, qui revient à donner gain de cause à la recourante, les frais judiciaires y afférents doivent être mis à la charge de l'intimé (art. 66 al. 1 LTF). Celui-ci versera par ailleurs une indemnité de dépens à la recourante (art. 68 al. 1 LTF). La demande d'assistance judiciaire de la recourante est dès lors sans objet.
Compte tenu de l'issue du litige en instance fédérale, la cause est renvoyée à la juridiction cantonale pour nouvelle décision sur les frais et les dépens de la procédure antérieure (art. 67 et 68 al. 5 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. L'arrêt du Tribunal cantonal du canton de Fribourg, Ie Cour des assurances sociales, du 21 mai 2021 et les décisions de l'Office de l'assurance-invalidité du canton de Fribourg du 3 juillet 2020 sont annulés en tant qu'ils portent sur la suppression du droit à la rente à partir du 31 décembre 2017. La cause est renvoyée à l'office intimé pour instruction complémentaire au sens des considérants et nouvelle décision. Le recours est rejeté pour le surplus.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de l'intimé.
3.
L'intimé versera à l'avocat de la recourante la somme de 2800 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
La cause est renvoyée au Tribunal cantonal du canton de Fribourg, Ie Cour des assurances sociales, pour nouvelle décision sur les frais et les dépens de la procédure antérieure.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Ie Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 25 mars 2022
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
La Greffière : Perrenoud