Faits :
A.
A.a. A._, née en 1978, mariée et mère de trois enfants, a travaillé en qualité de vendeuse et gérante adjointe au sein d'un commerce franchisé. Incapable de travailler à compter du 3 septembre 2015, elle a, le 13 novembre suivant, déposé une demande de prestations de l'assurance-invalidité auprès de l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI), arguant souffrir d'une spondylarthrite ankylosante. Par la suite, elle a précisé suivre une psychothérapie.
L'office AI a notamment confié une expertise bidisciplinaire au Bureau d'expertises médicales (BEM). Le docteur B._, spécialiste en médecine interne générale et en rhumatologie, et la doctoresse C._, spécialiste en psychiatrie et psychothérapie, ont rendu leur rapport le 18 février 2019. Ils ont retenu les diagnostics invalidants de spondylite ankylosante, de syndrome douloureux chronique, de syndrome du canal carpien bilatéral à prédominance droite et d'épisode dépressif moyen sans syndrome somatique. Sur le plan somatique, les experts ont conclu que la capacité de travail était nulle dans l'activité habituelle depuis le 3 septembre 2015; à partir de cette date, la capacité de travail était en revanche de 70 % dans une activité adaptée à certaines limitations fonctionnelles, sans perte de rendement. Au plan psychique, la capacité de travail était, depuis septembre 2014, de 70 % tant dans l'activité habituelle que dans une autre activité adaptée à l'état psychique de l'assurée. Les experts ont précisé que les incapacités de travail somatique et psychique ne s'additionnaient pas. Ils ont pris position sur les observations de l'assurée dans un rapport complémentaire du 29 novembre 2019.
Par décision du 9 décembre 2019, l'office AI a rejeté la demande de prestations de l'assurée, motif pris que le taux d'invalidité de 33 % était insuffisant pour ouvrir le droit à une rente d'invalidité.
B.
Saisie d'un recours contre la décision de l'office AI, la I re Cour des assurances sociales du Tribunal cantonal du canton de Fribourg l'a rejeté par arrêt du 4 mars 2021.
C.
A._ interjette un recours en matière de droit public contre cet arrêt, en concluant à sa réforme en ce sens qu'une rente entière d'invalidité lui soit octroyée. A titre subsidiaire, elle conclut à l'annulation de l'arrêt entrepris et de la décision du 9 décembre 2019, avec renvoi de la cause à l'office AI pour complément d'instruction et nouvelle décision. Elle sollicite en outre le bénéfice de l'assistance judiciaire.
L'office AI se réfère à l'arrêt cantonal, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
1.1. Le Tribunal fédéral, qui est un juge du droit, fonde son raisonnement juridique sur les faits retenus par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2) - ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (<ref-law>); à défaut, un état de fait divergent de celui de la décision attaquée ne peut pas être pris en compte (<ref-ruling> consid. 2 précité; <ref-ruling> consid. 5.2.2).
1.2. Les constatations de l'autorité cantonale de recours sur l'atteinte à la santé, la capacité de travail de la personne assurée et l'exigibilité - pour autant qu'elles ne soient pas fondées sur l'expérience générale de la vie - relèvent d'une question de fait et peuvent donc être contrôlées par le Tribunal fédéral uniquement sous l'angle restreint de l'arbitraire (<ref-ruling> consid. 2.4; <ref-ruling> consid. 3.4.2.3; <ref-ruling> consid. 3.2). L'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier, ou lorsque l'autorité ne tient pas compte, sans raison sérieuse, d'un élément propre à modifier la décision, se trompe sur le sens et la portée de celui-ci ou, se fondant sur les éléments recueillis, en tire des conclusions insoutenables (<ref-ruling> consid. 2.3). Il n'y a pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale semble concevable, voire préférable (<ref-ruling> consid. 4.4; <ref-ruling> consid. 2.2; <ref-ruling> consid. 6.1). Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (<ref-ruling> consid. 5.1.1; <ref-ruling> consid. 6.1; <ref-ruling> consid. 3.4).
2.
2.1. Le litige porte sur le droit de la recourante à une rente d'invalidité, plus particulièrement, au regard des motifs du recours, sur sa capacité de travail dans une activité adaptée à ses limitations fonctionnelles.
2.2. L'arrêt attaqué expose de manière complète les dispositions légales et la jurisprudence relatives à la notion d'invalidité (<ref-law> en relation avec l'<ref-law>), à son évaluation d'après la méthode ordinaire de comparaison des revenus (<ref-law>; <ref-ruling>; <ref-ruling> consid. 3b et 5), ainsi qu'à l'appréciation des preuves, en particulier s'agissant de la valeur probante des rapports médicaux (<ref-ruling> consid. 3; cf. aussi <ref-ruling> consid. 2.2.2; <ref-ruling> consid. 5.1). Il suffit d'y renvoyer.
3.
La cour cantonale a constaté que selon les experts du BEM, la recourante était, sur le plan somatique, apte à travailler à 70 % dans une activité adaptée sans port fréquent de charges supérieures à 5 kilos, sans sollicitation répétitive des ceintures scapulaires ni des articulations des poignets et des doigts, sans surcharge mécanique du rachis ni des articulations portantes et sans station prolongée en position debout, assise ou accroupie. Au plan psychique, les experts avaient relevé que l'intéressée était en mesure de travailler à 70 % tant dans l'ancienne activité que dans une autre activité avec peu de responsabilités et nécessitant peu de capacité d'adaptation et d'apprentissage. Sur la base des pièces du dossier et des déclarations de la recourante, ils s'étaient prononcés en toute connaissance de l'historique tant médical que social, économique et familial de l'assurée. Toujours selon l'instance précédente, les experts, qui avaient procédé à des examens somatique (2,45 heures) et psychiatrique (2 heures) complets, avaient suffisamment motivé leurs conclusions. Par ailleurs, on ne pouvait pas leur reprocher de ne pas avoir pris contact directement avec les médecins traitants de la recourante, aucune clarification n'ayant été nécessaire, ni de s'être fondés sur des rapports d'imagerie médicale au dossier sans avoir procédé à de nouveaux examens, à l'exception d'un taux sérique, ou encore d'avoir rendu une expertise à "caractère ponctuel".
La juridiction cantonale a ensuite relevé que la doctoresse D._, spécialiste en rhumatologie et médecin traitant, ne partageait pas l'avis des experts du BEM. Cette spécialiste avait posé le diagnostic de spondylarthrite ankylosante, voire d'arthrite psoriasique, et considérait que la recourante n'était plus en mesure de travailler dans une quelconque activité; même une occupation dans l'industrie légère était utopique compte tenu des positions stationnaires et prolongées et de la manutention fine qu'impliquait une telle activité. Selon la doctoresse D._, la recourante ne pouvait travailler que quatre heures par jour dans une activité adaptée permettant l'alternance des positions assise/debout et la prise de pauses, et évitant les mouvements répétitifs, le port de charges ainsi que les positions inclinée et accroupie. Les premiers juges ont toutefois considéré que les experts du BEM avaient écarté à raison le diagnostic d'arthrite psoriasique, en se référant aux critères de classification de CASPAR (Classification Criteria for Psoriatic Arthritis). Au demeurant, la doctoresse D._ admettait expressément que cette controverse diagnostique n'avait pas d'incidence sur la question de la capacité de travail. En revanche, elle avait perçu les limitations fonctionnelles de la recourante plus sévèrement que les experts. Il ressortait pourtant du dossier que la recourante était en mesure - bien qu'à son rythme et avec l'aide de ses enfants - de prendre en charge un ménage de cinq personnes, d'assurer la préparation des repas, de faire la vaisselle, le nettoyage du linge et le repassage, ainsi que le nettoyage de l'appartement (aspirateur et panosse) et les commissions. Dès lors que de telles tâches seraient impossibles à réaliser si l'on devait suivre les conclusions de la doctoresse D._, ses conclusions, en contradiction avec le quotidien de la recourante, n'étaient pas convaincantes. La cour cantonale a encore précisé qu'il n'était pas nécessaire d'examiner de manière séparée les conclusions du docteur E._, médecin praticien et médecin traitant, qui étaient peu détaillées et se rattachaient à l'avis de la doctoresse D._. Les juges cantonaux ont finalement retenu que les conclusions des experts du BEM étaient plus convaincantes et mieux motivées, de sorte qu'elles devaient être suivies.
En tenant compte des limitations fonctionnelles décrites par les experts du BEM dans une activité adaptée exercée à 70 %, le tribunal cantonal a fixé à 32 % le degré d'invalidité en fonction de la comparaison des revenus déterminants.
4.
4.1. La recourante, se plaignant d'une violation du droit d'être entendu et d'un établissement manifestement inexact des faits au sens de l'<ref-law>, reproche tout d'abord à la cour cantonale d'avoir occulté un rapport médical du 17 février 2020 émanant du docteur F._, rhumatologue établi à l'étranger. Dans ce rapport, ce médecin aurait, sur la base de ses propres observations cliniques effectuées à l'occasion d'un séjour de la recourante à l'étranger, confirmé le diagnostic d'arthrite psioriasique posé par la doctoresse D._ et le docteur E._. Selon la recourante, l'avis médical du docteur F._ "mett[rait] encore plus à mal" l'appréciation du docteur B._ du BEM, tant sur le plan diagnostique que s'agissant des limitations fonctionnelles de la recourante; le docteur F._ aurait notamment retenu un port de charges limité à trois kilos, et non à cinq kilos comme retenu par le docteur B._. En faisant fi du rapport du docteur F._, les premiers juges auraient versé dans l'arbitraire.
4.2. L'arrêt entrepris ne fait effectivement pas mention du rapport du docteur F._ du 17 février 2020 produit par la recourante en procédure cantonale. Cela étant, dans ce rapport succinct, le médecin se limite à confirmer le diagnostic d'arthrite psoriasique posé par la doctoresse D._, dont l'avis sur cette question a été présenté de manière détaillée par la juridiction cantonale. Celle-ci a également fait référence à l'avis du docteur E._, qui a fait état d'une "spondylarthropathie probablement de type arthrite psoriasique". L'absence de prise en considération du rapport du docteur F._ n'a pas empêché l'autorité de première instance de se prononcer en connaissance de cause sur le diagnostic d'arthrite psoriasique, étant précisé au demeurant que la doctoresse D._ a indiqué, dans un rapport du 14 janvier 2020, que le diagnostic retenu - arthrite psoriasique ou spondylarthtrite ankylosante - ne changeait rien au handicap et à l'incapacité de travail découlant de la maladie de la recourante. Il en va de même de l'absence de mention, par les premiers juges, des limitations fonctionnelles décrites de manière très concise par le docteur F._ dans son rapport du 17 février 2020. Ils ont en effet tenu compte des limitations fonctionnelles retenues par les experts du BEM et la doctoresse D._, qui incluent celles relatives au port de charges et aux positions de travail mises en évidence par le docteur F._. Les griefs tirés d'une violation du droit d'être entendu et d'un établissement manifestement inexact des faits sont donc infondés.
5.
5.1. La recourante reproche ensuite à la cour cantonale de ne pas s'être réellement prononcée sur un rapport d'évaluation d'impotence du 6 septembre 2020 et sur un projet de décision de l'intimé du 14 septembre 2020 lui octroyant une allocation pour impotent de degré faible à domicile. Le contenu de ces documents remettrait en cause les observations du docteur B._, selon lesquelles la recourante ne serait pas impotente et serait capable d'accomplir plusieurs tâches ménagères. La recourante soutient qu'au vu du rapport d'évaluation d'impotence décrivant son quotidien, les premiers juges ne pouvaient pas retenir qu'elle était en mesure de prendre en charge un ménage de cinq personnes. Le tribunal cantonal aurait ainsi sombré dans l'arbitraire en méconnaissant la portée, le contenu et l'importance du rapport d'évaluation d'impotence du 6 septembre 2020 et du projet de décision du 14 septembre 2020.
5.2. La juridiction cantonale a décrit les actes de la vie quotidienne que pouvait effectuer la recourante en se référant au rapport d'évaluation d'impotence du 6 septembre 2020. Ses constatations concernant la prise en charge par la recourante d'un ménage de cinq personnes et les tâches ménagères dont celle-ci s'acquitterait avec leur assistance sont toutefois issues du rapport d'expertise du BEM du 18 février 2019, non du rapport d'évaluation d'impotence en question. Cela étant, il ressort bien de ce rapport d'expertise que la recourante a fait savoir au cours de l'expertise qu'elle assumait les tâches inhérentes à un ménage de cinq personnes, si besoin avec l'aide de ses enfants et de son époux, assurant notamment la préparation des repas, la vaisselle, diverses activités de nettoyage ainsi que les commissions. Cette description des activités ménagères effectuées par la recourante est dans une large mesure compatible avec celle du rapport d'évaluation d'impotence, selon laquelle l'assurée nécessite l'aide de son époux et de ses enfants pour certains travaux ménagers plus lourds. C'est donc sans arbitraire que la cour cantonale a apprécié ce moyen de preuve. Il en va de même du projet de décision de l'intimé du 14 septembre 2020, qui a trait à une allocation pour impotent dont les conditions d'octroi divergent de celles d'une rente d'invalidité (cf. <ref-law>). Le grief de la recourante est ainsi mal fondé.
6.
6.1. Dans un dernier grief, la recourante conteste la valeur probante de l'expertise du BEM. Selon elle, l'indépendance du BEM par rapport à l'office AI ne serait pas garantie, dès lors que ce bureau d'expertise - qui poursuivrait un but économique - aurait été créé par une ancienne médecin du Service médical régional (SMR) de l'assurance-invalidité, puis racheté par l'un de ses anciens collègues du SMR. La recourante se plaint par ailleurs du fait que l'expertise reposerait seulement sur deux examens médicaux ponctuels (rhumatologique et psychiatrique) de sa personne, ce qui ne serait pas suffisant pour définir précisément et objectivement sa capacité de travail médico-théorique, comme souligné par la doctoresse D._, qui la suivrait elle depuis six ans. La recourante soutient en outre que le docteur B._ aurait dû s'entretenir avec la doctoresse D._ en vue d'obtenir une description précise des fluctuations de son état de santé, et que les experts du BEM auraient dû procéder eux-mêmes à l'examen de clichés radiologiques et non se contenter de la simple lecture des rapports d'imagerie.
La recourante reproche encore au docteur B._ d'avoir écarté le diagnostic d'arthrite psoriasique, pourtant posé par trois médecins, en se référant à un rapport dermatologique obsolète établi en 2016 et sans avoir requis un nouvel avis médical d'un confrère dermatologue. Par ailleurs, le docteur B._ aurait affirmé que les critères CASPAR n'étaient pas remplis sans fournir plus de précisions. Comme expliqué par la doctoresse D._, ces critères de classification ne pourraient quoi qu'il en soit pas être utilisés pour poser un diagnostic. Se fondant sur le rapport d'évaluation d'impotence du 6 septembre 2020 et l'avis de la doctoresse D._, la recourante répète ne pas être en mesure de prendre en charge un ménage de cinq personnes, dès lors qu'elle nécessiterait une assistance pour toutes sortes de tâches quotidiennes. Elle conteste disposer d'une capacité de travail de 70 % dans une activité adaptée à ses limitations fonctionnelles. Dans le complément d'expertise du 29 novembre 2019, le docteur B._ ne se serait pas déterminé sur l'avis de la doctoresse D._. Selon la recourante, celle-ci aurait notamment préconisé la mise en place d'un stage d'observation professionnel aux fins de définir sa capacité de travail médico-théorique. La recourante soutient qu'au vu des appréciations divergentes du docteur B._ et de la doctoresse D._, les juges cantonaux auraient dû ordonner une expertise judiciaire comprenant un bilan ergothérapeutique. Elle souligne que même en tenant compte des limitations fonctionnelles décrites par les experts du BEM, on peinerait à déterminer quelles activités seraient concrètement envisageables dans l'industrie légère, au vu de ses difficultés dans la manutention fine. Aux termes de l'évaluation de la doctoresse D._ et du rapport d'évaluation d'impotence, l'existence d'un emploi adapté à son état de santé serait même utopique. Dans ces conditions, l'office AI aurait dû solliciter l'avis de son responsable du service de réadaptation pour déterminer si un tel emploi existait. La recourante reproche enfin à la doctoresse C._ du BEM de ne pas avoir mis en oeuvre un examen neuropsychologique et de ne pas avoir approfondi son lourd passé psychiatrique.
6.2. Le seul fait allégué par la recourante que le BEM ait été fondé et soit géré par d'anciens médecins du SMR ne suffit pas à mettre en cause l'indépendance des médecins y travaillant ni à dénier toute valeur probante à leurs expertises. Il ne s'agit pas d'un fait qui mettrait en évidence un lien de subordination entre le centre d'expertises et l'assurance-invalidité. Quoi qu'en dise ensuite la recourante, le rapport du 18 février 2019 - complété le 29 novembre 2019 - repose sur des examens complets, est motivé et exempt de contradictions, de sorte qu'il répond aux exigences posées par la jurisprudence en la matière (cf. consid. 2.2). Dans leur complément d'expertise du 29 novembre 2019, les experts du BEM ont en outre expliqué de manière convaincante pour quelle raison l'analyse de clichés radiologiques n'avait pas été nécessaire, dès lors que celle des rapports d'imagerie était en adéquation avec leurs propres constatations cliniques. Par ailleurs, on ne saurait reprocher aux experts du BEM de s'être uniquement appuyés sur des examens cliniques ponctuels pour aboutir à leurs conclusions, puisqu'il résulte de leur rapport qu'ils ont procédé à une analyse détaillée du dossier médical complet de la recourante, comprenant notamment les rapports de la doctoresse D._.
S'agissant du diagnostic d'arthrite psoriasique, la doctoresse D._ a, comme déjà vu (consid. 4.2 supra), indiqué que le diagnostic retenu - arthrite psoriasique ou spondylarthtrite ankylosante - n'avait pas d'incidence sur l'incapacité de travail de la recourante; cette controverse diagnostique ne constitue dès lors pas un élément pertinent pour l'issue du litige, ce que la recourante admet du reste en indiquant qu'elle "n'a pas nécessairement d'incidence sur la question de la capacité de travail", en se référant à l'avis de sa rhumatologue traitante. En ce qui concerne les limitations fonctionnelles de la recourante, il résulte de ses propres déclarations aux experts du BEM et à l'auteur du rapport d'impotence du 6 septembre 2020 qu'elle est en mesure d'accomplir de nombreuses tâches ménagères et qu'elle ne nécessite l'assistance d'un tiers que pour certaines tâches ponctuelles (cf. consid. 5.2 supra). La description de son quotidien n'entre ainsi pas en contradiction avec les limitations fonctionnelles retenues par les experts du BEM pour l'exercice d'une activité lucrative, qualifiées d'ailleurs de "tout à fait correctes" par la doctoresse D._ dans son rapport du 14 janvier 2020, cette spécialiste étant en désaccord avec les experts s'agissant du taux de capacité de travail de la recourante dans une activité adaptée et de son exigibilité. Au vu des explications convaincantes et détaillées des experts du BEM et de l'ensemble du dossier, la cour cantonale n'a pas versé dans l'arbitraire en retenant - sans ordonner de complément d'instruction - une capacité de travail de 70 % dans une activité adaptée correspondant aux limitations fonctionnelles fixées par lesdits experts. L'avis divergent de la doctoresse D._, qui a conclu à une capacité de travail de quatre heures par jour dans une activité adaptée (rapport du 12 novembre 2019), ne met pas en évidence d'éléments concrets dont les experts n'auraient pas tenu compte dans leur évaluation de la capacité de travail. Enfin, les secteurs de la production et des services recouvrent un large éventail d'activités variées et non qualifiées, plusieurs d'entre elles ne comportant pas des travaux de manutention fine.
Pour le reste, la recourante ne critique pas la fixation du revenu d'invalide issu des données statistiques, pas plus que le calcul du revenu sans invalidité et du taux d'invalidité. Il n'y a donc pas lieu de s'en écarter.
7.
Ensuite de ce qui précède, le recours est mal fondé.
8.
Les frais afférents à la présente procédure seront supportés par la recourante qui succombe (<ref-law>). Elle a cependant déposé une demande d'assistance judiciaire visant à la dispense des frais judiciaires et à la désignation d'un avocat d'office. Dès lors que les conditions d'octroi en sont réalisées (<ref-law>), l'assistance judiciaire lui est accordée. La recourante est rendue attentive au fait qu'elle devra rembourser la Caisse du Tribunal fédéral, si elle retrouve ultérieurement une situation financière lui permettant de le faire (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est admise et Maître Jean-Michel Duc est désigné comme avocat d'office de la recourante.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de la recourante. Ils sont toutefois supportés provisoirement par la Caisse du Tribunal fédéral.
4.
Une indemnité de 2800 fr. est allouée à l'avocat de la recourante à titre d'honoraires à payer par la Caisse du Tribunal fédéral.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, I re Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 18 novembre 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Ourny