Faits :
A.
A._, mariée et mère de deux enfants, a travaillé en dernier lieu à temps partiel, en tant qu'assistante parentale, accueillante extra-scolaire et aide-ménagère. A la suite d'une incapacité totale de travail médicalement attestée depuis le 13 décembre 2015, elle a présenté une demande de prestations de l'assurance-invalidité, en mai 2016.
Entre autres mesures d'instruction, l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI) a diligenté une expertise auprès du Centre d'expertises médicales (CEMed) de Nyon. Dans leur rapport d'évaluation consensuelle du 26 mars 2019, les docteurs B._, spécialiste en psychiatrie et psychothérapie, et C._, spécialiste en neurologie, ainsi que le neuropsychologue D._ ont conclu à une capacité de travail entière dans une activité adaptée, avec un rendement de 70 %, tout en précisant que la capacité de travail avait été nulle pendant une année, puis avait progressivement augmenté jusqu'au taux actuel de 70 %. Après avoir également mis en oeuvre une enquête économique sur le ménage (rapport du 25 juin 2019), l'administration a rejeté la demande de prestations, par décision du 8 juin 2020. En bref, elle a retenu que A._, considérée comme personne active à 70 % et ménagère à 30 %, ne présentait pas d'invalidité dans la sphère professionnelle, mais présentait un taux d'empêchement dans l'accomplissement des travaux ménagers de 8,12 %. Le taux d'invalidité s'élevait à 2,44 % (arrondi à 2 %).
B.
A._ a formé recours contre la décision du 8 juin 2020 devant le Tribunal cantonal du canton de Fribourg, IIe Cour des assurances sociales. Celui-ci a requis des précisions des experts du CEMed quant à l'augmentation progressive de la capacité de travail de l'assurée jusqu'à 70 % (ordonnance du 19 novembre 2020); ceux-ci ont fait état d'une capacité de travail nulle dans une activité adaptée jusqu'en décembre 2016, de 35 % de janvier à décembre 2017, de 50 % de janvier à décembre 2018, puis de 70 % dès janvier 2019 (complément d'expertise du 3 décembre 2020). Statuant le 15 janvier 2021, la juridiction cantonale a partiellement admis le recours. Elle a modifié la décision du 8 juin 2020 en ce sens que l'assurée a droit à une rente entière de l'assurance-invalidité entre le 1er décembre 2016 et le 31 mars 2017, et a rejeté le recours pour le surplus.
C.
A._ interjette un recours en matière de droit public contre cet arrêt dont elle demande l'annulation "avec ou sans renvoi à l'instance judiciaire précédente".
Considérant en droit :
1.
La recourante conclut seulement à l'annulation de l'arrêt entrepris, avec ou sans renvoi de la cause à la juridiction cantonale. Il s'agit d'une conclusion cassatoire qui est en principe insuffisante dès lors que le recours en matière de droit public se caractérise comme un recours en réforme (art. 107 al. 2 LTF). Il ressort néanmoins de la motivation du recours que l'assurée remet en question l'évaluation de l'invalidité. Il convient donc d'interpréter ses conclusions (cf. ATF 137 II 617 consid. 6.2) en ce sens qu'elle demande le maintien de son droit à une rente entière d'invalidité au-delà du 31 mars 2017. Le recours est recevable.
2.
Le recours en matière de droit public peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il statue par ailleurs sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut pas être pris en considération.
3.
Les constatations de l'autorité cantonale de recours sur l'atteinte à la santé, la capacité de travail de la personne assurée et l'exigibilité - pour autant qu'elles ne soient pas fondées sur l'expérience générale de la vie - relèvent d'une question de fait et ne peuvent donc être contrôlées par le Tribunal fédéral que sous un angle restreint (ATF 132 V 393 consid. 3.2). Il en va de même de la constatation d'un empêchement pour les différents postes constituant l'activité ménagère (arrêt 9C_925/2013 du 1er avril 2014 consid. 2.4 et les arrêts cités). On rappellera, en particulier, qu'il n'y a pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale semble concevable, voire préférable (ATF 141 I 70 consid. 2.2; 140 I 201 consid. 6.1). Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (ATF 141 I 49 consid. 3.4).
4.
4.1. Le litige a trait au maintien du droit de la recourante à une rente entière d'invalidité au-delà du 31 mars 2017. Compte tenu des motifs du recours, est seule litigieuse l'évaluation de la capacité de travail dans l'activité adaptée et des empêchements ménagers de la recourante.
4.2. L'arrêt entrepris expose de manière complète les dispositions légales et les principes jurisprudentiels relatifs notamment à la notion d'invalidité (art. 7 et 8 al. 1 LPGA en relation avec l'art. 4 al. 1 LAI) et à son évaluation (art. 16 LPGA et art. 28a LAI), en particulier s'agissant du caractère invalidant d'atteintes à la santé psychique et de troubles somatoformes douloureux persistants ou de fibromyalgie (ATF 143 V 409 consid. 4.5; 143 V 418 consid. 6 et 7; 141 V 281). Il rappelle également les règles relatives à la valeur probante des rapports médicaux (ATF 125 V 351 consid. 3) et à la libre appréciation des preuves (art. 61 let. c LPGA). Il suffit d'y renvoyer.
On rappellera que le bien-fondé d'une décision d'octroi, à titre rétroactif, d'une rente limitée dans le temps, doit être examiné à la lumière des conditions de révision du droit à la rente (cf. art. 17 LPGA; art. 88a RAI; ATF 131 V 164 consid. 2.2; 125 V 413 consid. 2d et les références).
5.
En se fondant essentiellement sur les conclusions des experts du CEMed, auxquelles ils ont accordé une pleine valeur probante, les premiers juges ont constaté que dans une activité adaptée, la recourante avait présenté une capacité de travail nulle de décembre 2015 à fin décembre 2016, de 35 % de janvier à décembre 2017, de 50 % de janvier à décembre 2018, puis de 70 % dès janvier 2019. S'agissant de l'incapacité de l'assurée à accomplir les travaux habituels, ils se sont ralliés à l'avis de l'enquêteur - qui, dans son rapport du 25 juin 2019, avait fait état d'un empêchement ménager global de 8,12 % -, à tout le moins pour la période à compter de janvier 2019, soit dès le moment où la recourante avait recouvré une capacité de travail de 70 % dans une activité adaptée. La juridiction cantonale a ensuite procédé au calcul du taux d'invalidité de la recourante et fixé celui-ci à 72,44 % pour le mois de décembre 2016, ouvrant le droit à une rente entière du 1er décembre 2016 au 30 mars 2017 (art. 88a al. 1 RAI). Par la suite, le taux d'invalidité était insuffisant pour maintenir le droit à une rente.
6.
6.1. Dans un premier grief, la recourante critique l'appréciation des preuves opérée par les premiers juges. Elle leur reproche en substance de s'être fondés sur les conclusions des experts du CEMed, qui seraient illogiques et insuffisamment motivées quant à l'évolution de sa capacité de travail.
6.2. Contrairement à ce que soutient d'abord la recourante, les conclusions des experts du CEMed ne présentent pas un manque de "logique". Son affirmation, selon laquelle l'expert neurologue ne pouvait pas conclure au recouvrement d'une capacité de travail entière, avec un rendement de 70 %, dans la mesure où il n'aurait retenu "aucune atteinte à la santé incapacitante ni limitation sur le plan neurologique", ne met pas en évidence une incohérence dans l'évaluation médicale. Comme l'ont dûment exposé les premiers juges, le docteur C._ a justifié la diminution de rendement de 30 % par le diagnostic de status après méningo-encéphalo-myélite (décembre 2015) sur infection par Bartonella henselae (maladie de la griffe de chat). Dans son rapport du 26 mars 2019, l'expert neurologue a en effet indiqué que le tableau de fatigue décrit par l'assurée comme totalement incapacitant (fatigabilité, troubles de la concentration, céphalées) pouvait en partie s'expliquer par le status post-méningo-encéphalo-myélite. Au regard de ses constatations cliniques, il a considéré qu'une activité légère, sédentaire, sans engagement physique lourd était théoriquement envisageable à un taux de 70 % au moins (30 % de perte de rendement dans une activité à plein temps). A cet égard, en ce que l'assurée se contente d'affirmer que l'appréciation du docteur C._ "ne saurait emporter quelque conviction que ce soit", sans mettre en évidence d'éléments objectifs qui auraient été ignorés par l'expert, son argumentation ne permet pas de remettre en cause l'appréciation des premiers juges fondée sur les conclusions de ce médecin.
6.3. Les critiques de la recourante en relation avec le choix des premiers juges de se fonder sur le complément d'expertise qu'ils avaient requis et dans lequel les experts du CEMed ont précisé l'augmentation progressive de la capacité de travail de l'assurée dont ils avaient fait état dans leur rapport du 26 mars 2019, entre décembre 2015 et janvier 2019, ne sont pas davantage fondées. Dans ce contexte, contrairement à ce que prétend l'assurée, l'appréciation des experts quant à l'évolution de sa capacité de travail est suffisamment motivée. En effet, pour préciser l'évolution de la capacité de travail dans le complément d'expertise du 3 décembre 2020, ils se sont fondés sur les éléments cliniques et diagnostics qu'ils avaient mis en évidence dans le cadre de l'expertise diligentée au début de l'année 2019.
6.4. C'est en vain que la recourante se plaint de ce que le syndrome douloureux généralisé, sans substrat somatique certain, évoqué par le docteur C._ n'a pas été examiné par l'expert psychiatre à l'aune des indicateurs jurisprudentiels. La juridiction cantonale a en effet retenu que même si ce diagnostic - qui n'avait pas été considéré comme pertinent par le docteur B._ - devait être pris en considération, aucun effet incapacitant ne pourrait être retenu. Pour ce faire, elle a procédé, en fonction des constatations médicales du psychiatre et du neurologue, à l'analyse du caractère invalidant dudit trouble au regard de la procédure probatoire structurée développée pour les troubles sans pathogenèse ni étiologie claires (ATF 141 V 281), conformément à la jurisprudence. La seule affirmation de la recourante, selon laquelle les premiers juges ne pouvaient pas considérer qu'elle avait de solides ressources encore à disposition, étant donné que celles-ci auraient été "relativisées à tout le moins par l'expert neurologue", ne suffit pas pour admettre que leur appréciation serait arbitraire. L'instance cantonale de recours a dûment exposé, en se référant notamment aux constatations des docteurs B._ et C._ - selon lesquels ses ressources paraissaient "bonnes" - que la recourante disposait de ressources préservées dans l'ensemble et qu'elle était très entourée par sa famille, soit son époux et ses deux enfants, tant d'un point de vue logistique (tenue du ménage) qu'affectif.
7.
7.1. Dans un second grief, la recourante reproche aux premiers juges de n'avoir pas ordonné à l'intimé de compléter l'instruction en ce qui concerne les empêchements sur le plan des travaux habituels. Elle se plaint également d'une violation de son droit d'être entendue au motif que la cour cantonale n'a pas discuté la mesure dans laquelle l'aide apportée par ses proches avait été prise en compte dans le cadre de l'évaluation des empêchements ménagers. Tel qu'invoqué, ce grief n'a pas de portée propre par rapport à celui tiré de l'arbitraire dans l'appréciation anticipée des preuves (sur cette notion, cf. ATF 140 I 285 consid. 6.3.1 et les références), de sorte qu'il convient de l'examiner sous cet angle.
7.2. Pour évaluer l'incapacité de l'assurée à accomplir les travaux habituels pour la période à compter de janvier 2019, soit dès le moment où la recourante avait recouvré une capacité de travail de 70 % dans une activité adaptée, la juridiction cantonale s'est ralliée à l'avis de l'enquêteur, qui, dans son rapport du 25 juin 2019, avait fait état d'un empêchement ménager global de 8,12 %.
Dans la mesure où la recourante se limite à indiquer que la juridiction de première instance n'a pas discuté de la question de la prise en compte de l'aide des proches dans le cadre de l'évaluation de l'invalidité dans la sphère ménagère, sans même alléguer qu'il y aurait eu lieu de faire une exception à ce principe dans le cas d'espèce ou de prendre en compte l'aide de ses proches dans une mesure moindre que celle dont avait fait état l'enquêteur dans son rapport du 25 juin 2019, elle n'établit pas que et en quoi la juridiction cantonale aurait procédé à une appréciation arbitraire des preuves. Le grief est mal fondé.
7.3. Pour la période antérieure au 1er janvier 2019, la juridiction cantonale a retenu qu'un renvoi de la cause à l'office intimé afin qu'il complète l'instruction, en différenciant l'évaluation des empêchements ménagers en fonction des périodes retenues dans le cadre de l'évaluation de l'invalidité dans la partie lucrative, n'était pas nécessaire. En effet, dans la mesure où la part de l'activité ménagère n'entrait que pour 30 % dans le calcul de l'invalidité globale et où même en doublant l'empêchement ménager (qui passerait alors à 16,24 %), un taux d'invalidité de 40 % ne serait pas atteint durant les années 2017 et 2018. La recourante se contente de reprocher aux premiers juges de ne pas avoir renvoyé la cause à l'office intimé pour complément d'instruction, sans exposer en quoi leurs considérations quant à un taux d'empêchement ménager doublé de 16,24 % pour la période antérieure à janvier 2019 seraient arbitraires. Son argumentation ne satisfait manifestement pas aux exigences de motivation sur ce point (consid. 2 et 3 supra).
8.
En définitive, l'argumentation de la recourante ne suffit pas pour mettre en évidence en quoi la juridiction cantonale aurait procédé de manière arbitraire à une appréciation anticipée des preuves ou aurait établi les faits de manière incomplète (consid. 2 supra). Il n'y a dès lors pas lieu de s'écarter des empêchements pris en compte par la juridiction cantonale, tant dans une activité lucrative que dans le domaine ménager, ni du taux d'invalidité qu'elle a constaté. Le recours est en tous points mal fondé.
9.
Compte tenu de l'issue du litige, les frais de justice doivent être mis à la charge de la recourante (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de la recourante.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, IIe Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 1er septembre 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant : Stadelmann
La Greffière : Perrenoud