Faits :
A.
A.a. Dans le cadre de mesures protectrices de l'union conjugale opposant A._ à B._, le Président du Tribunal civil de l'arrondissement de la Gruyère a prononcé des mesures provisionnelles le 14 octobre 2019. Il a notamment confié la garde des enfants à l'épouse et astreint l'époux à s'acquitter de contributions d'entretien mensuelles de 1'125 fr. pour chacun des enfants et de 300 fr. pour son épouse.
Le 28 octobre 2019, l'épouse a fait appel de cette décision. Elle a conclu à ce que la contribution d'entretien en sa faveur soit fixée à 742 fr. 85 par mois, soit la moitié du solde disponible de son époux, et sollicité l'assistance judiciaire.
A.b. Lors d'une audience qui s'est tenue le 15 novembre 2019 devant le Président du Tribunal civil de la Gruyère, les époux ont conclu une convention de mesures protectrices de l'union conjugale prévoyant notamment, à la charge de l'époux, des contributions d'entretien mensuelles de 1'125 fr. en faveur de chaque enfant et de 350 fr. en faveur l'épouse, ainsi que l'engagement de celle-ci de retirer l'appel qu'elle avait interjeté contre la décision du 14 octobre 2019.
A.c. Par courrier du 18 novembre 2019, l'épouse a retiré son appel; elle a cependant maintenu sa requête d'assistance judiciaire.
A.d. Statuant par arrêt du 21 novembre 2019, la Ie Cour d'appel civil du Tribunal cantonal de l'Etat de Fribourg a pris acte du retrait de l'appel, rayé la cause du rôle, rejeté la requête d'assistance judiciaire introduite pour la procédure d'appel et mis les frais judiciaires, arrêtés à 150 fr., à la charge de l'épouse, aucuns dépens n'étant alloués à l'époux.
B.
Par acte du 13 janvier 2020, A._ exerce un recours en matière civile, subsidiairement un recours constitutionnel au Tribunal fédéral. Elle conclut à l'annulation de l'arrêt cantonal et à sa réforme, en ce sens que sa requête d'assistance judiciaire pour la procédure d'appel est admise, Me Frédérique Riesen lui étant désignée comme conseil d'office, et les frais judiciaires d'appel, par 150 fr., étant mis à sa charge " sous réserve de l'assistance judiciaire ", l'indemnité d'avocat d'office de son conseil pour la procédure d'appel étant fixée à 905 fr. 59, TVA comprise. La recourante sollicite en outre le bénéfice de l'assistance judiciaire pour la procédure fédérale et demande que les dépens alloués pour cette procédure soient fixés à 2'243 fr. 40, TVA comprise.
Invitée à se déterminer, l'autorité cantonale n'a pas formulé d'observations.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement sa compétence, respectivement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1.1 et la référence).
1.1. En l'espèce, la procédure dans le cadre de laquelle la décision d'assistance judiciaire entreprise a été rendue concerne des mesures provisionnelles ordonnées dans le cadre d'une procédure de mesures protectrices de l'union conjugale, à savoir une décision incidente au sens de l'<ref-law> (arrêt 5A_813/2017 du 31 mai 2018 consid. 1.2 et la référence). Dès lors toutefois qu'une convention de mesures protectrices de l'union conjugale a été conclue en audience le 15 novembre 2019 devant le Président du Tribunal civil de la Gruyère, il y a lieu de considérer que la procédure au fond est désormais close, de sorte que la décision entreprise relative à l'assistance judiciaire - requise quoi qu'il en soit pour la seule instance d'appel - doit dans ce contexte être qualifiée de finale au sens de l'<ref-law>. Le recours est interjeté par la partie qui a succombé dans ses conclusions prises devant l'autorité précédente et qui a donc qualité pour recourir (<ref-law>), et il est dirigé contre une décision rendue par un tribunal supérieur statuant sur recours (art. 75 al. 1 et 2 LTF).
1.2. On peut se demander si le fait que l'appel a été retiré juste avant que l'autorité cantonale ne rende son arrêt a une influence sur le calcul de la valeur litigieuse, laquelle est déterminée par les conclusions - recevables - restées contestées devant l'autorité précédente (<ref-law>; cf. pour plus de détails à ce sujet arrêt 5A_325/2016 du 13 décembre 2016 consid. 1.2 et les références). La question peut toutefois demeurer indécise en l'espèce, l'incertitude quant à la valeur litigieuse restant sans conséquence. Si la voie ordinaire du recours en matière civile n'était pas ouverte, alors seule celle du recours constitutionnel subsidiaire le serait (<ref-law>). Or, ces deux types de recours connaissent une limitation identique des griefs pouvant être formés; s'agissant de mesures provisionnelles au sens de l'<ref-law> (<ref-ruling> consid. 1.1; <ref-ruling> consid. 5), seule la violation de droits constitutionnels peut être invoquée.
1.3. Déposé au surplus dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi, le recours en matière civile est en principe recevable au vu des dispositions qui précèdent.
2.
L'arrêt attaqué porte sur des mesures provisionnelles au sens de l'<ref-law>. Il s'ensuit que la recourante ne peut se plaindre que d'une violation de ses droits constitutionnels, moyen qu'elle est, en outre, tenue de motiver conformément aux exigences strictes posées à l'<ref-law> (<ref-ruling> consid. 1.2; <ref-ruling> consid. 2).
3.
La recourante fait valoir que la décision entreprise viole les <ref-law> et 29 al. 3 Cst., en tant qu'elle lui refuse le bénéfice de l'assistance judiciaire pour le motif que son appel était dénué de chances de succès. Le grief de violation de l'<ref-law> est irrecevable en tant que tel dans le cadre d'un recours soumis à l'<ref-law> (cf. supra consid. 2.1), de sorte que le mérite du recours doit être examiné exclusivement à l'aune de l'art. 29 al. 3 Cst. Cela étant, cela n'a pas d'influence sur l'issue du litige puisque, selon la jurisprudence, il n'existe aucune différence matérielle entre la garantie constitutionnelle de l'art. 29 al. 3 Cst. et la règle contenue à l'<ref-law> (arrêt 4A_182/2018 du 21 novembre 2018 consid. 2.1).
4.
Selon l'art. 29 al. 3 Cst., toute personne qui ne dispose pas de ressources suffisantes a droit à l'assistance judiciaire gratuite, à moins que sa cause ne paraisse dépourvue de toutes chances de succès; elle a en outre droit à l'assistance gratuite d'un défenseur, dans la mesure où la sauvegarde de ses droits le requiert.
4.1. Un procès est dépourvu de chances de succès lorsque les perspectives de le gagner sont notablement plus faibles que les risques de le perdre, et ne peuvent donc être considérées comme sérieuses, de sorte qu'un plaideur raisonnable et aisé renoncerait à s'y engager en raison des frais qu'il serait exposé à devoir supporter; en revanche, il ne l'est pas lorsque les chances de succès et les risques d'échec s'équilibrent à peu près ou que les premières n'apparaissent que légèrement inférieures aux secondes. Cette évaluation doit s'opérer en fonction des circonstances existant à la date du dépôt de la requête et sur la base d'un examen sommaire (<ref-ruling> consid. 5.1 et les références; arrêt 5A_632/2017 du 15 mai 2018 consid. 2.1). La décision d'assistance judiciaire doit certes être rendue avec une certaine précision; elle ne doit toutefois pas conduire à déplacer à ce stade le procès au fond (arrêts 5A_396/2018 du 29 juin 2018 consid. 5.1 et les références; 5A_327/2017 du 2 août 2017 et les références).
4.2. Pour déterminer les chances de succès d'un recours, le juge peut prendre en considération la décision de première instance, en comparant celle-ci avec les griefs soulevés. De la sorte, l'examen sommaire des chances de succès auquel il doit procéder est simplifié. Cet examen ne doit toutefois pas conduire à ce qu'une partie voie quasiment rendu impossible le contrôle d'une décision qu'elle conteste. Ce n'est que lorsque le recourant n'oppose aucun argument substantiel contre la décision de première instance qu'il risque de voir son recours considéré comme étant dénué de chances de succès, en particulier si l'autorité de recours n'a qu'une cognition limitée ou que le recourant doit motiver ses griefs en respectant le principe d'allégation. La perspective concrète du recourant d'obtenir entièrement gain de cause n'est pas déterminante; pour que la condition soit remplie, il suffit qu'il existe une chance d'admission même partielle des conclusions (arrêt 5A_572/2015 du 8 octobre 2015 consid. 4.1 et les références).
4.3. Dans le cadre de l'examen des chances de succès, l'autorité qui statue sur l'octroi de l'assistance judiciaire dispose d'un pouvoir d'appréciation; le Tribunal fédéral, qui examine librement quels sont les éléments d'appréciation pertinents et s'il existe des chances de succès (<ref-ruling> consid. 2.3), ne revoit dès lors la décision qu'avec retenue (arrêt 5A_93/2014 du 2 mai 2014 consid. 4.1.2). Il n'intervient que si l'autorité cantonale s'est écartée sans raisons des règles établies par la jurisprudence en matière de libre appréciation, ou lorsqu'elle s'est appuyée sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle ou, à l'inverse, lorsqu'elle n'a pas tenu compte d'éléments qui auraient absolument dû être pris en considération (arrêts 8C_707/2017 du 2 mars 2018 consid. 3.2;5A_94/2014 du 2 mai 2014 consid. 4.1.2).
5.
Il ressort de l'arrêt querellé que l'épouse avait fait appel et sollicité, dans ce cadre, l'assistance judiciaire. Deux semaines plus tard, elle avait cependant conclu avec son mari une convention confirmant, à 50 fr. près, par mois, les pensions alimentaires prévues par la décision qui faisait objet de l'appel. Elle n'avait pas expliqué les raisons de ce revirement, qui ne paraissait pas correspondre à celui d'une personne raisonnable et de condition aisée plaidant avec ses propres deniers. Pour ces motifs, l'autorité cantonale a jugé que les conditions d'octroi de l'assistance judiciaire n'étaient pas réalisées.
Par ces considérations, la cour cantonale a excédé son pouvoir d'appréciation. Le fait que l'épouse ait conclu une convention deux semaines après avoir interjeté appel constitue un élément dénué de pertinence dans le cadre de l'appréciation des chances de succès de l'appel. Il en va de même du contenu de ladite convention et des raisons qui ont motivé les parties à se mettre d'accord. D'ailleurs, la recourante ne saurait subir un préjudice du fait que l'autorité se soit prononcée sur la requête d'assistance judiciaire dans sa décision finale, c'est-à-dire en l'occurrence après que l'appel a été retiré, et non de manière séparée avant que la décision finale ne soit prise (arrêt 4A_42/2013 du 6 juin 2013 consid. 4.1). Selon la jurisprudence, il appartenait en réalité à la cour cantonale de mettre en relation la décision de première instance avec les griefs soulevés par l'épouse dans son appel, en procédant à un examen sommaire et en se plaçant au moment du dépôt de la requête d'assistance judiciaire (cf. supra consid. 4.1 et 4.2), partant, en ne tenant pas compte du fait que l'épouse a retiré son appel.
6.
En conclusion, le recours doit être admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision au sens des considérants. Le présent arrêt est rendu sans frais (art. 66 al. 1 et 4 LTF). L'Etat de Fribourg versera à la recourante une indemnité de dépens (<ref-law>), qui peut être arrêtée au montant requis par celle-ci. La requête d'assistance judiciaire de la recourante pour la procédure fédérale est ainsi sans objet.

Par ces motifs, le Tribunal fédéral prononce
1.
Le recours est admis, l'arrêt attaqué est ann ulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision dans le sens des considérants.
2.
Il n'est pas perçu de frais judiciaires.
3.
Une indemnité de 2'243 fr. 40, à payer à la recourante à titre de dépens, est mise à la charge de l'Etat de Fribourg.
4.
La requête d'assistance judiciaire de la recourante est sans objet.
5.
Le présent arrêt est communiqué aux parties.
Lausanne, le 11 mai 2020
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Dolivo