Faits :
A.
B._ (ci-après: la bailleresse) a remis à bail à A._ (ci-après: la locataire) et son époux un appartement de 4,5 pièces pour un loyer mensuel de 4'101 fr., incluant une place de parc.
Par courrier du 18 novembre 2020, la bailleresse a mis la locataire et son époux en demeure de s'acquitter des loyers des mois d'octobre et novembre 2020.
La locataire et son époux n'ayant pas payé les loyers dus dans le délai imparti à cet effet, la bailleresse a, par formules officielles du 28 décembre 2020, résilié le bail pour le " 31.01.2021 ou pour toute autre échéance légale ".
B.
B.a. La locataire et son époux ont contesté le congé auprès de la Commission de conciliation en matière de baux à loyer du district de Lavaux-Oron. En substance, ils ont fait valoir la nullité de la résiliation du bail au motif que la date du congé n'était pas claire.
La locataire a requis l'octroi de l'assistance judiciaire, en exposant qu'elle était en attente d'une décision de revenu d'insertion et que son époux se trouvait en détention provisoire.
Par décision du 2 mars 2021, le Président de la Commission de conciliation a refusé à la locataire le bénéfice de l'assistance judiciaire.
B.b. La locataire a interjeté recours contre cette décision auprès de la Chambre des recours civile du Tribunal cantonal du canton de Vaud. Elle a également requis l'assistance judiciaire pour la procédure de deuxième instance.
Statuant le 20 avril 2021, la cour cantonale a rejeté le recours et la requête d'assistance judiciaire. Elle a rendu son arrêt sans frais. Elle a considéré que la condition de l'indigence était réalisée. La question de savoir si le recours présentait des chances de succès pouvait demeurer ouverte. En effet, la procédure de conciliation en matière de bail était gratuite, ce qui impliquait que l'assistance judiciaire ne porterait que sur l'assistance d'un conseil juridique d'office. L'intervention d'un tel conseil ne se justifiait pas en l'espèce.
C.
La locataire (ci-après: la recourante) a formé un recours en matière civile au Tribunal fédéral. Elle a conclu, en substance, à la réforme de l'arrêt attaqué en ce sens qu'elle soit mise au bénéfice de l'assistance judiciaire pour les procédures devant la Commission de conciliation et la cour cantonale. Elle a également sollicité l'assistance judiciaire devant le Tribunal fédéral.
Il n'a pas été demandé de réponse.

Considérant en droit :
1.
Le refus de l'assistance judiciaire dans le procès civil est une décision incidente de nature à causer un préjudice juridique irréparable au plaideur requérant; cette décision est donc susceptible d'un recours séparé selon l'<ref-law> (<ref-ruling> consid. 4; <ref-ruling> consid. 1.1; arrêts 4A_301/2020 du 6 août 2020 consid. 1.2; 4A_432/2016 du 21 décembre 2016 consid. 3). Pour le surplus, les conditions de recevabilité du recours en matière civile sont réalisées, notamment celles afférentes à la valeur litigieuse minimale de 15'000 fr. (<ref-law>) et au délai de recours (<ref-law>).
2.
2.1. Le recours peut être formé pour violation du droit fédéral (<ref-law>). Le Tribunal fédéral applique le droit d'office (<ref-law>). Eu égard, toutefois, à l'exigence de motivation qu'impose l'<ref-law>, sous peine d'irrecevabilité (<ref-law>), il n'examine que les griefs invoqués, sauf en cas d'erreurs juridiques manifestes (<ref-ruling> consid. 2).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes ou découlent d'une violation du droit au sens de l'<ref-law> (<ref-law>). " Manifestement inexactes " signifie ici " arbitraires " (<ref-ruling> consid. 2; <ref-ruling> consid. 1.5). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi les conditions précitées seraient réalisées (<ref-ruling> consid. 1.3.1 et les références). Si elle souhaite obtenir un complètement de l'état de fait, elle doit aussi démontrer, par des renvois précis aux pièces du dossier, qu'elle a présenté aux autorités précédentes en conformité avec les règles de procédure les faits juridiquement pertinents à cet égard et les moyens de preuve adéquats (<ref-ruling> consid. 2). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1).
3.
Tout d'abord, invoquant l'<ref-law>, la recourante requiert que les faits constatés par la cour cantonale soient complétés sur deux points.
Le premier a trait au fait que la bailleresse était représentée, avant la procédure de conciliation, par une gérance professionnelle. Toutefois, la recourante ne démontre pas, par un renvoi précis aux pièces du dossier, qu'elle aurait présenté ce fait précédemment. Ce faisant, elle ne se conforme pas aux exigences de motivation applicables.
Le second point concerne le fait que la bailleresse a mandaté un agent d'affaires breveté au stade de la conciliation. Même si la cour cantonale n'a pas expressément mentionné cet élément sous la partie " En fait " de son arrêt, elle en a tenu compte dans sa partie " En droit " (cf. consid. 3.3.2 de l'arrêt attaqué). Il est ainsi superflu de compléter l'état de fait en ce sens.
4.
Ensuite, la recourante reproche à la cour cantonale d'avoir considéré que l'assistance d'un conseil juridique d'office pour la procédure de conciliation n'était pas nécessaire. Elle dénonce une violation des art. 117 et 118 CPC, ainsi que des art. 29 Cst. et 6 CEDH.
4.1. En vertu de l'<ref-law>, une personne a droit à l'assistance judiciaire si elle ne dispose pas de ressources suffisantes (let. a) et si sa cause ne paraît pas dépourvue de toute chance de succès (let. b). Selon l'art. 118 al. 1 let. c CPC, l'assistance judiciaire comprend la commission d'office d'un conseil juridique lorsque la défense des droits du requérant l'exige, en particulier lorsque la partie adverse est assistée d'un avocat.
Les art. 117 s CPC concrétisent les principes que le Tribunal fédéral a dégagés de l'art. 29 al. 3 Cst. (<ref-ruling> consid. 2.2.3). La jurisprudence développée à cet égard est ainsi pertinente pour l'interprétation des art. 117 s CPC, en particulier aussi s'agissant de la nécessité d'un avocat commis d'office (arrêt 4A_384/2015 du 24 septembre 2015 consid. 3 et les références).
Selon la jurisprudence, il se justifie en principe de désigner un avocat d'office à l'indigent lorsque la situation juridique de celui-ci est susceptible d'être affectée de manière particulièrement grave. Lorsque, sans être d'une portée aussi capitale, la procédure en question met sérieusement en cause les intérêts de l'indigent, il faut en outre que l'affaire présente des difficultés en fait et en droit que le requérant ou son représentant légal ne peuvent surmonter seuls (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.2; <ref-ruling> consid. 2.5.2; arrêt 4A_301/2020 précité consid. 3.1 et les références).
Outre la complexité des questions de fait et de droit, ainsi que les particularités que présentent les règles de procédure applicables, il faut également tenir compte des raisons inhérentes à la personne concernée, telles que l'âge, la situation sociale, les connaissances linguistiques et, en général, la capacité à s'orienter dans la procédure (ATF <ref-ruling> consid. 2.5.2; <ref-ruling> consid. 2b/cc; arrêt 4A_301/2020 précité consid. 3.1 et les références).
Le droit à la désignation d'un avocat d'office n'est pas exclu par principe lorsque la maxime d'office ou la maxime inquisitoire est applicable; cela justifie toutefois d'appliquer un critère restrictif dans l'appréciation de la nécessité d'un conseil d'office (<ref-ruling> consid. 4b; arrêts 5A_508/2020 du 6 octobre 2020 consid. 4.3.3; 5A_242/2018 du 24 août 2018 consid. 2.2 et les références).
Le fait que la partie adverse soit assistée d'un avocat joue aussi un rôle (cf. art. 118 al. 1 let. c CPC). Toutefois, même dans ce cas, la désignation d'un conseil juridique d'office n'est pas automatique et il convient d'examiner les circonstances du cas d'espèce (arrêts 4A_492/2020 du 19 janvier 2021 consid. 5.4; 4A_301/2020 précité consid. 3.1 et les références).
4.2. Un conseil juridique d'office peut également être octroyé dans le cadre d'une procédure de conciliation, lorsque le litige le justifie. Il y a toutefois lieu d'appliquer un critère restrictif; les circonstances du cas concrets demeurent ici aussi déterminantes (<ref-ruling> consid. 2c; <ref-ruling> consid. 4c; arrêts 4A_46/2021 du 26 mars 2021 consid. 4.6; 4A_301/2020 précité consid. 3.2; 4D_35/2017 du 10 octobre 2017 consid. 4.2; 4A_384/2015 précité consid. 4).
5.
5.1. En l'espèce, l'autorité précédente a relevé que l'assistance d'un avocat n'était en principe pas nécessaire en procédure de conciliation en matière de bail, y compris lorsque la cause concernait une résiliation de bail pour défaut de paiement de loyer. Seules les circonstances concrètes étaient décisives. Dès lors, la recourante ne pouvait invoquer les mécanismes procéduraux propres à la résiliation de bail pour non-paiement afin de justifier la nécessité d'un conseil d'office. De même, elle ne saurait alléguer un prétendu risque de rallongement des procédures dû à l'échec de la conciliation. La recourante invoquait la nullité du congé en raison du fait que la date de résiliation ne serait pas claire. Cet élément ne suffisait pas à retenir que la cause serait complexe. En outre et surtout, l'intéressée n'avait pas fait valoir d'incapacité d'agir, une maîtrise insuffisante du français ou d'autres particularités qui justifieraient l'octroi d'un conseil juridique. Le fait que la partie adverse était assistée par un agent d'affaires breveté ne permettait pas la désignation d'un conseil d'office pour ce seul motif. Partant, l'intervention d'un avocat d'office en faveur de la recourante ne se justifiait pas au stade de la conciliation, la cause du cas d'espèce ne soulevant pas de difficultés particulières.
5.2. Tout d'abord, la recourante fait grief à la cour cantonale de ne pas avoir discuté de l'enjeu de la procédure. Elle se réfère à l'arrêt 4A_301/2020 susmentionné.
Dans cet arrêt, le Tribunal fédéral a relevé que les procédures civiles concernant des aspects centraux de la vie, tels que le logement, n'étaient en principe pas des bagatelles; toutefois, en règle générale, la situation juridique de la personne concernée n'était pas affectée de manière particulièrement grave. Ainsi, dans ces procédures, l'assistance d'un conseil juridique d'office ne se justifiait que si l'affaire présentait des difficultés en fait et en droit que le requérant ne pouvait surmonter seul (cf. consid. 3.2 de l'arrêt précité). Ensuite, le Tribunal fédéral a indiqué que le litige portait sur la fixation de la date d'exigibilité du loyer, et non sur une résiliation du bail. Il a toutefois précisé que même dans ce dernier cas de figure, la situation juridique de la personne concernée n'était pas affectée d'une manière particulièrement grave qui justifierait l'octroi d'un conseil juridique d'office sans que des difficultés en fait ou en droit ne se présentent (cf. consid. 5.2.2 de l'arrêt précité).
En l'espèce, le litige principal, portant sur une résiliation du bail, est loin d'être un cas bagatelle. Toutefois, même si la cour cantonale n'a pas discuté explicitement de l'enjeu de la procédure, on doit relever que, quoi qu'il en soit, il ne pouvait être renoncé à l'examen des difficultés particulières du cas d'espèce.
5.3. La cour cantonale a nié que la cause soulèverait de telles difficultés, ce que la recourante conteste.
Le litige ne présente pas des questions complexes de fait ou de droit. Il s'agit de déterminer si la formulation contenue dans les avis officiels en lien avec la date pour laquelle le bail a été résilié est suffisamment claire pour que le congé soit valide. Il n'y a ainsi pas, notamment, de calculs complexes à présenter ou un état de fait particulièrement confus. Le fait que la recourante prétend ne pas avoir compris pour quelle date le congé a été signifié ne suffit pas à rendre la cause complexe. Les arguments juridiques invoqués à l'appui de la contestation du congé ne relèvent pas non plus d'une complexité telle qu'ils justifieraient l'assistance d'un conseil juridique d'office.
Par ailleurs, la recourante met en doute les compétences juridiques des membres de la Commission de conciliation. Elle allègue aussi qu'en cas de proposition de jugement, le locataire aura tendance à douter du bien-fondé de ses propres prétentions, si la Commission de conciliation lui donne tort. Plus loin, la recourante soutient qu'il y aurait peu de chance qu'un justiciable non assisté accepte de concilier, ce qui aurait pour conséquence de rallonger les procédures. Ce faisant, la recourante se limite à des considérations générales et abstraites, issues de sa propre appréciation. Or, le Tribunal fédéral a retenu de manière constante que pour les procédures de conciliation, notamment en droit du bail, il y avait lieu d'examiner les circonstances concrètes du cas. De plus, au vu des particularités de ces procédures, il convenait d'être restrictif s'agissant de l'octroi d'un conseil juridique d'office (cf. consid. 4.2 supra). Cette jurisprudence n'a pas à être modifiée.
La recourante reproche encore à la cour cantonale de ne pas avoir pris en compte le fait que la résiliation du bail a été donnée pour non-paiement du loyer. Elle soutient qu'il s'agit d'une circonstance propre à son cas. Elle allègue des difficultés qui se présentent dans une telle procédure, en commençant par le fait que le locataire doit saisir l'autorité compétente en temps utile. Là aussi, les considérations de la recourante sont toutes générales. Les mécanismes procéduraux qu'elle invoque ne sauraient, à eux seuls, rendre le cas complexe au point de justifier l'octroi d'un conseil juridique d'office. En particulier, le dépôt d'une demande en temps utile est propre à bon nombre de procédures. Pour le surplus, le Tribunal fédéral a déjà nié l'octroi d'un conseil juridique d'office pour la procédure de conciliation dans le cas d'une résiliation du bail donnée pour non-paiement du loyer (arrêt 4A_384/2015 précité consid. 4.1).
Pour le surplus, contrairement à ce que soutient la recourante, la cour cantonale n'est pas partie du principe qu'un litige soumis à une maxime inquisitoire suffisait à compenser la méconnaissance du locataire en matière de droit du bail.
5.4. La recourante fait encore valoir qu'il convient également de tenir compte des raisons inhérentes à la personne concernée et de sa capacité à s'orienter dans la procédure. Or, ce point n'a pas échappé aux juges précédents. Lorsque la recourante soutient qu'elle se retrouve seule à se défendre pour sauvegarder le logement familial puisque son époux est en détention préventive, elle ne parvient pas à démontrer que la cour cantonale aurait violé le droit en niant la nécessité d'un conseil juridique au stade de la procédure de conciliation.
5.5. Enfin, la recourante se prévaut du principe de l'égalité des armes. Le fait que la partie adverse soit assistée d'un agent d'affaires breveté ne conduit toutefois pas automatiquement à l'octroi d'un conseil juridique d'office à la recourante. Il sied d'en tenir compte dans l'appréciation de l'ensemble des circonstances du cas d'espèce. Ici, cet élément ne permet pas de remettre en cause ce qui précède.
6.
Dès lors, force est de constater que la cour cantonale était fondée à refuser l'octroi de l'assistance judiciaire à la recourante pour la procédure de conciliation.
Il est ainsi superflu d'examiner les allégations de la recourante quant à la condition des chances de succès de la procédure au fond, question que l'autorité précédente a laissée ouverte.
Enfin, comme la recourante n'explique pas dans quelle mesure l'art. 6 CEDH dont elle se prévaut s'étendrait au-delà du contenu des art. 117 et 118 CPC, ainsi que de l'art. 29 al. 3 Cst., il n'y a pas lieu d'entrer en matière sur ce grief (cf. <ref-law>; arrêt 4A_301/2020 précité consid. 5.1).
7.
La cour cantonale a rejeté la demande d'assistance judiciaire formulée pour la procédure devant elle, au motif que le recours déposé auprès d'elle était dénué de toutes chances de succès. La recourante ne critique pas explicitement ce point, de sorte qu'il n'a pas à être examiné.
8.
En définitive, le recours doit être rejeté, dans la mesure où il est recevable.
Selon l'<ref-law>, le Tribunal fédéral peut accorder l'assistance judiciaire à une partie à condition que celle-ci ne dispose pas de ressources suffisantes et que ses conclusions ne paraissent pas d'emblée vouées à l'échec. En l'occurrence, la procédure entreprise devant la Cour de céans était dépourvue de chances de succès, ce qui entraîne le rejet de la demande d'assistance judiciaire de la recourante. Celle-ci devra supporter les frais judiciaires (<ref-law>). Par ailleurs, il n'est pas alloué de dépens, la partie intimée étant une autorité (<ref-law>), qui n'a du reste pas été invitée à déposer une réponse.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire de la recourante est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge de la recourante.
4.
Le présent arrêt est communiqué à la recourante, à la Chambre des recours civile du Tribunal cantonal du canton de Vaud et à B._.
Lausanne, le 7 septembre 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
La Greffière : Raetz