Faits :
A.
A.a. A.A._ et son époux ont conclu avec B._ SA (ci-après: la bailleresse) un contrat de bail portant sur un appartement de quatre pièces et une cave situés à Genève. Le loyer annuel était fixé en dernier lieu à 14'760 fr., acomptes de frais accessoires et de chauffage en sus.
Depuis leur divorce, l'épouse est seule locataire et occupe l'appartement avec ses deux enfants. Elle porte le nom de famille A._ (ci-après: la locataire).
A.b. Le 14 janvier 2021, la bailleresse a adressé à la locataire un courrier recommandé de mise en demeure de lui régler, sous trente jours et sous la menace d'une résiliation anticipée du contrat de bail, le montant de 4'259 fr. 80, soit l'équivalent des loyers des mois de novembre 2020 à janvier 2021, sous déduction d'un acompte de 228 fr. 20.
Ce courrier a été retourné à la bailleresse le 26 janvier 2021, avec la mention " non réclamé ". Selon le suivi de l'envoi de la Poste, l'avis pour le retrait du pli recommandé a été distribué le 15 janvier 2021.
A.c. Du relevé de compte établi au 26 mai 2021 produit par la bailleresse, il ressort que les arriérés de loyer accumulés à cette date s'élevaient à 3'121 fr. 90, et que les arriérés de loyer pour les mois de novembre 2020 à janvier 2021 ont été réglés le 21 avril 2021.
Par courriel du 18 mai 2021, la bailleresse a confirmé que le loyer pour les mois de novembre 2020 à février 2021 avait été payé.
A.d. Par courriers du 23 février 2021 adressés par pli recommandé et par pli simple, la bailleresse a envoyé à la locataire un avis officiel de résiliation du contrat de bail pour le 31 mars 2021.
Le courrier recommandé a été retourné à la bailleresse le 8 mars 2021 avec la mention " non réclamé ". D'après le suivi de l'envoi de la Poste, l'avis pour le retrait de ce pli a été distribué le 24 février 2021.
A.e. La locataire a contesté le congé par-devant la Commission de conciliation en matière de baux et loyers.
B.
B.a. Le 7 avril 2021, la bailleresse a requis du Tribunal des baux et loyers du canton de Genève, par la procédure de protection dans les cas clairs, l'évacuation de la locataire de l'appartement litigieux, ainsi que le prononcé de mesures d'exécution. Elle a également requis, au dernier état de ses conclusions, le paiement de la somme de 3'121 fr. 90 avec intérêts au vu des versements effectués par la locataire dans l'intervalle.
Par jugement du 27 mai 2021, le tribunal a condamné la locataire à évacuer immédiatement de sa personne et de ses biens, ainsi que de toute autre personne faisant ménage commun avec elle, l'appartement litigieux et la cave qui en dépendait. Il a autorisé la bailleresse à requérir l'évacuation de la locataire par la force publique dès le 1er novembre 2021. Il a en outre condamné la locataire à verser à la bailleresse la somme de 3'121 fr. 90 avec intérêts.
B.b. Par arrêt du 11 octobre 2021, la Chambre des baux et loyers de la Cour de justice du canton de Genève, statuant sur appel de la locataire, a, en substance, confirmé le jugement entrepris et débouté les parties de toutes autres conclusions.
C.
La locataire (ci-après: la recourante) a formé un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral. A l'issue de ceux-ci, elle a conclu à l'annulation de l'arrêt attaqué et à ce que " tout tiers " soit débouté de toute autre ou contraire conclusion. Subsidiairement, elle a conclu à l'annulation de cet arrêt, au renvoi de la cause à la cour cantonale pour nouvelle décision au sens des considérants, et à ce que " tout tiers " soit débouté de toute autre ou contraire conclusion. Elle a également sollicité l'octroi de l'effet suspensif ainsi qu'une dispense du paiement des frais judiciaires.
La demande d'effet suspensif a été rejetée par ordonnance présidentielle du 16 novembre 2021.
La bailleresse (ci-après: l'intimée) et la cour cantonale n'ont pas été invitées à répondre au recours.

Considérant en droit :
1.
1.1. Le recours est dirigé contre une décision finale (<ref-law>) rendue en matière civile (<ref-law>) par le tribunal supérieur du canton (<ref-law>). La cause atteint la valeur litigieuse de 15'000 fr. ouvrant le recours en matière civile dans les affaires relevant du droit du bail (<ref-law>). La recourante, qui a succombé devant la cour cantonale, a qualité pour recourir (<ref-law>). Le recours a en outre été déposé en temps utile (<ref-law>).
La voie du recours en matière civile étant ouverte en raison d'une valeur litigieuse suffisante, le recours constitutionnel subsidiaire est irrecevable (<ref-law>).
1.2. Le mémoire de recours doit contenir des conclusions (<ref-law>). Le recours en matière civile étant une voie de réforme (<ref-law>), le recourant ne peut pas se borner à demander l'annulation de la décision attaquée et le renvoi de la cause à l'instance cantonale; il doit, sous peine d'irrecevabilité, prendre des conclusions sur le fond du litige (<ref-ruling> consid. 1.3; <ref-ruling> consid. 1.3; <ref-ruling> consid. 3.1). Il n'est fait exception à ces principes que lorsque le Tribunal fédéral, s'il admettait le recours, ne serait pas en mesure de statuer lui-même sur le fond; il appartient au recourant de démontrer qu'il en est ainsi lorsque cela ne ressort pas sans autre de la décision attaquée (ATF <ref-ruling> consid. 1.3; <ref-ruling> consid. 3.1).
1.3. En l'espèce, la recourante se limite à conclure à l'annulation de l'arrêt attaqué, et à ce que " tout tiers " soit débouté de toute autre ou contraire conclusion. La conclusion tendant au déboutement de " tout tiers " apparaît comme une simple formule et ne semble pas viser la requête déposée par l'intimée en première instance. Par ailleurs, lorsque, dans sa conclusion subsidiaire, la recourante sollicite le renvoi de la cause à la cour cantonale, elle n'explique pas pourquoi le Tribunal fédéral ne serait pas à même de trancher l'affaire, au cas où les griefs de la recourante se révéleraient bien fondés. Cependant, déclarer le recours irrecevable faute de conclusions réformatoires valablement formulées pourrait relever du formalisme excessif, dans la mesure où l'on comprend, à la lecture du mémoire de recours, que l'intéressée conclut à la réforme de l'arrêt attaqué en ce sens que les conclusions prises par l'intimée en première instance doivent être déclarées irrecevables. La question d'un éventuel formalisme excessif n'a toutefois pas à être approfondie car, de toute manière, le recours doit être rejeté pour les motifs suivants.
2.
2.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes ou découlent d'une violation du droit au sens de l'<ref-law> (<ref-law>). " Manifestement inexactes " signifie ici " arbitraires " (<ref-ruling> consid. 2; <ref-ruling> consid. 1.5). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit ainsi expliquer clairement et de manière circonstanciée en quoi ces conditions seraient réalisées (<ref-ruling> consid. 1.3.1 et les références). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1).
En matière d'appréciation des preuves et d'établissement des faits, le Tribunal fédéral n'intervient, du chef de l'art. 9 Cst., que si le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte des preuves pertinentes ou a effectué, sur la base des éléments recueillis, des déductions insoutenables. L'arbitraire ne résulte pas du seul fait qu'une autre solution serait concevable, voire préférable (<ref-ruling> consid. 2.3; <ref-ruling> consid. 4.2; <ref-ruling> consid. 4.2).
2.2. Le recours peut être formé pour violation du droit fédéral (<ref-law>). Le Tribunal fédéral n'examine la violation de droits fondamentaux que si le grief correspondant a été invoqué et motivé par la partie recourante conformément au principe de l'allégation (<ref-law>; <ref-ruling> consid. 2.2; <ref-ruling> consid. 2.2).
3.
Tout d'abord, la recourante dénonce un " formalisme excessif ". Elle allègue qu'il ressort de la procédure que l'intimée a bien reçu le paiement des loyers faisant l'objet de l'avis comminatoire, mais que sur le décompte que cette dernière avait présenté, seule la date de comptabilisation avait été retenue et non la date à laquelle le versement avait effectivement été reçu.
3.1. Il y a formalisme excessif, constitutif d'un déni de justice formel prohibé par l'art. 29 al. 1 Cst., lorsque la stricte application des règles de procédure ne se justifie par aucun intérêt digne de protection, devient une fin en soi et complique de manière insoutenable la réalisation du droit matériel ou entrave de manière inadmissible l'accès aux tribunaux (<ref-ruling> consid. 4.2.1 et les arrêts cités).
3.2. La cour cantonale a retenu que les loyers faisant l'objet de l'avis comminatoire du 14 janvier 2021 avaient été réglés le 21 avril 2021 seulement, et n'avaient donc pas été versés dans le délai imparti.
3.3. La recourante ne détaille pas en quoi elle discernerait un formalisme excessif dans les considérations de la cour cantonale. On doit au contraire comprendre de son argumentation qu'elle conteste la date du 21 avril 2021 retenue par la cour cantonale s'agissant du moment auquel les loyers ont été réglés. En cela, la recourante critique une constatation de fait, qui ne peut être corrigée par le Tribunal fédéral que si elle se révèle arbitraire (art. 9 Cst.). Encore faut-il que la recourante présente à ce sujet une argumentation précise (<ref-law>). Or, l'intéressée se contente d'une simple affirmation, sans même mentionner à quelle date elle aurait versé les loyers litigieux. Elle n'invoque, ni a fortiori ne démontre, le moindre arbitraire dans la constatation de la cour cantonale.
4.
Ensuite, la recourante reproche aux juges cantonaux d'avoir apprécié les preuves de manière arbitraire en faisant fi des versements intervenus et en la condamnant au paiement d'un arriéré de loyers.
4.1. La cour cantonale a relevé que dans la mesure où la locataire n'avait remis en cause ni l'existence, ni la quotité du montant des arriérés réclamés par la bailleresse devant le tribunal, soit 3'121 fr. 90 avec intérêts, ce dernier était fondé à la condamner au versement de cette somme.
4.2. La recourante semble désormais alléguer que ce montant aurait été intégralement réglé. Or, elle n'a pas formulé ce moyen de fait devant la cour cantonale, alors qu'il lui appartenait de le faire en vertu du principe de l'épuisement des griefs (<ref-ruling> consid. 1.1 et les références citées). Ainsi, cette critique est irrecevable.
5.
En dernier lieu, la recourante se prévaut d'une violation de l'interdiction de l'arbitraire (art. 9 Cst.). Elle soutient que l'arrêt attaqué est insoutenable tant dans ses motifs que dans son résultat, puisqu'il confirme le jugement de première instance sans lui accorder " un délai supplémentaire ". Cela revenait à expulser une femme et ses enfants, alors même qu'elle avait pris les mesures adéquates afin d'éviter ces conséquences. L'arrêt attaqué était insoutenable compte tenu des éléments au dossier et des constatations de la cour cantonale.
5.1. Une décision est arbitraire, donc contraire à l'art. 9 Cst., lorsqu'elle viole gravement une norme ou un principe juridique clair et indiscuté, ou contredit d'une manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si la décision attaquée apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs ou en violation d'un droit certain. En outre, il ne suffit pas que les motifs de la décision soient insoutenables; encore faut-il que celle-ci soit arbitraire dans son résultat. Il ne suffit d'ailleurs pas non plus qu'une solution différente de celle retenue par l'autorité cantonale puisse être tenue pour également concevable ou apparaisse même préférable (<ref-ruling> consid. 7.3; <ref-ruling> consid. 4.3; <ref-ruling> consid. 2.1).
5.2. La recourante n'explique pas précisément en quoi les motifs de l'arrêt attaqué seraient insoutenables. Les arguments qu'elle a soulevés précédemment ne lui sont d'aucune utilité, au vu du sort qui leur a été réservé (cf. consid. 3 et 4 supra). Ainsi, les quelques lignes que consacre la recourante à cette critique ne permettent nullement de démontrer en quoi la cour cantonale aurait fait preuve d'arbitraire dans ses motifs. Pour cette raison déjà, ce grief doit être rejeté, pour autant qu'il soit recevable.
6.
En définitive, le recours constitutionnel subsidiaire est irrecevable. Le recours en matière civile, quant à lui, est manifestement mal fondé aux termes de l'<ref-law> et doit être rejeté, dans la faible mesure de sa recevabilité.
Le recours étant manifestement dépourvu de chances de succès, l'une des conditions pour l'octroi de l'assistance judiciaire, à tout le moins, n'est pas remplie (<ref-law>). Il convient ainsi de rejeter la demande en ce sens de la recourante. Celle-ci devra donc supporter les frais judiciaires (<ref-law>). En revanche, elle n'aura pas à indemniser l'intimée, cette dernière n'ayant pas été invitée à déposer une réponse.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière civile est rejeté dans la mesure où il est recevable.
3.
La demande d'assistance judiciaire est rejetée.
4.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge de la recourante.
5.
Le présent arrêt est communiqué aux parties et à la Chambre des baux et loyers de la Cour de justice du canton de Genève.
Lausanne, le 26 novembre 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
La Greffière : Raetz