Faits :
A.
A._, née en 1967, était au bénéfice de prestations financières de l'Hospice général du canton de Genève (ci-après: l'Hospice) depuis le 1er juin 1994. Lors des entretiens périodiques des 5 mars et 2 avril 2019, son assistante sociale lui a indiqué que l'Hospice ne pouvait pas prendre en charge les frais d'un climatiseur, ce qui lui a été confirmé par appel téléphonique du 5 avril 2019.
Par courrier du 13 juin 2019, A._ a sollicité la prise en charge du climatiseur, en joignant un devis de 349 fr. 90 et un certificat médical du docteur B._ du 5 juin 2019, selon lequel "Madame a besoin d'un climatiseur. La température de son appartement est trop haute en été. Son état médical nécessite un tel moyen". Le 22 juin 2019, la prénommée a informé la gestionnaire financière de l'Hospice qu'elle avait dû acheter un climatiseur en urgence, en demandant le remboursement de la somme de 449 fr. (livraison et installation comprises) déboursée à cet effet.
Par décision du 5 juillet 2019, l'Hospice a rejeté cette demande, au motif que la prise en charge d'un climatiseur n'était pas prévue par la loi. Cette décision a été confirmée sur opposition le 16 novembre 2020.
B.
Saisie d'un recours contre la décision sur opposition, la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Chambre administrative) l'a rejeté par arrêt du 9 février 2021.
C.
A._ interjette un recours en matière de droit public et un recours constitutionnel subsidiaire contre cet arrêt, en concluant à sa réforme en ce sens que l'Hospice soit condamné à lui rembourser la somme de 449 fr. Elle sollicite en outre d'être mise au bénéfice de l'assistance judiciaire.
La juridiction cantonale déclare s'en rapporter à justice quant à la recevabilité du recours et persister dans les considérants et le dispositif de son arrêt. L'intimé conclut au rejet de recours.
D.
Sur ordre du juge instructeur, l'arrêt de la Chambre administrative ATA/1182/2020 rendu le 24 novembre 2020 entre les mêmes parties que la présente cause a été versé au dossier fédéral. Les parties ont été invitées à présenter leurs éventuelles observations à ce sujet, ce que seule la recourante a fait.

Considérant en droit :
1.
Le recours est dirigé contre une décision finale (<ref-law>) rendue en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable en tant que recours en matière de droit public. Partant, en raison de son caractère subsidiaire, le recours constitutionnel formé simultanément par la recourante est irrecevable (<ref-law>).
2.
2.1. Le Tribunal fédéral, qui est un juge du droit, fonde son raisonnement juridique sur les faits retenus par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2) - ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Si la partie recourante entend s'écarter des constatations de fait de l'autorité précédente, elle doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (<ref-law>); à défaut, un état de fait divergent de celui de la décision attaquée ne peut pas être pris en compte (<ref-ruling> consid. 2 précité; <ref-ruling> consid. 5.2.2). Le Tribunal fédéral n'entre pas en matière sur des critiques appellatoires portant sur l'appréciation des preuves ou l'établissement des faits par l'autorité précédente (<ref-ruling> consid. 2; <ref-ruling> consid. 2.3).
2.2. Le Tribunal fédéral applique le droit d'office (<ref-law>). Toutefois, il n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant (<ref-law>). Sauf exceptions non pertinentes en l'espèce (cf. art. 95 let. c, d et e LTF), on ne peut pas invoquer la violation du droit cantonal ou communal en tant que tel devant le Tribunal fédéral (<ref-law> a contrario). Il est néanmoins possible de faire valoir que son application viole le droit fédéral, en particulier l'interdiction de l'arbitraire (art. 9 Cst.) ou d'autres droits constitutionnels. Le Tribunal fédéral n'examine alors de tels moyens que s'ils sont formulés conformément aux exigences de motivation qualifiée prévues à l'<ref-law> (<ref-ruling> consid. 3.2 et la référence). Appelé à revoir l'interprétation d'une norme cantonale ou communale sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain (<ref-ruling> consid. 7.1).
3.
Le litige porte sur le point de savoir si la cour cantonale a violé le droit fédéral en confirmant le refus de l'intimé de rembourser à la recourante le montant de 449 fr. pour l'achat et l'installation d'un climatiseur dans son studio.
4.
4.1. Selon l'art. 12 Cst., quiconque est dans une situation de détresse et n'est pas en mesure de subvenir à son entretien a le droit d'être aidé et assisté et de recevoir les moyens indispensables pour mener une existence conforme à la dignité humaine. L'art. 12 Cst. ne vise qu'une aide minimale - à savoir un filet de protection temporaire pour les personnes qui ne trouvent aucune protection dans le cadre des institutions sociales existantes - pour mener une existence conforme à la dignité humaine; dans cette mesure, le droit constitutionnel à l'aide d'urgence diffère du droit cantonal à l'aide sociale, qui est plus complet (<ref-ruling> consid. 5.1 et les références).
4.2. Dans le canton de Genève, l'aide sociale est régie par la loi du 22 mars 2007 sur l'insertion et l'aide sociale individuelle (LIASI; RS/GE J 4 04) et son règlement d'exécution du 25 juillet 2007 (RIASI; RS/GE J 4 04.01), qui disposent notamment ce qui suit:
Selon l'art. 25 LIASI, peuvent être accordées aux personnes qui, en application des art. 21 à 24 LIASI, ont droit à des prestations d'aide financière, les prestations suivantes: a) les suppléments d'intégration à titre de prestations à caractère indicatif; b) les autres prestations circonstancielles (al. 1); le Conseil d'État définit par règlement ces prestations et fixe leurs conditions d'octroi (al. 2).
Aux termes de l'art. 9 RIASI, en application de l'art. 25 al. 1 let. b LIASI, les autres prestations circonstancielles décrites ci-après sont accordées au bénéficiaire de prestations d'aide financière aux conditions cumulatives et dans les limites suivantes: a) les frais concernent des prestations de tiers reçues durant une période d'aide financière au sens de l'art. 28 de la loi; b) la facture du prestataire ou le décompte de l'assureur relatif à ces frais sont présentés au remboursement dans le délai de 3 mois à compter de la date à laquelle ils sont établis.
- Frais spéciaux dus à la maladie ou au handicap: Les frais spéciaux, dus à la maladie ou au handicap, dont la couverture n'entre pas dans le cadre de la LAMal, sont en pris en charge exclusivement sur prescription médicale attestant que le traitement ou le médicament est indispensable et qu'il n'y a pas d'équivalent remboursé au titre de la LAMal (al. 6).
- Frais d'installation: Une participation aux frais d'installation, en cas de besoin justifié, peut être accordée à une ou plusieurs reprises, à concurrence d'un montant cumulé maximal par période de 5 ans de 1000 fr. pour une personne sur présentation des factures (...) (al. 16).
- Frais pour besoin exceptionnel: Un montant de 500 fr. au maximum par année civile et par dossier peut être accordé pour couvrir des besoins exceptionnels et indispensables (al. 20).
5.
5.1. Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, la recourante reproche à l'instance précédente d'avoir violé son droit d'être entendue en refusant d'interroger son médecin traitant. Elle soutient que l'audition de celui-ci aurait permis de constater que le climatiseur devait être considéré comme une nécessité médicale.
5.2. Le droit d'être entendu découlant de l'art. 29 al. 2 Cst. ne comprend pas le droit d'être entendu oralement ni celui d'obtenir l'audition de témoins. En effet, l'autorité peut mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient pas l'amener à modifier son opinion (<ref-ruling> consid. 4.1; <ref-ruling> consid. 6.3.1; <ref-ruling> consid. 5.3). Le refus d'une mesure probatoire par appréciation anticipée des preuves ne peut être remis en cause devant le Tribunal fédéral qu'en invoquant l'arbitraire (art. 9 Cst.) de manière claire et détaillée (<ref-law>; <ref-ruling> consid. 5.2.2; <ref-ruling> consid. 4.3.2).
5.3. En l'espèce, la juridiction cantonale n'a pas donné suite aux demandes d'actes d'instruction de la recourante en considérant que ceux-ci n'étaient pas pertinents pour trancher le litige. Cette appréciation ne prête pas le flanc à la critique. En effet, la recourante a pu produire les attestations médicales du docteur B._ en procédure administrative, puis par-devant la cour cantonale, de sorte qu'une audition de ce médecin apparaît superflu e. Cela est d'autant plus vrai qu'il appartient à l'organe d'application du droit de déterminer ce qui constitue "un médicament ou un traitement" au sens de l'art. 9 al. 6 RIASI (cf. consid. 4.2 supra).
6.
Sur le fond, les premiers juges ont d'abord retenu que le climatiseur ne pouvait pas être pris en charge au titre de frais spéciaux (art. 9 al. 6 RIASI, cf. consid. 5.3 supra), dans la mesure où celui-ci ne constituait ni un traitement, ni un médicament. Examinant ensuite si les frais relatifs au climatiseur pouvaient être remboursés au titre de frais d'installation (art. 9 al. 16 RIASI), la juridiction cantonale a considéré qu'il ne s'agissait pas d'un besoin d'aménagement de base, visant à couvrir un besoin primaire, raison pour laquelle le refus était également fondé. S'agissant enfin de savoir si les frais relatifs au climatiseur pouvaient constituer des frais exceptionnels (art. 9 al. 20 RIASI), la cour cantonale a indiqué que si la notion de "besoins exceptionnels et indispensables" n'était pas définie par la LIASI ou le RIASI, la systématique de la loi et son texte exprimaient clairement qu'il devait s'agir d'un besoin constitutif d'une exception ou qui soit extraordinaire. Si le climatiseur était un achat unique, il ne répondait pas à un besoin exceptionnel ou extraordinaire. Comme l'avait suggéré l'intimé, il existait d'autres moyens pour lutter contre la chaleur estivale, en particulier ceux recommandés par l'Office fédéral de la santé publique qui préconisait, en cas de fortes chaleurs, de fermer les fenêtres pendant la journée (tirer les rideaux, fermer les volets), d'aérer la nuit, de porter des vêtements légers, de rafraîchir l'organisme en prenant des douches froides, de poser des linges froids sur le front et la nuque ainsi que des compresses sur les pieds et les mains, de boire beaucoup et de manger léger. Par ailleurs, le droit du bail permettait de demander au bailleur, à certaines conditions, de remédier aux défauts, dont la chaleur excessive faisait partie. Rappelant que l'action de l'intimé était guidée par le principe de subsidiarité, les premiers juges ont conclu que son refus de prendre en charge les frais liés à l'acquisition d'un climatiseur était conforme au droit et ne consacrait pas d'abus ou d'excès de son pouvoir d'appréciation.
7.
7.1. La recourante fait grief à la cour cantonale d'avoir appliqué de manière arbitraire le droit cantonal et d'avoir violé l'art. 12 Cst. Les juges cantonaux auraient écarté à tort l'application de l'art. 9 al. 6 RIASI (frais spéciaux dus à la maladie ou au handicap), sans même se poser la question si un climatiseur constituait un traitement médical, alors qu'il serait évident qu'un traitement médical pourrait inclure l'usage d'un climatiseur.
Ce faisant, la recourante n'expose pas, conformément aux exigences minimales de motivation des art. 42 et 106 al. 2 LTF (cf. consid. 2.2 supra), en quoi l'instance précédente aurait fait une interprétation arbitraire de la notion de traitement médical. Il ne suffit en effet pas d'affirmer le contraire de ce qui a été retenu pour démontrer l'arbitraire dans l'interprétation du droit cantonal.
7.2. S'agissant ensuite des frais d'installation (art. 9 al. 16 RIASI), la recourante se prévaut d'une attestation médicale du docteur B._ indiquant qu'elle a besoin d'un climatiseur. Par son argumentation, elle ne démontre toutefois pas que la cour cantonale aurait versé dans l'arbitraire en considérant que le climatiseur ne répondait pas à un besoin d'aménagement de base, visant à couvrir un besoin primaire au sens du droit cantonal, tel que par exemple un lit, une table, des chaises, une cuisinière, un réfrigérateur ou encore l'ouverture de lignes électriques. La cour cantonale a exposé de manière convaincante qu'une interprétation plus large qui inclurait des meubles ne répondant pas à un besoin de première nécessité irait à l'encontre de la volonté du législateur, lequel a clairement défini l'aide sociale comme une aide subsidiaire et ne visant pas à satisfaire les besoins de convenance. Cette appréciation n'est pas critiquable. On ne voit en particulier pas en quoi l'attestation du docteur B._ serait de nature à faire apparaître insoutenable l'interprétation de l'intimé et de la cour cantonale selon laquelle un climatiseur ne fait pas partie des meubles ou de l'aménagement de première nécessité.
7.3. Dans la mesure où la recourante estime que l'autorité cantonale aurait fait preuve d'arbitraire en refusant de lui rembourser le montant de 449 fr. à titre de "frais exceptionnels", elle échoue à démontrer une application arbitraire de l'art. 9 al. 20 RIASI. Contrairement à ce qu'elle fait valoir, les premiers juges n'ont pas constaté que la recourante "habite dans un studio de 20 m2, dans lequel la température atteignait 40 degrés", mais ont fait état des écritures déposées par les parties en procédure cantonale, et reproduit les faits tels qu'ils étaient présentés par la recourante à l'appui de son recours. S'il est certes indéniable que durant la période d'été, la température peut être assez élevée dans un studio situé sous les combles, il n'en demeure pas moins qu'il existe des moyens alternatifs pour échapper à la chaleur estivale, comme ceci a été exposé par la cour cantonale (cf. consid. 6 supra). En outre, dans la mesure où l'art. 9 al. 20 revêt un caractère potestatif (cf. consid. 4.2 supra), la confirmation par la cour cantonale du refus de rembourser à la recourante ses frais d'achat et d'installation d'un climatiseur n'apparaît pas arbitraire.
8.
Au vu de ce qui précède, le recours en matière de droit public, mal fondé, doit être rejeté.
9.
La recourante a demandé à bénéficier de l'assistance judiciaire gratuite. Une partie ne remplit les conditions de l'assistance judiciaire que si elle ne dispose pas de ressources suffisantes et si ses conclusions ne paraissent pas vouées à l'échec (<ref-law>; <ref-ruling> consid. 9.1). En l'espèce, pour les motifs exposés ci-dessus, le recours apparaissait d'emblée voué à l'échec, ce qui conduit au rejet de la demande d'assistance judiciaire. La recourante doit par conséquent payer les frais judiciaires (<ref-law>) et ne peut pas prétendre à la prise en charge des honoraires de son avocat (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière de droit public est rejeté.
3.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de la recourante.
4.
Le présent arrêt est communiqué aux parties et à la Chambre administrative de la Cour de justice de la République et canton de Genève.
Lucerne, le 14 décembre 2021
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Elmiger-Necipoglu