Faits :
A.
A.a. Les époux AA._ et BA._ sont domiciliés à C._, où ils sont propriétaires d'un chalet. AA._ est atteinte de sclérose en plaques et perçoit une rente de l'assurance-invalidité ainsi qu'une rente de la caisse de prévoyance du personnel de l'Etat du Valais. Depuis 2009, les intéressés louent un appartement à Martigny. Ce logement comprend un seul étage et dispose d'un accès par ascenseur.
A.b. Le 11 mai 2016, AA._ et BA._ ont remis leur déclaration fiscale 2015 au Service cantonal des contributions du canton du Valais (ci-après: le Service cantonal).
B.
Le 19 octobre 2018, après plusieurs décisions, réclamations et échanges de vue entre les époux A._ et le Service cantonal, cette autorité a procédé à une nouvelle taxation des contribuables pour l'année fiscale 2015. Pour ce qui intéresse la présente cause, le Service cantonal a notamment refusé d'admettre la déduction, au titre de frais liés à un handicap, des frais de location de l'appartement de Martigny, qui s'étaient élevés en 2015 à 25'560 fr. Par réclamation du 8 novembre 2018, AA._ et BA._ ont contesté cette décision. Le 9 avril 2019, le Service cantonal a rejeté la réclamation.
Le 18 avril 2019, les époux A._ ont recouru contre la décision sur réclamation du Service cantonal devant la Commission de recours en matière fiscale du canton du Valais (ci-après: la Commission de recours). Par décision du 16 janvier 2020, la Commission de recours a rejeté le recours tant en ce qui concerne les impôts cantonal et communal (ci-après: ICC) que l'impôt fédéral direct (ci-après: IFD). Cette autorité a retenu, en substance, que les frais de logement invoqués par les contribuables constituaient des frais d'entretien courant qui n'étaient pas déductibles en tant que frais liés à un handicap.
C.
A l'encontre de la décision du 16 janvier 2020, AA._ et BA._ déposent un "recours" auprès du Tribunal fédéral. Ils concluent (implicitement) à l'annulation de la décision entreprise et demandent en substance qu'il soit procédé à une nouvelle taxation pour l'ICC et l'IFD 2015 admettant la déduction des frais de location de l'appartement de Martigny. Les contribuables contestent également les frais judiciaires mis à leur charge par l'autorité précédente.
La Commission de recours formule des observations et conclut au rejet du recours. Le Service cantonal renonce à déposer une réponse et propose le rejet du recours. L'Administration fédérale des contributions se rallie à la décision attaquée et conclut au rejet du recours. Les recourants ont répliqué.

Considérant en droit :
1.
La Commission de recours a rendu une seule décision valant tant pour l'ICC que pour l'IFD, ce qui est en principe admissible, dès lors qu'il ressort clairement de ladite décision et du recours que le litige porte sur les deux catégories d'impôts (arrêt 2C_444/2018 du 31 mai 2019 consid. 1).
2.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 116).
2.1. Les recourants ont déclaré former un "recours" auprès du Tribunal fédéral. Cette désignation imprécise ne saurait leur nuire à condition que le recours remplisse les exigences légales de la voie de droit qui lui est ouverte (<ref-ruling> consid. 1.1 p. 370).
2.2. En l'occurrence, la décision attaquée porte sur le calcul du revenu imposable des contribuables pour l'année fiscale 2015, tant en matière d'ICC que d'IFD. La cause relève ainsi du droit public (<ref-law>) et ne tombe pas sous le coup des exceptions de l'<ref-law>. La voie du recours en matière de droit public est donc ouverte (cf. également les art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct [LIFD; RS 642.11] et 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]), la décision entreprise étant une décision finale (<ref-law>) rendue en dernière instance cantonale par une autorité judiciaire supérieure (art. 86 al. 1 let. d et al. 2 LTF).
2.3. Au surplus, déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par les contribuables destinataires de l'acte attaqué qui ont un intérêt digne de protection à son annulation ou à sa modification, de sorte qu'il faut leur reconnaître la qualité pour recourir (<ref-law>), le présent recours est recevable.
3.
D'après l'<ref-law>, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral ainsi que la conformité du droit cantonal harmonisé et de sa mise en pratique par les instances cantonales aux dispositions de la LHID (cf. arrêt 2C_826/2015 du 5 janvier 2017 consid. 2, non publié in <ref-ruling>).
Conformément à l'<ref-law> et en dérogation à l'<ref-law>, le Tribunal fédéral n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (arrêts 2C_292/2020 du 19 juin 2020 consid. 3.1 et 2C_869/2017 du 7 août 2018 consid. 2.1).
4.
Les recourants affirment "conteste[r]" les frais judiciaires mis à leur charge par la Commission de recours, sans aucunement motiver leur grief. Ce point n'a donc pas à être traité (cf. <ref-law>). Il en va de même des critiques concernant le déroulement de la procédure cantonale et les "compétences" (professionnelles) du juriste du Service cantonal et des membres de la Commission de recours. Ces critiques, formulées de manière peu compréhensible et sans indiquer aucune disposition légale qui aurait été violée, ne peuvent pas être examinées.
5.
Les contribuables mentionnent l'art. 8 al. 2 Cst., sans toutefois exposer ni motiver précisément en quoi cette disposition aurait été méconnue. Le grief ne répond ainsi pas aux exigences de motivation accrues de l'<ref-law> (cf. supra consid. 3) et n'a pas à être traité. Au demeurant, il n'a été soulevé par les recourants que dans leur réplique du 30 septembre 2020, de sorte qu'il est de toute manière tardif.
I. Impôt fédéral direct
6.
Le litige porte sur le point de savoir si c'est à bon droit que la Commission de recours a confirmé le refus du Service cantonal de déduire du revenu imposable des contribuables pour l'année fiscale 2015 les frais de location de l'appartement de Martigny au titre de frais liés à un handicap.
6.1. Aux termes de l'art. 33 al. 1 let. h bis LIFD, "sont déduits du revenu [..] les frais liés au handicap du contribuable ou d'une personne à l'entretien de laquelle il subvient lorsque le contribuable ou cette personne est handicapé au sens de la loi du 13 décembre 2002 sur l'égalité pour les handicapés et que le contribuable supporte lui-même les frais".
6.1.1. Le 31 août 2005, l'Administration fédérale des contributions a adopté la circulaire no 11 intitulée "Déductibilité des frais de maladie et d'accident et des frais liés à un handicap" (ci-après: la circulaire). Le Tribunal fédéral n'est pas lié par les circulaires de l'Administration fédérale des contributions, qui ne font pas partie du droit fédéral, mais il ne s'en écarte pas lorsqu'elles permettent une application correcte des normes légales dans un cas concret (cf. arrêt 2C_450/2020 du 15 septembre 2020 consid. 3.3.2 et les références).
6.1.2. La circulaire prévoit notamment ce qui suit:
" Les frais sont liés à un handicap lorsqu'ils sont occasionnés (lien de cause à effet) par un handicap [...] et qu'ils ne constituent ni des frais d'entretien courant, ni des dépenses somptuaires. Les frais d'entretien courant sont les dépenses servant à satisfaire les besoins individuels, parmi lesquelles figurent les frais usuels d'alimentation, d'habillement, de logement, de soins corporels, de loisirs et de divertissements. Les dépenses engagées par simple souci de confort personnel ou excessivement élevées qui excèdent ce qui est usuel et nécessaire, (dépenses somptuaires telles l'achat d'un fauteuil roulant de course ou l'aménagement d'une piscine) ne sont pas déductibles " (ch. 4.2).
" Les frais de transformation, d'aménagement ou d'entretien particulier du logement occasionnés par un handicap (ex.: installation d'un monte-rampe d'escalier, d'une rampe d'accès pour fauteuil roulant, de toilettes pour handicapés) sont déductibles [...] " (ch. 4.3.9).
6.2. En l'espèce, il n'est pas contesté qu'AA._ doit être considérée comme une personne handicapée au sens de l'art. 2 al. 1 de la loi fédérale du 13 décembre 2002 sur l'élimination des inégalités frappant les personnes handicapées (LHand; RS 151.3). Cependant, contrairement à l'opinion des recourants, les frais de location de l'appartement de Martigny n'entrent pas dans le champ d'application de l'art. 33 al. 1 let. h bis LIFD. A ce sujet, la circulaire prévoit en effet que les frais de logement constituent des frais d'entretien courant (cf. supra consid. 6.1.2), lesquels ne sont pas déductibles au titre de frais liés à un handicap (cf. arrêts 2C_450/2020 du 15 septembre 2020 consid. 3.3.3; 2C_500/2018 du 8 avril 2020 consid. 5.3; 2C_439/2015 du 21 janvier 2016 consid. 3.3; PETER LOCHER, Kommentar zum Bundesgesetz über die direkte Bundessteuer, vol. I, 2e éd., 2019, n. 87 ad <ref-law> p. 1010; HUNZIKER/MAYER-KNOBEL, in ZWEIFEL/BEUSCH [éd.], Kommentar zum schweizerischen Steuerrecht - Bundesgesetz über die direkte Bundessteuer, 3e éd., 2017, n. 32q ad <ref-law> p. 830). Or, cette approche ne prête pas le flanc à la critique, car les frais d'entretien courant - notamment ceux liés à la nourriture ou au logement - sont des frais que toute personne doit assumer indépendamment d'un éventuel handicap (cf. RICHNER/FREI/KAUFMANN/MEUTER, Handkommentar zum DBG, 3e éd., 2016, n. 168 ad <ref-law> p. 661). Ainsi, de manière générale, les frais de logement ne sont pas une conséquence directe du handicap d'un contribuable. Tel est le cas, en revanche, des frais engagés pour adapter un logement aux exigences d'une personne handicapée (monte-rampe d'escalier, rampe d'accès pour fauteuil roulant, toilettes spécialement aménagées, etc.), que la circulaire considère du reste comme des frais déductibles (cf. supra consid. 6.1.2). En l'occurrence, les recourants ne prétendent toutefois pas qu'ils auraient assumé des frais pour adapter leur chalet de C._ au handicap de l'épouse. Dans le cadre du présent litige, ils requièrent uniquement la déduction des frais de location de l'appartement de Martigny, lesquels, tel qu'il vient d'être exposé, ne constituent toutefois pas des frais liés à un handicap au sens de l'art. 33 al. 1 let. h bis LIFD (cf. arrêt 2C_500/2018 du 8 avril 2020 consid. 5.3). C'est donc à juste titre que la Commission de recours a confirmé la décision du Service cantonal refusant la déduction des frais litigieux sous l'angle de l'IFD.
6.3. Il ressort de ce qui précède que le recours doit être rejeté s'agissant de l'impôt fédéral direct pour la période fiscale 2015.
II. Impôt s cantonal et communal
7.
La jurisprudence rendue en matière d'impôt fédéral direct au sujet de la déduction des frais liés à un handicap est également déterminante en ce qui concerne les impôts cantonal et communal, car l'art. 9 al. 2 let. h bis LHID (repris à l'art. 29 al. 1 let. k de la loi fiscale valaisanne du 10 mars 1976 [LF/VS; RS/VS 642.1]) est identique à l'art. 33 al. 1 let. h bis LIFD (cf. arrêt 2C_500/2018 du 8 avril 2020 consid. 5.4). Il peut ainsi être renvoyé, s'agissant des impôts cantonal et communal, à la motivation développée en matière d'impôt fédéral direct. Le recours doit par conséquent aussi être rejeté s'agissant des impôts cantonal et communal pour la période fiscale 2015.
III. Conclusion; frais et dépens
8.
En résumé, le recours doit être rejeté tant en ce qui concerne l'IFD que l'ICC 2015. Succombant, les recourants doivent supporter les frais judiciaires, solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté en ce qui concerne l'impôt fédéral direct 2015.
2.
Le recours est rejeté en ce qui concerne les impôts cantonal et communal 2015.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants, solidairement entre eux.
4.
Le présent arrêt est communiqué aux recourants, au Service cantonal des contributions du canton du Valais, à la Commission cantonale de recours en matière fiscale du canton du Valais, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 1er décembre 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Ermotti