Faits : A. A.a. Les époux AA._ et BA._ sont domiciliés à C._, où ils sont propriétaires d'un chalet. AA._ est atteinte de sclérose en plaques et perçoit une rente de l'assurance-invalidité ainsi qu'une rente de la caisse de prévoyance du personnel de l'Etat du Valais. Depuis 2009, les intéressés louent un appartement à Martigny. Ce logement comprend un seul étage et dispose d'un accès par ascenseur. A.b. Le 11 mai 2016, AA._ et BA._ ont remis leur déclaration fiscale 2015 au Service cantonal des contributions du canton du Valais (ci-après: le Service cantonal). B. Le 19 octobre 2018, après plusieurs décisions, réclamations et échanges de vue entre les époux A._ et le Service cantonal, cette autorité a procédé à une nouvelle taxation des contribuables pour l'année fiscale 2015. Pour ce qui intéresse la présente cause, le Service cantonal a notamment refusé d'admettre la déduction, au titre de frais liés à un handicap, des frais de location de l'appartement de Martigny, qui s'étaient élevés en 2015 à 25'560 fr. Par réclamation du 8 novembre 2018, AA._ et BA._ ont contesté cette décision. Le 9 avril 2019, le Service cantonal a rejeté la réclamation. Le 18 avril 2019, les époux A._ ont recouru contre la décision sur réclamation du Service cantonal devant la Commission de recours en matière fiscale du canton du Valais (ci-après: la Commission de recours). Par décision du 16 janvier 2020, la Commission de recours a rejeté le recours tant en ce qui concerne les impôts cantonal et communal (ci-après: ICC) que l'impôt fédéral direct (ci-après: IFD). Cette autorité a retenu, en substance, que les frais de logement invoqués par les contribuables constituaient des frais d'entretien courant qui n'étaient pas déductibles en tant que frais liés à un handicap. C. A l'encontre de la décision du 16 janvier 2020, AA._ et BA._ déposent un "recours" auprès du Tribunal fédéral. Ils concluent (implicitement) à l'annulation de la décision entreprise et demandent en substance qu'il soit procédé à une nouvelle taxation pour l'ICC et l'IFD 2015 admettant la déduction des frais de location de l'appartement de Martigny. Les contribuables contestent également les frais judiciaires mis à leur charge par l'autorité précédente. La Commission de recours formule des observations et conclut au rejet du recours. Le Service cantonal renonce à déposer une réponse et propose le rejet du recours. L'Administration fédérale des contributions se rallie à la décision attaquée et conclut au rejet du recours. Les recourants ont répliqué.