Faits :
A.
B._ et A._ sont propriétaires d'une maison familiale dans le canton de Fribourg. Dans leur déclaration fiscale relative à l'année 2014, ils ont fait valoir une déduction de 3'401 fr. de frais d'entretien d'immeuble, dont 961 fr. pour un abonnement annuel d'entretien du système de chauffage et 175 fr. pour la révision annuelle d'un système de traitement de l'eau.
B.
Par décision de taxation du 17 septembre 2015, le Service cantonal des contributions de l'Etat de Fribourg (ci-après: le Service des contributions) a admis une déduction pour frais d'entretien d'immeuble de 2'148 francs. Il a considéré que les frais pour la révision annuelle du système de traitement de l'eau et ceux pour l'abonnement d'entretien du chauffage n'étaient déductibles ni dans le cadre de l'impôt fédéral direct (ci-après: IFD), ni dans celui des impôts cantonal et communal (ci-après: ICC). Sur réclamation des contribuables du 5 octobre 2015, le Service des contributions, le 13 octobre 2015, a modifié sa décision sur divers points, confirmant cependant son refus de déduire les frais pour les systèmes de chauffage et de traitement d'eau précités. Le 28 octobre 2015, B._ et A._ ont contesté ce prononcé auprès de la Cour fiscale du Tribunal cantonal de l'Etat de Fribourg (ci-après: le Tribunal cantonal). Ce dernier, par arrêt du 11 avril 2017, a rejeté le recours des contribuables, tant en matière d'IFD que d'ICC.
C.
Par acte du 7 mai 2017 intitulé " Recours contre l'arrêt du 11 avril 2017 du Tribunal cantonal de Fribourg ", B._ et A._ demandent en substance au Tribunal fédéral d'annuler l'arrêt du Tribunal cantonal du 11 avril 2017 et de déduire les montants de 961 fr. et 175 fr. de leur revenu. Ils se plaignent de violation du droit fédéral.
Le Tribunal cantonal conclut au rejet du recours. L'Administration fédérale des contributions conclut également au rejet du recours, dans la mesure où celui-ci est recevable. Le Service des contributions ne s'est pas déterminé.

Considérant en droit :
1.
1.1. L'absence de dénomination du recours ne saurait nuire aux recourants si leur acte répond aux exigences de la voie de droit à disposition (cf. quant à la désignation erronée de la voie de droit: <ref-ruling> consid. 1.1 p. 370).
1.2. Le recours est dirigé contre une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) ne tombant pas sous le coup de l'une des exceptions prévues à l'<ref-law>. Il est donc en principe recevable comme recours en matière de droit public s'agissant des deux catégories d'impôts (cf. <ref-law> [RS 642.11], art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]; <ref-ruling> consid. 1.3 p. 188 s.). Le recours a en outre été déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par les contribuables destinataires de l'acte attaqué (<ref-law>), de sorte qu'il convient d'entrer en matière.
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF). Il conduit son raisonnement en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>; <ref-ruling> consid. 4.4.3 p. 156), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire (<ref-ruling> consid. 2.4 p. 314), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 4.2 p. 234). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 5.1 p. 356). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
Dans la mesure où les recourants présentent une argumentation partiellement appellatoire, en opposant leur propre version des faits à celle du Tribunal cantonal, sans cependant invoquer ni l'arbitraire, ni une constatation manifestement inexacte des faits, le Tribunal fédéral ne peut pas en tenir compte. Il statuera donc sur la base des faits tels qu'ils ressortent de l'arrêt attaqué. Il ne saurait en outre être tenu compte des pièces nouvelles produites à l'appui du recours.
3.
3.1. Il ressort de l'arrêt entrepris que, dans leur déclaration fiscale pour l'année 2014, les recourants ont notamment fait valoir 961 fr. 20 et 175 fr. de déductions pour frais d'entretien d'immeuble. Le premier montant avait trait à deux contrats d'entretien, l'un concernant une pompe à chaleur avec module-clé et l'autre un chauffe-eau et un groupe solaire. Pour la pompe à chaleur avec module-clé, le contrat d'entretien prévoyait une redevance d'entretien annuelle de 520 fr. et couvrait, avec le matériel, tous les frais de maintenance et de réparation, la chaudière, la régulation et les armatures. L'autre contrat d'entretien, prévu pour le chauffe-eau et le groupe solaire, dont les redevances s'élevaient à 250 fr. pour le groupe solaire tous les deux ans et à 120 fr. pour le détartrage tous les cinq ans, couvrait non seulement la maintenance, mais également les réparations (plus un montant de TVA de 71 fr. 20; cf. <ref-law>). Le montant de 175 fr. concernait pour sa part la révision annuelle d'un système de traitement d'eau.
3.2. Le Tribunal cantonal a jugé que les redevances payées pour les contrats d'entretien devaient, pour la part qui couvre les frais de maintenance, être traitées comme des frais accessoires non déductibles. En revanche, il a considéré qu'il n'en allait pas de même pour l'éventuelle part afférente aux frais de réparation. Il a toutefois ajouté qu'on ne savait pas si de telles réparations avaient été effectuées durant la période fiscale en cause, les recourants n'ayant pas établi que tel était le cas. Pour cette raison, l'autorité précédente a confirmé le refus de déduire 961 fr. de redevances annuelles. S'agissant du montant de 175 fr., le Tribunal cantonal a jugé que celui-ci avait été facturé pour le changement du charbon, le nettoyage du filtre, le réglage du " NATEC PLUS " et le contrôle de l'équilibrage. Il a considéré qu'il ne s'agissait pas de frais de réparation, mais de frais de maintenance, c'est-à-dire des frais constituant des dépenses d'utilisation du revenu non déductibles.
3.3. Pour leur part, les recourants estiment qu'au moins une partie des frais précités sont déductibles et que le contrat d'entretien du système de chauffage et l'entretien annuel du système de traitement d'eau constituent des frais d'entretien à défalquer de leurs revenus. Ils sont d'avis que le Tribunal cantonal ne leur a pas donné la possibilité d'apporter des compléments d'informations et font valoir divers nouveaux documents à l'appui de leur recours.
3.4. Le litige porte donc sur le point de savoir si les frais qui ont été invoqués par les recourants peuvent être déduits des revenus de ces derniers.
I. Impôt fédéral direct
4.
4.1. Le rendement de la fortune immobilière est soumis à l'impôt fédéral direct à titre de revenu imposable (<ref-law>). Il comprend notamment la valeur locative des immeubles dont le contribuable se réserve l'usage en raison de son droit de propriété. Celle-ci se détermine compte tenu des conditions locales et de l'utilisation effective du logement au domicile du contribuable (<ref-law>). Pour déterminer le revenu net, on défalque de l'ensemble des revenus imposables les dépenses et déductions générales prévues par les art. 26 à 33 LIFD (<ref-law>). Le contribuable qui possède des immeubles privés peut déduire de l'impôt les frais nécessaires à leur entretien (art. 32 al. 2 phr. 1 LIFD). Au lieu du montant effectif des frais et primes se rapportant aux immeubles privés, il peut également faire valoir une déduction forfaitaire (art. 32 al. 4 phr. 1 LIFD; art. 2 al. 2 de l'ordonnance fédérale sur la déduction des frais relatifs aux immeubles privés dans le cadre de l'impôt fédéral direct [RS 642.116]).
4.2. Pour les immeubles occupés en propre, seuls sont déductibles les frais d'entretien qui sont en rapport immédiat avec la valeur locative (imposable). De manière similaire à la distinction effectuée entre loyers et frais accessoires, lorsqu'un immeuble est loué à des tiers, seuls les frais d'entretien que le propriétaire doit supporter lui-même en louant son immeuble à des tiers constituent des frais d'entretien déductibles en cas d'utilisation personnelle (arrêts 2C_878/2010 du 19 avril 2011 consid. 5.1; 2A.683/2004 du 15 juillet 2005 consid. 2.5, in RDAF 2005 II 502, StE 2006 B 25.6 n° 53, Archives 77 p. 161). Il s'agit en définitive des dépenses du contribuable pour les réparationset les rénovations du bien immobilier, représentant des charges et pas des investissements (cf. art. 1 al. 1 let. a ch. 1 de l'ordonnance de l'AFC du 24 août 1992 sur les frais relatifs aux immeubles privés déductibles dans le cadre de l'impôt fédéral direct [RS 642.116.2]; ci-après: OFIP; NICOLAS MERLINO, in Commentaire romand, Impôt fédéral direct, Noël/Aubry Girardin [éd], 2 e éd. 2017, n. 62 ad <ref-law>). L'art. 1 al. 1 OFIP contient une liste exemplative de frais d'entretien déductibles.
Ne peuvent en revanche être déduits les autres frais et dépenses, en particulier les frais d'entretien du contribuable et de sa famille et les frais d'acquisition, de production ou d'amélioration d'éléments de fortune (art. 34 let. a et d LIFD). Les frais pour l'entretien privé du contribuable représentent des dépenses de consommation ou d'utilisation du revenu, dont font en principe partie les frais annexes au loyer, tels que les frais d'eau courante et de chauffage (cf. art. 1 al. 2 let. c OFIP; arrêt 2C_453/2009 du 3 février 2010 consid. 3.2; NICOLAS MERLINO, op. cit., n. 128 ad <ref-law>; PETER LOCHER, Kommentar zum DBG, 2001, n. 33 ad <ref-law>). Quant aux frais visés à l'art. 34 let. d LIFD, il s'agit de dépenses d'investissement immobilier ayant pour effet d'apporter une plus-value à l'immeuble. Ils se démarquent donc des frais d'entretien en ce que ces derniers sont essentiellement encourus pour " des travaux destinés à compenser l'usure normale de la chose due à son usage et à l'écoulement du temps, et à maintenir l'état d'entretien original du bien ", de sorte à conserver la source du revenu que représente le bien immobilier pour le contribuable (NICOLAS MERLINO, op. cit., n. 64 ad <ref-law>). L'art. 1 al. 2 OFIP contient une liste de frais d'entretien qui ne sont pas déductibles.
4.3. Compte tenu du parallèle existant entre les frais d'entretien prévus dans l'OFIP et les notions de loyers et de frais accessoires du droit du bail (cf. consid. 4.2 ci-dessus), il est possible de se référer à celui-ci lorsque se pose la question de la déductibilité d'une dépense litigieuse et que l'OFIP ne permet pas d'y répondre. Afin de déterminer quels frais entrent dans la définition du loyer et lesquels entrent dans celle des frais accessoires, il convient donc de se rapporter aux art. 257a et 257b CO, ainsi qu'à l'ordonnance du 9 mai 1990 sur le bail à loyer et la bail à ferme d'habitations et de locaux commerciaux (OBLF; RS 221.213.11). L'<ref-law> dispose que les frais accessoires sont dus pour les prestations fournies par le bailleur ou un tiers en rapport avec l'usage de la chose. L'<ref-law> prévoit quant à lui que pour les habitations et les locaux commerciaux, on entend par frais accessoires les dépenses effectives du bailleur pour des prestations en rapport avec l'usage de la chose, telles que frais de chauffage, d'eau chaude et autres frais d'exploitation, ainsi que les contributions publiques qui résultent de l'utilisation de la chose. Ainsi, selon l'<ref-law>, qui renvoie à l'<ref-law>, entrent en ligne de compte comme frais de chauffage et de préparation d'eau chaude les dépenses effectives directement en rapport avec l'utilisation de l'installation de chauffage ou de l'installation générale de préparation d'eau chaude. Selon l'<ref-law>, il s'agit notamment des dépenses pour le combustible et l'énergie consommés (let. a); l'énergie électrique utilisée pour les brûleurs et les pompes (let. b); les frais d'exploitation d'énergies de substitution (let. c); le nettoyage de l'installation de chauffage et de la cheminée, le grattage, le brûlage et l'huilage de la chaudière, ainsi que l'enlèvement des déchets et des scories (let. d); la révision périodique de l'installation de chauffage, réservoirs à mazout y compris, et le détartrage de l'installation d'eau chaude, des chauffe-eau et des conduites (let. e); le relevé, le décompte et l'entretien des appareils lorsque les frais de chauffage sont calculés de manière individuelle (let. f); la maintenance (let. g); les primes d'assurance qui se rapportent exclusivement à l'installation de chauffage (let. h); le travail administratif qu'occasionne l'exploitation de l'installation de chauffage (let. i). En revanche, l'<ref-law> exclut comme frais de chauffage et de préparation d'eau chaude les dépenses pour la réparation et la réfection des installations (let. a); le service de l'intérêt et l'amortissement des installations (let. b).
5.
5.1. En l'occurrence, s'agissant des contrats relatifs à la pompe à chaleur avec module-clé, au chauffe-eau et au groupe solaire, il faut rappeler que le Tribunal cantonal a retenu que le montant de 961 fr. 20 dont se sont acquittés les recourants couvrait non seulement la maintenance, mais également les réparations.
Certes, comme l'autorité précédente l'a jugé, la part afférente aux frais de maintenance ne saurait être déductible, en application de l'art. 1 al. 2 let. c OFIP. De surcroît, cette dépense ferait partie des frais accessoires que le bailleur, en cas de location de l'immeuble, pourrait faire supporter au locataire (cf. art. 5 al. 2 let. g OBLF). Dans le cas des recourants, qui occupent leur immeuble en propre, elle n'est donc pas susceptible d'être déduite de leur revenu (cf. PETER LOCHER, op. cit. n. 33 ad <ref-law>).
En revanche, dans la mesure où le Tribunal cantonal ajoute que la part afférente aux frais de réparation pourrait être déductible si les recourants avaient établi avoir effectué des réparations durant l'année en cause, il ne saurait être suivi. On doit en effet rappeler que les réparations effectuées aux installations de chauffe-eau et de chauffage sont déductibles (cf. art. 1 al. 1 let. a ch. 1 OFIP; cf. également <ref-law>). Or, en constatant, de manière à lier le Tribunal fédéral (cf. <ref-law>), qu'une part du montant versé par les recourants sert à couvrir des réparations, celle-ci doit pouvoir être déduite de leur revenu. Savoir, comme l'affirme le Tribunal cantonal, si des réparations ont effectivement été effectuées durant la période en cause n'est pas pertinent. Seul compte le fait que les recourants se soient acquittés d'un montant pour ces réparations.
5.2. Quant aux frais de révision annuelle du système de traitement de l'eau, selon les constatations du Tribunal cantonal, le montant de 175 fr. n'a en aucun cas été acquitté en vue d'une réparation ou d'une rénovation. Il a bien plus servi à remplacer les éléments consommables usés par l'utilisation régulière du système par les recourants (changement du charbon et nettoyage du filtre) et à régler ledit système, afin qu'il s'adapte au mieux à l'emploi qui en est fait. De telles dépenses ne sauraient être admises en déduction du revenu et c'est donc à juste titre que l'autorité précédente a confirmé la décision du Service des contributions quant au refus de déduire le montant de 175 fr. du revenu imposable de recourants.
5.3. En conséquence, le recours doit être partiellement admis en tant qu'il concerne l'IFD. L'arrêt du Tribunal cantonal du 11 avril 2017 est annulé dans la mesure où il a trait au montant de 961 fr. 20 de déduction pour les contrats relatifs à la pompe à chaleur avec module-clé, au chauffe-eau et au groupe solaire. La cause est renvoyée à l'autorité précédente, afin qu'elle détermine le montant de la part afférant aux réparations du système précité et le déduise du revenu imposable des recourants, étant précisé qu'il n'est pas exclu que cette part soit déterminée de manière forfaitaire.
II. Impôts cantonal et communal
6.
Dans le cadre du droit fiscal harmonisé qui régit l'imposition directe aux niveaux cantonal et communal, tant la notion de revenu que celle de déduction des frais nécessaires à l'entretien des immeubles privés, correspondent à la LIFD. D'ailleurs, et sous réserve de la détermination des éléments relatifs au calcul de la valeur locative, le droit harmonisé ne laisse plus aucune marge de liberté aux cantons s'agissant de la déductibilité des frais d'entretien d'immeubles (cf. arrêt 2C_878/2010 du 19 avril 2011 consid. 7 et les références citées). Les <ref-law> et 22 al. 1 let. b de la loi fribourgeoise du 6 juin 2000 sur les impôts cantonaux directs (LICD/FR; RSF 631.1) imposent ainsi, au titre du revenu, le rendement de la fortune y compris la valeur locative de l'habitation du contribuable dans son propre immeuble; les <ref-law> et 33 al. 2 LICD/FR autorisent quant à eux le contribuable à déduire les frais nécessaires à l'entretien de ses immeubles privés. Par conséquent, les considérations développées pour l'impôt fédéral direct s'appliquent également aux impôts cantonal et communal relatifs aux périodes fiscales sous examen (cf. arrêt 2C_878/2010 du 19 avril 2011 consid. 7 et les références citées). Partant, il y a donc également lieu d'admettre partiellement le recours en tant qu'il concerne l'ICC, d'annuler l'arrêt du Tribunal cantonal du 11 avril 2017 dans la mesure où il a trait au montant de 961 fr. 20 de déduction pour les contrats précités (cf. consid. 5.3 ci-dessus) et de renvoyer la cause à l'autorité précédente, afin qu'elle procède dans le sens du consid. 5.3 ci-dessus.
7.
Les recourants obtenant partiellement gain de cause devant le Tribunal fédéral, il conviendra de leur faire supporter la moitié des frais judiciaires, solidairement entre eux (art. 66 al. 1 et 5 LTF). En tant qu'il succombe partiellement et que son intérêt patrimonial est en cause, l'Etat de Fribourg supportera l'autre moitié de ces frais (<ref-law>). Les recourants, qui ne sont pas représentés par un avocat, ne peuvent prétendre à des dépens (<ref-ruling> consid. 4 p. 136).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis en tant qu'il concerne l'impôt fédéral direct. L'arrêt du Tribunal cantonal du 11 avril 2017 est annulé dans la mesure où il a trait au montant de 961 fr. 20 de déduction pour les contrats relatifs à la pompe à chaleur avec module-clé, au chauffe-eau et au groupe solaire. La cause est renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants. Le recours est rejeté pour le surplus.
2.
Le recours est partiellement admis en tant qu'il concerne les impôts cantonal et communal. L'arrêt du Tribunal cantonal du 11 avril 2017 est annulé dans la mesure où il a trait au montant de 961 fr. 20 de déduction pour les contrats relatifs à la pompe à chaleur avec module-clé, au chauffe-eau et au groupe solaire. La cause est renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants. Le recours est rejeté pour le surplus.
3.
Les frais judiciaires, arrêtés à 2'000 fr. sont mis pour 1'000 fr. à la charge des recourants, solidairement entre eux, et pour 1'000 fr. à la charge de l'Etat de Fribourg.
4.
Le présent arrêt est communiqué aux recourants, au Service cantonal et au Tribunal cantonal de l'Etat de Fribourg, Cour fiscale, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 4 avril 2018
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette