Faits : A. A._ est propriétaire d'un domaine agricole sis sur la commune de B._ (canton de Fribourg). Situé hors de la zone à bâtir, ce domaine est composé de quatre parcelles, à savoir les articles 151 (17'091 m2 de champs), 229 (32'320 m2 occupés par une habitation avec rural, garage, hangar et écurie), 231 (5'861 m2 de pré et champs) et 232 (3'929 m2 de pré et champs). A._ a mis fin à son activité agricole le 31 décembre 2014, après avoir commencé une activité salariée le 1er novembre 2014. Dans sa déclaration d'impôt pour la période fiscale 2014, A._ a notamment reporté un montant de 10'692 fr. au titre de revenu d'une activité agricole principale. Ce montant correspondait à la somme du résultat d'exploitation ressortant des comptes (21'921 fr. 60) et du bénéfice agricole réalisé lors de la fin de l'exercice de son activité agricole (2'273 fr. d'amortissements cumulés), duquel il avait soustrait une perte de 13'503 francs. Le contribuable déclarait un revenu imposable nul. Dans la lettre d'accompagnement jointe à sa déclaration fiscale, il expliquait, s'agissant du calcul du bénéfice agricole, qu'il n'avait pris en considération que les amortissements cumulés sur le bâtiment du domaine abritant l'habitation (2'273 fr.), mais pas les amortissements cumulés sur la partie " stabulation " du domaine (58'782 fr.), qui n'abritait que le bétail et les fourrages. Cette partie, qui avait été comptabilisée à hauteur de 99'285 fr. lors de l'acquisition, avait, selon ses calculs, une valeur résiduelle de 27'000 francs. Comme cette valeur était inférieure à la valeur comptable de 40'503 fr. (99'285 fr. - 58'782 fr.), il fallait bien plus tenir compte d'une perte (amortissement supplémentaire) de 13'503 fr. (40'503 fr. - 27'000 fr.). B. B.a. Par décision de taxation du 1er septembre 2015, le Service cantonal des contributions du canton de Fribourg (ci-après: le Service cantonal) a fixé le revenu d'activité agricole de A._ à 83'127 francs. Ce montant correspondait à l'addition du résultat d'exploitation ressortant des comptes (21'922 fr.) et des amortissements cumulés qui avaient été comptabilisés, représentant un total de 61'205 fr. (2'273 fr. pour la partie " habitation " du domaine + 58'782 fr. pour la partie " stabulation " + 150 fr. pour une annexe). Il en découlait un revenu imposable de 74'002 fr. pour l'impôt cantonal (montant de l'impôt: 4'259 fr.) et de 74'170 fr. pour l'impôt fédéral direct (montant de l'impôt : 1'191 fr.). B.b. Le 13 octobre 2015, A._ a formé réclamation contre cette décision de taxation. Le 4 avril 2016, le Service cantonal l'a invité à lui communiquer la valeur licite officielle de son domaine au 31 décembre 2014. Le 20 juillet 2016, A._ a transmis le document requis, établi par l'Autorité foncière cantonale. La valeur globale des immeubles du domaine était établie à 422'398 francs. Sur ce montant, la partie " stabulation " du domaine était estimée à 48'718 francs. B.c. Par décision du 6 janvier 2017, le Service cantonal a rejeté la réclamation. Rappelant que, conformément aux dispositions légales applicables aux immeubles agricoles, le bénéfice n'était imposable que jusqu'à concurrence des dépenses d'investissements (amortissements cumulés), il confirmait que le bénéfice en capital de 326'446 fr. (422'398 fr. - 95'952 fr.) réalisé en l'espèce n'était imposable qu'à concurrence des amortissements cumulés, soit de 61'205 francs. A._ a recouru contre cette décision auprès du Tribunal cantonal fribourgeois, Cour fiscale (ci-après: le Tribunal cantonal), en demandant à être imposé conformément au calcul qu'il avait présenté à l'appui de sa déclaration fiscale, soit en prenant en compte une perte de 13'503 francs devant compenser l'amortissement cumulé de 2'273 francs. B.d. Par arrêt du 29 mars 2018, le Tribunal cantonal a rejeté le recours, tant pour l'impôt fédéral direct que pour l'impôt cantonal. Il a confirmé qu'il fallait prendre en compte tous les amortissements cumulés ressortant de la comptabilité du recourant pour déterminer le montant à concurrence duquel le bénéfice agricole que le contribuable avait réalisé (326'446 fr.) était imposable, soit 61'205 francs. La perte alléguée de 13'503 francs sur la partie " stabulation " du domaine n'avait pas à être compensée à concurrence des amortissements récupérés sur les autres immeubles. C. Agissant par la voie du recours en matière de droit public par l'intermédiaire d'une fiduciaire, A._ demande au Tribunal fédéral " qu'en application de l'art. 18 LIFD chiffre 4, seuls les amortissements surfaits, chaque bâtiment étant traité individuellement (aucune compensation entre eux ), doivent être repris lors de l'aliénation de l'exploitation agricole ou sylvicole. Dans le cas particulier CHF 10'488.00 sous déduction de la cotisation AVS à déterminer ". Il demande également la restitution des frais prélevés par l'instance précédente et l'allocation de dépens. Le Tribunal cantonal renvoie à l'arrêt attaqué et conclut au rejet du recours. L'Administration fédérale des contributions conclut au rejet du recours. Le Service des contributions ne s'est pas déterminé.