Faits :
A.
A._ est propriétaire d'un domaine agricole sis sur la commune de B._ (canton de Fribourg). Situé hors de la zone à bâtir, ce domaine est composé de quatre parcelles, à savoir les articles 151 (17'091 m2 de champs), 229 (32'320 m2 occupés par une habitation avec rural, garage, hangar et écurie), 231 (5'861 m2 de pré et champs) et 232 (3'929 m2 de pré et champs).
A._ a mis fin à son activité agricole le 31 décembre 2014, après avoir commencé une activité salariée le 1er novembre 2014.
Dans sa déclaration d'impôt pour la période fiscale 2014, A._ a notamment reporté un montant de 10'692 fr. au titre de revenu d'une activité agricole principale. Ce montant correspondait à la somme du résultat d'exploitation ressortant des comptes (21'921 fr. 60) et du bénéfice agricole réalisé lors de la fin de l'exercice de son activité agricole (2'273 fr. d'amortissements cumulés), duquel il avait soustrait une perte de 13'503 francs. Le contribuable déclarait un revenu imposable nul. Dans la lettre d'accompagnement jointe à sa déclaration fiscale, il expliquait, s'agissant du calcul du bénéfice agricole, qu'il n'avait pris en considération que les amortissements cumulés sur le bâtiment du domaine abritant l'habitation (2'273 fr.), mais pas les amortissements cumulés sur la partie " stabulation " du domaine (58'782 fr.), qui n'abritait que le bétail et les fourrages. Cette partie, qui avait été comptabilisée à hauteur de 99'285 fr. lors de l'acquisition, avait, selon ses calculs, une valeur résiduelle de 27'000 francs. Comme cette valeur était inférieure à la valeur comptable de 40'503 fr. (99'285 fr. - 58'782 fr.), il fallait bien plus tenir compte d'une perte (amortissement supplémentaire) de 13'503 fr. (40'503 fr. - 27'000 fr.).
B.
B.a. Par décision de taxation du 1er septembre 2015, le Service cantonal des contributions du canton de Fribourg (ci-après: le Service cantonal) a fixé le revenu d'activité agricole de A._ à 83'127 francs. Ce montant correspondait à l'addition du résultat d'exploitation ressortant des comptes (21'922 fr.) et des amortissements cumulés qui avaient été comptabilisés, représentant un total de 61'205 fr. (2'273 fr. pour la partie " habitation " du domaine + 58'782 fr. pour la partie " stabulation " + 150 fr. pour une annexe). Il en découlait un revenu imposable de 74'002 fr. pour l'impôt cantonal (montant de l'impôt: 4'259 fr.) et de 74'170 fr. pour l'impôt fédéral direct (montant de l'impôt : 1'191 fr.).
B.b. Le 13 octobre 2015, A._ a formé réclamation contre cette décision de taxation.
Le 4 avril 2016, le Service cantonal l'a invité à lui communiquer la valeur licite officielle de son domaine au 31 décembre 2014. Le 20 juillet 2016, A._ a transmis le document requis, établi par l'Autorité foncière cantonale. La valeur globale des immeubles du domaine était établie à 422'398 francs. Sur ce montant, la partie " stabulation " du domaine était estimée à 48'718 francs.
B.c. Par décision du 6 janvier 2017, le Service cantonal a rejeté la réclamation. Rappelant que, conformément aux dispositions légales applicables aux immeubles agricoles, le bénéfice n'était imposable que jusqu'à concurrence des dépenses d'investissements (amortissements cumulés), il confirmait que le bénéfice en capital de 326'446 fr. (422'398 fr. - 95'952 fr.) réalisé en l'espèce n'était imposable qu'à concurrence des amortissements cumulés, soit de 61'205 francs.
A._ a recouru contre cette décision auprès du Tribunal cantonal fribourgeois, Cour fiscale (ci-après: le Tribunal cantonal), en demandant à être imposé conformément au calcul qu'il avait présenté à l'appui de sa déclaration fiscale, soit en prenant en compte une perte de 13'503 francs devant compenser l'amortissement cumulé de 2'273 francs.
B.d. Par arrêt du 29 mars 2018, le Tribunal cantonal a rejeté le recours, tant pour l'impôt fédéral direct que pour l'impôt cantonal. Il a confirmé qu'il fallait prendre en compte tous les amortissements cumulés ressortant de la comptabilité du recourant pour déterminer le montant à concurrence duquel le bénéfice agricole que le contribuable avait réalisé (326'446 fr.) était imposable, soit 61'205 francs. La perte alléguée de 13'503 francs sur la partie " stabulation " du domaine n'avait pas à être compensée à concurrence des amortissements récupérés sur les autres immeubles.
C.
Agissant par la voie du recours en matière de droit public par l'intermédiaire d'une fiduciaire, A._ demande au Tribunal fédéral " qu'en application de l'<ref-law> chiffre 4, seuls les amortissements surfaits, chaque bâtiment étant traité individuellement (aucune compensation entre eux ), doivent être repris lors de l'aliénation de l'exploitation agricole ou sylvicole. Dans le cas particulier CHF 10'488.00 sous déduction de la cotisation AVS à déterminer ". Il demande également la restitution des frais prélevés par l'instance précédente et l'allocation de dépens.
Le Tribunal cantonal renvoie à l'arrêt attaqué et conclut au rejet du recours. L'Administration fédérale des contributions conclut au rejet du recours. Le Service des contributions ne s'est pas déterminé.

Considérant en droit :
1.
1.1. La décision attaquée est finale (<ref-law>) et a été rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF), dans une cause de droit public (<ref-law>) qui ne tombe sous le coup d'aucune des exceptions prévues à l'<ref-law>, de sorte que la voie du recours en matière de droit public est ouverte (<ref-law>).
1.2. Le recourant ne mentionne que l'<ref-law> dans son recours. Il ne formule aucune conclusion relative à l'impôt cantonal et son mémoire ne contient aucune mention de la loi sur l'harmonisation fiscale ou du droit fiscal cantonal fribourgeois. Dans ces circonstances, l'arrêt attaqué ne sera pas examiné en tant qu'il concerne le droit cantonal (cf. <ref-law>; arrêt 2C_370/2016 du 28 mars 2017 consid. 1.4) et, dans la mesure où le recourant conteste devoir payer l'impôt cantonal, son recours sera déclaré irrecevable en lien avec cet impôt.
1.3. Si le recourant ne peut augmenter ses conclusions devant le Tribunal fédéral (cf. <ref-law>), rien ne l'empêche en revanche de les réduire (cf. BERNARD CORBOZ, Commentaire de la LTF, 2e éd. 2014, n° 33 ad <ref-law>). C'est ce que fait le recourant en l'espèce, puisqu'il conclut désormais à ce que le montant du bénéfice agricole imposable au sens de l'<ref-law> soit fixé à 10'488 francs, alors qu'il soutenait devant l'instance précédente que le bénéfice agricole devait prendre en compte une perte de 13'503 fr. devant être déduite de l'amortissement cumulé admis de 2'273 francs.
1.4. Au surplus, le recours a été déposé en temps utile par le destinataire de la décision attaquée, qui a qualité pour recourir (cf. <ref-law>). Il convient donc d'entrer en matière.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral applique le droit d'office (<ref-law>). En vertu de l'<ref-law> toutefois, il n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (cf. <ref-ruling> consid. 1.7.2 p. 106; <ref-ruling> consid. 1.3 p. 41).
2.2. En l'occurrence, le recourant invoque le respect de la Constitution, " prônant l'égalité et la liberté de commerce ", pour requérir un traitement des amortissements objet par objet et non pas globalement, afin d'être traité de la même manière que les entrepreneurs qui ne sont pas soumis aux exigences de la loi sur le droit foncier rural. La formulation de son grief ne remplit pas les exigences de motivation qualifiées de l'<ref-law>, le recourant ne démontrant pas en quoi le traitement fiscal propre à l'aliénation des immeubles agricoles qui lui a été appliqué serait constitutif d'une inégalité de traitement ou d'une violation de sa liberté économique. Il ne sera donc pas examiné.
3.
3.1. Pour trancher, le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. <ref-law>). Le recourant ne peut critiquer les constatations de fait (cf. <ref-law>) que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (<ref-ruling> consid. 2.3.1 p. 244; <ref-ruling> consid. 4.1.2 p. 62) - ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (cf. <ref-ruling> consid. 4.2 p. 234; <ref-ruling> consid. 1.5 p. 129 s.).
3.2. En l'espèce, le recourant soutient que c'est à tort que les juges précédents ont retenu que " la comptabilité présentée par le recourant [n'opère] pas de distinction quant aux valeurs spécifiques attribuées à ses quatre immeubles ". Il n'allègue toutefois pas ni a fortiori ne démontre, contrairement aux exigences de l'<ref-law>, en quoi les constatations cantonales seraient arbitraires et de nature à influer sur la décision attaquée. Le Tribunal fédéral statuera donc exclusivement sur la base des faits établis dans l'arrêt attaqué.
4.
Est litigieux le montant que le recourant doit ajouter à son revenu imposable au titre de bénéfice agricole réalisé en 2014 en lien avec la fin de son activité agricole.
4.1. Les revenus provenant de l'exploitation agricole ou sylvicole sont imposables au titre de revenu de l'activité lucrative indépendante (cf. <ref-law>). Tous les bénéfices en capital provenant de l'aliénation d'éléments de la fortune commerciale font partie du produit de l'activité lucrative indépendante. Le transfert d'éléments de la fortune commerciale dans la fortune privée est assimilé à une aliénation (cf. art. 18 al. 2 1e phrase LIFD). En vertu de l'<ref-law>, les bénéfices provenant de l'aliénation d'immeubles agricoles ou sylvicoles ne sont ajoutés au revenu imposable que jusqu'à concurrence des dépenses d'investissement.
4.2. En l'espèce, le recourant a transféré ses immeubles agricoles de sa fortune commerciale à sa fortune privée lorsqu'il a cessé son activité agricole en 2014 (réalisation systématique; <ref-law>). Il n'est pas contesté que le bénéfice en capital ainsi réalisé, qui s'élève, selon les faits constatés, à 326'446 fr., n'est imposable qu'à concurrence des dépenses d'investissement, conformément à l'<ref-law>. Le litige porte uniquement sur la détermination du montant de ces dépenses d'investissement.
4.3. Selon le Tribunal cantonal, les dépenses d'investissement s'élèvent à 61'205 francs. Ce montant correspond à la somme des amortissements comptabilisés sur la partie " habitation " du domaine (2'273 fr.), sur sa partie " stabulation " (58'782 fr.) et sur une annexe (150 fr.).
Le recourant soutient pour sa part qu'il faut calculer les amortissements cumulés de manière distincte pour chaque poste d'actif immobilisé figurant au bilan. S'agissant en particulier de la partie stabulation du domaine, l'amortissement cumulé de 58'782 fr. ne devrait donc être pris en compte qu'à hauteur de la différence entre la valeur licite officielle de cette partie (48'718 fr.) et sa valeur comptable (40'503 fr.), soit 8'215 francs (48'718 fr. - 40'503 fr.). Par conséquent, les dépenses d'investissement s'élèveraient non pas à 61'205 fr., mais à 10'488 fr. (2'273 fr. + 8'215 fr.), étant précisé que le recourant n'a pas pris en compte l'amortissement de 150 fr. opéré sur l'annexe.
4.4. L'approche préconisée par le recourant ne peut pas être suivie.
Dans un arrêt du 9 mars 2020 (arrêt 2C_202/2017), le Tribunal fédéral a indiqué que, lorsque l'on se trouve dans un cas d'application de l'<ref-law>, la prise en compte globale des amortissements cumulés s'impose au plan fiscal, même si le bilan comptabilise de manière distincte les terres et les constructions. Pour parvenir à cette conclusion, le Tribunal fédéral a procédé à l'interprétation de l'<ref-law>, en lien avec l'<ref-law>. Il a en particulier rappelé le lien systématique étroit entre ces deux dispositions, l'<ref-law> prévoyant l'imposition sur le revenu du gain réalisé lors de l'aliénation de tout ou partie d'un immeuble agricole ou sylvicole, à concurrence des dépenses d'investissement, alors que l'<ref-law> prévoit que l'impôt spécial cantonal sur les gains immobiliers est prélevé sur le gain réalisé lors de l'aliénation de tout ou partie d'un immeuble agricole ou sylvicole, à condition que le produit de l'aliénation soit supérieur aux dépenses d'investissement. Dans le contexte agricole et sylvicole, le législateur a ainsi voulu délimiter la part du gain immobilier relevant de l'impôt sur le revenu (à savoir, au maximum, la part correspondant aux amortissements qui avaient pu être antérieurement déduits de l'impôt fédéral direct, soit les amortissements récupérés), de celle qui relève de l'impôt sur les gains immobiliers (soit la plus-value conjoncturelle), sans qu'il y ait de double imposition ni de lacune d'imposition. Dans ces circonstances, il n'est pas concevable de procéder, dans le cadre de l'<ref-law>, à un calcul des amortissements cumulés, qui serait fondé sur les différents postes comptabilisés au bilan envisagés distinctement. Une telle manière de calculer pourrait aboutir à une exonération partielle d'amortissements cumulés. Tel serait du reste bien ce qui se produirait en l'espèce si l'on devait suivre cette approche, préconisée par le recourant, puisqu'avec ce mode de calcul, un montant de 50'567 fr. (58'782 fr. - 8'215 fr.) d'amortissement échapperait à l'impôt sur le revenu.
4.5. Au vu de ce qui précède, c'est de manière conforme au droit fédéral que les juges précédents ont considéré que l'ensemble des amortissements cumulés qui avaient été portés en déduction du revenu imposable faisaient partie des dépenses d'investissement au sens de l'<ref-law> et qu'ils s'élevaient en l'espèce à 61'205 francs. Il s'ensuit que les juges précédents ont correctement appliqué l'<ref-law> en confirmant que le bénéfice agricole réalisé, soit 326'446 fr., était imposable à hauteur de 61'205 francs.
5.
Ce qui précède conduit au rejet du recours en tant qu'il concerne l'impôt fédéral direct. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté en tant qu'il concerne l'impôt fédéral direct.
2.
Le recours est irrecevable en tant qu'il concerne l'impôt cantonal.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué à la représentante du recourant, au Tribunal cantonal du canton de Fribourg, Cour fiscale, au Service cantonal des contributions du canton de Fribourg et à l'Administration fédérale des contributions.
Lausanne, le 25 mars 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Vuadens