Faits:
A.
Le 31 octobre 2007, après avoir travaillé dans le secteur bancaire, A.X._ a repris une activité à titre indépendant en qualité de gestionnaire sous la raison de commerce "X._ Finance". Cette entreprise individuelle a pour but la gestion de fortune et de patrimoine, ainsi que les services dans le domaine de la finance et de l'immobilier. L'intéressé dispose avec son épouse, B.X._, de la signature individuelle.
Le 15 février 2010, les époux X._ ont déposé leur déclaration d'impôt pour la période fiscale 2009, en indiquant un résultat d'exploitation de 71'178 fr.
Le 24 mars 2010, les contribuables ont été invités à produire le bilan au 31 décembre 2009, le grand-livre 2009 ainsi que les relevés bancaires. Le 16 novembre 2010, à la demande de l'autorité fiscale, les contribuables ont transmis les avis de bourse des achats des actions C._ (dès 2006) et D._. Ils ont précisé que la vente de ces titres relevait de la gestion privée et non professionnelle.
B.
Par décision de taxation du 16 décembre 2010, le Service cantonal des contributions du canton de Fribourg (ci-après: le Service cantonal) a fixé l'impôt cantonal 2009 des époux X._ à 65'380 fr. 50 sur la base d'un revenu imposable de 484'380 fr. et l'impôt fédéral direct 2009 à 192'280 fr. sur la base d'un revenu imposable de 1'672'012 fr. Les montants pris en compte comme revenus imposables au plan cantonal et fédéral correspondaient au total des gains réalisés avec la vente des titres, soit un bénéfice net de 1'632'877 fr. 54 (1'814'308 fr. 38 de bénéfice réduit des 10% d'AVS), auxquels s'ajoutaient les 71'178 fr. de résultat d'exploitation déclaré ainsi qu'une reprise sur les frais de représentation de 1'800 fr.
Par décision du 30 mars 2011, le Service cantonal a partiellement admis la réclamation des époux X._ contre la taxation précitée et a ramené le bénéfice obtenu par la vente des titres à 1'655'444 fr. 27 (au lieu de 1'814'308 fr. 38). Le revenu imposable pour l'impôt cantonal 2009 a été fixé à 1'698'579 fr. Il a en revanche maintenu sa position selon laquelle le gain réalisé par le commerce de titres était imposable au titre de revenu d'une activité lucrative indépendante.
Les époux X._ ont recouru contre cette décision sur réclamation auprès de la Cour fiscale du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal) qui, par arrêt du 9 novembre 2012, a rejeté le recours. Le Tribunal cantonal a retenu, en substance, que les conditions pour considérer les gains réalisés par la vente des titres comme un revenu d'une activité lucrative indépendante étaient remplies, en particulier que les gains représentaient plus de 50 % du revenu net des époux X._, que les intéressés avaient procédé à de nombreuses opérations d'achats et de ventes, que la possession des titres avait été de courte durée, que le produit de vente des actions avait été réinvesti dans l'acquisition de nouveaux titres et que le retrait de fonds du 2e pilier avait permis de dégager les liquidités nécessaires aux investissements.
C.
Les époux X._ déposent un recours en matière de droit public au Tribunal fédéral à l'encontre de la décision du 9 novembre 2012. Ils concluent, sous suite de dépens, principalement, à l'annulation de cette décision et au renvoi du dossier au Tribunal cantonal pour qu'il soit procédé à l'audition personnelle des intéressés et, subsidiairement, à la réforme de l'arrêt attaqué en ce sens que les gains réalisés avec la vente des titres, à savoir 1'655'444 fr. 27, soit soustraits du revenu imposable 2009 et qu'une déduction soit admise pour les frais médicaux dépassant le 5% du revenu net.
Le Tribunal cantonal a déposé des observations. Le Service cantonal a conclu au rejet du recours. L'Administration fédérale des contributions s'est ralliée au dispositif et aux considérants de la décision du 9 novembre 2012, proposant le rejet du recours. Les recourants ont déposé des observations complémentaires le 2 avril 2013.
Par ordonnance du 25 janvier 2013, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la requête d'effet suspensif.

Considérant en droit:
1.
Le Tribunal cantonal a rendu une seule décision valant tant pour l'impôt fédéral direct que pour l'impôt cantonal et communal, ce qui est admissible, dès lors que la question juridique à trancher est réglée de la même façon en droit fédéral et dans le droit cantonal harmonisé (cf. <ref-ruling> consid. 1.3.1 p. 262 s.). Dans un tel cas, le recourant doit pouvoir attaquer cette décision dans un seul recours (cf. <ref-ruling> consid. 1.3.3 p. 264). Il faut cependant qu'il ressorte de la motivation du recours que celui-ci s'en prend tant à l'impôt fédéral direct qu'à l'impôt cantonal, pour que ces deux catégories d'impôts soient revues par le Tribunal fédéral (<ref-ruling> consid. 1.3.2 p. 263).
En l'occurrence, les recourants ne mentionnent nullement, ni dans leurs conclusions ni dans la motivation, à quel impôt ils s'attaquent. Dès lors, la recevabilité de leur recours est, à cet égard, douteuse. Cette question peut cependant rester indécise, le recours devant de toute façon être rejeté.
Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues lorsque l'impôt fédéral et l'impôt cantonal et communal sont en jeu, la Cour de céans a ouvert deux dossiers (causes 2C_1255/2012 et 2C_1256/2012). Comme l'état de fait est identique et que les questions juridiques se recoupent, les causes seront néanmoins jointes et il sera statué dans un seul arrêt (cf. <ref-law> et 24 de la loi de procédure civile fédérale du 4 décembre 1947 [PCF; RS 273]).
2.
L'arrêt attaqué concerne aussi bien l'impôt fédéral direct que l'impôt cantonal et communal de la période fiscale 2009. Comme ces domaines relèvent du droit public et qu'aucune des exceptions prévues à l'<ref-law> n'est réalisée, la voie du recours en matière de droit public est ouverte sur la base de l'<ref-law>. L'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) confirme du reste expressément cette voie de droit pour l'impôt fédéral direct. L'art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14) fait de même pour l'impôt cantonal et communal, l'imposition du revenu étant une matière harmonisée au Titre 2, <ref-law>. Au surplus, le recours est déposé en temps utile contre une décision finale (<ref-law>) rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et 2 LTF), et émanant des destinataires de l'arrêt attaqué qui ont la qualité pour recourir (<ref-law>).
3.
Dans leurs observations du 2 avril 2013, les recourants demandent au Tribunal fédéral d'établir si le montant de la reprise fixée par le Service cantonal, puis confirmée par le Tribunal cantonal, prend en compte l'AVS. Formulée au-delà de l'expiration du délai de recours, cette conclusion est tardive et, partant, irrecevable.
4.
L'examen du Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte (<ref-ruling> consid. 4.1.2 p. 62) ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
Dans ses observations du 14 janvier 2013, le Tribunal cantonal constate que les recourants ne disposaient pas de capitaux au 31 décembre 2008. Ainsi formulé, ce fait paraît effectivement nouveau, comme le relèvent les recourants. Cet élément ressort toutefois implicitement tant du tableau reproduit dans l'arrêt (cf. arrêt, p. 12 et 13) que de la position du Service cantonal telle que résumée par l'instance précédente (cf. arrêt, p. 4). Au demeurant, ce fait n'est nullement déterminant pour le sort du litige. La critique des recourants doit donc être rejetée.
II. Griefs de nature formelle
5.
Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, les recourants se plaignent d'une violation de leur droit d'être entendus. Ils reprochent à l'autorité intimée de ne pas les avoir entendus oralement, ce qui les aurait privés de la possibilité d'exposer de manière complète le processus du choix de l'investissement ainsi que la façon dont les fonds provenant du 2e pilier avaient été attribués.
5.1. De jurisprudence constante, le droit d'être entendu ancré à l'art. 29 al. 2 Cst. ne confère pas au justiciable le droit d'être entendu oralement par un tribunal (<ref-ruling> consid. 5.3 p. 148). Un droit comme tel à des débats publics oraux n'existe, en vertu des garanties constitutionnelles de procédure, que pour les causes bénéficiant de la protection de l'art. 6 par. 1 CEDH ou lorsque les règles de procédure le prévoient ou encore lorsque sa nécessité découle des exigences du droit à la preuve (<ref-ruling> consid. 2 p. 290).
5.2. En l'espèce, la présente procédure ne relevant pas du droit fiscal pénal (cf. <ref-ruling> consid. 2.3 p. 203 s.), l'art. 6 par. 1 CEDH n'est pas applicable (<ref-ruling> consid. 2.1 p. 146 et les références citées). Par ailleurs, les recourants n'invoquent aucune norme cantonale de procédure leur conférant un droit à des débats publics devant le Tribunal cantonal. Du reste, comme l'a rappelé l'instance précédente, la procédure fribourgeoise est en principe écrite, même si, au besoin, l'autorité "peut" aussi procéder oralement (art. 32 al. 1 de la loi de procédure et de juridiction administrative [du canton de Fribourg] du 23 mai 1991 [CPJA; RSF 150.1]). Dans ces conditions, les recourants ne pouvaient réclamer la tenue d'une audience que s'ils en démontraient la nécessité. Or, les recourants ne fournissent aucun argument valable établissant la nécessité de tenir des débats oraux. Dans le cadre de la procédure cantonale, ils ont eu tout loisir de s'exprimer de manière complète dans leurs écritures sur les raisons qui les ont conduits à acquérir les titres en question ainsi que sur la manière dont ils ont dépensé les fonds provenant du 2e pilier. Le Tribunal cantonal pouvait dès lors, sans violer le droit d'être entendu se dispenser de tenir des débats oraux. Au demeurant, il ressort clairement de l'arrêt attaqué que le Tribunal cantonal pouvait sans arbitraire s'estimer suffisamment renseigné sur les faits pertinents et renoncer, de manière anticipée, à administrer de nouveaux moyens de preuve. Le grief des recourants doit donc être rejeté.
6.
Les recourants contestent la manière dont les faits ont été constatés par le Tribunal cantonal.
6.1. Selon l'<ref-law>, le recours peut critiquer les contestations de fait à la double condition que les faits aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> et que la correction du vice soit susceptible d'influer sur le sort de la cause, ce que la partie recourante doit rendre vraisemblable par une argumentation répondant aux exigences de l'<ref-law> (cf. <ref-ruling> consid. 1.2 p. 511).
6.2. Les recourants contestent que le retrait de fonds du 2e pilier ait permis de dégager les liquidités nécessaires aux investissements en bourse. Ils relèvent que ce montant avait été principalement affecté au paiement d'une charge fiscale et au remboursement de la dette hypothécaire. Le solde restant avait ensuite été utilisé pour l'établissement à titre d'indépendant du recourant. Partant, les titres avaient été presque entièrement financés par le solde de la fortune familiale.
Les recourants opposent de la sorte leur propre appréciation des faits à la description retenue par le Tribunal cantonal. En critiquant l'appréciation des faits effectuée par l'instance précédente sans exposer concrètement en quoi cette appréciation serait arbitraire ou manifestement inexacte, ni invoquer de disposition légale, l'argumentation des recourants s'avère appellatoire, ce qui n'est pas admissible. Le Tribunal de céans se limitera donc à examiner si le droit fédéral a été correctement appliqué par le Tribunal cantonal sur la base des faits ressortant de l'arrêt entrepris.
III. Impôt fédéral direct
7.
Sur le fond, le litige porte sur le point de savoir si les gains réalisés par les recourants sur la vente des titres pendant la période fiscale 2009 sont assimilables à des gains en capital (non imposables) provenant de la réalisation d'éléments de la fortune privée des contribuables, ou à des bénéfices en capital (imposables) provenant de la réalisation d'éléments de leur fortune commerciale.
7.1. L'impôt sur le revenu a pour objet tous les revenus uniques ou périodiques, excepté les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée (<ref-law>). Sont imposables tous les revenus provenant de l'exploitation d'une entreprise commerciale, industrielle, artisanale, agricole ou sylvicole, de l'exercice d'une profession libérale ou de toute autre activité lucrative indépendante (<ref-law>).
7.2. Selon la jurisprudence, la distinction entre un gain privé en capital (non imposable sur le revenu) ou un bénéfice commercial en capital provenant de l'exercice d'une activité lucrative indépendante (imposable sur le revenu), dépend des circonstances concrètes du cas (cf. arrêts 2C_349/2009 du 16 novembre 2009 consid. 4.1.2; 2C_893/2008 du 10 août 2009 consid. 2.2). La notion d'activité lucrative indépendante s'interprète toutefois largement, de telle sorte que sont seuls considérés comme des gains privés en capital exonérés d'impôt ceux qui sont obtenus par un particulier de manière fortuite ou dans le cadre de la simple administration de sa fortune privée. En revanche, si l'activité du contribuable excède ce cadre relativement étroit et est orientée dans son ensemble vers l'obtention d'un revenu, l'intéressé est réputé exercer une activité lucrative indépendante dont les bénéfices en capital sont imposables. Une telle qualification peut se justifier, selon les cas, même en l'absence d'une activité reconnaissable pour les tiers et /ou organisée sur le modèle d'une entreprise commerciale, et même si l'activité n'est exercée que de manière accessoire ou temporaire, voire même ponctuelle (arrêts 2C_455/2011 et 2C_456/2011 du 5 avril 2012 consid. 5.1 et les références citées). Les éléments patrimoniaux utilisés pour l'accomplissement d'une activité lucrative indépendante sont pour leur part considérés comme des actifs commerciaux (cf. <ref-ruling> consid. 6c/bb p. 126 s.).
7.3. C'est avant tout en lien avec les transactions effectuées par les particuliers sur des immeubles ou sur des titres que la jurisprudence a été amenée à dégager des critères permettant de tracer la limite entre les gains (privés) en capital et les bénéfices (commerciaux) en capital. Elle a notamment considéré que valent comme indices d'une activité lucrative indépendante dépassant la simple administration de la fortune privée les éléments suivants: le caractère systématique et/ou planifié des opérations, la fréquence élevée des transactions, la courte durée de possession des biens avant leur (re) vente, la relation étroite entre l'activité indépendante (accessoire) supposée et la formation et/ou la profession (principale) du contribuable, l'utilisation de connaissances spécialisées, l'engagement de fonds étrangers d'une certaine importance pour financer les opérations, le réinvestissement du bénéfice réalisé ou encore la constitution d'une société de personnes. Dans un arrêt du 23 octobre 2009, le Tribunal fédéral a précisé sa jurisprudence en matière de commerce de titres en indiquant que la manière de procéder systématique et planifiée ainsi que l'utilisation de connaissances techniques spéciales ont une importance moindre; en revanche, il faut donner plus de poids aux critères du volume des transactions et de l'engagement de fonds étrangers importants (arrêt 2C_868/2008 du 23 octobre 2009 consid. 2.7). Cette jurisprudence a été confirmée depuis à plusieurs reprises (cf. arrêts 2C_115/2012 du 25 septembre 2012 consid. 2.1.2; 2C_385/2011 du 12 septembre 2011 consid. 2.1; 2C_766/2010 du 29 juillet 2011 consid. 2.3; 2C_403/2009 et 2C_404/2009 du 1er mars 2010 consid. 2.4).
7.4. L'Administration fédérale des contributions a édicté, le 27 juillet 2012, la circulaire n° 36 relative au commerce professionnel de titres. Celle-ci remplace la circulaire n° 8 du 21 juin 2005 et s'applique à partir du 30 juillet 2012. Intitulé "Examen préalable", le chiffre 3 de la circulaire n° 36 énumère cinq critères qui, remplis cumulativement, permettent d'exclure la qualification de commerçant professionnel de titres. Ainsi, à titre préalable, les autorités fiscales concluent "dans tous les cas" à l'existence d'une gestion de la fortune privée lorsque 1) les titres vendus ont été détenus durant six mois au moins; 2) le volume total des transactions (somme de tous les achats et de toutes les ventes) ne représente pas, par année civile, plus du quintuple du montant des titres et des avoirs au début de la période fiscale; 3) la réalisation de gains en capital provenant d'opérations sur titres n'est pas nécessaire en vue de remplacer des revenus manquants ou ayant cessé dans le but d'assurer le train de vie du contribuable (c'est notamment le cas lorsque les gains en capital réalisés représentent moins de 50 % du revenu net de la période fiscale considérée; 4) les placements ne sont pas financés par des fonds étrangers ou les rendements de fortune imposables provenant des titres sont plus élevés que la part proportionnelle des intérêts passifs et 5) l'achat et la vente de produits dérivés (en particulier d'options) se limitent à la couverture des positions-titres du contribuable. Lorsque le cas n'est pas réglé par l'examen préalable, il y a lieu d'apprécier juridiquement l'activité d'après l'ensemble des circonstances. Se fondant sur l'arrêt 2C_868/2008, la circulaire rappelle l'ordre de priorité entre les critères posés par la jurisprudence. Alors que la fréquence élevée des transactions, la courte durée de possession, le recours à d'importants fonds étrangers pour financer les transactions et l'utilisation de dérivés constituent des "critères primordiaux", la manière d'agir systématique ou planifiée, le rapport étroit entre les transactions et l'activité professionnelle du contribuable, de même que l'utilisation de connaissances spécifiques sont considérés comme des "indices d'importance secondaire". La différence réside en ce que, contrairement aux critères principaux, les critères secondaires ne peuvent pas, à eux seuls, fonder une activité indépendante. Ils ne font que corroborer la qualification de commerce professionnel de titres, lorsqu'un des critères principaux est rempli.
8.
8.1. Les recourants font grand cas des critères de l'"Examen préalable" mentionnés au chiffre 3 de la circulaire n° 36.
Outre le fait que ce texte ne constitue qu'une directive administrative, sans force de loi (cf. <ref-ruling> consid. 4.1 p. 54; <ref-ruling> consid. 8.1 p. 315), le chiffre 3 de la circulaire n'est pas destiné à régir les litiges d'une certaine complexité, comme c'est le cas en l'espèce. Il énumère une série de critères simplifiés permettant aux autorités fiscales, dans le cadre d'une administration de masse, de traiter rapidement les cas clairs. L'examen préalable n'a toutefois pas pour effet de dispenser l'administration, encore moins les tribunaux, de tenir compte de l'ensemble des critères dégagés par la jurisprudence. C'est, partant, à bon droit que l'instance précédente s'est fondée sur les critères développés par le Tribunal fédéral. Dans la suite du raisonnement, les critères retenus par la circulaire pour l'"Examen préalable" ne seront en conséquence examinés que dans la mesure où ils se recoupent avec ceux que l'on retrouve dans la jurisprudence.
8.2. Il ressort de l'arrêt attaqué que A.X._ a exécuté une cinquantaine de transactions en 2009, pour un volume total d'achats de 1'821'471 fr. 96 et un volume de ventes de 3'112'744 fr. 18. Le gain réalisé par le commerce de titres s'élève à 1'655'444 fr., dépassant ainsi largement le 50 % de tous les revenus imposables du couple (1'698'579 fr.). La fréquence des transactions et leur volume plaident d'emblée en faveur d'une opération commerciale. L'argument des recourants selon lequel la fréquence des opérations est en partie due à la taille des sociétés qui n'émettent pas de paquets d'actions ne saurait convaincre. En effet, quoi qu'ils en disent, le nombre de transactions, souvent opérées à raison de plusieurs ordres par jour, démontre une volonté lucrative évidente.
Les recourants contestent l'appréciation du Tribunal cantonal selon laquelle la durée de possession de leurs titres doit être qualifiée de brève. Ils font valoir que la circulaire n° 36 a ramené de un an (cf. ch. 2 de la circulaire n° 8) à six mois le critère de la durée de détention des titres. Une détention de titres supérieure à six mois constituerait dès lors un indice en faveur de l'existence d'un gain en capital privé. Or, comme on l'a vu, les critères de l'"Examen préalable" mentionnés au chiffre 3 de la circulaire n° 36 n'ont pas vocation à remplacer ceux développés par la jurisprudence du Tribunal fédéral (cf. supra consid. 8.1). S'il est vrai que le critère de la durée ressort de la jurisprudence, il n'est nullement limité à six mois. Le Tribunal fédéral privilégie en effet une appréciation au cas par cas (arrêts 2A.4/1998 du 2 décembre 1999 consid. 2b in Archives 69 p. 788; 2A.72/1999 du 9 juillet 1999 consid. 3b/cc in Archives 69 p. 652). Quoi qu'il en soit, selon les constatations cantonales que les recourants ne contestent pas, de nombreux titres ont été vendus quelques mois seulement après leur acquisition. Il en va notamment ainsi des 120'000 actions E._ vendues un mois après leur acquisition. La durée de possession des 150'000 titres C._ acquis entre septembre 2008 et janvier 2009 s'échelonne quant à elle sur une période de trois à huit mois et celle de la majorité des titres D._ (708'600 titres sur les 738'600 acquis de juillet 2008 à septembre 2009) sur une période de un à onze mois. Dans ces conditions, il convient d'admettre avec l'autorité précédente que A.X._ a adopté une stratégie à court terme, cherchant à réaliser rapidement un bénéfice.
Le réinvestissement du produit de la vente des titres dans l'acquisition d'actions constitue au demeurant un indice supplémentaire en faveur du commerce professionnel de titres. En outre, force est de constater à l'instar du Tribunal cantonal que pour se livrer à des opérations boursières, A.X._ a pu tirer profit de son expérience dans le secteur bancaire. Le lien entre les opérations boursières de l'intéressé et sa profession de gestionnaire indépendant va également dans le sens de l'exercice d'une activité lucrative indépendante. Quand bien même ces deux critères revêtent une importance secondaire, ils viennent néanmoins corroborer la qualification de commerce professionnel de titres.
En définitive, la fréquence élevée des transactions, la courte durée de possession des titres avant leur revente, le réinvestissement du bénéfice réalisé dans l'achat de nouveaux titres, la relation étroite entre l'opération immobilière et la profession du contribuable ainsi que l'utilisation de connaissances spécifiques constituent autant d'indices qui démontrent que le commerce de titres développé par l'intéressé a dépassé la simple administration de la fortune privée. Dans ces circonstances, le fait que les revenus nets des recourants étaient suffisants pour assurer le train de vie du couple - ce qui, du reste, n'est pas établi - ne saurait être déterminant, pas plus que l'absence de fonds étrangers pour financer l'acquisition de titres.
8.3. Au vu de ce qui précède, le Tribunal cantonal a retenu à bon droit que les gains réalisés par les recourants étaient imposables au titre de revenu d'une activité indépendante. Le recours doit par conséquent être rejeté en tant qu'il concerne l'impôt fédéral direct.
III. Impôt cantonal et communal
9.
Comme les art. 7 al. 4 let. b et 8 LHID correspondent aux art. 16 et 18 al. 2 LIFD, la jurisprudence applicable en matière de LIFD est également déterminante en ce qui concerne l'impôt cantonal (cf. arrêt 2C_276/2010 du 19 octobre 2010 consid. 5). Partant, les considérations développées pour l'impôt fédéral direct trouvent à s'appliquer à l'impôt cantonal relatif aux périodes fiscales sous examen (cf. arrêt 2C_123/2012 du 8 août 2012 consid. 10 et les références citées). Il suffit donc de renvoyer, s'agissant de l'impôt cantonal, aux considérants relatifs à l'impôt fédéral direct.
Le recours doit par conséquent être rejeté également en tant qu'il concerne l'impôt cantonal.
IV. Frais et dépens
10.
Succombant en tous points, les recourants doivent supporter les frais judiciaires solidairement entre eux (<ref-law>). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Les causes 2C_1255/2012 et 2C_1256/2012 sont jointes.
2.
Le recours est rejeté dans la mesure où il est recevable en tant qu'il concerne l'impôt fédéral direct.
3.
Le recours est rejeté dans la mesure où il est recevable en tant qu'il concerne l'impôt cantonal et communal.
4.
Les frais judiciaires, fixés à 7'000 fr., sont mis à la charge des recourants solidairement entre eux.
5.
Le présent arrêt est communiqué au mandataire des recourants, au Service cantonal des contributions du canton de Fribourg, au Tribunal cantonal du canton de Fribourg, Cour fiscale, et à l'Administration fédérale des contributions.
Lausanne, le 26 juin 2013
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: McGregor