Faits:
A. Depuis 1998, X._ exploite une entreprise spécialisée dans les installations techniques, entretien, dépannage en matière de téléréseaux, sous la raison individuelle Y._, dont le siège est à Z._ depuis octobre 2005, commune où l'intéressé était lui-même domicilié jusqu'au 21 décembre 2009, avant d'aller s'installer en France.
Entre 1998 et 2004, X._ a acquis, principalement de son père actif dans la même branche professionnelle, les participations suivantes :
- 60 actions, d'une valeur nominale de 500 fr. (30%), pour le prix de 120'000 fr., de la société A._ SA,
- 40 actions, d'une valeur nominale de 1'000 fr. (40 %), pour le prix de 62'000 fr., de la société B._ SA, et
- 25 actions, d'une valeur nominale de 1'000 fr. (15,15 %), pour le prix de 50'000 fr., de la société C._ SA.
Ces sociétés sont aujourd'hui radiées du registre du commerce.
Par la suite, X._ a également exercé des mandats d'administrateur au sein des société A._ SA (du 17 février 2005 au 19 février 2009) et B._ SA (du 2 mai 2002 au 30 avril 2009). En 2009, il a vendu ses actions de la société A._ SA à la société D._ SA, ainsi que ses actions des sociétés B._ SA et C._ SA à la société E._ AG. Le montant global obtenu pour ces transactions s'est élevé à 1'769'578 fr.
B. Par taxation du 29 mars 2010, le Service cantonal des contributions du canton de Fribourg a corrigé le bénéfice d'exploitation de 26'810 fr. déclaré par X._ en le portant à 697'099 fr. Il a considéré que la vente des 125 actions précitées entrait dans la fortune commerciale du contribuable et était imposable à ce titre. Pour la période fiscale 2009, l'impôt fédéral direct s'élevait ainsi à 78'435 fr. 50 et l'impôt cantonal sur le revenu et la fortune était fixé à 88'831 fr. 40.
Le Service cantonal des contributions a rejeté la réclamation formée par X._, par décision du 20 mai 2010.
X._ a recouru contre ce prononcé auprès de la Cour fiscale du Tribunal cantonal du canton de Fribourg, en invoquant notamment le fait qu'il avait acquis les actions vendues dans le but d'investir sa fortune privée dans des sociétés qu'il connaissait, mais non pour améliorer le résultat commercial de sa propre raison individuelle.
Par arrêt du 9 décembre 2011, le Tribunal cantonal a admis partiellement le recours déposé par X._, tant pour l'impôt fédéral direct que pour l'impôt cantonal, implicitement pour l'impôt communal, en ce sens qu'il a pris acte de la proposition du Service cantonal des contributions de tenir compte du prix d'acquisition des actions (232'000 fr. en lieu et place de la valeur nominale de 95'000 fr.) pour calculer les impôts litigieux. Il a rejeté le recours pour le surplus, en relevant que les 125 actions avaient été attribuées à juste titre à la fortune commerciale en raison des liens très forts entre les activités commerciales des trois sociétés et la raison individuelle du recourant, de sorte que les participations acquises avaient manifestement donné des impulsions fructueuses à la raison individuelle. Ceci était d'autant plus vrai que les actions avaient été en grande partie achetées auprès du père du recourant, lui-même déjà actif dans le domaine. Rien ne laissait d'ailleurs supposer que les actions n'appartenaient pas déjà à la fortune commerciale du père. Au vu des éléments déterminants figurant au dossier, les Juges cantonaux ont aussi estimé qu'il n'était pas utile de procéder à l'instruction requise par le recourant pour établir la proportion exacte du chiffre d'affaires réalisé grâce à ces participations dans les trois sociétés concernées.
C. Agissant dans un seul et même acte par la voie du recours en matière de droit public, X._ conclut, sous suite de frais et dépens, à l'annulation de l'arrêt du Tribunal cantonal du 9 décembre 2011 et de la décision sur réclamation rendue par le Service cantonal des contributions le 20 mai 2010, tant en ce qui concerne l'impôt fédéral direct que s'agissant de l'impôt cantonal. Il demande aussi au Tribunal fédéral de renvoyer le dossier au Service cantonal des contributions pour qu'il lui notifie une nouvelle décision de taxation ordinaire, principalement en tenant compte du fait que les participations vendues en 2009 faisaient partie de sa fortune privée et non commerciale et, à titre subsidiaire, pour nouvelle instruction.
Le Tribunal cantonal conclut au rejet des recours, sous suite de frais, en se référant aux faits et considérants de son arrêt. Le Service cantonal des contributions propose de rejeter les recours, sous suite de frais. De son côté, l'Administration fédérale des contributions conclut au rejet du recours en ce qui concerne l'impôt fédéral direct, sous suite de frais.
Considérant en droit:
1. Le Tribunal cantonal a rendu un seul arrêt valant aussi bien pour l'impôt fédéral direct (IFD) que pour les impôts cantonal et communal (ICC), ce qui est admissible, dès lors que la question juridique à trancher est réglée de la même façon en droit fédéral et dans le droit cantonal harmonisé (cf. ATF 135 II 260 consid. 1.3.1 p. 262). Dans ces circonstances, on ne peut reprocher au recourant d'avoir formé les mêmes griefs et pris des conclusions valant pour les deux catégories d'impôts dans un seul et même acte adressé au Tribunal fédéral (cf. ATF 135 II 260 consid. 1.3.3 p. 264). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a toutefois ouvert deux dossiers, l'un concernant l'IFD (2C_47/2012), l'autre l'ICC (2C_48/2012). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (cf. art. 71 LTF et 24 de la loi de procédure civile fédérale du 4 décembre 1947 [PCF; RS 273]).
2. 2.1 Le recours est dirigé contre une décision finale (art. 90 LTF), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (art. 82 let. a LTF) ne tombant pas sous le coup de l'une des exceptions prévues à l'art. 83 LTF. La voie du recours en matière de droit public est partant ouverte. Les lois fiscales applicables confirment cette voie de droit: pour l'IFD, à l'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et, pour l'ICC, à l'art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14), dès lors que le recours concerne le calcul du revenu imposable du recourant pour la période de taxation 2009, soit une matière harmonisée figurant à l'art. 10 de ladite loi. Le recours a en outre été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 LTF) par le contribuable destinataire de l'acte attaqué qui a qualité pour recourir (art. 89 al. 1 LTF), de sorte qu'il est en principe recevable.
2.2 En raison de l'effet dévolutif complet du recours déposé auprès du Tribunal cantonal (ATF 136 II 539 consid. 1.2 p. 543), la conclusion du recourant tendant à l'annulation de la décision du Service cantonal des contributions du 20 mai 2010 est toutefois irrecevable.
3. 3.1 Le Tribunal fédéral fonde son raisonnement juridique sur les faits constatés par l'autorité précédente (art. 105 al. 1 LTF), à moins que ces faits n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (ATF 137 I 58 consid. 4.1.2 p. 62; 134 V 53 consid. 4.3 p. 62) - ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente (cf. art. 97 al. 1 LTF), il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées. Sinon, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué (cf. ATF 137 II 353 consid. 5.1 p. 356; 136 II 101 consid. 3 p. 104). Une rectification de l'état de fait ne peut au surplus être demandée que si elle est de nature à influer sur le sort de la cause (art. 97 al.1 LTF). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
3.2 En l'espèce, le recourant se réfère pour la première fois devant le Tribunal fédéral à l'imposition de son père intervenue le 28 juillet 2011 dans le canton de Vaud, après production de l'acte de vente des actions des sociétés A._ SA et C._ SA. Il admet qu'il s'agit d'un fait nouveau, mais relève qu'il découle de la mention, dans l'arrêt attaqué, de l'appartenance des actions à la fortune commerciale de son père. A ce sujet, le recourant se prévaut d'une inégalité de traitement et relève que le gain en capital réalisé lors de cette vente a été considéré comme provenant d'éléments de la fortune privée, de sorte qu'il n'a pas été imposé. La question de savoir si ce fait et le grief qui en découle sont admissibles au regard de l'art. 99 al. 1 LTF peut demeurer indécise, dans la mesure où l'imposition du père du recourant relève d'une situation différente et d'un autre canton. Elle ne saurait dès lors influer sur l'imposition du recourant lui-même, qui seule doit être examinée.
Pour le reste, le recourant critique les faits constatés par la juridiction cantonale comme il le ferait devant une autorité d'appel, mais ne prétend pas qu'ils seraient manifestement inexacts ou arbitraires, de sorte que le Tribunal fédéral n'a aucun motif de s'écarter de l'état de faits retenu dans l'arrêt attaqué (art. 105 al. 1 LTF).
I. Impôt fédéral direct
4. Invoquant une violation de l'art. 18 al. 2 LIFD, le recourant conteste principalement que les actions des trois sociétés concernées aient fait partie de sa fortune commerciale, dès lors qu'elles ont été acquises sur une longue période, dans le seul but d'investir sa fortune privée dans des sociétés qu'il connaissait, créées bien avant qu'il ne commence son activité professionnelle d'indépendant dans le domaine des installations techniques et des téléréseaux. Il n'en a tiré aucun avantage commercial pour sa propre entreprise, comme le démontre l'évolution de son chiffre d'affaires, et les mandats qu'il a exercés auprès de ces sociétés lui ont été attribués uniquement en raison de ses compétences professionnelles et non parce qu'il était actionnaire.
4.1 D'après l'art. 16 al. 3 LIFD, les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée ne sont pas imposables. En revanche, l'art. 18 al. 2 LIFD prescrit que tous les bénéfices en capital provenant de l'aliénation, de la réalisation ou de la réévaluation comptable d'éléments de la fortune commerciale font partie du produit de l'activité lucrative indépendante. Il précise que la fortune commerciale comprend tous les éléments de fortune qui servent, entièrement ou de manière prépondérante, à l'exercice de l'activité lucrative indépendante.
4.2 Selon la jurisprudence, la distinction entre un gain privé en capital (non imposable sur le revenu) ou un bénéfice commercial en capital provenant de l'exercice d'une activité lucrative indépendante (imposable sur le revenu) dépend des circonstances concrètes du cas (arrêt 2C_1023/2011 du 10 mai 2012 consid. 6.1 et les arrêts cités). La notion d'activité lucrative indépendante s'interprète largement (cf. ATF 125 II 113 consid. 5e p. 122 ss; arrêts 2C_455/2011 du 5 avril 2012, consid. 5.1 et 2A.105/2007 du 3 septembre 2007 consid. 3.2, in RDAF 2007 II p. 299; YVES NOËL, in Commentaire romand, Impôt fédéral direct, 2008, n° 14 ad art. 18 LIFD), de sorte que seuls sont considérés comme des gains privés en capital exonérés d'impôt ceux qui sont obtenus par un particulier de manière fortuite ou dans le cadre de la simple administration de sa fortune privée (ATF 125 II 113 consid. 5e p. 123; 122 II 446 consid. 3 p. 448 ss). Dès que l'activité du contribuable excède ce cadre relativement étroit et est orientée dans son ensemble vers l'obtention d'un revenu, l'intéressé est réputé exercer une activité lucrative indépendante dont les bénéfices en capital sont imposables. Une telle qualification peut se justifier, selon les cas, même en l'absence d'une activité reconnaissable pour les tiers et/ou organisée sur le modèle d'une entreprise commerciale (ATF 122 II 446 consid. 5a p. 452) et même si l'activité n'est exercée que de manière accessoire ou temporaire (ATF 125 II 113 consid. 5b p. 121), voire occasionnelle (cf. arrêts précités 2C_455/2011 du 5 avril 2012, consid. 5.1 et 2C_349/2009 du 16 novembre 2009, consid. 4.1 et la jurisprudence citée).
En ce qui concerne les droits de participation, ceux-ci ressortissent à la fortune commerciale lorsqu'il existe un rapport économique étroit entre la participation à la société anonyme et les autres affaires menées par le contribuable. Ce rapport doit en particulier être admis si la participation a été acquise dans un but commercial ou si l'acquéreur exerce une influence prépondérante sur la société en cause, qui correspond à ses propres activités commerciales ou les complète judicieusement, lui permettant ainsi d'étendre ses propres activités commerciales (arrêt précité 2C_1023/2011 du 10 mai 2012, consid. 6.2 et arrêt 2A.431/2000 du 9 avril 2001, consid. 4c, publié notamment in Archives 71 p. 288 ss et RDAF 2001 II 16 ss). L'élément déterminant est la volonté du contribuable de mettre concrètement à profit ses droits de participation pour améliorer le résultat commercial de son entreprise (YVES NOËL, op. cit. n. 73 ad art. 18 LIFD).
4.3 En l'espèce, la Cour cantonale a retenu en fait, d'une manière qui lie le Tribunal fédéral (art. 105 al. 1 LTF; supra consid. 3.2 i.f), que les droits de participation avaient bien servi à améliorer les résultats commerciaux de l'entreprise du recourant et non uniquement à accroître sa fortune privée. Elle a notamment tenu compte de la relation étroite entre l'activité indépendante du recourant et la prise de participations, certes minoritaires, mais tout de même importantes dans les trois sociétés anonymes actives dans les téléréseaux, ce qui a généré du travail pour l'entreprise individuelle du recourant, indépendamment du fait que des mandats ont été confiés à ce dernier en raison de ses compétences individuelles. En se portant acquéreur des actions de son père, le recourant a aussi pu bénéficier des relations commerciales de ce dernier, déjà actif dans la branche.
De son côté, le recourant se contente de présenter sa propre version des faits. Il fait valoir que les sociétés ont été créées bien avant qu'il ne commence son activité d'indépendant et qu'il n'a acquis que très progressivement des droits de participation: en 1998 (20 actions), 1999 (40 actions), 2002 (20 actions), 2003 (15 actions) et 2004 (30 actions), ce qui démontrerait qu'il entendait procéder petit à petit à l'investissement de sa fortune privée dans des sociétés qu'il connaissait. Quant aux mandats d'administrateur qu'il a exercés au sein des sociétés A._ SA, du 17 février 2005 au 19 février 2009 et B._ SA, du 2 mai 2002 au 30 avril 2009, ils ne lui ont pas permis de s'attribuer des travaux qui lui auraient été confiés de toute façon en raison de ses compétences. A cet égard, le recourant se plaint que les déclarations des anciens directeurs confirmant l'absence de liens entre l'acquisition des actions et l'attribution des mandats aient été passées sous silence dans le jugement entrepris. Il en déduit que les autorités cantonales n'ont pas établi sa volonté de mettre à profit ses droits de participation pour améliorer le résultat commercial de sa propre entreprise, élément déterminant pour attribuer ses actions à sa fortune commerciale. A titre subsidiaire, dans la mesure où le dossier ne serait pas suffisant pour trancher ce point, il demande que la cause soit renvoyée au Service cantonal des contributions.
4.4 Il est établi que le fait d'acquérir des droits de participation dans la même branche économique a favorisé les activités du recourant. Le dossier contient en effet suffisamment d'éléments pour considérer que les différentes acquisitions de droits de participation du recourant, principalement auprès de son père, étaient destinées à améliorer le résultat commercial de l'entreprise individuelle de l'intéressé et non simplement à accroître ses activités en investissant dans d'autres sociétés connues. On ne peut donc reprocher au Tribunal cantonal d'avoir considéré qu'il existait une corrélation étroite entre l'activité indépendante et la prise de participations du recourant dans les trois sociétés anonymes, où celui-ci avait exercé des fonctions d'administrateur dans deux d'entre elles. Il a par ailleurs été constaté que ces acquisitions avaient permis de générer du travail pour la raison individuelle nouvellement créée, en lui donnant des impulsions fructueuses. Sur ces points, le recourant ne soulève même pas le grief d'arbitraire. Indépendamment des déclarations des anciens directeurs, on peut certes lui concéder qu'il n'aurait sans doute pas obtenu des mandats de la part des trois sociétés en cause s'il n'avait pas été compétent en matière de téléréseaux. Cela ne modifie toutefois pas le fait que la reprise de actions de son père (95 sur les 125 actions acquises) a grandement favorisé ses relations dans le milieu et lui a permis de mettre ses compétences en valeur. Comme l'ont constaté les premiers juges, il n'est pas décisif de savoir si c'est ou non par erreur que le recourant a lui-même déclaré les participations acquises dans sa fortune commerciale.
Sur la base des constatations figurant dans l'arrêt attaqué, on ne peut donc reprocher à l'autorité cantonale d'avoir considéré que les participations du recourant vendues en 2009 faisaient partie de sa fortune commerciale, de sorte que le bénéfice réalisé lors de la vente était imposable en vertu de l'art. 18 al. 2 LIFD.
II. Impôts cantonal et communal
5. D'après l'art. 8 al. 1 LHID, le produit de l'activité lucrative indépendante comprend tous les bénéfices en capital provenant du transfert dans la fortune privée de la fortune commerciale. Quant à l'art. 19 de la loi fribourgeoise du 6 juin 2000 sur les impôts cantonaux directs (RSF 631.1), sa teneur est identique à celle de l'art. 18 LIFD, de sorte qu'il peut être renvoyé aux considérants relatifs à l'impôt fédéral direct pour la qualification des prises de participation et leur attribution à la fortune commerciale du recourant.
6. Au vu de ce qui précède, le recours doit être rejeté dans la mesure de sa recevabilité, tant en matière d'IFD qu'en ce qui concerne l'ICC. Succombant sur l'ensemble de ses conclusions, le recourant supportera les frais judiciaires (art. 66 al. 1 LTF). Le canton de Fribourg ne peut prétendre à des dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Les causes 2C_47/2012 et 2C_48/2012 sont jointes.
2. Le recours est rejeté dans la mesure où il est recevable, tant pour l'impôt fédéral direct que pour les impôts cantonal et communal concernant l'année fiscale 2009.
3. Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué à la représentante du recourant, au Service cantonal des contributions et au Tribunal cantonal du canton de Fribourg, Cour fiscale, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 28 juin 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Rochat