Faits:
A. Depuis 1981, X._ exploite une boulangerie-pâtisserie à A._, sous la forme d'une raison individuelle. En 2003, il a scindé ses activités en deux entités et créé X._ Sàrl, dont le but consiste en l'exploitation d'une boulangerie artisanale et qui a repris de la raison individuelle les activités de production et de distribution relatives à la boulangerie-pâtisserie. La raison individuelle a continué d'exploiter trois points de vente.
Le 29 mai 2008, X._ a vendu à Y._ Holding SA sa participation dans X._ Sàrl, d'un montant de 50'000 fr., ainsi que les actifs et passifs de cette société pour 1'540'000 fr. Le même jour, il a vendu à X._ Sàrl les trois points de vente de la raison individuelle, pour le prix de 200'000 fr.
Dans sa déclaration d'impôt pour l'année fiscale 2008, remise le 20 mai 2010, X._ a fait état d'un revenu imposable de 204'500 fr. et d'une fortune imposable de 1'299'000 fr. Par décision du 3 décembre 2010 et décision sur réclamation du 1er avril 2011, l'Office d'impôt du district du Nord vaudois a arrêté le revenu imposable à 1'562'400 fr. pour l'impôt fédéral direct et à 1'529'200 fr. pour l'impôt cantonal et communal, ainsi que la fortune imposable à 1'799'000 fr. Il a, en substance, considéré que le produit de la vente de la participation détenue par X._ dans X._ Sàrl, d'un montant de 1'348'450 fr. (soit le prix de vente de 1'540'000 fr., sous déduction de 50'000 fr. et de 141'500 fr., correspondant au montant de la part sociale, respectivement à une provision AVS) devait être rattaché à la fortune commerciale de l'intéressé et, partant, imposé au titre de l'activité lucrative indépendante.
X._ a maintenu sa réclamation, qui a été transmise à l'Administration cantonale des impôts (ci-après: l'Administration cantonale) comme relevant de sa compétence.
B. Par décision sur réclamation du 16 novembre 2011 concernant l'impôt fédéral direct et l'impôt cantonal et communal, l'Administration cantonale a partiellement admis la réclamation de X._, dans la mesure où elle a modifié la décision de taxation du 3 décembre 2010, en arrêtant le revenu imposable à 1'549'000 fr. pour l'impôt fédéral direct et à 1'516'200 fr. pour l'impôt cantonal et communal, ainsi que la fortune imposable à 1'799'000 fr. Elle a en revanche confirmé que la participation dans X._ Sàrl devait être qualifiée d'actif commercial nécessaire à l'exploitation de la raison individuelle.
X._ a interjeté recours contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Par arrêt du 20 juin 2012, le recours a été rejeté et la décision du 16 novembre 2011 de l'Administration cantonale confirmée.
C. A l'encontre de l'arrêt du 20 juin 2012, X._ forme un recours en matière de droit public. Il conclut, sous suite de dépens, à sa réforme en ce sens que la plus-value réalisée sur la vente de sa participation dans X._ Sàrl soit retranchée de son revenu imposable.
L'Administration cantonale propose le rejet du recours, à l'instar de l'Administration fédérale des contributions. Quant au Tribunal cantonal, il renonce à se déterminer, se référant à son arrêt. Le 3 janvier 2013, le contribuable a confirmé ses conclusions dans ses observations sur les prises de position des autres parties en cause.
Considérant en droit:
1. Le Tribunal cantonal a rendu un seul arrêt valant pour les deux catégories d'impôts, ce qui est admissible, dès lors que la question juridique à trancher est réglée de la même façon en droit fédéral et dans le droit cantonal harmonisé (cf. ATF 135 II 260 consid. 1.3.1 p. 262 s.). Dans ces circonstances, on ne peut reprocher au recourant d'avoir formé les mêmes griefs et pris des conclusions valant pour les deux catégories d'impôts dans son recours devant le Tribunal fédéral (cf. ATF 135 II 260 consid. 1.3.3 p. 264). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a toutefois ouvert deux dossiers, l'un concernant l'impôt fédéral direct (2C_789/2012), l'autre l'impôt cantonal et communal (2C_786/2012). Comme l'état de fait est identique et que l'argumentation juridique présentée ci-après vaut pour les deux causes, celles-ci seront néanmoins jointes et il sera statué dans un seul arrêt (cf. art. 71 LTF et 24 de la loi de procédure civile fédérale du 4 décembre 1947 [PCF; RS 273]).
2. 2.1 Le Tribunal fédéral examine d'office sa compétence (cf. art. 29 al. 1 LTF). Il contrôle donc librement la recevabilité des recours qui lui sont soumis (cf. ATF 136 I 43 consid. 1 p. 43; 136 II 101 consid. 1 p. 103).
2.2 Le recours est dirigé contre une décision finale (cf. art. 90 LTF) rendue dans une cause de droit public (cf. art. 82 let. a LTF) par une autorité cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF). Déposé en temps utile compte tenu des féries (cf. art. 100 al. 1 et 46 al. 1 let. b LTF) et dans les formes prescrites (cf. art. 42 LTF) par le destinataire de la décision attaquée qui a un intérêt digne de protection à l'annulation ou à la modification de celle-ci (cf. art. 89 al. 1 LTF), il est donc en principe recevable comme recours en matière de droit public - au sens des art. 82 ss LTF - s'agissant des deux catégories d'impôts (cf. art. 146 LIFD, art. 73 al. 1 LHID et ATF 134 II 186 consid. 1.3 p. 188 s.).
2.3 Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'art. 106 al. 2 LTF. Aux termes de cet alinéa, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant.
En outre, le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. art. 105 al. 1 LTF), à moins que ceux-ci n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (cf. ATF 138 I 49 consid. 7.1 p. 51; 136 III 552 consid. 4.2 p. 560) - ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (cf. art. 97 al. 1 LTF).
I. Impôt fédéral direct
3. Le recourant conteste le caractère commercial de la participation dans X._ Sàrl qu'il a aliénée.
3.1 En principe, l'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques (cf. art. 16 al. 1 LIFD). Sont exonérés d'impôt, selon l'art. 16 al. 3 LIFD, les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée. L'art. 18 al. 1 LIFD prévoit que tous les revenus provenant de l'exploitation d'une entreprise commerciale, industrielle, artisanale, agricole ou sylvicole, de l'exercice d'une profession libérale ou de toute autre activité lucrative indépendante sont imposables. Font partie des revenus provenant de l'activité lucrative indépendante, selon l'art. 18 al. 2 LIFD, tous les bénéfices en capital provenant de l'aliénation, de la réalisation ou de la réévaluation comptable d'éléments de la fortune commerciale.
Selon la jurisprudence, la distinction entre un gain privé en capital (non imposable sur le revenu) ou un bénéfice commercial en capital provenant de l'exercice d'une activité lucrative indépendante (imposable sur le revenu), dépend des circonstances concrètes du cas (cf. arrêts 2C_1023/2011 et 1024/2011 du 10 mai 2012 consid. 6.1; 2C_349/2009 du 16 novembre 2009 consid. 4.1.2; 2C_893/2008 du 10 août 2009 consid. 2.2). La notion d'activité lucrative indépendante s'interprète toutefois largement, de telle sorte que sont seuls considérés comme des gains privés en capital exonérés d'impôt ceux qui sont obtenus par un particulier de manière fortuite ou dans le cadre de la simple administration de sa fortune privée. En revanche, si l'activité du contribuable excède ce cadre relativement étroit et est orientée dans son ensemble vers l'obtention d'un revenu, l'intéressé est réputé exercer une activité lucrative indépendante dont les bénéfices en capital sont imposables. Une telle qualification peut se justifier, selon les cas, même en l'absence d'une activité reconnaissable pour les tiers et/ou organisée sur le modèle d'une entreprise commerciale, et même si l'activité n'est exercée que de manière accessoire ou temporaire, voire même ponctuelle (cf. arrêts 2C_1023/2011 et 1024/2011 du 10 mai 2012 consid. 6.1; 2C_455/2011 et 2C_456/2011 du 5 avril 2012 consid. 5.1 et les références citées). Les éléments patrimoniaux utilisés pour l'accomplissement d'une activité lucrative indépendante sont pour leur part considérés comme des actifs commerciaux (cf. ATF 125 II 113 consid. 6c/bb p. 126 s.).
C'est avant tout en lien avec les transactions effectuées par les particuliers sur des immeubles ou sur des titres que la jurisprudence a été amenée à dégager des critères permettant de tracer la limite entre les gains (privés) en capital et les bénéfices (commerciaux) en capital (cf. arrêts 2C_1023/2011 et 1024/2011 du 10 mai 2012 consid. 6.1; 2C_893/2008 du 10 août 2009 consid. 2.2). Elle a notamment considéré que valent comme indices d'une activité lucrative indépendante dépassant la simple administration de la fortune privée les éléments suivants: le caractère systématique et/ou planifié des opérations, la fréquence élevée des transactions, la courte durée de possession des biens avant leur (re)vente, la relation étroite entre l'activité indépendante (accessoire) supposée et la formation et/ou la profession (principale) du contribuable, l'utilisation de connaissances spécialisées, l'engagement de fonds étrangers d'une certaine importance pour financer les opérations, le réinvestissement du bénéfice réalisé ou encore la constitution d'une société de personnes. On peut aussi mentionner l'utilisation effective du bien et le motif de son aliénation. Chacun de ces indices peut conduire, en concours avec les autres voire même - exceptionnellement - isolément s'il revêt une intensité particulière, à la reconnaissance d'une activité lucrative indépendante (cf. arrêts 2C_1023/2011 et 1024/2011 du 10 mai 2012 consid. 6.1). En outre, l'absence d'éléments typiques d'une telle activité dans un cas concret peut être relativisée par d'autres circonstances revêtant une intensité particulière (cf. ATF 125 II 113 consid. 3C p. 118 et 6a p. 124). En tout état, les circonstances concrètes du cas sont déterminantes, telles qu'elles se présentent au moment de l'aliénation (cf. arrêts 2C_1023/2011 et 1024/2011 du 10 mai 2012 consid. 6.1).
3.2 En ce qui concerne les droits de participation, ceux-ci ressortissent à la fortune commerciale lorsqu'il existe un rapport économique étroit entre la participation à la société et les autres affaires menées par le contribuable. Ce rapport doit en particulier être admis si la participation a été acquise dans un but commercial ou si l'acquéreur exerce une influence prépondérante sur la société en cause, qui correspond à ses propres activités commerciales ou les complète judicieusement, lui permettant ainsi d'étendre ses propres activités commerciales (cf. arrêt 2A.431/2000 du 9 avril 2001 consid. 4, in ASA 71, 288). Une étroite relation économique entre l'entreprise du contribuable et la société anonyme dont il détient des actions n'est encore pas suffisante pour admettre que ces dernières font partie de sa fortune commerciale. L'élément déterminant est la volonté de l'intéressé de mettre concrètement à profit ses droits de participation pour améliorer le résultat commercial de sa propre entreprise (arrêts 2A.431/2000 du 9 avril 2001 consid. 4c in RDAF 2001 II 16; 2C_802/2012 du 8 janvier 2013 consid. 2.4.2 et les références citées; 2C_361/2011 du 8 novembre 2011 consid. 2.4.2). Le Tribunal fédéral a jugé en particulier que des droits de participation qu'un architecte exerçant une activité accessoire de commerçant d'immeubles détenait dans une société anonyme qui devait réaliser un important projet immobilier appartenait à sa fortune commerciale. L'aliénation de ces participations constituait par conséquent un bénéfice en capital imposable (arrêt 2A.547/2004 du 22 avril 2005 in StE 2006 B 23.2 n° 31).
3.3 Le Tribunal cantonal a retenu en fait, d'une manière qui lie la Cour de céans (cf. supra consid. 2.3), que X._ Sàrl est issue de la scission des activités de la raison individuelle, qui lui a transféré les actifs et passifs relatifs à la production et la distribution de la boulangerie-pâtisserie. Il a relevé que, s'il ne fait guère de doute que la raison individuelle et la Sàrl sont deux entités distinctes, celles-ci n'en ?uvraient pas moins dans le même secteur économique (la boulangerie). De plus, le recourant était l'unique ayant droit des deux entités, sur lesquelles il a toujours exercé le contrôle absolu. L'instance précédente a jugé que X._ Sàrl avait par ailleurs permis au recourant de donner une impulsion nouvelle à la marche générale de ses affaires et qu'elle s'inscrivait dans un rapport de collaboration étroite avec la raison individuelle.
De son côté, le recourant expose que X._ Sàrl a été constituée dans le but de permettre à l'épouse du recourant de s'occuper de la gestion de la raison individuelle, tandis qu'il était prévu que le recourant serait en charge de la Sàrl. Toutefois, le divorce des époux X._ aurait ruiné ce projet. Le recourant est ainsi resté titulaire de la raison individuelle ainsi que seul gérant de la Sàrl. Il expose qu'il avait le projet de se défaire, à terme, de l'une des deux activités et de conserver l'autre.
De son côté, le recourant expose que X._ Sàrl a été constituée dans le but de permettre à l'épouse du recourant de s'occuper de la gestion de la raison individuelle, tandis qu'il était prévu que le recourant serait en charge de la Sàrl. Toutefois, le divorce des époux X._ aurait ruiné ce projet. Le recourant est ainsi resté titulaire de la raison individuelle ainsi que seul gérant de la Sàrl. Il expose qu'il avait le projet de se défaire, à terme, de l'une des deux activités et de conserver l'autre.
3.4 3.4.1 Le recourant s'en prend en premier lieu à l'appréciation de l'instance précédente, selon laquelle l'augmentation du chiffre d'affaires réalisé par la raison individuelle entre 2003 - année de la scission des activités de la raison individuelle - et 2007 - année précédent la vente à Y._ Holding SA de sa participation dans X._ Sàrl - témoignerait d'une nouvelle impulsion découlant de la scission de l'entreprise. Il fait valoir que l'évolution du chiffre d'affaires de la raison individuelle "relève vraisemblablement de la seule marche habituelle des affaires" (cf. recours, p. 8).
L'argument du recourant tombe à faux. D'après les constatations de l'arrêt attaqué, le chiffre d'affaires réalisé par la raison individuelle, tel qu'établi dans le tableau de valeurs utilisé par l'instance précédente - que le recourant ne conteste pas et qui lie la Cour de céans -, est passé de 918'000 fr. en 2003 à 1'097'000 fr. en 2007, ce qui représente une augmentation de 19.5% en cinq ans, soit une augmentation annuelle moyenne de 3.9%. Quant au chiffre d'affaires dégagé par la Sàrl, il a crû de 1'580'000 fr. en 2003 à 1'897'000 fr. en 2007, correspondant à une augmentation annuelle moyenne de 4%. Par ailleurs, si l'on tient compte du chiffre d'affaires de la Sàrl en défalquant le chiffre d'affaires généré par les ventes à la raison individuelle, l'augmentation annuelle moyenne est de 4.5%. Il faut donc admettre, avec l'instance précédente, que le chiffre d'affaires des deux entités a augmenté de façon parallèle pendant la période considérée, les différences constatées de pourcentage n'étant ni déterminantes, ni suffisantes pour renverser ce constat. C'est en vain que le recourant tente du reste de démontrer que la croissance enregistrée par la raison individuelle ne serait pas significative, en se référant au chiffre d'affaires cumulé de la Sàrl et de la raison individuelle ("chiffre d'affaires groupe"; cf. recours, p. 8). Il suffit de relever que le recourant dominait les deux entités et qu'il avait la volonté de mettre les activités de la Sàrl au profit de la raison individuelle ce qui est concrétisé par l'augmentation parallèle des chiffres d'affaires de deux entités.
3.4.2 Le recourant fait grief à l'instance précédente d'avoir retenu que plus de la moitié du chiffre d'affaires de la Sàrl consistait dans le chiffre d'affaires réalisé sur la base des ventes à la raison individuelle. Il conteste ce ratio et expose que la raison individuelle n'était dépendante à l'égard de la Sàrl qu'à concurrence d'un tiers des produits livrés par celle-ci.
C'est à juste titre que le recourant expose que le chiffre d'affaires de la Sàrl provient pour un tiers des ventes effectuées à la raison individuelle. Le ratio est exactement de 34.08% en moyenne entre 2003 et 2007. Il n'en reste toutefois pas moins que cette proportion est suffisante pour admettre une dépendance certaine entre les deux entités. Que le chiffre d'affaires réalisé par la Sàrl provienne pour moitié ou pour un tiers de la vente de sa production à la raison individuelle ne change en rien le constat effectué par les juges précédents, selon lequel la raison individuelle et la Sàrl présentent un rapport de collaboration étroit.
3.5 Le raisonnement de l'instance précédente est donc en accord avec la jurisprudence. Au vu de ces circonstances objectives, c'est à bon droit que l'instance précédente a conclu à un rapport de collaboration étroit entre la Sàrl et la raison individuelle et à l'attribution de la participation dans X._ Sàrl au patrimoine commercial du recourant. Le grief du recourant doit donc être rejeté.
II. Impôt cantonal et communal
4. Dans le cadre du droit fiscal harmonisé qui régit l'imposition directe aux niveaux fédéral, cantonal et communal (cf. supra consid. 1), la notion d'activité lucrative indépendante correspond aux concepts employés par la LIFD. Les art. 8 al. 2 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14) et 21 al. 2 de la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux (LI/VD; RSVD 642.11) prévoient ainsi que la fortune commerciale comprend tous les éléments de la fortune qui servent, entièrement ou de manière prépondérante, à l'exercice de l'activité lucrative indépendante; il en va de même pour les participations d'au moins 20 % au capital-actions ou au capital social d'une société de capitaux ou d'une société coopérative, dans la mesure où le détenteur les déclare comme fortune commerciale, au moment de leur acquisition. Par conséquent, les considérations développées pour l'impôt fédéral direct s'appliquent également aux impôts cantonal et communal relatifs à la période fiscale sous examen. Il s'ensuit que le recours doit également être rejeté sur ce point pour les mêmes raisons.
Par ces motifs, le Tribunal fédéral prononce:
1. Les causes 2C_789/2012 et 2C_786/2012 sont jointes.
2. Le recours en matière d'impôt fédéral direct (2C_789/2012) est rejeté.
3. Le recours en matière d'impôt cantonal et communal (2C_786/2012) est rejeté.
4. Les frais judiciaires, arrêtés à 6'000 fr., sont mis à la charge du recourant.
5. Le présent arrêt est communiqué au mandataire du recourant, à l'Administration cantonale des impôts et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 1er mars 2013
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Dubey