Faits: A. Depuis 1981, X._ exploite une boulangerie-pâtisserie à A._, sous la forme d'une raison individuelle. En 2003, il a scindé ses activités en deux entités et créé X._ Sàrl, dont le but consiste en l'exploitation d'une boulangerie artisanale et qui a repris de la raison individuelle les activités de production et de distribution relatives à la boulangerie-pâtisserie. La raison individuelle a continué d'exploiter trois points de vente. Le 29 mai 2008, X._ a vendu à Y._ Holding SA sa participation dans X._ Sàrl, d'un montant de 50'000 fr., ainsi que les actifs et passifs de cette société pour 1'540'000 fr. Le même jour, il a vendu à X._ Sàrl les trois points de vente de la raison individuelle, pour le prix de 200'000 fr. Dans sa déclaration d'impôt pour l'année fiscale 2008, remise le 20 mai 2010, X._ a fait état d'un revenu imposable de 204'500 fr. et d'une fortune imposable de 1'299'000 fr. Par décision du 3 décembre 2010 et décision sur réclamation du 1er avril 2011, l'Office d'impôt du district du Nord vaudois a arrêté le revenu imposable à 1'562'400 fr. pour l'impôt fédéral direct et à 1'529'200 fr. pour l'impôt cantonal et communal, ainsi que la fortune imposable à 1'799'000 fr. Il a, en substance, considéré que le produit de la vente de la participation détenue par X._ dans X._ Sàrl, d'un montant de 1'348'450 fr. (soit le prix de vente de 1'540'000 fr., sous déduction de 50'000 fr. et de 141'500 fr., correspondant au montant de la part sociale, respectivement à une provision AVS) devait être rattaché à la fortune commerciale de l'intéressé et, partant, imposé au titre de l'activité lucrative indépendante. X._ a maintenu sa réclamation, qui a été transmise à l'Administration cantonale des impôts (ci-après: l'Administration cantonale) comme relevant de sa compétence. B. Par décision sur réclamation du 16 novembre 2011 concernant l'impôt fédéral direct et l'impôt cantonal et communal, l'Administration cantonale a partiellement admis la réclamation de X._, dans la mesure où elle a modifié la décision de taxation du 3 décembre 2010, en arrêtant le revenu imposable à 1'549'000 fr. pour l'impôt fédéral direct et à 1'516'200 fr. pour l'impôt cantonal et communal, ainsi que la fortune imposable à 1'799'000 fr. Elle a en revanche confirmé que la participation dans X._ Sàrl devait être qualifiée d'actif commercial nécessaire à l'exploitation de la raison individuelle. X._ a interjeté recours contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Par arrêt du 20 juin 2012, le recours a été rejeté et la décision du 16 novembre 2011 de l'Administration cantonale confirmée. C. A l'encontre de l'arrêt du 20 juin 2012, X._ forme un recours en matière de droit public. Il conclut, sous suite de dépens, à sa réforme en ce sens que la plus-value réalisée sur la vente de sa participation dans X._ Sàrl soit retranchée de son revenu imposable. L'Administration cantonale propose le rejet du recours, à l'instar de l'Administration fédérale des contributions. Quant au Tribunal cantonal, il renonce à se déterminer, se référant à son arrêt. Le 3 janvier 2013, le contribuable a confirmé ses conclusions dans ses observations sur les prises de position des autres parties en cause.