Citation: 2C_1006/2020 E. A

A.a. A.________, contribuable vaudois, a fondé en août 2005 la société C.________ Sàrl avec ses oncles D.________ et E.________. Cette société à responsabilité limitée avait pour but l'exploitation d'une entreprise générale, notamment dans le domaine du coffrage. C.________ Sàrl a été déclarée en faillite le 30 novembre 2009. En août 2006, A.________ a fondé avec son épouse F.________ la société G.________ Sàrl, une société spécialisée dans le coffrage pour la construction immobilière et les travaux de maçonnerie. A.________, au bénéfice de la signature individuelle, détenait à l'origine 19'000 fr. du capital social de 20'000 fr. de la Société. Depuis avril 2009, il en détient l'intégralité. A.________ et F.________ ont été imposés conjointement pour les périodes fiscales 2006 à 2008 et séparément à compter de la période fiscale 2009. Ils ont divorcé en 2012. A.b. Le 21 novembre 2012, l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) a ouvert une procédure en rappel et soustraction d'impôt à l'encontre de G.________Sàrl pour les périodes fiscales 2007 à 2011, tant pour l'impôt cantonal (ICC) que pour l'impôt fédéral direct (IFD). Le 11 décembre 2012, elle a également ouvert une procédure en rappel et soustraction d'impôt à l'encontre de A.________ et de son ex-épouse pour les périodes 2006 à 2008. A.c. Dans le cadre de la procédure ouverte contre G.________ Sàrl, l'Administration cantonale a notamment découvert que cette société avait encaissé, sur un compte bancaire non déclaré, des montants qu'elle n'avait pas comptabilisés, pour un total de 1'103'219 fr., que les sorties d'argent qui étaient intervenues sur ce compte avaient toujours été effectuées en espèces et qu'elles avaient porté, pour l'essentiel, sur des sommes arrondies au millième. L'Administration cantonale a indiqué à la Société qu'elle était disposée à reconnaître que les montants perçus sur ce compte bancaire représentaient du chiffre d'affaires brut, de sorte que, pour calculer les reprises à effectuer dans son bénéfice, il fallait en déduire des charges que la Société avait dû encourir pour payer des sous-traitants qui étaient intervenus sur les chantiers correspondants. Concrètement, l'Administration cantonale a proposé à la Société de déterminer le montant de ces charges déductibles de manière à parvenir à une marge nette de 11% pour ces chantiers, ce qui aboutissait à une reprise de 141'684 fr., à répartir sur les périodes fiscales 2006 à 2008. La Société a accepté cette proposition. L'Administration cantonale a aussi repris dans le bénéfice de la Société des charges que celle-ci avait comptabilisées, mais qui n'étaient pas justifiées par l'usage commercial, pour les périodes 2006 à 2010, soit 1'236 fr. (2006), 22'084 fr. (2007), 80'125 fr. (2008), 54'255 fr. (2009) et 18'449 fr. (2010).