Citation: 2C_777/2019 E. A

Le 24 juin 2004, A.A.________, domicilié au D.________, a constitué, avec son frère cadet B.A.________, la société C.________ Sàrl, dont le siège se trouve aussi au D.________. La société, dont le but est l'exploitation d'une entreprise générale de construction, a un capital social de 20'000 fr., A.A.________ disposant d'une part de 19'000 fr., son frère de 1'000 fr. Tous deux engagent la société par leur signature individuelle. A.A.________ est salarié de la société depuis 2005, son frère cadet depuis 2007. Le 15 décembre 2008, l'Office d'impôt des districts de Lausanne et ouest lausannois (ci-après: l'Office d'impôt) a taxé A.A.________ pour la période fiscale 2006 sur un revenu imposable de 24'400 fr. pour l'impôt cantonal et communal, respectivement 27'800 fr. pour l'impôt fédéral direct, ainsi que sur une fortune imposable de 91'000 fr. Le 26 janvier 2009, l'Office d'impôt l'a taxé pour la période fiscale 2007 sur un revenu imposable de 52'100 fr. pour l'impôt cantonal et communal, respectivement de 53'500 fr. pour l'impôt fédéral direct, ainsi que sur une fortune imposable de 153'000 fr. Cette décision est entrée en force. Pour la période fiscale 2008, A.A.________ a déclaré un revenu imposable de 98'000 fr. pour l'impôt cantonal et communal, respectivement de 93'600 fr. pour l'impôt fédéral direct, ainsi qu'une fortune imposable de 420'000 fr. Pour la période fiscale 2009, il a déclaré un revenu imposable nul pour l'impôt cantonal et communal, respectivement de 5'100 fr. pour l'impôt fédéral direct, ainsi qu'une fortune imposable de 783'000 fr. Pour la période fiscale 2010, il a déclaré un revenu imposable de 188'700 fr. pour l'impôt cantonal et communal, respectivement de 207'400 fr. pour l'impôt fédéral direct, ainsi qu'une fortune imposable de 834'000 fr. Le 7 avril 2011, l'Administration cantonale des impôts a informé A.A.________ de l'ouverture d'une procédure pour rappel et soustraction d'impôt portant sur les périodes fiscales 2006 à 2009. Un entretien a eu lieu dans les locaux de l' Administration cantonale des impôts avec le contribuable, le 24 mai 2011, puis l'Administration cantonale des impôts a procédé à un contrôle des comptes au siège de la société le 15 juin 2011. Le 28 octobre 2015, l'Administration cantonale des impôts a informé le contribuable qu'une procédure pour tentative de soustraction était ouverte à son encontre également s'agissant de la période fiscale 2010. Le 26 avril 2016, l'Administration cantonale des impôts a adressé à A.A.________ un avis de prochaine clôture de l'enquête pour soustraction d'impôt portant sur les périodes fiscales 2005 à 2010, faisant état de compléments d'impôts de 394'636 fr. 20 en relation avec les périodes fiscales 2004 à 2010. Divers échanges ont à nouveau eu lieu entre l'Administration cantonale des impôts et le contribuable. L'instruction s'est poursuivie dans le chef de la société dont le contribuable est l'associé majoritaire.