Faits :
A.
Le 24 juin 2004, A.A._, domicilié au D._, a constitué, avec son frère cadet B.A._, la société C._ Sàrl, dont le siège se trouve aussi au D._. La société, dont le but est l'exploitation d'une entreprise générale de construction, a un capital social de 20'000 fr., A.A._ disposant d'une part de 19'000 fr., son frère de 1'000 fr. Tous deux engagent la société par leur signature individuelle. A.A._ est salarié de la société depuis 2005, son frère cadet depuis 2007.
Le 15 décembre 2008, l'Office d'impôt des districts de Lausanne et ouest lausannois (ci-après: l'Office d'impôt) a taxé A.A._ pour la période fiscale 2006 sur un revenu imposable de 24'400 fr. pour l'impôt cantonal et communal, respectivement 27'800 fr. pour l'impôt fédéral direct, ainsi que sur une fortune imposable de 91'000 fr. Le 26 janvier 2009, l'Office d'impôt l'a taxé pour la période fiscale 2007 sur un revenu imposable de 52'100 fr. pour l'impôt cantonal et communal, respectivement de 53'500 fr. pour l'impôt fédéral direct, ainsi que sur une fortune imposable de 153'000 fr. Cette décision est entrée en force.
Pour la période fiscale 2008, A.A._ a déclaré un revenu imposable de 98'000 fr. pour l'impôt cantonal et communal, respectivement de 93'600 fr. pour l'impôt fédéral direct, ainsi qu'une fortune imposable de 420'000 fr. Pour la période fiscale 2009, il a déclaré un revenu imposable nul pour l'impôt cantonal et communal, respectivement de 5'100 fr. pour l'impôt fédéral direct, ainsi qu'une fortune imposable de 783'000 fr. Pour la période fiscale 2010, il a déclaré un revenu imposable de 188'700 fr. pour l'impôt cantonal et communal, respectivement de 207'400 fr. pour l'impôt fédéral direct, ainsi qu'une fortune imposable de 834'000 fr.
Le 7 avril 2011, l'Administration cantonale des impôts a informé A.A._ de l'ouverture d'une procédure pour rappel et soustraction d'impôt portant sur les périodes fiscales 2006 à 2009. Un entretien a eu lieu dans les locaux de l' Administration cantonale des impôts avec le contribuable, le 24 mai 2011, puis l'Administration cantonale des impôts a procédé à un contrôle des comptes au siège de la société le 15 juin 2011.
Le 28 octobre 2015, l'Administration cantonale des impôts a informé le contribuable qu'une procédure pour tentative de soustraction était ouverte à son encontre également s'agissant de la période fiscale 2010.
Le 26 avril 2016, l'Administration cantonale des impôts a adressé à A.A._ un avis de prochaine clôture de l'enquête pour soustraction d'impôt portant sur les périodes fiscales 2005 à 2010, faisant état de compléments d'impôts de 394'636 fr. 20 en relation avec les périodes fiscales 2004 à 2010.
Divers échanges ont à nouveau eu lieu entre l'Administration cantonale des impôts et le contribuable. L'instruction s'est poursuivie dans le chef de la société dont le contribuable est l'associé majoritaire.
B.
Le 8 décembre 2016, l'Administration cantonale des impôts a rendu à l'encontre A.A._ une décision de rappel d'impôts, taxation définitive et prononcé d'amendes concernant les périodes fiscales 2004 à 2010. Les compléments d'impôts se montaient à un total de 371'519 fr. 60 et les amendes à 193'150 fr. Le 6 janvier 2017, A.A._ a formé une réclamation à l'encontre de la décision du 8 décembre 2016.
C.
Le 25 octobre 2018, l'Administration cantonale des impôts a admis très partiellement la réclamation. Elle a fixé les compléments d'impôts dus à 297'208 fr. 30 pour les périodes fiscales 2006 à 2010 et les amendes pour ces mêmes périodes à 168'200 fr. Constatant que les dossiers de A.A._ et de C._ Sàrl étaient liés, elle a renvoyé, à titre de motivation, aux considérants développés dans la décision sur réclamation rendue à l'encontre de C._ Sàrl, dont elle a cité en italique des passages in extenso s'agissant des prestations appréciables en argent reçues de la société.
Les amendes ont été fixées, compte tenu d'une faute considérée comme moyenne, à une quotité de 4/5 pour les soustractions consommées (périodes fiscales 2005 et 2006) et à une quotité de 2/3 x 4/5 pour les soustractions tentées (périodes fiscales 2007 à 2010).
A.A._ a recouru auprès du Tribunal cantonal du canton de Vaud contre de la décision rendue sur réclamation par l'Administration cantonale des impôts le 25 octobre 2018, concluant principalement à son annulation, subsidiairement à sa réforme, dans le sens d'une réduction des compléments d'impôts et des amendes mises à sa charge.
Le 1er mai 2019, A.A._ a souhaité que les procédures relatives à la taxation et aux amendes soient menées de manière séparée, ce qui a été admis par le Tribunal cantonal.
D.
Par arrêt du 17 juillet 2019, le Tribunal cantonal du canton de Vaud a rejeté le recours déposé par A.A._ et confirmé la décision rendue sur réclamation par l'Administration cantonale des impôts le 25 octobre 2018, dans la mesure où elle portait sur la taxation de A.A._. Dans l'exposé des faits, il a présenté les tableaux suivants:
Code DI 2006 2007 2008 2009 2010 Eléments soustraits 410 Prestations appréciables en argent octroyées par C._ Sàrl./. réduction pour participations (30%) 345274 106302 136807 169092 - 50728 54741 -16422 Autres reprises 160 Autres frais prof. non admis 1900 2082 3196 2000 2000 Eléments non soustraits 410 Prestations appréciables en argent octroyées par C._ Sàrl./. réduction pour participations (30%) 160396 - 48119 610 Intérêts sur crédit de constructions non admis 2825 28369 490 Frais d'adm. de la fortune non s/parts et c/c C._ Sàrl 605 383 188 300 Assurance personne à charge non admise (déduction personne à charge non admise) 2600 2600 540 Genus abri à voiture **** (plus value) 13506 185 GI Gollion effectif./. GI Gollion déclaré 129589 - 129500
PAA octroyées par C._ Sàrl à A.A._ 2006 2007 2008 2009 2010 1.01 Chiffre d'affaires non comptabilisé 192652 8000 1.02 Produits non comptabilisés 5902.45 1.03 Frais non justifiés (E._) 110124 40399.65 38000 68400 151000 1.04 Charges comptabilisées à double 3130.75 6326 1.05 Frais de représentation forfaitaires sup. 2100 4800 5650 1.06 Frais tél. privés enfants 1272 367.60 3032.6 1.07 PP frais de téléphone 1400 1600 1900 2700 1.08 PP frais de véhicule 2229 2832 1.1 salaires non justifiés 36369 3000 8000 1.11 salaire provision et payé 3646 1.12 charges sociales non retenues 1.13 charges non justifiées 56.25 6927.25 1.14 frais privés 2444.2 3098.35 18476 4509.88 1.15 Ind. Vhc non admise 500 1.17 Rbt dette ML ald leasing 1352.85 3156.65 2254.75 3156.53 4509.5 Total PAA soustraites 342274.45 106301.95 136806.76 169092.1 54741 Total PAA non soustraites 160396
Il a écarté le grief de violation du droit d'être entendu au motif qu'on ne pouvait pas reprocher à l'autorité intimée d'avoir effectué un renvoi aux considérants de la décision qu'elle avait rendue s'agissant des reprises opérées dans le chapitre de la société C._ Sàrl. En effet, les réclamations que le contribuable avaient formées à l'encontre des décisions de taxation et rappel d'impôt relatives aux périodes fiscales 2006 à 2010 se limitaient à observer que le montant des prestations appréciables en argent ne correspondait pas à celui des prestations dissimulées reprises dans le bénéfice de la société. Or, l'Administration cantonale des impôts avait répondu de manière précise à cette critique joignant à la décision sur réclamation du 25 octobre 2018 le tableau des reprises sur le revenu ayant fondé les décisions du 8 décembre 2016, puis un tableau détaillé justifiant les différences constatées entre les reprises dans la société C._ Sàrl et les reprises confirmées précisément dans la décision sur réclamation. Le contribuable s'était du reste lui-même référé à l'argumentation développée dans le cadre de la procédure concernant la société dont il était l'associé majoritaire, sans développer une motivation spécifique en relation avec l'imposition des prestations appréciables en argent. S'agissant de la période fiscale 2007, qui n'avait pas fait l'objet d'une décision sur réclamation dans le chapitre de C._ Sàrl, le Tribunal cantonal a réparé la violation du droit d'être entendu en considérant que la motivation insuffisante de la décision sur réclamation n'avait pas empêché le contribuable de l'attaquer puisqu'il avait eu connaissance de toutes les reprises opérées sur son revenu et qu'il n'avait contesté, pour cette période, que le bien-fondé de la reprise relative aux charges comptabilisées en relation avec l'activité de la société E._ SA. La motivation de l'Administration fiscale cantonale en relation avec cette reprise pour les périodes 2006, 2008, 2009 et 2010 était transposable à la période fiscale 2007.
Sur le fond, le Tribunal cantonal a lui-même renvoyé aux considérants de l'arrêt qu'il avait rendu le même jour dans la cause FI.2018.0266 concernant la société C._ Sàrl, dont il avait intégralement rejeté le recours. Puis, ajoutant que le contribuable était le détenteur de parts majoritaire de C._ Sàrl et qu'à l'inverse de son frère, il était par ailleurs employé par cette société, dont il était également très vraisemblablement le seul dirigeant, il l'a jugé bénéficiaire des prestations appréciables en argent consenties par la société C._ Sàrl, s'agissant des charges injustifiées en relation avec la société E._ SA et du chiffre d'affaires non comptabilisé en relation avec les travaux effectués pour le compte de B.A._ et de son épouse.
E.
Agissant par la voie du recours en matière de droit public, A.A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt attaqué et de réduire son revenu imposable des reprises litigieuses. Invoquant l'art. 9 Cst., il se plaint de la violation de l'interdiction de l'arbitraire en raison de la confusion que crée l'arrêt attaqué en renvoyant à la décision sur réclamation qui elle-même contient des conclusions relatives au chapitre fiscal de C._ Sàrl. Il dénonce également le caractère incomplet des faits qui concernent la reprise liée à la renonciation par C._ Sàrl de comptabiliser le chiffre d'affaires réalisé en relation avec les travaux effectués pour le compte de B.A._ et son épouse. Il se plaint enfin de la violation du droit fédéral en matière fiscale.
Le Tribunal cantonal a renoncé à déposer des observations sur recours. L'Administration cantonale des impôts et l'Administration fédérale des contributions concluent au rejet du recours. Le contribuable n'a pas répliqué.
F.
Une procédure parallèle s'est déroulée s'agissant de l'imposition de la société C._ Sàrl. Celle-ci a été imposée pour des prestations appréciables en argent effectuées en faveur A.A._. Par arrêt 2C_775/2019 du 28 avril 2020, le Tribunal fédéral a rejeté le recours de la société en tant qu'il portait sur l'impôt fédéral direct et sur l'impôt cantonal et communal de la période fiscale 2006 à 2010.

Considérant en droit :
1.
1.1. Le Tribunal cantonal a rendu une seule décision valant tant pour l'impôt fédéral direct que pour l'impôt cantonal et communal du contribuable, ce qui est en principe admissible, dès lors qu'il ressort clairement que ladite décision porte sur les deux catégories d'impôts (cf. <ref-ruling> consid. 1.3.1 p. 262; arrêt 2C_258/2017 du 2 juillet 2018 consid. 1). Dans ces circonstances, on ne peut reprocher au contribuable d'avoir formé les mêmes griefs et pris des conclusions valant pour les deux catégories d'impôts dans son recours devant le Tribunal fédéral (cf. <ref-ruling> consid. 1.3.3 p. 264). Il sera partant statué dans un seul arrêt pour les deux impôts.
1.2. La décision attaquée est finale (art. 90 LTF) et a été rendue par une autorité judiciaire supérieure de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF), dans une cause de droit public (art. 82 let. a LTF), ne tombant pas sous le coup de l'une des exceptions de l'art. 83 LTF. La voie du recours en matière de droit public est partant ouverte (cf. aussi art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct [LIFD; RS 642.11] et art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]; arrêt 2C_84/2018 du 10 août 2018 consid. 2.2). Le recours a en outre été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 al. 1 et 2 LTF), par le destinataire de la décision attaquée, qui a la qualité pour recourir (art. 89 al. 1 LTF en relation avec les art. 146 LIFD et 73 al. 2 LHID). Il est donc recevable.
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Conformément à l'art. 106 al. 2 LTF et en dérogation à l'art. 106 al. 1 LTF, le Tribunal fédéral ne connaît toutefois de la violation des droits fondamentaux ainsi que de celle de dispositions de droit cantonal que si le grief a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (<ref-ruling> consid. 1.7.2 p. 106; <ref-ruling> consid. 1.3 p 41). En matière fiscale et s'agissant du droit cantonal harmonisé, le Tribunal fédéral en vérifie librement la conformité aux dispositions de la LHID et son application par les instances cantonales, sauf si cette loi laisse une certaine marge de manoeuvre aux cantons, auquel cas l'examen du Tribunal fédéral est limité à celui de la violation de droits constitutionnels dûment invoqués, en particulier l'arbitraire (cf. <ref-ruling> consid. 5.3 p. 319; <ref-ruling> consid. 2 p. 209 s.).
3.
Le recourant fait valoir que, tels qu'ils sont exposés à la page 12 de l'arrêt attaqué, les faits sur lesquels est basée la renonciation de la société C._ Sàrl à comptabiliser le chiffre d'affaires réalisé en relation avec les travaux effectués pour le compte de B.A._ et de son épouse, sont totalement incomplets, ce qui constitue un arbitraire flagrant (mémoire de recours, p. 6, ch. 2.7)
3.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF; <ref-ruling> consid. 6 p. 358), ce qu'il doit démontrer d'une manière circonstanciée, conformément aux exigences de motivation des art. 42 al. 2 et 106 al. 2 LTF (cf. <ref-ruling> consid. 1.4.3 p. 254 s.).
3.2. Le recourant perd de vue que l'instance précédente a précisé, dans le considérant 5c de l'arrêt attaqué, qu'il pouvait " être renvoyé aux considérations développées dans le cadre de la cause FI.2018.0266, s'agissant du bien-fondé des reprises opérées dans le bénéfice de la société C._ Sàrl en relation avec la comptabilisation de charges injustifiées et l'absence de comptabilisation d'une parte du chiffre d'affaires ". Le recourant, qui a reçu l'arrêt en la cause FI.2018.0266 au titre d'administrateur de la société, n'expose pas en quoi les faits retenus dans l'arrêt rendu par l'instance précédente dans cette cause seraient incomplets s'agissant des reprises qu'il entend faire annuler. Le grief est par conséquent rejeté.
A cela s'ajoute que dans l'arrêt 2C_775/2019 du 28 avril 2020 (consid. 3.2) concernant C._ Sàrl, le Tribunal fédéral a jugé que l'instance précédente n'avait pas méconnu l'existence du contrat de crédit de construction passé par B.A._ et son épouse avec la banque F._; elle avait en outre dûment constaté que les montants versés par la banque F._ avaient bien transité sur les comptes de la société et que les frais rattachés au chantier de la maison de B.A._ et de son épouse avaient bien été comptabilisés comme charges dans ces mêmes comptes. Dans ces conditions, le Tribunal fédéral a jugé que si la société entendait démontrer son rôle de simple intermédiaire, il lui incombait non seulement d'apporter la preuve de la relation fiduciaire, mais également de nier la comptabilisation des charges liées à l'immeuble de B.A._ dans ses comptes, ce qu'elle n'avait pas fait. Il s'ensuivait que le chiffre d'affaires non comptabilisé de 190'500 fr. devait être ajouté au bénéfice imposable de la société pour la période fiscale 2006.
4.
Dans un second grief, le recourant rappelle que l'instance précédente a rejeté son grief de violation du droit d'être entendu dénonçant le manque de motivation de la décision sur réclamation du 25 octobre 2018. Puis, invoquant l'art. 9 Cst., il lui reproche de ne pas s'être prononcée sur le grief de violation de l'interdiction de l'arbitraire qu'il avait soulevé devant elle. Selon lui, les reprises auxquelles l'arrêt attaqué renvoie dans la décision sur réclamation n'y sont pas clairement identifiées. Il en veut pour exemple des passages tirés des pages 5, 9 et 16 de la décision sur réclamation du 25 octobre 2018, dont il estime, en substance, qu'ils sont sans rapport avec la procédure l'impliquant, parce qu'ils présentent des chiffres différents de ceux figurant aux § 1.01 et 1.03 de l'arrêt attaqué.
A supposer que le grief de violation de l'interdiction de l'arbitraire, qui n'est pas motivé d'une manière conforme aux exigences accrues de l'art. 106 al. 2 LTF, soit recevable, il devrait être rejeté. Tous les passages de la décision sur réclamation dont le recourant rapporte le contenu sont imprimés en italique, ce qui signifie qu'il s'agit de textes transposés in extenso de la décision sur réclamation rendue à l'encontre de la société C._ Sàrl dans la décision du 25 octobre 2018 rendue à l'encontre du recourant (cf. ci-dessus, en fait lettre C), de sorte que les chiffres qui y figurent sont ceux qui ont été retenus dans le chapitre fiscal de la société. L'instance précédente a en outre rejeté à bon droit le grief d'absence de motivation soulevé devant elle par le recourant, qui estimait que le montant des prestations appréciables en argent retenues dans son chapitre fiscal ne correspondait pas à celui des prestations dissimulées reprises dans le bénéfice de la société. Elle a en effet considéré que l'Administration cantonale des impôts avait répondu de manière précise à cette critique en joignant à la décision sur réclamation du 25 octobre 2018 le tableau des reprises sur le revenu ayant fondé les décisions du 8 décembre 2016, puis un tableau détaillé justifiant les différences constatées entre les reprises dans la société C._ Sàrl et les reprises confirmées précisément dans la décision sur réclamation. Il était par conséquent logique que les chiffres figurant aux § 1.01 et 1.03 de l'arrêt attaqué ne correspondent pas à ceux retenus dans le chapitre de la société. Ce faisant, non seulement l'instance précédente a répondu aux griefs du recourant, mais encore elle a attiré son attention sur les tableaux explicatifs annexés à la décision sur réclamation du 25 octobre 2018, que ce dernier semble n'avoir pas consultés. Quoi qu'il en soit, le recourant ne formule aucun grief recevable à l'encontre de ces tableaux et des chiffres qui y sont exposés. Il n'est par conséquent pas possible de s'en écarter.
I. Impôt fédéral direct
5.
Le recourant soutient qu'une prestation appréciable en argent imposable dans le chapitre de la société ne constitue pas automatiquement une prestation appréciable en argent imposable dans le chapitre de l'actionnaire, contrairement à ce qu'a retenu l'instance précédente.
5.1. En vertu de l'art. 20 al. 1 let. c LIFD, les avantages appréciables en argent provenant de participations sont soumis à l'impôt sur le revenu dans le chef du détenteur des droits de participations.
Selon la jurisprudence (<ref-ruling> consid. 4.1 p. 91 ss; <ref-ruling> consid. 2.2 p. 59 ss; <ref-ruling> consid. 5.1 p. 607; <ref-ruling> consid. 2 p. 119; <ref-ruling> consid. 2b p. 435,), constitue une prestation appréciable en argent : 1) celle que la société de capitaux ou la société coopérative alloue, sans contre-prestation, ou sans contre-prestation équivalente, 2) à ses actionnaires, aux membres de l'administration ou à d'autres organes, ainsi qu'à toute personne la ou les touchant de près, 3) qu'elle n'aurait pas faite dans les mêmes circonstances à un tiers non participant, et 4) dont le caractère de prestation était reconnaissable pour les organes de la société de capitaux ou la société coopérative et pour son bénéficiaire. En application de l'approche économique qui prévaut en la matière, les faits doivent être appréciés non seulement du point de vue de leur forme de droit civil, mais également du point de vue de leur contenu réel, en particulier économique (ATF <ref-ruling> consid. 2 p. 59; arrêt 2P.280/2001/2A.475/2001 du 30 avril 2002 consid. 2.1, in: RF 57/2002 p. 558; en ce qui concernait l'AIFD: <ref-ruling> consid. 3b p. 241). La question de savoir si la prestation appréciable en argent est intervenue suite à l'absence de comptabilisation d'un revenu ou suite à la comptabilisation d'une charge infondée est en revanche sans importance (cf. <ref-ruling> consid. 2 p. 24 ss).
5.2. Il faut entendre par "personne la ou les touchant de près", (ci-après : personne proche), une personne physique ou morale qui entretient avec l'actionnaire, le détenteur de participations ou les organes de la société des relations personnelles étroites, par exemple, des liens de parenté ou amicaux (pour des exemples de parenté ou d'amitié, cf. THOMAS GEHRIG, Der Tatbestand der verdeckten Gewinnausschüttung an einen nahestenden Dritten, Thèse St Gall, 1998, p. 160 s.). Il peut aussi s'agir de relations économiques qui, au vu des circonstances globales, constituent le motif pour lequel est attribuée une prestation appréciable en argent (arrêts A 395/78 du 10 octobre 1979 in Arch. 49 211; A 28/76 du 17 septembre 1976 in Arch. 45 595; 2A.318/1990 du 6 juin 1991 consid 1a in Arch. 60 558). La notion de proche au sens fiscal du terme s'étend aux personnes auxquelles l'actionnaire permet d'utiliser la société comme si c'était la leur (cf. ATF <ref-ruling> consid. 2.3 p. 60; <ref-ruling> consid. 3.4 p. 551 et confirmé par arrêt 2C_16/2015 du 6 août 2015 consid. 2 in Archives 84 254 et RDAF 2016 II 110). Selon la jurisprudence, il y a lieu de voir un indice en ce sens, lorsque la comparaison "at arm's length" ("Drittvergleich"), c'est-à-dire avec des opérations usuelles semblables, démontre que la prestation en cause est à ce point inhabituelle - disproportionnée - qu'elle n'aurait pas été fournie de cette manière si le bénéficiaire n'avait pas été un proche du détenteur de parts. Le détenteur de parts doit par conséquent aussi être imposé sur des attributions de la société versées en faveur d'une autre société dominée par lui lorsqu'une justification commerciale d'un tel procédé fait totalement défaut (ATF <ref-ruling> consid. 4.2 p. 61 s.).
5.3. Si l'opération commerciale qualifiée de prestation appréciable en argent n'a été imposée ni auprès de la société de capitaux, ni auprès du détenteur de parts, il en résulte une reprise chez l'un comme chez l'autre. Cela découle de l'art. 58 al. 1 let. b et c LIFD en ce qui concerne la société effectuant la prestation, des art. 17 al. 1 et 20 al. 1 let. c LIFD en ce qui concerne l'actionnaire qui en bénéficie, dans la mesure où il s'agit d'une personne physique, respectivement de l'art. 58 al. 1 let. c LIFD dans le cas où la participation est détenue par une personne morale (arrêt 2C_16/2015 du 6 août 2015 consid. 2 in Archives 84 254 et RDAF 2016 II 110 et les références citées). Cela concrétise la double imposition économique voulue par le législateur (<ref-ruling> consid. 5.4 p. 76).
5.3.1. L'imposition intervient auprès de la société de capitaux en application de l'art. 58 al. 1 let. b, 5e tiret, LIFD selon lequel le bénéfice net imposable comprend tous les prélèvements opérés sur le résultat commercial avant le calcul du solde du compte de résultat, qui ne servent pas à couvrir des dépenses justifiées par l'usage commercial, tels que les distributions ouvertes ou dissimulées de bénéfice et les avantages procurés à des tiers qui ne sont pas justifiés par l'usage commercial.
5.3.2. L'imposition intervient auprès de l'actionnaire ou du détenteur de participations en application de l'art. 17 al. 1 in fine et 20 al. 1 let. c LIFD. Une distribution dissimulée de dividende dans le chapitre fiscal de la société ne constitue pas nécessairement un avantage appréciable en argent pour l'actionnaire. Il n'existe pas de véritable automatisme de taxation. Le versement de la prestation appréciable en argent par la société ne constitue qu'un indice important dont il faut tenir compte dans l'imposition du détenteur de parts. C'est la raison pour laquelle, en dérogation aux règles habituelles relatives au fardeau de la preuve, il appartient au détenteur de parts, lorsqu'il est en même temps organe de la société, de contester dans les détails la nature et le montant de la prestation appréciable en argent alléguée par l'administration fiscale. Si l'actionnaire ne critique pas de manière détaillée la reprise alléguée par l'autorité fiscale, ou s'il se borne à exposer des généralités, l'autorité fiscale est en droit d'admettre que la reprise dont l'imposition est entrée en force dans le chapitre de la société est également justifiée dans le chapitre de l'actionnaire (arrêts 2C_32/2018 du 11 novembre 2019 consid. 3.2.3; 2C_16/2015 du 6 août 2015 consid. 2.3.4 2C_736/2018 du 15 février 2019 consid. 2.2.2)
5.3.3. Lorsque la participation appartient à la fortune privée du détenteur de parts et qu'elle est versée à une personne proche, la théorie du triangle ("Dreieckstheorie") s'applique dans tous les cas. Suivant cette théorie, la prestation passe pendant un bref instant de la société effectuant la prestation au détenteur de parts, auprès duquel elle est considérée comme un rendement de la fortune mobilière (distribution dissimulée de dividende), puis à la personne considérée comme proche du détenteur de parts (arrêt 2C_16/2015 du 6 août 2015 consid. 2 in Archives 84 254 et RDAF 2016 II 110 et les références citées; ATF <ref-ruling> consid. 4.2 p. 61 ss; <ref-ruling> consid. 4.1 p. 726 ss; arrêts 2C_476/2014 du 21 novembre 2014 consid. 7.3, in: Arch. 83 p. 412; 2C_1023/2013 du 8 juillet 2014 consid. 3.4.1, in: RF 69/2014 p. 735). La manière d'effectuer le paiement ne peut rien changer à la qualification de la prestation en tant que rendement de la fortune mobilière (arrêt 2C_16/2015 du 6 août 2015 consid. 2 in Archives 84 254 et RDAF 2016 II 110 et les références citées).
C'est à la lumière des considérants qui précèdent qu'il convient d'examiner les reprises confirmées par l'instance précédente dans le chapitre fiscal du recourant.
6.
S'agissant des relations d'affaires avec la société E._ SA, le recourant soutient qu'il n'a pas profité du montant de 407'924 fr. repris dans le chapitre fiscal de C._ Sàrl.
6.1. Dans l'arrêt 2C_775/2019 du 28 avril 2020 (consid. 7.3), le Tribunal fédéral a jugé que la succursale de la société E._ SA n'avait pas la personnalité juridique, de sorte que les contrats dont se prévalait C._ Sàrl avaient bien été passés directement avec la société anonyme dont le siège était aux Seychelles. Dans ce contexte international, la société était soumise à un devoir accru de collaboration dans l'établissement de la réalité des charges reprises par l'autorité intimée pour un montant de 407'924 fr. Il lui appartenait de produire, notamment, le détail des relations bancaires ou des pièces documentaires relatives aux paiements effectués, ce qu'elle n'avait pas été en mesure de faire. Le Tribunal fédéral a par conséquent jugé que les dépenses consenties n'avaient pas été prouvées et qu'elles devaient être ajoutées au bénéfice imposable de la société pour les périodes fiscale 2006, 2008, 2009 et 2010.
6.2. Le recourant est d'avis que, pour être imposables dans son propre chapitre, les montants repris dans le chapitre de la société doivent lui profiter, puisque, selon la jurisprudence, une distribution dissimulée de dividende dans le chapitre fiscal de la société ne constitue pas nécessairement un avantage appréciable en argent pour l'actionnaire. Il perd de vue à cet égard que, pour le détenteur de parts sociales également organe de la société, comme il l'est en l'espèce, le fardeau de la preuve est renversé. Il appartient par conséquent au recourant de critiquer de manière détaillée la reprise effectuée par l'autorité intimée, confirmée par l'instance précédente ainsi que par le Tribunal fédéral dans l'arrêt 2C_775/2019 du 28 avril 2020 (consid. 5.3.2). Or, à cet égard, il se borne à affirmer que les prestations reprises dans le chapitre de C._ Sàrl ne lui ont pas profité. Cette objection toute générale ne lui est d'aucun secours. Le recourant n'est en effet pas en mesure de détailler, pièces à l'appui, de manière précise les mouvements d'argent liquide d'un montant de 407'924 fr. qu'il a prélevé sur les comptes bancaires de C._ Sàrl. La trace de cet argent s'arrête par conséquent au moment où il se trouve entre les mains du recourant, à la fois détenteur de parts sociales et organe de la société. Il n'est pas établi que ce montant ait profité à des tiers. En confirmant la reprise de 407'924 fr. au titre des prestations appréciables en argent dans le chapitre fiscal du recourant, l'instance précédente n'a pas violé le droit fédéral.
7.
Le recourant soutient que le montant de 190'500 fr. repris au titre de chiffre d'affaires non comptabilisé dans le chapitre fiscal de C._ Sàrl ainsi que dans son propre chapitre fiscal au titre de prestation appréciable en argent faite à son frère B.A._ doit être repris dans le chapitre fiscal de ce dernier et non dans le sien.
7.1. Dans l'arrêt 2C_775/2019 du 28 avril 2020 (consid. 3), le Tribunal fédéral a écarté les griefs de la société C._ Sàrl s'agissant des circonstances qui ont entouré les montants versés par la banque F._ à la société. Ces montants provenaient d'un crédit de 255'000 fr. obtenu par B.A._ et son épouse auprès de la banque F._ et étaient destinés au chantier de rénovation de l'immeuble acquis par ces deux derniers : alors que des dépenses en lien avec les travaux effectués en 2006 sur l'immeuble de B.A._ et de son épouse avaient bien été portés en charge dans les comptes de C._ Sàrl et admis par l'autorité fiscale, un versement de 190'500 fr. provenant du compte de crédit de la banque F._ n'a pas été enregistré dans les comptes de la société. Ce montant a été dans le chapitre fiscal de la société au titre de prestation appréciable en argent à l'actionnaire majoritaire. L'argument de la société selon lequel les montants versés par la banque F._ n'avaient fait que transiter par ses comptes et qu'elle n'avait agi que comme intermédiaire par le biais d'une relation fiduciaire mise en place à la demande de la banque F._ a été rejeté, la preuve de la relation fiduciaire n'ayant pas été apportée.
7.2. Le recourant est d'avis que, tout en étant proche de lui, B.A._ est en outre un associé de C._ Sàrl même s'il n'est que minoritaire, de sorte que, s'il devait y avoir une prestation appréciable en argent, ce serait ce dernier qui en serait directement le bénéficiaire en tant qu'associé.
L'objection du recourant doit être écartée. Il perd de vue, comme l'a retenu l'instance précédente, d'une manière qui lie le Tribunal fédéral (art. 105 al. 1 LTF), qu'à l'époque des faits, les montants en cause étaient destinés à la rénovation d'une maison qui était propriété du couple que formaient B.A._ et son épouse et non pas à son frère individuellement. Il perd aussi de vue qu'il était le détenteur largement majoritaire des parts de C._ Sàrl. Enfin il était également très vraisemblablement le seul dirigeant et le seul habilité à effectuer des retraits sur le compte bancaire de la société. C'est par conséquent bien au titre de personnes proches du détenteur de parts majoritaire que les époux, et non B.A._ pour lui-même, ont bénéficié des prestations appréciables en argent en cause. Dans ces conditions, en application de la théorie du triangle, c'est à bon droit que l'instance précédente a confirmé que dite prestation appréciable en argent doit être imposée dans le chapitre fiscal du recourant. Le grief est rejeté.
II. Impôt cantonal et communal
8.
Selon l'art. 23 al. 1 let. c LI/VD, est imposable le rendement de la fortune mobilière, en particulier les dividendes, les parts de bénéfice, les excédents de liquidation et tous autres avantages appréciables en argent provenant de participations de tout genre (y compris les actions gratuites, les augmentations gratuites de la valeur nominale, etc.). Cette disposition a la même teneur que l'art. 20 al. 1 let. c LIFD et est conforme à l'art. 7 al. 1 LHID. La jurisprudence rendue en matière d'impôt fédéral direct est également valable pour l'application des dispositions cantonales harmonisées correspondantes (<ref-ruling> consid. 10 p. 101; arrêt 2C_445/2015 du 26 août 2016 consid. 9). Les considérants développés en matière d'impôt fédéral direct s'appliquent donc également à l'impôt cantonal et communal. Par conséquent, le recours doit également être rejeté en ce qui concerne l'impôt cantonal et communal.
9.
Les considérants qui précèdent conduisent au rejet du recours en matière d'impôt fédéral direct et d'impôt cantonal et communal. Succombant, le recourant doit supporter les frais judiciaires (art. 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté en tant qu'il concerne l'impôt fédéral direct.
2.
Le recours est rejeté en tant qu'il concerne l'impôt cantonal et communal.
3.
Les frais judiciaires, arrêtés à 7'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué à la représentante du recourant, à l'Administration cantonale des impôts du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Administration fédérale des contributions.
Lausanne, le 28 avril 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Dubey