Faits :
A.
A.a. A._, contribuable vaudois, a fondé en août 2005 la société C._ Sàrl avec ses oncles D._ et E._. Cette société à responsabilité limitée avait pour but l'exploitation d'une entreprise générale, notamment dans le domaine du coffrage. C._ Sàrl a été déclarée en faillite le 30 novembre 2009.
En août 2006, A._ a fondé avec son épouse F._ la société G._ Sàrl, une société spécialisée dans le coffrage pour la construction immobilière et les travaux de maçonnerie. A._, au bénéfice de la signature individuelle, détenait à l'origine 19'000 fr. du capital social de 20'000 fr. de la Société. Depuis avril 2009, il en détient l'intégralité.
A._ et F._ ont été imposés conjointement pour les périodes fiscales 2006 à 2008 et séparément à compter de la période fiscale 2009. Ils ont divorcé en 2012.
A.b. Le 21 novembre 2012, l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) a ouvert une procédure en rappel et soustraction d'impôt à l'encontre de G._Sàrl pour les périodes fiscales 2007 à 2011, tant pour l'impôt cantonal (ICC) que pour l'impôt fédéral direct (IFD). Le 11 décembre 2012, elle a également ouvert une procédure en rappel et soustraction d'impôt à l'encontre de A._ et de son ex-épouse pour les périodes 2006 à 2008.
A.c. Dans le cadre de la procédure ouverte contre G._ Sàrl, l'Administration cantonale a notamment découvert que cette société avait encaissé, sur un compte bancaire non déclaré, des montants qu'elle n'avait pas comptabilisés, pour un total de 1'103'219 fr., que les sorties d'argent qui étaient intervenues sur ce compte avaient toujours été effectuées en espèces et qu'elles avaient porté, pour l'essentiel, sur des sommes arrondies au millième. L'Administration cantonale a indiqué à la Société qu'elle était disposée à reconnaître que les montants perçus sur ce compte bancaire représentaient du chiffre d'affaires brut, de sorte que, pour calculer les reprises à effectuer dans son bénéfice, il fallait en déduire des charges que la Société avait dû encourir pour payer des sous-traitants qui étaient intervenus sur les chantiers correspondants. Concrètement, l'Administration cantonale a proposé à la Société de déterminer le montant de ces charges déductibles de manière à parvenir à une marge nette de 11% pour ces chantiers, ce qui aboutissait à une reprise de 141'684 fr., à répartir sur les périodes fiscales 2006 à 2008. La Société a accepté cette proposition.
L'Administration cantonale a aussi repris dans le bénéfice de la Société des charges que celle-ci avait comptabilisées, mais qui n'étaient pas justifiées par l'usage commercial, pour les périodes 2006 à 2010, soit 1'236 fr. (2006), 22'084 fr. (2007), 80'125 fr. (2008), 54'255 fr. (2009) et 18'449 fr. (2010).
B.
B.a. Le 11 décembre 2017, l'Administration cantonale a rendu trois décisions concernant A._: 1) une décision de rappel d'impôts à l'encontre des époux A._ et F._ pour les périodes 2006 et 2008 (suppléments d'impôt total: 92'849 fr. pour l'ICC et 39'558 fr. pour l'IFD); 2) une décision de prononcé d'amendes pour soustraction d'impôts à l'encontre de A._ pour les périodes fiscales 2006 à 2008 (amende totale de 60'350 fr. pour l'ICC et de 26'300 fr. pour l'IFD) et 3) une décision de rappel d'impôts (sic) et d'amendes à l'encontre de A._ pour les périodes fiscales 2009 à 2013 (supplément d'impôt total : 68'255 fr. pour l'ICC, 9'681 fr. pour l'IFD; amende totale: 28'800 fr. pour l'ICC, 4'400 fr. pour l'IFD).
L'Administration cantonale a, notamment, estimé qu'entre 2006 et 2010, A._ avait obtenu des prestations appréciables en argent provenant de G._ Sàrl de trois manières. En premier lieu, A._ avait été enrichi des chiffres d'affaires non déclarés par la Société, à hauteur du montant qui avait été repris dans le bénéfice de cette dernière, soit de 141'684 fr. (supra consid. A.c). En deuxième lieu, A._ devait se voir imputer les charges non justifiées par l'usage commercial que la Société avait comptabilisées entre 2006 et 2010. Enfin, A._ avait bénéficié d'un véhicule privé qui avait été comptabilisé dans le chef de la Société pour 60'000 fr. en 2007 (cf. l'extrait du tableau de reprises reproduit dans l'arrêt attaqué p. 4).
Le 10 janvier 2018, A._ a formé une réclamation contre les décisions du 11 décembre 2017 de l'Administration cantonale, contestant tant les reprises que les amendes.
B.b. Par décision sur réclamation du 4 juin 2019 et après en avoir informé le contribuable, l'Administration cantonale a modifié les décisions du 11 décembre 2017 en sa défaveur (reformatio in pejus), estimant désormais que les prestations appréciables en argent liées aux chiffres d'affaires non comptabilisés par la Société devaient s'élever non pas à 141'684 fr., mais à 1'103'219 fr., soit aux montants bruts encaissés, sans déduction de charges. L'Administration cantonale a en revanche réduit le montant de la reprise au titre de charge non justifiée par l'usage commercial pour la période fiscale 2010 (cf. extrait du tableau de reprises reproduit dans l'arrêt attaqué p. 4).
La décision sur réclamation du 4 juin 2019 aboutissait à un supplément d'impôt total (ICC et IFD) de 622'272 fr. et à des amendes représentant un montant total (ICC et IFD) de 417'900 francs.
Le 4 juillet 2019, A._ a recouru contre la décision sur réclamation du 4 juin 2019 de l'Administration cantonale auprès de la Cour de droit administratif et de droit public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal), demandant, principalement, l'annulation des reprises liées aux chiffres d'affaires non déclarés, ainsi qu'aux charges non justifiées par l'usage commercial pour les périodes 2008 et 2009, de même que l'annulation des amendes; subsidiairement, le renvoi de la cause à l'Administration cantonale.
B.c. Le Tribunal cantonal a statué le 4 novembre 2020. En substance, il a ramené la reprise de 1'103'219 fr. liée aux chiffres d'affaires non comptabilisés à 141'684 fr., soit au montant que l'Administration cantonale avait initialement retenu et qui correspondait à la reprise intervenue dans le chapitre fiscal de la Société, répartissant toutefois cette reprise sur les périodes fiscales 2007 à 2009. Le Tribunal cantonal a en revanche confirmé les prestations appréciables en argent correspondant aux charges non justifiées par l'usage commercial que la Société avait comptabilisées en 2008 et 2009, ce qui représentait un montant total de 106'876 fr. 94. Il a aussi confirmé la prestation appréciable en argent correspondant à la comptabilisation d'un véhicule privé, que A._ n'avait pas contestée. En conséquence, le Tribunal cantonal a partiellement admis le recours, annulé la décision sur réclamation du 4 juin 2019 de l'Administration cantonale en ce qui concernait les montants de revenu et de fortune imposables pour les périodes fiscales 2007 à 2009, tant pour l'ICC que pour l'IFD, renvoyé le dossier à l'Administration cantonale pour nouvelle décision dans le sens des considérants et confirmé la décision sur réclamation du 4 juin 2019 pour le surplus.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt attaqué en tant qu'il a admis l'existence de prestations appréciables en argent en lien avec les chiffres d'affaires non comptabilisés par la Société et les charges non justifiées par l'usage commercial comptabilisées et, partant, de rejeter les décisions de rappel d'impôt et d'amendes pour les périodes 2006 à 2009, tant pour l'IFD que pour l'ICC; subsidiairement, de renvoyer la cause à l'Administration cantonale pour nouvelle décision dans le sens des considérants.
Le Tribunal cantonal renonce à se déterminer et s'en tient à son arrêt. L'Administration cantonale conclut au rejet du recours, sous suite de frais et dépens. L'Administration fédérale des contributions se rallie à la réponse de l'Administration cantonale et conclut au rejet du recours, sous suite de frais. A._ s'est déterminé sur la réponse de l'Administration cantonale.

Considérant en droit :
I. Procédure
1.
Le recours est dirigé contre une décision rendue dans une cause de droit public (cf. <ref-law>), par une autorité cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF) sans qu'aucune des exceptions prévues à l'<ref-law> ne soit réalisée, de sorte que la voie du recours en matière de droit public est ouverte (cf. aussi l'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct [LIFD; RS 642.11] et l'art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]).
1.1. Le Tribunal cantonal a partiellement admis le recours formé contre la décision sur réclamation du 4 juin 2019 et renvoyé le dossier à l'Administration cantonale pour nouvelle décision dans le sens des considérants. Un arrêt de renvoi constitue en principe une décision incidente, contre laquelle le recours au Tribunal fédéral n'est ouvert qu'aux conditions des art. 92 et 93 LTF, à moins que l'autorité à laquelle la cause est renvoyée n'ait aucune marge de manoeuvre, auquel cas la jurisprudence considère qu'il s'agit d'une décision finale (cf. <ref-ruling> consid. 1.2; arrêt 2C_567/2016 du 10 août 2017 consid. 1.3). En l'espèce, dans la mesure où l'Administration cantonale doit se limiter à recalculer le montant des impôts et des amendes sur la base des reprises admises par le Tribunal cantonal, le renvoi ne lui laisse aucune marge de manoeuvre. Malgré ce renvoi, l'arrêt attaqué doit donc être considéré comme une décision finale au sens de l'<ref-law>.
1.2. L'instance précédente a traité dans un seul arrêt de l'IFD et de l'ICC, ce qui est admissible (<ref-ruling> consid. 1.3.1). Partant, le dépôt d'un seul acte de recours est aussi autorisé, dans la mesure où le recourant s'en prend clairement aux deux catégories d'impôts (cf. <ref-ruling> consid. 1.3.2), ce qui est le cas en l'espèce.
1.3. Au surplus, le recours a été déposé en temps utile et dans les formes requises (cf. art. 42 al. 1 et 2 LTF et <ref-law>) par le recourant, qui a qualité pour recourir (cf. <ref-law>). Il convient donc d'entrer en matière, sous réserve de ce qui suit.
1.4. Les conclusions tendant au "rejet" des décisions de rappels d'impôt et d'amendes concernant l'IFD et l'ICC sont irrecevables en raison de l'effet dévolutif du recours au Tribunal cantonal (<ref-ruling> consid. 1.2; 539 consid. 1.2).
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral applique le droit d'office (<ref-law>). Toutefois, en vertu de l'<ref-law>, le Tribunal fédéral n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant, c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (<ref-ruling> consid. 4.1.2; <ref-ruling> consid. 2.4; <ref-ruling> consid. 1.3).
2.2. Le Tribunal fédéral examine en principe librement la conformité du droit cantonal harmonisé et de sa mise en pratique par les instances cantonales aux dispositions de la LHID, à moins que les dispositions de cette loi fédérale ne laissent une marge de manoeuvre aux cantons, auquel cas le pouvoir d'examen du Tribunal fédéral se limite aux griefs constitutionnels invoqués, en particulier à l'arbitraire, pour autant qu'ils aient été motivés de manière conforme aux exigences de l'<ref-law> (<ref-ruling> consid. 5.3; <ref-ruling> consid. 2).
3.
Pour statuer, le Tribunal fédéral se fonde sur les faits établis par l'autorité précédente (cf. <ref-law>), sous réserve des situations visées à l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 6; <ref-ruling> consid. 1.6). La présentation des faits et les critiques appellatoires sont irrecevables (<ref-ruling> consid. 1.3; <ref-ruling> consid. 3.6.2), le Tribunal fédéral étant juge du droit et non une instance d'appel (cf. arrêts 2C_85/2021 du 7 mai 2021 consid. 3.1; 2C_922/2018 du 13 mai 2019 consid. 3).
II. Impôt fédéral direct
a) Prestations appréciables en argent
4.
Le litige porte sur deux reprises que le Tribunal cantonal a effectuées dans le revenu du recourant au titre de prestations appréciables en argent provenant de la Société. Il s'agit, d'une part, d'une reprise liée au chiffre d'affaires non comptabilisé par la Société (141'684 fr.), que le Tribunal cantonal a répartie, contrairement à ce qu'avait fait l'Administration cantonale, sur les périodes fiscales 2007 à 2009 et, d'autre part, d'une reprise liée à des charges non justifiées par l'usage commercial en 2008 et 2009 (106'876 fr.94). Le recourant conteste ces reprises et soutient qu'il n'a perçu aucun avantage appréciable en argent de la Société.
5.
En vertu de l'art. 20 al. 1 let. c LIFD, les dividendes, les parts de bénéfice, les excédents de liquidation et tous autres avantages appréciables en argent provenant de participations de tout genre sont soumis à l'impôt sur le revenu dans le chef du détenteur des droits de participations au titre de rendement de la fortune mobilière. Font partie des avantages appréciables en argent au sens de cette disposition les distributions dissimulées de bénéfice, soit des attributions de la société aux détenteurs de parts auxquelles ne correspond aucune contre-prestation ou une contre-prestation insuffisante et qui ne seraient pas effectuées ou dans une moindre mesure en faveur d'un tiers non participant (<ref-ruling> consid. 2.2; <ref-ruling> consid. 2). De jurisprudence constante, il y a avantage appréciable en argent si 1) la société fait une prestation sans obtenir de contre-prestation correspondante; 2) cette prestation est accordée à un actionnaire ou à une personne le ou la touchant de près; 3) elle n'aurait pas été accordée à de telles conditions à un tiers; 4) les organes de la société savaient ou auraient pu se rendre compte de l'avantage qu'ils accordaient (<ref-ruling> consid. 4.1; <ref-ruling> consid. 2.2).
5.1. Il faut entendre par "personne la ou les touchant de près" une personne physique ou morale qui entretient avec l'actionnaire, le détenteur de participations ou les organes de la société des relations économiques ou personnelles qui doivent être considérées, d'après les circonstances, comme la cause véritable de la prestation qu'il s'agit d'imposer (cf. arrêts 2C_777/2019 du 28 avril 2020 consid. 5.2; 2A.192/1996 du 5 mars 1999, in Archives 68 p. 596, traduit in RDAF 1999 II 460 consid. 2). Lorsque la participation appartient à la fortune privée du détenteur de parts et qu'elle est versée à une personne proche, la théorie du triangle ( "Dreieckstheorie") s'applique. En vertu de cette théorie, la prestation passe pendant un bref instant de la société effectuant la prestation au détenteur de parts, auprès duquel elle est considérée comme un rendement de la fortune mobilière, puis à la personne considérée comme proche du détenteur de parts (<ref-ruling> consid. 4.2; arrêts 2C_756/2020 du 3 mai 2021 consid. 4.2; 2C_1071/2020 du 19 février 2021 consid. 3.2.1; 2C_548/2020 du 3 mai 2021 consid. 2.3).
5.2. En matière fiscale, les règles générales relatives à la répartition du fardeau de la preuve ancrées à l'<ref-law>, destinées à déterminer qui doit supporter les conséquences de l'échec de la preuve ou de l'absence de preuve d'un fait, impliquent que l'autorité fiscale doit établir les faits qui justifient l'assujettissement et qui augmentent la taxation, tandis que le contribuable doit prouver les faits qui diminuent la dette ou la suppriment. Si les preuves recueillies par l'autorité fiscale apportent suffisamment d'indices révélant l'existence d'éléments imposables, il appartient au contribuable d'établir l'exactitude de ses allégations et de supporter le fardeau de la preuve du fait qui justifie son exonération (<ref-ruling> consid. 4.2 et les références; <ref-ruling> consid. 8.3.1; <ref-ruling> consid. 3.5; <ref-ruling> consid. 4.3).
Lorsque, au niveau de la société, une prestation a été versée sans contre-prestation ou sans contre-prestation équivalente, la jurisprudence retient que l'on peut présumer l'existence d'une prestation appréciable en argent en faveur du détenteur de parts ou d'un proche. Cela vaut en particulier si la société procède à des paiements qui ne sont ni comptabilisés ni justifiés. Ce qui est considéré comme une distribution dissimulée de bénéfice au niveau de la société représente en principe un avantage appréciable en argent imposable pour l'actionnaire. Cela concrétise la double imposition économique voulue par le législateur (<ref-ruling> consid. 5.4; <ref-ruling> consid. 5.4; arrêts 2C_857/2020 du 11 février 2021 consid. 4.2; 2C_445/2015 du 26 août 2016 consid. 6.3.4). Dans plusieurs arrêts, le Tribunal fédéral a aussi précisé qu'il n'existait pas de véritable automatisme de taxation: le versement de la prestation appréciable en argent par la société constitue un indice, certes important, dont il faut tenir compte dans l'imposition du détenteur de parts, mais une nouvelle appréciation reste nécessaire au niveau de l'actionnaire, d'autant plus que la société et le détenteur de parts constituent des sujets de droit indépendants. Dans ce contexte, le Tribunal fédéral a ainsi retenu que, si le détenteur de parts est en même temps organe de la société et/ou actionnaire ou associé majoritaire, c'est à lui qu'il incombe de contester dans les détails la nature et le montant de la prestation appréciable en argent alléguée par l'autorité fiscale. S'il ne le fait pas, ou s'il se limite à exposer des généralités, une reprise dans son chef est également justifiée (arrêt 2C_16/2015 du 6 août 2015 consid. 2.5.5 à 2.5.8 et les références, in StE 2015 A.21.12 Nr. 16, traduit in RDAF 2016 II 110; cf. aussi arrêts 2C_1071/2020 du 19 février 2021 consid. 3.2.2 et 3.2.3; 2C_886/2020 du 23 novembre 2020 consid. 3.2.1; 2C_750/2019 du 7 juillet 2020 consid. 3.2; 2C_777/2019 du 28 avril 2020 consid. 5.3.2).
6.
Le recourant conteste d'abord la reprise de 141'684 fr., liée au chiffre d'affaires non déclaré par la Société.
6.1. Dans l'arrêt attaqué, les juges précédents ont estimé que le recourant était parvenu à prouver qu'une reprise de l'entier du chiffre d'affaires non déclaré par G._ Sàrl dans son chef n'était pas justifiée et qu'il fallait tenir compte de charges de la Société, contrairement à ce que soutenait désormais l'Administration cantonale. En revanche, ils ont jugé que le recourant n'avait pas réussi à établir qu'aucune prestation appréciable en argent ne devait lui être imputée en lien avec ce chiffre d'affaires. En effet, les éléments qu'il avait mis en avant pour établir que tous les prélèvements qui avaient été effectués (en espèces) sur le compte bancaire non déclaré de la Société correspondaient à des charges déductibles n'étaient pas probants. Ainsi, les factures de C._ Sàrl qu'il avait produites pour prouver que les prélèvements en espèces correspondaient à des charges de personnel de C._ Sàrl étaient pour la plupart arrondies au millier de francs, alors qu'elles étaient censées avoir été établies sur la base des heures effectuées par les ouvriers de C._ Sàrl, dont les services avaient été loués à G._ Sàrl. Les décomptes horaires semblaient ainsi avoir été ajustés, afin de correspondre aux montants des retraits effectués sur le compte. Le recourant n'avait du reste pas réussi à établir, en produisant par exemple un décompte journalier des heures accomplies par chaque ouvrier sur les chantiers, la pertinence des montants figurant dans les factures établies par C._ Sàrl. En outre, les attestations de trois employés de C._ Sàrl qui avaient travaillé sur des chantiers de G._ Sàrl en 2007 et 2008 n'étaient d'aucune utilité, dès lors qu'elles ne permettaient pas de déterminer l'ampleur de l'activité effectivement déployée par chacun d'eux. En outre, il était douteux que C._ Sàrl ait pu établir le 3 décembre 2012, comme elle l'avait fait, une facture justifiant un retrait en espèces intervenu sur le compte le 10 décembre 2008, alors qu'elle était alors formellement liquidée. Les factures de C._ Sàrl produites présentaient par ailleurs des incohérences concernant les périodes de facturation. En définitive, les juges précédents ont estimé que ces factures avaient manifestement été établies pour les besoins de la cause, dans le but de correspondre aux montants retirés en espèces du compte. Comme la méthode utilisée par l'Administration cantonale pour évaluer la reprise dans le bénéfice de G._ Sàrl paraissait appropriée pour fixer le montant de la prestation appréciable en argent imputable au recourant, les juges précédents ont estimé qu'elle s'élevait également à141'684 francs.
6.2. Dans un premier grief, le recourant conteste la version des faits présentée dans l'arrêt et fait valoir que les juges précédents ont mal appliqué la jurisprudence. Il affirme que les prélèvements en espèces qui ont été effectués à partir du compte bancaire ont tous servi à G._ Sàrl pour payer C._ Sàrl. Il explique que G._ Sàrl a repris à prix coûtant des chantiers qui avaient été attribués initialement à C._ Sàrl et que les prélèvements ont servi à rémunérer le personnel de C._ Sàrl qui avait été mis à sa disposition pour exécuter ces chantiers repris. Le paiement à prix coûtant était commercialement justifié dans le contexte du cas d'espèce, G._ Sàrl souhaitant se faire une place sur le marché concurrentiel de la construction. Dès lors que la jurisprudence proscrivait toute reprise dans le chef de l'actionnaire si la prestation fournie par une société à une société soeur intervenait dans des conditions comparables à celles qui auraient prévalu entre tiers (cf. <ref-ruling> consid. 4.2), l'arrêt attaqué était contraire à jurisprudence publiée. Le recourant mentionne aussi l'arrêt 2C_88/2011, dans lequel le Tribunal fédéral aurait retenu que la renonciation à un bénéfice ne pouvait pas aboutir à la reconnaissance d'une prestation appréciable en argent si la renonciation était du fait d'un actionnaire n'ayant pas de position dirigeante.
Dans cette argumentation, le recourant part de la prémisse selon laquelle G._ Sàrl a repris des chantiers qui avaient été attribués à C._ Sàrl "à prix coûtant" et il présente sa propre version des faits pour justifier les prélèvements effectués sur le compte bancaire. Or, l'arrêt attaqué ne constate pas que G._ Sàrl aurait repris des chantiers qui avaient été attribués à C._ Sàrl ni, a fortiori, qu'il les aurait repris à prix coûtant, sans que le recourant ne se plaigne d'une constatation arbitraire des faits (cf. supra consid. 3). Dès lors que la motivation repose sur des faits non constatés dans l'arrêt attaqué et qui ne peuvent pas être pris en considération (<ref-law>), il n'y a pas lieu de s'attarder plus avant sur le grief de prétendue violation de la jurisprudence formulé par le recourant.
6.3. Le recourant reproche aussi aux juges précédents d'avoir procédé par automatisme de taxation en ajoutant à son revenu la même somme qui avait été reprise dans le chef de G._ Sàrl, soit 141'684 francs. Ce grief peut être d'emblée rejeté, dès lors que le Tribunal cantonal a dûment procédé à une appréciation des preuves produites par le recourant et considéré que celui-ci n'était pas parvenu à démontrer que les montants prélevés correspondaient à des charges déductibles avant d'effectuer la reprise litigieuse. Il n'y a donc pas eu d'automatisme de taxation, mais appréciation des preuves produites. Au surplus, le Tribunal cantonal a estimé que la méthode qui avait été appliquée par l'Administration cantonale pour estimer la marge nette à reprendre dans le bénéfice de la Société paraissait adéquate pour évaluer la reprise dans le chef du recourant. Le recourant ne formule aucun grief concret pour se plaindre de l'arrêt attaqué sous cet angle, qui a du reste conduit à une réduction conséquente de la reprise qui avait été retenue par l'Administration cantonale dans sa décision sur réclamation du 4 juin 2019.
6.4. Le recourant reproche enfin aux juges précédents de ne pas avoir prouvé qu'il avait été effectivement enrichi de 141'684 fr. et, en particulier, de ne pas avoir examiné l'évolution de son niveau de fortune pour voir s'il avait bien été enrichi de ce montant au détriment de la Société, alors qu'il s'agissait là d'une condition de l'existence d'une prestation appréciable en argent. Or, rien ne prouvait qu'il avait personnellement tiré profit des retraits en espèces effectués sur le compte bancaire non déclaré ouvert au nom de la Société.
Le recourant semble s'en prendre ici à l'arrêt attaqué sous l'angle d'une violation des règles de répartition du fardeau de la preuve. Or, dès lors que le recourant détenait la quasi-intégralité du capital social de C._ Sàrl puis, dès avril 2009, son intégralité, et qu'il en est par ailleurs seul titulaire de la signature individuelle, on se trouve dans une situation dans laquelle l'autorité fiscale, respectivement le juge, peut présumer l'existence de prestations appréciables en argent correspondantes dans le chef du recourant, à charge pour lui d'apporter la preuve circonstanciée que de telles reprises dans son chef ne sont pas justifiées (supra consid. 5.2). C'était donc au recourant qu'il incombait de prouver que les conditions d'une reprise n'étaient pas remplies, ce qu'il a échoué à faire.
6.5. Le Tribunal cantonal n'a donc pas violé le droit fédéral en retenant que le recourant avait obtenu une prestation appréciable en argent imposable de 141'684 fr. en lien avec les chiffres d'affaires non déclarés de G._ Sàrl.
7.
Le recourant conteste aussi les reprises liées à des charges non justifiées par l'usage commercial que G._ Sàrl a comptabilisées en 2008 et en 2009 pour un montant total de 106'876 francs.
7.1. Le Tribunal cantonal a constaté qu'il s'agissait de charges dont la société C._ Sàrl serait la débitrice et que G._ Sàrl avait payées, sans que le recourant ait produit de pièces justificatives permettant d'établir que G._ Sàrl était la débitrice de ces factures, qui avaient été établies à l'attention de C._ Sàrl. Au surplus, le recourant se plaignait en vain que cette reprise revenait à l'imposer doublement, parce qu'il s'agissait de charges liées au chiffre d'affaires non déclaré par G._ Sàrl qui faisaient déjà l'objet de reprises dans son chef. En effet, la reprise correspondant au chiffre d'affaires non déclaré aurait précisément tenu compte de charges. Dans ces circonstances, la reprise de 106'876 fr. 94 devait être confirmée.
7.2. Au préalable, il faut souligner que c'est à bon droit que le Tribunal cantonal a imputé au recourant une prestation que G._ Sàrl aurait effectuée en faveur de C._ Sàrl, dès lors que cette dernière représente un proche au sens de la jurisprudence et que la théorie du triangle s'applique (cf. supra consid. 5.1). Le recourant ne soutient du reste pas sérieusement le contraire, se limitant à alléguer de manière appellatoire qu'il ne jouait aucun rôle au sein de C._ Sàrl. Au surplus, il se limite à contester l'appréciation des preuves effectuée par les juges précédents de manière appellatoire, sans alléguer ni a fortiori démontrer que le Tribunal cantonal aurait retenu arbitrairement que le recourant n'avait apporté aucun preuve de la justification commerciale des charges déduites par G._ Sàrl. Dans ces circonstances, la reprise effectuée par le Tribunal cantonal ne peut qu'être confirmée.
b) Soustraction d'impôt
8.
Les juges précédents ont estimé que les conditions de la soustraction d'impôt étaient remplies et ils ont confirmé la quotité d'amende pour soustraction d'impôt telle qu'elle avait été fixée par l'Administration cantonale, correspondant à 0.7 fois le montant de l'impôt éludé. Le recourant conclut à l'annulation de l'amende.
8.1. Selon l'<ref-law>, est notamment puni d'une amende le contribuable qui, intentionnellement ou par négligence, fait en sorte qu'une taxation ne soit pas effectuée alors qu'elle devrait l'être, ou qu'une taxation entrée en force soit incomplète. Pour que cette disposition trouve application, il faut qu'il y ait soustraction d'un montant d'impôt en violation d'une obligation légale incombant au contribuable, une faute de ce dernier, ainsi qu'un lien de causalité entre le comportement illicite et la perte fiscale subie par la collectivité (cf. arrêt 2C_444/2018 du 31 mai 2019 consid. 7 et les références, in RDAF 2019 II 524). Selon l'<ref-law>, en règle générale, l'amende est fixée au montant de l'impôt soustrait; si la faute est légère, l'amende peut être réduite jusqu'au tiers de ce montant; si la faute est grave, elle peut au plus être triplée (al. 2). Le Tribunal fédéral ne contrôle le montant de l'amende que sous l'angle de l'excès ou de l'abus du pouvoir d'appréciation (cf. au surplus <ref-ruling> consid. 9.1 et les références).
8.2. En l'occurrence, les juges précédents ont constaté que le recourant avait bénéficié d'économies d'impôt en ne déclarant pas des revenus issus d'avantages appréciables en argent qu'il avait perçus de la Société. Ils ont estimé qu'au vu de la position qu'il exerçait au sein de celle-ci, il ne pouvait ignorer la nature de ces attributions faites en sa faveur par l'intermédiaire d'un compte non déclaré, de sorte que son comportement était fautif. Les conditions de la soustraction d'impôt étaient donc remplies. S'agissant du montant de l'amende, ils ont estimé que la faute du recourant devait être qualifiée de légère à moyenne, eu égard à l'absence d'antécédents et du fait que son activité illicite s'était déroulée sur plusieurs années. Ils ont partant confirmé la quotité d'amende fixée par l'Administration cantonale.
8.3. Le recourant conclut à l'annulation de l'amende prononcée, mais n'étaie cette conclusion par aucune motivation, ce qui n'est pas admissible (<ref-law>; cf. arrêt 2C_916/2012 du 28 février 2013 consid. 4.4). Au demeurant, on ne voit pas en quoi les juges précédents auraient mal appliqué le droit fédéral en retenant que les conditions d'une soustraction d'impôt sont remplies et en quoi ils auraient violé l'<ref-law> en fixant la quotité de l'amende à 0.7 fois l'impôt éludé.
9.
Il découle des considérants qui précèdent que le recours doit être rejeté dans la mesure de sa recevabilité en tant qu'il concerne l'impôt fédéral direct.
III. Impôt cantonal et communal
10.
La jurisprudence rendue en matière d'impôt fédéral direct est également valable pour l'application des dispositions cantonales harmonisées correspondantes (<ref-ruling> consid. 10 et les références).
10.1. La notion d'avantage appréciable en argent en sens de l'art. 20 al. 1 let. c LIFD est identique à celle prévue à l'art. 23 al. 1 let. c de la loi cantonale vaudoise du 4 juillet 2000 sur les impôts directs cantonaux (LI: RS/VD 642.11). Elle correspond par ailleurs à l'<ref-law>. Le raisonnement développé ci-dessus en matière d'IFD est partant aussi applicable en matière d'ICC. Il en va de même s'agissant de la soustraction d'impôt, l'art. 242 LI ayant la même teneur que l'<ref-law> et correspondant à l'<ref-law>.
10.2. Il s'ensuit que le recours doit également être rejeté dans la mesure de sa recevabilité en tant qu'il concerne l'impôt cantonal et communal.
IV. Frais et dépens
11.
Au vu de l'issue du recours, les frais judiciaires sont mis à la charge du recourant, qui succombe (<ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure de sa recevabilité s'agissant de l'impôt fédéral direct.
2.
Le recours est rejeté dans la mesure de sa recevabilité s'agissant de l'impôt cantonal et communal.
3.
Les frais judiciaires, arrêtés à 13'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué à la représentante du recourant, à l'Administration cantonale des impôts du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Administration fédérale des contributions.
Lausanne, le 20 octobre 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Vuadens