Faits :
A.
A._ est l'associé gérant de la société B._ Sàrl et en détient l'entier des parts sociales. Il est également salarié de cette société. Celle-ci a son siège dans le canton de Vaud où elle est inscrite au registre du commerce. Son capital social de 20'000 fr. a été augmenté à 100'000 fr. en 2011. Elle a pour but le commerce de ferraille, la récupération des vieux métaux et la vente de matériel d'occasion.
Les 25 février 2005, 20 février 2006, 13 novembre 2006, 21 novembre 2007 et 9 juillet 2008, A._ a été taxé pour l'impôt fédéral direct (ci-après: IFD) et les impôts cantonal et communal (ci-après: ICC) des périodes fiscales 2003, 2004, 2005, 2006, respectivement 2007, sur la base des revenus et de la fortune imposables tels que déclarés.
Le 19 septembre 2012, l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) a ouvert à l'encontre de la société B._ Sàrl une procédure de rappel et soustraction d'impôt relative aux périodes fiscales 2003 à 2011 en raison de ventes qui n'auraient pas été comptabilisées dans la société. Cette procédure a fait l'objet de décision et décision sur réclamation de l'Administration cantonale, puis arrêt de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) et a finalement été portée devant le Tribunal fédéral (cause 2C_531/2019).
B.
Le 2 décembre 2013, l'Administration cantonale a ouvert à l'encontre de A._ une procédure de rappel et soustraction d'impôt portant sur les périodes fiscales 2003 à 2007 en raison de soupçons de prestations appréciables en argent obtenues de la société B._ Sàrl. Une procédure séparée a été ouverte pour les périodes fiscales 2008 à 2011 en raison du mariage de l'intéressé, intervenu en 2008. Cette seconde procédure a également fait l'objet de recours jusque devant le Tribunal fédéral (cause 2C_533/2019).
Dans le cadre de la procédure relative aux périodes 2003 à 2007, l'Administration cantonale a notamment requis de l'intéressé l'intégralité de ses comptes bancaires et lui a demandé de s'expliquer sur les insuffisances de fortune constatées. Après plusieurs sommations, A._ a remis les documents bancaires requis. Il n'a jamais donné suite à la demande relative à sa fortune.
Par décision de rappel d'impôt, de prononcé d'amendes et de non-lieu rendue le 11 décembre 2017, l'Administration cantonale a fixé le montant du complément d'impôt (ICC et IFD) à 152'203 fr. 30 pour les périodes fiscales 2003 à 2007 et des amendes (ICC et IFD) à 42'700 fr. pour la période fiscale 2007 (les autres périodes étant prescrites). A._ a élevé réclamation à l'encontre de cette décision le 22 décembre 2017. Après avoir procédé à des mesures d'instruction complémentaires, l'Administration cantonale, par décision du 27 juin 2018, a partiellement admis la réclamation de A._, abandonnant les reprises relatives à la période fiscale 2003 en raison de la péremption du droit de taxer, ainsi que quelques reprises pour les périodes 2004 à 2006, à défaut de pouvoir les justifier par pièces. Le 26 juillet 2018, A._ a contesté cette décision sur réclamation auprès du Tribunal cantonal. Celui-ci, par arrêt du 10 mai 2019, a rejeté le recours.
C.
Agissant par la voie du recours en matière de droit public, A._ demande en substance au Tribunal fédéral, sous suite de frais et dépens, de modifier l'arrêt du Tribunal cantonal du 10 mai 2019 en annulant les reprises et amendes liées aux prestations appréciables en argent; subsidiairement d'annuler l'arrêt précité et de renvoyer la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants.
Le Tribunal cantonal renonce à se déterminer et se réfère aux considérants de son arrêt. L'Administration cantonale conclut au rejet du recours. L'Administration fédérale des contributions se rallie à ces conclusions.

Considérant en droit :
1.
L'arrêt attaqué constitue une décision finale (art. 90 LTF) rendue dans une cause de droit public par une autorité judiciaire supérieure de dernière instance cantonale (art. 82 let. a et 86 al. 1 let. d et al. 2 LTF) qui ne tombe sous le coup d'aucune des exceptions prévues à l'art. 83 LTF. Bien qu'il ne distingue pas, dans son dispositif, l'IFD de l'ICC, il ressort des motifs de l'arrêt entrepris que le rejet du recours qu'il prononce concerne à la fois les deux catégories d'impôt et, pour ce qui concerne l'ICC, du droit harmonisé (cf. art. 53 de la loi du 14 décembre 1990 sur l'harmonisation des impôts directs, des cantons et des communes [LHID; RS 642.14]). La voie du recours en matière de droit public est donc en principe ouverte en vertu des art. 82 ss LTF, 146 LIFD (RS 642.11) et 73 al. 1 LHID. Le recours a en outre été interjeté en temps utile (cf. art. 100 al. 1 LTF), par le destinataire de l'arrêt attaqué, qui a qualité pour recourir (art. 89 al. 1 LTF). Il convient donc d'entrer en matière.
2.
Le recourant demande que le dossier fiscal relatif à sa société soit versé au dossier de la présente cause, respectivement que les deux causes soient jointes.
Comme l'a déjà jugé le Tribunal fédéral (cf. arrêt 2C_874/2018 du 17 avril 2019 consid. 2), lorsque deux procédures de rappel, respectivement soustraction d'impôt sont menées parallèlement, l'une contre l'actionnaire, l'autre contre la société, il ne se justifie en principe pas de procéder à une jonction des causes. Les contribuables ne sont en effet pas semblables et, même si le recourant est le seul détenteur des parts sociales et administrateur de la société, il n'est pas exclu que cette situation change et qu'un tiers se trouve impliqué dans l'organisation de celle-ci et ait accès aux données fiscales du recourant. Il en va de même de la procédure du recourant relative aux périodes fiscales 2008 à 2011 (cause 2C_533/2019), dès lors que dans cette cause, son épouse est également contribuable et qu'il convient de ne pas l'inclure dans la présente.
Partant, il ne saurait être donné suite à la demande de jonction. Il ne sera pas non plus donné suite à la demande tendant à ce que le dossier de la cause relative à la société soit versé à la présente, le Tribunal fédéral, comme on le verra ci-dessous (cf. consid. 3.1), statuant sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF).
3.
Le recourant se plaint exclusivement d'établissement inexact des faits.
3.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF; <ref-ruling> consid. 6 p. 358). Conformément à l'art. 106 al. 2 LTF, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 6.3 p. 375). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (art. 99 al. 1 LTF).
Selon la jurisprudence, une décision est arbitraire lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 7.3 p. 174 s. et les références). Lorsque la partie recourante s'en prend à l'appréciation des preuves et à l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a procédé à des déductions insoutenables (<ref-ruling> consid. 6 p. 358).
3.2. Le Tribunal cantonal a procédé à une appréciation des faits et moyens de preuve globale pour arriver à la conclusion que les reprises effectuées par l'Administration cantonale pour les périodes 2004 à 2007 étaient fondées. Il a ainsi constaté que, sur la base d'attestations remises par une société (ci-après: la société acheteuse) ayant acheté des produits à la société B._ Sàrl, les ventes effectuées n'avaient pas été intégralement comptabilisées dans le chiffre d'affaires de celle-ci, une différence de 441'527 fr. ayant été constatée pour les années 2004 à 2009. Devant le Tribunal cantonal, le recourant a nié avoir procédé aux livraisons litigieuses.
Pour arriver à la conclusion que le recourant avait bel et bien perçu de l'argent sur des livraisons, l'autorité précédente a pris en compte le fait que sa signature figurait sur des notes de crédit libellées au nom de sa société. Certes, devant l'autorité précédente, le recourant a contesté avoir signé ces documents, relevant que les signatures ne ressemblaient pas à la sienne et ajoutant qu'un employé de la société acheteuse avait été licencié en raison de soupçons de malversation. Le Tribunal cantonal a constaté que les signatures étaient différentes, mais a jugé qu'aucune plainte pénale n'avait été déposée par le recourant pour faux dans les titres et qu'il était peu probable qu'une personne ayant pour dessein de falsifier la signature de celui-ci procède d'une manière aussi grossière. A ces éléments, il a encore ajouté le fait que, pour certaines des transactions contestées, il était mentionné que la livraison avait été effectuée avec le camion de la société, prenant en exemple un cas concret de livraison. L'autorité précédente a ajouté que l'un des employés de la société du recourant, un certain "C._" a également signé divers ordres de transport. Outre que la société employait une personne nommée C._, le Tribunal cantonal a jugé que le recourant n'avait apporté aucune explication convaincante en relation avec cet élément, si ce n'est qu'il s'était contenté de relever que cette personne ne travaillait pas pour lui durant les années sous revue, mais uniquement depuis 2011. Le Tribunal cantonal a également examiné la fortune du recourant et constaté que les éléments de revenu et de fortune déclarés par celui-ci étaient clairement insuffisants, voire négatifs pour couvrir ses dépenses mensuelles. Le recourant a été interpellé à plusieurs reprises à ce propos et a finalement affirmé avoir vendu des pièces de monnaie de collection et des voitures, sans toutefois fournir de justificatifs, ce qui a conduit l'autorité précédente a retenir que l'existence de ces biens n'était pas démontrée. Finalement, le Tribunal cantonal a encore relevé que le recourant avait déjà fait l'objet d'un contrôle fiscal, qui s'était soldé par une proposition de règlement avec l'Administration cantonale en raison de l'absence de déclaration de chiffre d'affaires réalisé avec la même société acheteuse.
Appréciant tous ces éléments, le Tribunal cantonal a admis l'existence de prestations appréciables en argent provenant de la société du recourant.
3.3. En l'occurrence, le recourant conteste l'établissement des faits sous quatre points différents.
En premier lieu, il mentionne que les responsables de la société acheteuse ont reconnu qu'ils avaient eu des soupçons de malversation à l'encontre de l'un de leurs employés, celui-ci ayant par la suite été licencié. Selon le recourant, cet élément corrobore ses déclarations tendant à démontrer qu'il a été victime d'une tromperie. Il estime ensuite que c'est de manière contradictoire que l'autorité précédente a retenu qu'il était possible que sa signature ait été imitée et, plus loin dans son arrêt, qu'il était néanmoins peu probable qu'une personne désirant falsifier une signature procède d'une manière aussi grossière. Le recourant se plaint également de ce que le Tribunal cantonal se soit fondé sur deux états de fait précis pour arriver à la conclusion que la société B._ Sàrl n'a pas déclaré le chiffre d'affaires lié à des transactions qu'elle aurait passées avec la société acheteuse. Ilest d'avis qu'aucun document au dossier ne permet de prouver qu'il a personnellement procédé à la livraison du 2 décembre 2005 et déplore que la personne nommée "C._", qui a signé plusieurs ordres de transport, n'ait pas été entendue par l'autorité précédente. Finalement, le recourant estime qu'il est arbitraire de se servir de son précédent contrôle fiscal comme preuve de sa culpabilité. Pour lui, une telle manière de faire ne tient pas compte du principe de la présomption d'innocence.
3.4. En l'espèce, le recourant critique divers éléments de l'appréciation effectuée par l'autorité précédente, sans toutefois contester cette appréciation dans son ensemble et dire en quoi les éléments qu'il avance auraient une incidence sur l'appréciation globale. On peut donc déjà douter que sa motivation remplisse les conditions de l'art. 106 al. 2 LTF. Quand bien même il faudrait examiner le grief, force serait de toute façon de l'écarter. En effet, on doit relever que le recourant ne conteste en rien les constatations de l'autorité précédente en lien avec l'évolution de sa fortune. Or, il s'agit-là d'un élément déterminant. Il faut rappeler à ce propos que dans ses déclarations pour les années 2005 à 2007, celui-ci a annoncé un revenu mensuel de 5'000 fr., sur lequel il ne prélevait que 1'500 fr., le solde étant comptabilisé en remboursement de son compte courant et, en 2006 et 2007, en augmentation de son épargne privée. Ce seul élément, en l'absence d'explications convaincantes, suffit déjà à lui seul, dans les circonstances du cas d'espèce, pour retenir sans arbitraire que le recourant a vécu grâce aux prestations appréciables en argent obtenues de sa société. Il reconnaît d'ailleurs lui-même implicitement que l'appréciation des faits effectuée par le Tribunal cantonal n'est pas arbitraire, puisqu'il affirme que ses propres conclusions "ne sont pas moins plausibles" que celles de cette autorité. Les autres éléments qu'il avance (cf. consid. 3.3 ci-dessus) ne permettent pas d'arriver à une autre conclusion.
3.5. Dans ces conditions, il convient d'écarter le grief d'établissement inexact des faits. Le Tribunal fédéral vérifiera donc la correcte application du droit sur la seule base des faits retenus par l'autorité précédente. En outre, il ne saurait être question de violation du principe de la présomption d'innocence car celui-ci, en l'occurrence, se confond avec celui d'appréciation arbitraire des preuves (<ref-ruling> consid. 2a p. 41; arrêt 2C_806/2017 du 19 octobre 2017 consid. 4.1).
4.
La prescription ou la péremption sont des questions de droit matériel que le Tribunal fédéral examine d'office lorsqu'elles jouent en faveur du contribuable (cf. <ref-ruling> consid. 3.2 p. 171) tant pour l'IFD que l'ICC, lorsque celles-ci se fondent sur le droit fédéral (cf. <ref-ruling> consid. 3.4 p. 172; arrêts 2C_333/2017 du 12 avril 2018 consid. 8; 2C_12/2017 du 23 mars 2018 consid. 4.3, non publié in <ref-ruling>).
4.1. L'art. 152 al. 1 LIFD prévoit que le droit d'introduire une procédure de rappel d'impôt s'éteint dix ans après la fin de la période fiscale pour laquelle la taxation n'a pas été effectuée, alors qu'elle aurait dû l'être, ou pour laquelle la taxation entrée en force était incomplète. Le droit de procéder au rappel d'impôt s'éteint quinze ans après la fin de la période fiscale à laquelle il se rapporte (art. 152 al. 3 LIFD; cf. <ref-ruling> consid. 6.1 p. 73). Les art. 208 al. 1 et 3 de la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux (LI/VD; RSV 642.11) et 53 al. 2 et 3 LHID posent les mêmes principes. La problématique peut donc être examinée conjointement pour l'IFD et l'ICC.
En l'occurrence, il ressort des faits de l'arrêt entrepris qu'un avis d'ouverture de la procédure de rappel d'impôt a été notifié au recourant le 2 décembre 2013 pour l'IFD et l'ICC 2003 à 2007. Le délai de prescription de dix ans des art. 152 al. 1 LIFD, 208 al. 1 LI/VD et 53 al. 2 LHID a ainsi été respecté. En outre, le rappel d'impôt pour la période fiscale 2003 ayant d'ores et déjà été abandonné par l'Administration cantonale, le droit de procéder au rappel d'impôt des années 2004 à 2007, n'est ni prescrit, ni périmé.
4.2. Avant le 1 er janvier 2017, la poursuite pénale de la soustraction consommée se prescrivait dans tous les cas par quinze ans à compter de la fin de la période fiscale pour laquelle la taxation n'avait pas été effectuée ou l'avait été de façon incomplète, ce délai ne pouvant être prolongé (ancien art. 184 al. 1 let. b LIFD [RO 1991 1184] cum art. 333 al. 6 let. b CP, en relation avec l'<ref-ruling>). La prescription était en outre interrompue par tout acte de procédure tendant à la poursuite du contribuable (ancien art. 184 al. 2 LIFD). Depuis le 1 er janvier 2017, la poursuite pénale se prescrit, en cas de soustraction d'impôt consommée, au plus tôt, par dix ans à compter de la fin de la période fiscale pour laquelle la taxation n'a pas été effectuée ou l'a été de façon incomplète (art. 184 al. 1 let. b ch. 1 LIFD). Selon l'art. 184 al. 2 LIFD actuellement en vigueur, la prescription ne court plus si une décision a été rendue par l'autorité cantonale compétente (art. 182 al. 1 LIFD) avant l'échéance du délai de prescription. L'art. 58 al. 1, al. 2 let. a et al. 3 LHID, en vigueur depuis le 1 er janvier 2017, a un contenu identique à celui de l'art. 184 LIFD; il est directement applicable si les cantons n'ont pas adapté leur législation au 1 er janvier 2017 (art. 72s LHID; cf. art. 254 LI/VD). En vertu des art. 205f LIFD et 78f LHID, le nouveau droit est applicable au jugement des infractions commises au cours des périodes fiscales précédant le 1 er janvier 2017 s'il est plus favorable que le droit en vigueur au cours de ces périodes fiscales (cf. arrêts 2C_333/2017 du 12 avril 2018 consid. 8.2; 2C_12/2017 du 23 mars 2018 consid. 4.3, non publié in <ref-ruling>).
En l'occurrence, seule la soustraction d'impôt consommée pour la période fiscale 2007 est encore litigieuse, l'Administration cantonale ayant constaté la prescription pour les autres périodes initialement en cause. Ainsi, en application du nouveau droit, la poursuite pénale de la soustraction d'impôt consommée reprochée au recourant au cours de la période fiscale 2007 ne s'est pas prescrite, dès lors que l'Administration cantonale a rendu une décision le 11 décembre 2017, soit avant le délai de dix ans après la fin de la période fiscale en cause. En application de l'ancien droit, la poursuite pénale de la période fiscale 2007 ne s'est pas non plus prescrite, dès lors que le 2 décembre 2013, l'Administration cantonale a informé le contribuable de l'ouverture de la procédure (cf. ancien art. 184 al. 2 LIFD).
5.
5.1. S'agissant du rappel d'impôt, le Tribunal cantonal a correctement rappelé le droit fédéral et cantonal harmonisé applicable (art. 151 al. 1 LIFD, 53 al. 1 LHID, 207 al. 1 LI/VD), ainsi que la jurisprudence y relative (parmi d'autres <ref-ruling> consid. 4.5.1 p. 364 s. et les références). Il peut donc y être renvoyé.
5.2. Dans la mesure où il ressort des faits retenus sans arbitraire par le Tribunal cantonal que le recourant, durant les années 2004 à 2007, a perçu des revenus provenant de sa société, sans les avoir déclarés à l'Administration cantonale, qui a donc taxé le contribuable sur une base incomplète, le rappel d'impôt doit être confirmé. Le recourant ne conteste au demeurant pas l'application du droit faite par l'autorité précédente à ce propos.
6.
6.1. Selon l'art. 175 LIFD, respectivement 56 al. 1 LHID et 242 LI/VD, est notamment puni d'une amende le contribuable qui, intentionnellement ou par négligence, fait en sorte qu'une taxation ne soit pas effectuée alors qu'elle devrait l'être, ou qu'une taxation entrée en force soit incomplète (al. 1); en règle générale, l'amende est fixée au montant de l'impôt soustrait; si la faute est légère, l'amende peut être réduite jusqu'au tiers de ce montant; si la faute est grave, elle peut au plus être triplée (al. 2). Pour qu'il y ait soustraction au sens de cette disposition, il faut donc qu'il y ait soustraction d'un montant d'impôt en violation d'une obligation légale incombant au contribuable et une faute de ce dernier.
6.2. En l'absence de contestation topique de la part du recourant, le Tribunal cantonal n'a pas traité des amendes prononcées pour soustraction d'impôt de la période fiscale 2007, se limitant à confirmer celles prononcées par l'Administration cantonale. Si l'on peut regretter cette façon de procéder, s'agissant de droit fédéral, respectivement de droit cantonal harmonisé devant être appliqué d'office, on peut malgré tout également confirmer les amendes précitées, le recourant ne les ayant pas non plus contestées devant le Tribunal fédéral et reconnaissant, dans ses conclusions devant le Tribunal cantonal, qu'une amende devait être prononcée à son encontre pour les reprises qui n'ont pas été contestées. On doit retenir que les éléments objectif et subjectif fondant la condamnation sont réunis. Le recourant n'a pas déclaré une partie de ses revenus et sa taxation pour l'année 2007, entrée en force était incomplète. En outre, compte tenu des éléments de fait qui ont été présentés ci-dessus (cf. consid. 3), il ne saurait être retenu autre chose qu'un comportement intentionnel de la part du recourant.
7.
Sur le vu des considérants qui précèdent, le recours doit être rejeté aussi bien en tant qu'il concerne l'impôt fédéral direct que les impôts cantonal et communal. Succombant, le recourant doit supporter les frais judiciaires (art. 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté en tant qu'il concerne l'impôt fédéral direct.
2.
Le recours est rejeté en tant qu'il concerne les impôts cantonal et communal.
3.
Les frais judiciaires, arrêtés à 5'500 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux mandataires du recourant, à l'Administration cantonale des impôts et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 12 novembre 2019
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette