Faits :
A.
A.A._et B.A._ se sont mariés en 2008. L'époux est l'associé gérant de la société C._ Sàrl et en détient l'entier des parts sociales. Avec sa femme, ils sont tous deux salariés de cette société. Celle-ci a son siège dans le canton de Vaud où elle est inscrite au registre du commerce. Son capital social de 20'000 fr. a été augmenté à 100'000 fr. en 2011. Elle a pour but le commerce de ferraille, la récupération des vieux métaux et la vente de matériel d'occasion.
Les 19 octobre 2009, 14 juillet 2010 et 19 décembre 2011, A.A._et B.A._ ont été taxés pour l'impôt fédéral direct (ci-après: IFD) et les impôts cantonal et communal (ci-après: ICC) des périodes fiscales 2008, 2009, respectivement 2010, sur la base des revenus et de la fortune imposables tels que déclarés.
Le 19 septembre 2012, l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) a ouvert à l'encontre de la société C._ Sàrl une procédure de rappel et soustraction d'impôt relative aux périodes fiscales 2003 à 2011 en raison de ventes qui n'auraient pas été comptabilisées dans la société. Cette procédure a fait l'objet de décision et décision sur réclamation de l'Administration cantonale, puis arrêt de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) et a finalement été portée devant le Tribunal fédéral (cause 2C_531/2019).
B.
Le 2 décembre 2013, l'Administration cantonale a ouvert à l'encontre de B._ une procédure de rappel et soustraction d'impôt portant sur les périodes fiscales 2003 à 2007 en raison de soupçons de prestations appréciables en argent obtenues de la société C._ Sàrl. Cette procédure a également fait l'objet de recours jusque devant le Tribunal fédéral (cause 2C_532/2019). En raison du mariage des intéressés intervenu en 2008, une procédure parallèle a été ouverte à leur encontre pour les périodes fiscales 2008 à 2011.
Dans le cadre de cette dernière procédure relative aux périodes 2008 à 2011, l'Administration cantonale a notamment requis des intéressés l'intégralité de leurs comptes bancaires et leur a demandé de s'expliquer sur les insuffisances de fortune constatées. Après plusieurs sommations, A.A._et B.A._ ont remis les documents bancaires requis. Il n'ont jamais donné suite à la demande relative à leur fortune.
Par décision de rappel d'impôt (période fiscale 2008 à 2010), de taxation définitive (période fiscale 2011) et de prononcé d'amendes pour soustraction d'impôt consommée (périodes fiscales 2008 à 2010) rendue le 11 décembre 2017, l'Administration cantonale a fixé le montant du complément d'impôt, respectivement de l'impôt (ICC et IFD) à 49'008 fr. 75 pour les périodes fiscales 2008 à 2011 et des amendes (ICC et IFD) à 39'800 fr. pour ces mêmes périodes fiscales (les amendes ont été prononcées uniquement contre B._). A.A._et B.A._ ont élevé réclamation à l'encontre de cette décision le 22 décembre 2017. Après avoir procédé à des mesures d'instruction complémentaires, l'Administration cantonale, par décision du 27 juin 2018, a partiellement admis la réclamation de A.A._et B.A._, abandonnant notamment une reprise de 473 fr. 45 relative à l'année 2008, faute de pouvoir la justifier, et annulant l'amende relative à la période fiscale 2008. Le 26 juillet 2018, A.A._et B.A._ ont contesté cette décision sur réclamation auprès du Tribunal cantonal. Celui-ci, par arrêt du 10 mai 2019, a rejeté le recours.
C.
Agissant par la voie du recours en matière de droit public, A.A._et B.A._ demandent en substance au Tribunal fédéral, sous suite de frais et dépens, de modifier l'arrêt du Tribunal cantonal du 10 mai 2019 en annulant les reprises et amendes liées aux prestations appréciables en argent; subsidiairement d'annuler l'arrêt précité et de renvoyer la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants.
Le Tribunal cantonal renonce à se déterminer et se réfère aux considérants de son arrêt. L'Administration cantonale conclut au rejet du recours. L'Administration fédérale des contributions se rallie à ces conclusions.

Considérant en droit :
1.
L'arrêt attaqué constitue une décision finale (<ref-law>) rendue dans une cause de droit public par une autorité judiciaire supérieure de dernière instance cantonale (art. 82 let. a et 86 al. 1 let. d et al. 2 LTF) qui ne tombe sous le coup d'aucune des exceptions prévues à l'<ref-law>. Bien qu'il ne distingue pas, dans son dispositif, l'IFD de l'ICC, il ressort des motifs de l'arrêt entrepris que le rejet du recours qu'il prononce concerne à la fois les deux catégories d'impôt et, pour ce qui concerne l'ICC, du droit harmonisé (cf. art. 53 de la loi du 14 décembre 1990 sur l'harmonisation des impôts directs, des cantons et des communes [LHID; RS 642.14]). La voie du recours en matière de droit public est donc en principe ouverte en vertu des <ref-law>, 146 LIFD (RS 642.11) et 73 al. 1 LHID. Le recours a en outre été interjeté en temps utile (cf. <ref-law>), par les destinataires de l'arrêt attaqué, qui ont qualité pour recourir (<ref-law>). Il convient donc d'entrer en matière.
2.
Les recourants demandent que le dossier fiscal relatif à la société du contribuable soit versé au dossier de la présente cause, respectivement que les deux causes soient jointes.
Comme l'a déjà jugé le Tribunal fédéral (cf. arrêt 2C_874/2018 du 17 avril 2019 consid. 2), lorsque deux procédures de rappel, respectivement soustraction d'impôt sont menées parallèlement, l'une contre l'actionnaire, l'autre contre la société, il ne se justifie en principe pas de procéder à une jonction des causes. Les contribuables ne sont en effet pas semblables et, même si le recourant est le seul détenteur des parts sociales et administrateur de la société, il n'est pas exclu que cette situation change et qu'un tiers se trouve impliqué dans l'organisation de celle-ci et ait accès aux données fiscales du recourant. En outre, la recourante, salariée de la société, ne saurait prétendre à obtenir des informations sur la situation fiscale de son employeur par le biais de la présente procédure. Il en va de même de la procédure du recourant relative aux périodes fiscales 2004 à 2008 (cause 2C_532/2019), dès lors que dans cette cause, son épouse n'était pas contribuable et qu'il convient de ne pas l'y inclure.
Partant, il ne saurait être donné suite à la demande de jonction. Il ne sera pas non plus donné suite à la demande tendant à ce que le dossier de la cause relative à la société soit versé à la présente, le Tribunal fédéral, comme on le verra ci-dessous (cf. consid. 3.1), statuant sur la base des faits établis par l'autorité précédente (<ref-law>).
3.
Les recourants se plaignent exclusivement d'établissement inexact des faits.
3.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 6.3 p. 375). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
Selon la jurisprudence, une décision est arbitraire lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 7.3 p. 174 s. et les références). Lorsque la partie recourante s'en prend à l'appréciation des preuves et à l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a procédé à des déductions insoutenables (<ref-ruling> consid. 6 p. 358).
3.2. Le Tribunal cantonal a procédé à une appréciation des faits et moyens de preuve globale pour arriver à la conclusion que les reprises effectuées par l'Administration cantonale pour les périodes 2008 à 2011 étaient fondées. Il a ainsi constaté que, sur la base d'attestations remises par une société (ci-après: la société acheteuse) ayant acheté des produits à la société C._ Sàrl, les ventes effectuées n'avaient pas été intégralement comptabilisées dans le chiffre d'affaires de celle-ci, une différence de 441'527 fr. ayant été constatée pour les années 2004 à 2009. Devant le Tribunal cantonal, les recourants ont nié avoir procédé aux livraisons litigieuses.
Pour arriver à la conclusion que le recourant avait bel et bien perçu de l'argent sur des livraisons, l'autorité précédente a pris en compte le fait que sa signature figurait sur des notes de crédit libellées au nom de sa société. Certes, devant l'autorité précédente, le recourant a contesté avoir signé ces documents, relevant que les signatures ne ressemblaient pas à la sienne et ajoutant qu'un employé de la société acheteuse avait été licencié en raison de soupçons de malversation. Le Tribunal cantonal a constaté que les signatures étaient différentes, mais a jugé qu'aucune plainte pénale n'avait été déposée pour faux dans les titres et qu'il était peu probable qu'une personne ayant pour dessein de falsifier la signature du recourant procède d'une manière aussi grossière. A ces éléments, il a encore ajouté le fait que, pour certaines des transactions contestées, il était mentionné que la livraison avait été effectuée avec le camion de la société, prenant en exemple un cas concret de livraison. L'autorité précédente a ajouté que l'un des employés de la société du recourant, un certain "D._" a également signé divers ordres de transport. Outre que la société employait une personne nommée D._, le Tribunal cantonal a jugé que le recourant n'avait apporté aucune explication convaincante en relation avec cet élément, si ce n'est qu'il s'était contenté de relever que cette personne ne travaillait pas pour lui durant les années sous revue, mais uniquement depuis 2011. Le Tribunal cantonal a également examiné la fortune du recourant et constaté que les éléments de revenu et de fortune déclarés par celui-ci étaient clairement insuffisants, voire négatifs pour couvrir ses dépenses mensuelles. Le recourant a été interpellé à plusieurs reprises à ce propos et a finalement affirmé avoir vendu des pièces de monnaie de collection et des voitures, sans toutefois fournir de justificatifs, ce qui a conduit l'autorité précédente a retenir que l'existence de ces biens n'était pas démontrée. Finalement, le Tribunal cantonal a encore relevé que le recourant avait déjà fait l'objet d'un contrôle fiscal, qui s'était soldé par une proposition de règlement avec l'Administration cantonale en raison de l'absence de déclaration de chiffre d'affaires réalisé avec la même société acheteuse.
Appréciant tous ces éléments, le Tribunal cantonal a admis l'existence de prestations appréciables en argent provenant de la société du recourant.
3.3. En l'occurrence, les recourants contestent l'établissement des faits sous quatre points différents.
En premier lieu, ils mentionnent que les responsables de la société acheteuse ont reconnu qu'ils avaient eu des soupçons de malversation à l'encontre de l'un de leurs employés, celui-ci ayant par la suite été licencié. Selon les recourants, cet élément corrobore leurs déclarations tendant à démontrer que le recourant a été victime d'une tromperie. Ils estiment ensuite que c'est de manière contradictoire que l'autorité précédente a retenu qu'il était possible que la signature du contribuable ait été imitée et, plus loin dans son arrêt, qu'il était néanmoins peu probable qu'une personne désirant falsifier une signature procède d'une manière aussi grossière. Les recourants se plaignent également de ce que le Tribunal cantonal se soit fondé sur deux états de fait précis pour arriver à la conclusion que la société C._ Sàrl n'a pas déclaré le chiffre d'affaires lié à des transactions qu'elle aurait passées avec la société acheteuse. Ils sont d'avis qu'aucun document au dossier ne permet de prouver que le recourant a personnellement procédé à la livraison du 2 décembre 2005 et déplorent que la personne nommée "D._", qui a signé plusieurs ordres de transport, n'ait pas été entendue par l'autorité précédente. Finalement, les recourants estiment qu'il est arbitraire de se servir du précédent contrôle fiscal de la société comme preuve de leur culpabilité. Pour eux, une telle manière de faire ne tient pas compte du principe de la présomption d'innocence.
3.4. En l'espèce, les recourants critiquent divers éléments de l'appréciation effectuée par l'autorité précédente, sans toutefois contester cette appréciation dans son ensemble et dire en quoi les éléments qu'ils avancent auraient une incidence sur l'appréciation globale. On peut donc déjà douter que leur motivation remplisse les conditions de l'<ref-law>. Quand bien même il faudrait examiner le grief, force serait de toute façon de l'écarter. En effet, on doit relever que les recourants ne contestent en rien les constatations de l'autorité précédente en lien avec l'évolution de leur fortune. Or, il s'agit-là d'un élément déterminant. Il faut rappeler à ce propos que dans les déclarations du recourant pour les années 2005 à 2007, celui-ci a annoncé un revenu mensuel de 5'000 fr., sur lequel il ne prélevait que 1'500 fr., le solde étant comptabilisé en remboursement de son compte courant et, en 2006 et 2007, en augmentation de son épargne privée. Ce seul élément, en l'absence d'explications convaincantes, suffit déjà à lui seul, dans les circonstances du cas d'espèce, pour retenir sans arbitraire que les recourants ont vécu grâce aux prestations appréciables en argent obtenues de la société. Ils reconnaissent d'ailleurs eux-mêmes implicitement que l'appréciation des faits effectuée par le Tribunal cantonal n'est pas arbitraire, puisqu'ils affirment que leurs propres conclusions "ne sont pas moins plausibles" que celles de cette autorité. Les autres éléments qu'ils avancent (cf. consid. 3.3 ci-dessus) ne permettent pas d'arriver à une autre conclusion.
3.5. Dans ces conditions, il convient d'écarter le grief d'établissement inexact des faits. Le Tribunal fédéral vérifiera donc la correcte application du droit sur la seule base des faits retenus par l'autorité précédente. En outre, il ne saurait être question de violation du principe de la présomption d'innocence car celui-ci, en l'occurrence, se confond avec celui d'appréciation arbitraire des preuves (<ref-ruling> consid. 2a p. 41; arrêt 2C_806/2017 du 19 octobre 2017 consid. 4.1).
4.
4.1. S'agissant du rappel d'impôt et de la procédure de taxation, le Tribunal cantonal a correctement rappelé le droit fédéral et cantonal harmonisé applicable (art. 17 al. 1, 20 al. 1 let. c et 151 al. 1 LIFD, ainsi que l'<ref-law> et les art. 20 al. 1, 23 al. 1 et 207 al. 1 LI/VD), ainsi que la jurisprudence y relative (parmi d'autres <ref-ruling> consid. 4.5.1 p. 364 s. et les références; 2C_16/2015 du 6 août 2015 consid. 2 et les références). Il peut donc y être renvoyé.
4.2. Dans la mesure où il ressort des faits retenus sans arbitraire par le Tribunal cantonal que les recourants, durant les années 2008 à 2010, ont perçu des revenus provenant de la société du recourant, sans les avoir déclarés à l'Administration cantonale, qui a donc taxé les contribuables sur une base incomplète, le rappel d'impôt doit être confirmé. Les recourant ne contestent au demeurant pas l'application du droit faite par l'autorité précédente à ce propos. Il en va de même de la taxation pour l'année 2011, les recourants ayant perçu des revenus provenant de la société du contribuable durant cette année-là également.
5.
5.1. Selon l'<ref-law>, respectivement 56 al. 1 LHID et 242 LI/VD, est notamment puni d'une amende le contribuable qui, intentionnellement ou par négligence, fait en sorte qu'une taxation ne soit pas effectuée alors qu'elle devrait l'être, ou qu'une taxation entrée en force soit incomplète (al. 1); en règle générale, l'amende est fixée au montant de l'impôt soustrait; si la faute est légère, l'amende peut être réduite jusqu'au tiers de ce montant; si la faute est grave, elle peut au plus être triplée (al. 2). Pour qu'il y ait soustraction au sens de cette disposition, il faut donc qu'il y ait soustraction d'un montant d'impôt en violation d'une obligation légale incombant au contribuable et une faute de ce dernier.
5.2. En l'absence de contestation topique de la part des recourants, le Tribunal cantonal n'a pas traité des amendes prononcées pour soustraction d'impôt des périodes fiscales 2008 à 2010 à l'encontre du recourant (à l'exclusion de son épouse recourante), se limitant à confirmer celles prononcées par l'Administration cantonale. Si l'on peut regretter cette façon de procéder, s'agissant de droit fédéral, respectivement de droit cantonal harmonisé devant être appliqué d'office, on peut malgré tout également confirmer les amendes précitées, les recourants ne les ayant pas non plus contestées devant le Tribunal fédéral et reconnaissant, dans leurs conclusions devant le Tribunal cantonal, qu'une amende devait être prononcée à l'encontre du recourant pour les reprises qui n'ont pas été contestées. On doit retenir que les éléments objectif et subjectif fondant la condamnation sont réunis. Le recourant n'a pas déclaré une partie de ses revenus et les taxations pour les années 2008 à 2010, entrées en force étaient incomplètes. En outre, compte tenu des éléments de fait qui ont été présentés ci-dessus (cf. consid. 3), il ne saurait être retenu autre chose qu'un comportement intentionnel de la part du recourant.
6.
Sur le vu des considérants qui précèdent, le recours doit être rejeté aussi bien en tant qu'il concerne l'impôt fédéral direct que les impôts cantonal et communal. Succombant, les recourants doivent supporter les frais judiciaires, solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté en tant qu'il concerne l'impôt fédéral direct.
2.
Le recours est rejeté en tant qu'il concerne les impôts cantonal et communal.
3.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge des recourants, solidairement entre eux.
4.
Le présent arrêt est communiqué aux mandataires des recourants, à l'Administration cantonale des impôts et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 12 novembre 2019
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette