Faits :
A.
A.a. A.A._ et B.A._ (ci-après également: les contribuables) sont mariés et vivent à C._, dans un logement dont ils sont propriétaires. A.A._ est l'unique actionnaire de la société A._ SA, dont la raison sociale était jusqu'en 2011 D._ SA (ci-après: la société ou A._ SA) et qui a son siège à C._. Les époux A._ étaient tous deux salariés de la société de 2004 à 2010. A.A._ et B.A._ sont par ailleurs les uniques actionnaires de la société immobilière E._ SA, dont le siège se trouve à Lausanne. Ils détiennent également 57% du capital-actions de la société immobilière F._ à G._ (Fribourg), les 43% restants étant détenus par A._ SA. Les époux détiennent enfin une part de la société immobilière H._ à G._ (Fribourg). B.A._ a exploité jusqu'en 2012 l'entreprise individuelle I._ à Lausanne. A.A._ exploite quant à lui, en raison individuelle, depuis 2003, un tea-room à J._ (Fribourg), situé dans un immeuble dont les époux A._ sont propriétaires. Ils sont par ailleurs propriétaires d'une habitation à K._. A.A._ était bénéficiaire d'une rente de l'assurance invalidité à taux plein jusqu'en 2007, année où il a atteint l'âge de la retraite.
A.b. Pour les périodes fiscales 2004 à 2010, les contribuables ont déclaré les revenus et la fortune suivants:
revenu imposable (fr.) fortune imposable (fr.) 2004 107'300 1'416'000 2005 216'400 1'188'000 2006 97200 1'304'000 2007 0 1'329'000 2008 0 1'761'000 2009 57'700 1'526'000 2010 127'600 1'508'000
B.
B.a. L'Office d'impôt du district du Jura-Nord vaudois (ci-après: l'Office d'impôt) a taxé les contribuables par décision du 5 mai 2008 pour la période fiscale 2004, par décisions du 15 décembre 2010 pour les périodes fiscales 2005 et 2006 et par décisions du 30 août 2012 pour les périodes fiscales 2007, 2008, 2009 et 2010. Contre ces décisions, les époux A._ ont formé des réclamations, qui ont été transmises à l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale).
B.b. Après avoir soumis sans succès une proposition de règlement aux époux A._, l'Administration cantonale a fixé, par décision sur réclamation du 26 août 2016, les éléments imposables au titre de l'impôt fédéral direct (ci-après: IFD) et de l'impôt cantonal et communal (ci-après: ICC) comme suit:
revenu imposable IFD (fr.) revenu imposable ICC (fr.) fortune imposable ICC (fr.) 2004 195'000 190'300 1'644'000 2005 302'000 295'100 1'743'000 2006 260'200 295'500 1'648'000 2007 67'900 62'900 1'665'000 2008 20'000 0 579'000 2009 204'600 224'900 1'824'000 2010 184'100 203'400 1'771'000
L'Administration cantonale a joint à sa décision sur réclamation un tableau des corrections effectuées en faveur et en défaveur des contribuables, qui portent notamment sur l'imposition, à titre de revenu, de la part privée des frais de véhicules figurant dans les charges de la société A._ SA. L'Administration cantonale a par ailleurs refusé d'admettre en déduction des revenus des contribuables les frais d'administration des immeubles sis à J._ et à K._.
B.c. Contre la décision sur réclamation du 26 août 2016, les époux A._ ont formé un recours auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal).
Par arrêt du 5 avril 2019, le Tribunal cantonal a partiellement admis le recours. Il a partiellement annulé la décision sur réclamation du 26 août 2016 de l'Administration cantonale, à laquelle il a renvoyé le dossier pour nouvelle décision dans le sens des considérants. Il a confirmé la décision sur réclamation pour le surplus. En substance, le Tribunal cantonal a relevé qu'il résultait de son arrêt rendu le même jour (cause FI.2016.0118) au sujet des taxations 2004 à 2010 de la société A._ SA que 4/9e de l'ensemble des frais de véhicules figurant dans les charges de la société devaient être repris au titre de frais privés. La prise en charge de ces frais par la société avait profité au contribuable, unique actionnaire, ainsi qu'à son épouse et leur fils, de sorte qu'il convenait de confirmer l'imposition retenue par l'Administration cantonale au titre de distribution dissimulée de bénéfice, sous réserve de l'adaptation de la part privée telle que calculée dans l'arrêt relatif à la société. Pour le surplus, le Tribunal cantonal a confirmé la décision sur réclamation en tant qu'elle refusait la déduction des frais d'administration d'immeubles revendiquée par les contribuables.
C.
Contre l'arrêt du 5 avril 2019 du Tribunal cantonal, A.A._ et B.A._ forment un recours en matière de droit public au Tribunal fédéral. Ils concluent, outre à l'octroi de l'effet suspensif, principalement à l'annulation de l'arrêt querellé et à ce que la cause soit renvoyée au Tribunal cantonal pour qu'il rende un arrêt conforme à l'<ref-law>. Subsidiairement, ils concluent à la réforme de l'arrêt entrepris dans le sens que la reprise de revenu de la part non justifiée par l'usage commercial sur les frais de véhicules corresponde à l'addition des frais de réparation et d'exploitation directement attribuables au véhicule privé et d'une quote-part des frais d'exploitation non directement attribuables, calculée proportionnellement aux kilomètres roulés à titre privé par rapport au total des kilomètres, subsidiairement à la proportion entre le véhicule privé et tous les véhicules considérés dans les frais de véhicules.
C.a. Le Tribunal cantonal, se référant aux considérants de son arrêt, a renoncé à se déterminer sur le recours, ainsi que sur la demande d'effet suspensif. L'Administration cantonale ne s'est pas déterminée sur la requête d'effet suspensif et a conclu, sous suite de frais, au rejet du recours. L'Administration fédérale des contributions s'est ralliée en substance à la réponse de l'Administration cantonale et a conclu dans le même sens au rejet du recours sous suite de frais. A.A._ et B.A._ ont déposé des observations finales, en maintenant leurs conclusions.
L'effet suspensif a été accordé au recours par ordonnance présidentielle du 13 juin 2019.
D.
Une procédure parallèle s'est déroulée s'agissant de l'imposition de la société A._ SA. Celle-ci a été imposée pour des prestations
appréciables en argent effectuées en faveur des époux A._, en lien avec la prise en charge par la société de frais privés de véhicules.
E. Par arrêt 2C_484/2019 du 6 novembre 2019, le Tribunal fédéral a admis le recours de la société en tant qu'il portait sur l'IFD et l'ICC de la période fiscale 2006. Il l'a rejeté en tant qu'il portait sur les périodes fiscales 2004, 2005, 2007, 2008, 2009 et 2010, tant en matière d'IFD que d'ICC. Il a annulé l'arrêt du Tribunal cantonal du 5 avril 2019 dans la mesure où il portait sur la période fiscale 2006 et a renvoyé la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Il a confirmé pour le surplus l'arrêt entrepris.

Considérant en droit :
I. Recevabilité et pouvoir d'examen
1.
1.1. Le recours est dirigé contre une décision rendue par une autorité judiciaire cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (cf. <ref-law>), sans qu'aucune des exceptions prévues à l'<ref-law> ne soit réalisée. Bien que l'arrêt querellé ne distingue pas, dans son dispositif, l'IFD de l'ICC, il ressort de ses motifs que l'admission partielle du recours qu'il prononce concerne les deux catégories d'impôts, ce qui est en principe admissible (<ref-ruling> consid. 1.3.1 p. 262 s.). La voie du recours en matière de droit public est donc en principe ouverte en vertu des <ref-law>, 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14).
1.2. D'après l'<ref-law>, le recours est recevable contre les décisions qui mettent fin à la procédure (décisions finales). Un arrêt de renvoi constitue en principe une décision incidente (<ref-ruling> consid. 1.2 p. 148) contre laquelle le recours au Tribunal fédéral n'est ouvert qu'aux conditions des art. 92 et 93 LTF. Un tel arrêt est néanmoins considéré comme final si l'autorité à laquelle l'affaire est renvoyée n'a aucune marge de manoeuvre, notamment lorsqu'il ne lui reste plus qu'à calculer le montant de l'impôt, en appliquant les règles définies dans la décision de renvoi (cf. <ref-ruling> consid. 1.2 p. 148).
En l'occurrence, le Tribunal cantonal a renvoyé la cause à l'Administration cantonale avec pour instruction de recalculer l'impôt des contribuables pour les périodes fiscales 2004 à 2010 en tenant compte d'une reprise dans le revenu correspondant à 4/9e des charges comptabilisées à titre de frais de véhicules dans les comptes de la société A._ SA. L'Administration cantonale ne dispose donc d'aucune marge de manoeuvre dans le cadre du renvoi; elle n'a plus qu'à calculer les montants d'impôts dus par les contribuables en fonction des reprises fixées dans l'arrêt attaqué, qui doit partant être qualifié de décision finale.
1.3. Le dépôt d'un seul acte de recours est autorisé dans la mesure où les recourants s'en prennent clairement aux deux catégories d'impôts (cf. <ref-ruling> consid. 1.3.2 p. 263 s.). L'arrêt attaqué ayant omis de distinguer, dans son dispositif, les deux catégories d'impôts, on ne peut reprocher aux recourants de ne pas avoir formulé de conclusions séparées (cf. <ref-ruling> consid. 1.3.3 p. 264). Au surplus, le recours a été interjeté en temps utile compte tenu des féries (cf. art. 46 al. 1 let. a et 100 al. 1 LTF) et dans les formes prescrites (<ref-law>), par les destinataires de l'arrêt attaqué, qui ont qualité pour recourir (<ref-law>). Il convient donc d'entrer en matière.
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral, ainsi que la conformité du droit cantonal harmonisé et de sa mise en pratique par les instances cantonales aux dispositions de la LHID (art. 95 let. a et 106 al. 1 LTF; arrêt 2C_444/2018 du 31 mai 2019 consid. 3.2). Il conduit son raisonnement juridique sur la base des faits constatés par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>.
II. Prescription
3.
A titre liminaire et dès lors que la prescription est une question de droit matériel que le Tribunal fédéral examine d'office (pour l'IFD: <ref-ruling> consid. 3.2 p. 171; pour les ICC: arrêt 2C_276/2014 du 22 janvier 2015 consid. 5.1), il sera relevé que la prescription absolue du droit de procéder à la taxation, acquise dans tous les cas quinze ans après la fin de la période fiscale (pour l'IFD: <ref-law>; pour l'ICC: <ref-law>; art. 170 de la loi vaudoise sur les impôts directs cantonaux du 4 juillet 2000 [LI/VD; RS/VD 642.11]), n'est pas encore atteinte s'agissant des périodes fiscales en cause, soit 2004 à 2010. Pour 2004, elle sera atteinte le 31 décembre 2019.
III. Objet du litige
4.
Le litige porte exclusivement sur les reprises, à titre de revenus, des frais de véhicules privés comptabilisés en tant que charges commerciales dans les comptes de la société A._ SA durant les périodes fiscales 2004 à 2010.
Le refus de la déduction des frais d'administration d'immeubles, confirmé par le Tribunal cantonal, n'est en effet plus contesté.
IV. Griefs formels
5.
Les recourants dénoncent une violation de l'<ref-law>. Ils considèrent que le Tribunal cantonal a violé cette disposition en renvoyant à son arrêt du 5 avril 2019 relatif à la société A._ SA s'agissant des reprises à effectuer à titre de prestations appréciables en argent en lien avec les frais de véhicules privés passés dans les charges commerciales de la société. Ils font valoir que la recourante 2, qui n'est pas actionnaire de la société, n'a pas accès à l'arrêt relatif à celle-ci et n'a donc pas pu se défendre correctement.
5.1. L'<ref-law> exige que les décisions qui peuvent faire l'objet d'un recours devant le Tribunal fédéral contiennent les motifs déterminants de fait et de droit, notamment les dispositions légales appliquées. Une décision doit ainsi clairement exposer sur quel état de fait le tribunal s'est fondé et quelles réflexions juridiques il en a tiré. En vertu de ce devoir de motivation, le juge doit ainsi mentionner, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 1.2.1 p. 246; <ref-ruling> consid. 2.2 p. 84). Si une décision attaquée ne satisfait pas aux exigences fixées à l'<ref-law>, le Tribunal fédéral peut soit la renvoyer à l'autorité cantonale en invitant celle-ci à la parfaire, soit l'annuler (<ref-law>).
5.2. En l'occurrence, contrairement à ce que prétendent les recourants, le Tribunal cantonal ne s'est pas contenté de renvoyer à son arrêt relatif à la société A._ SA. L'arrêt entrepris indique en effet expressément que des frais de véhicules privés ont été indûment portés en charge dans la comptabilité de la société A._ SA, que ces frais représentent 4/9e de l'ensemble des frais figurant dans les comptes de la société, qu'ils concernent des dépenses de carburant et d'huile, de pneumatique, de taxe et assurances, ainsi que des frais de réparation et, enfin, que la prise en charge de ces frais par la société a profité au recourant 1 et à sa famille, ce qui justifie une reprise correspondante dans le revenu du contribuable actionnaire à titre de distribution dissimulée de bénéfice (consid. 4c p. 9 de l'arrêt). Cette motivation permet aussi bien au recourant 1 qu'à la recourante 2 de faire valoir leurs arguments. Le recours démontre au reste que les deux contribuables ont suffisamment saisi l'arrêt entrepris pour l'attaquer en connaissance de cause, étant en particulier relevé que leur recours reprend mot pour mot le recours formé par la société A._ SA auprès du Tribunal fédéral (cause 2C_484/2019). Le grief tiré de la violation de l'<ref-law> doit partant être rejeté.
6.
Invoquant l'<ref-law>, ainsi que l'art. 89 al. 2 et 3 de la loi vaudoise sur la procédure administrative du 28 octobre 2008 (LPA/VD; RS/VD 173.36), les recourants reprochent au Tribunal cantonal d'avoir procédé à une reformatio in peius pour la période fiscale 2006 sans les entendre préalablement.
6.1. Conformément à l'<ref-law>, la commission cantonale de recours prend sa décision après instruction du recours. Après avoir entendu le contribuable, elle peut également modifier la taxation au désavantage de ce dernier. L'art. 89 al. 2 et 3 LPA/VD prévoit que l'autorité peut modifier la décision à l'avantage ou au détriment du recourant, mais que, dans ce dernier cas, elle l'en informe et lui impartit un délai pour se déterminer ou pour retirer son recours.
L'obligation, pour l'autorité de recours qui envisage de procéder à une reformatio in peius de la décision attaquée, d'avertir le recourant de son intention et de lui donner l'occasion de s'exprimer résulte directement de la garantie constitutionnelle du droit d'être entendu (<ref-ruling> consid. 2a p. 167). Conformément à la jurisprudence, cette obligation s'applique chaque fois que l'autorité de recours entend modifier la décision attaquée devant elle au détriment du contribuable, sans égard aux raisons de la modification envisagée (cf. arrêt 2A.403/2002 du 24 mars 2003 consid. 2.2, in RDAF 2003 II 369 [à propos de l'<ref-law>]).
6.2. En l'occurrence, le Tribunal cantonal a renvoyé à son arrêt du 5 avril 2019 relatif à la société A._ SA s'agissant du montant de la reprise à effectuer auprès des contribuables au titre de la part privée des frais de véhicules portés en charge dans les comptes de la société. Or, dans l'arrêt relatif à A._ SA, le Tribunal cantonal a fixé la part privée à 4/9e de l'ensemble des frais de véhicules, alors que la décision sur réclamation du 26 août 2016 de l'Administration cantonale relative à la société retenait, pour 2006, une part privée de 3/9e et que la décision sur réclamation du même jour relative aux époux A._ retenait la même part privée au titre de prestation appréciable en argent imposable. En fixant à 4/9e de l'ensemble des frais de véhicules la part privée à imposer auprès des contribuables, le Tribunal cantonal a ainsi effectivement réformé à leur détriment la décision sur réclamation du 26 août 2016 en tant qu'elle portait sur la période fiscale 2006.
6.3. Il ne résulte pas de l'arrêt entrepris et il n'est pas allégué que le Tribunal cantonal aurait informé les recourants qu'il envisageait de prononcer une reformatio in peiusen procédant à une reprise supplémentaire pour la période fiscale 2006. Partant, il faut admettre que le Tribunal cantonal a violé le droit d'être entendu découlant de l'art. 29 al. 2 Cst. et concrétisé à l'<ref-law>, ainsi qu'à l'art. 89 al. 2 et 3 LPA/VD, en modifiant au détriment des recourants la décision de l'autorité fiscale s'agissant de l'IFD et de l'ICC de la période fiscale 2006 sans leur donner la possibilité de s'exprimer préalablement.
6.4. S'agissant des conséquences de cette violation, il sera rappelé que le droit d'être entendu est une garantie constitutionnelle de caractère formel, dont la violation entraîne, en principe, l'annulation de la décision attaquée, indépendamment des chances de succès du recours sur le fond (cf. <ref-ruling> consid. 2.8.1 p. 226; cf. arrêt 2A.403/2002 du 24 mars 2003 consid. 2.3, in RDAF 2003 II 369 à propos d'une violation de l'<ref-law>). Il convient partant, à l'instar de ce qui a été retenu dans l'arrêt 2C_484/2019 relatif à la société A._ SA, d'annuler l'arrêt attaqué en tant qu'il porte sur la période fiscale 2006 et de renvoyer la cause au Tribunal cantonal pour qu'il donne la possibilité aux contribuables de s'exprimer, avant de rendre une nouvelle décision. A noter qu'au cas où les recourants, avertis de la reformatio in peius, entendraient retirer leur recours, dite reformatio in peius ne pourrait primer qu'à certaines conditions restrictives (cf. <ref-ruling> consid. 7.1 p. 145 s.; arrêt 2A.286/2004 du 31 août 2004 consid. 2.1).
6.5. Il suit de ce qui précède que le recours doit être admis en tant qu'il porte sur la période fiscale 2006 tant en matière d'IFD que d'ICC. Eu égard à cette conclusion, il n'y a pas lieu de considérer les autres griefs (matériels) des recourants relatifs à cette période. En revanche, dès lors que la reformatio in peius à laquelle le Tribunal cantonal a procédé en violation du droit d'être entendu ne concerne que la période fiscale 2006, l'arrêt entrepris n'est pas affecté par ce qui précède en tant qu'il porte sur les périodes fiscales 2004, 2005, ainsi que 2007 à 2010. Il convient donc d'examiner les griefs matériels des recourants y relatifs.
V. Griefs relatifs aux faits
7.
Les recourants relèvent que la société A._ SA a, dans le cadre du recours devant le Tribunal fédéral la concernant, fait valoir que le Tribunal cantonal avait fixé de manière arbitraire le nombre de véhicules commerciaux attribués à l'entreprise. Les recourants indiquent se rallier à cette motivation, en notant que la violation dénoncée se répercute sur leur situation, puisque le Tribunal cantonal leur a imputé une part privée de frais de véhicules équivalente à celle qu'il a retenue dans le chef de la société et que cette part a été fixée sur la base du nombre de véhicules utiles à l'entreprise.
Le grief des contribuables dans le cadre de la présente cause, qui ne fait que reproduire la motivation formée par la société A._ SA dans son recours parallèle au Tribunal fédéral, doit être rejeté, dès lors que, dans son arrêt 2C_484/2019 du 6 novembre 2019, la Cour de céans a rejeté le grief de la société tiré d'un établissement des faits arbitraire (consid. 6.3). Il est renvoyé à la motivation de cet arrêt.
VI. Impôt fédéral direct
8.
Les recourants se plaignent de la violation de l'art. 20 al. 1 let. c LIFD. Ils reprochent au Tribunal cantonal d'avoir établi de manière arbitraire la part de frais privés de véhicules pris en charge par la société A._ SA.
8.1. Selon l'art. 20 al. 1 let. c LIFD, est imposable le rendement de la fortune mobilière, en particulier les dividendes, les parts de bénéfice, les excédents de liquidation et tous autres avantages appréciables en argent provenant de participations de tout genre (y compris les actions gratuites, les augmentations gratuites de la valeur nominale, etc.). Un avantage appréciable en argent au sens de l'art. 20 al. 1 let. c LIFD représente, du point de vue de la société distributrice, un élément du bénéfice imposable en vertu de l'art. 58 al. 1 let. b dernier tiret LIFD (distributions dissimulées de bénéfice et avantages à des tiers non justifiés par l'usage commercial) ou de l'art. 58 let. al. 1 let. c LIFD (produits non comptabilisés) (arrêt 2C_445/2015 du 26 août 2016 consid. 6.3.4). Cette figure conduit ainsi à une reprise tant au niveau de l'impôt sur le bénéfice pour la société distributrice que de l'impôt sur le revenu pour le bénéficiaire de l'avantage, ce qui concrétise la double imposition économique voulue par le législateur (<ref-ruling> consid. 5.4 p. 76 s.; <ref-ruling> consid. 5.4 p. 60 s.; arrêt 2C_445/2015 du 26 août 2016 consid. 6.3.4).
Sont également des prestations appréciables en argent qui doivent être imputées sur le revenu du détenteur de participations en application de l'art. 20 al. 1 let. c LIFD les prestations de la société en faveur d'un tiers qui lui est proche. Selon la théorie dite du triangle, une prestation appréciable en argent faite par une société directement à un tiers proche de son actionnaire doit ainsi être traitée comme si elle avait été octroyée à ce dernier. Elle passe en effet juridiquement par celui-ci, qui seul peut en ordonner l'attribution audit tiers (cf. <ref-ruling> consid. 4.2 p. 61 s.). Lorsque, comme en l'espèce, la participation appartient à la fortune privée, la théorie du triangle s'applique dans tous les cas (arrêt 2C_674/2015 du 26 octobre 2017 consid. 7.1).
8.2. En l'occurrence, dans son arrêt relatif à la société A._ SA, dont le contribuable 1 est l'unique actionnaire, la Cour de céans a confirmé que les frais privés de véhicules pris en charge par la société constituaient des distributions dissimulées de bénéfice qui avaient profité à l'actionnaire unique ou à ses proches et qu'il convenait partant de procéder à une reprise dans le bénéfice de la société (arrêt 2C_484/2019 consid. 7). Ce constat conduit également à confirmer le principe d'une reprise dans le revenu du contribuable, actionnaire unique, à titre de prestation appréciable en argent, conformément à la double imposition voulue par le législateur.
S'agissant des montants à reprendre, ils correspondent à la part privée des frais de véhicules reprise dans le bénéfice de la société. Dès lors que la Cour de céans a considéré dans son arrêt 2C_484/2019, considérant 7, que le Tribunal cantonal n'avait pas méconnu le droit fédéral en arrêtant à 4/9e de l'ensemble des frais de véhicules figurant dans les comptes de la société la part privée à reprendre dans le bénéfice de la société, il convient de confirmer l'arrêt entrepris relatif aux contribuables en tant qu'il fixe également la reprise à effectuer dans le revenu de l'actionnaire à 4/9e de l'ensemble des frais de véhicules mis à la charge de la société.
8.3. Sur le vu de ce qui précède, le recours est rejeté en tant qu'il porte sur l'IFD des périodes fiscales 2004 et 2005, ainsi que 2007 à 2010. S'agissant de la période fiscale 2006, il est renvoyé au considérant 6 supra.
VII. Impôt cantonal et communal
9.
Selon l'art. 23 al. 1 let. c LI/VD, est imposable le rendement de la fortune mobilière, en particulier les dividendes, les parts de bénéfice, les excédents de liquidation et tous autres avantages appréciables en argent provenant de participations de tout genre (y compris les actions gratuites, les augmentations gratuites de la valeur nominale, etc.). Cette disposition a la même teneur que l'art. 20 al. 1 let. c LIFD et est conforme à l'<ref-law>. La jurisprudence rendue en matière d'impôt fédéral direct est également valable pour l'application des dispositions cantonales harmonisées correspondantes (<ref-ruling> consid. 10 p. 101; arrêt 2C_445/2015 du 26 août 2016 consid. 9).
Les considérants développés en matière d'IFD s'appliquent donc également à l'ICC. Par conséquent, le recours doit également être rejeté en ce qui concerne l'ICC des périodes fiscales 2004 et 2005, ainsi que 2007 à 2010. S'agissant de la période fiscale 2006, il est renvoyé au considérant 6 supra.
VIII. Conclusion, frais et dépens
10.
Sur le vu de ce qui précède, le recours est admis en matière d'IFD et d'ICC pour la période fiscale 2006. L'arrêt rendu le 5 avril 2019 par le Tribunal cantonal est annulé en tant qu'il renvoie la cause à l'Administration cantonale pour qu'elle fixe à 4/9e de l'ensemble des frais de véhicules la part privée pour la période fiscale 2006. La cause est renvoyée au Tribunal cantonal pour nouvelle décision dans le sens des considérants et, si nécessaire, nouvelle répartition des frais et dépens en lien avec cette période.
Le recours est rejeté tant en matière d'IFD que d'ICC s'agissant des périodes fiscales 2004, 2005, 2007, 2008, 2009 et 2010.
Les recourants ont ainsi très partiellement gain de cause. Il s'ensuit que le canton de Vaud, qui agit dans l'exercice de ses attributions officielles et dont l'intérêt patrimonial est en jeu, supportera une part réduite des frais de la procédure fédérale (art. 66 al. 1 et 4 LTF), le solde étant solidairement à la charge des recourants (art. 66 al. 1 et 5 LTF). Ceux-ci, qui obtiennent partiellement gain de cause avec l'aide d'un mandataire professionnel, ont droit à des dépens réduits qui seront supportés par le canton de Vaud dans la même mesure (art. 68 al. 1 et 2 LTF). Aucun dépens ne sera alloué à l'autorité intimée (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis en tant qu'il concerne l'impôt fédéral direct de la période fiscale 2006.
2.
Le recours est rejeté en tant qu'il concerne l'impôt fédéral direct des périodes fiscales 2004, 2005, 2007, 2008, 2009 et 2010.
3.
Le recours est admis en tant qu'il concerne l'impôt cantonal et communal de la période fiscale 2006.
4.
Le recours est rejeté en tant qu'il concerne l'impôt cantonal et communal des périodes fiscales 2004, 2005, 2007, 2008, 2009 et 2010.
5.
L'arrêt du Tribunal cantonal du 5 avril 2019 est annulé dans la mesure où il porte sur la période fiscale 2006. La cause est renvoyée au Tribunal cantonal pour nouvelle décision dans le sens des considérants. L'arrêt du 5 avril 2019 est confirmé pour le surplus.
6.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à raison de 3'500 fr. à la charge des recourants, solidairement entre eux, et de 500 fr. à la charge du canton de Vaud.
7.
Le canton de Vaud versera aux recourants, créanciers solidaires, une indemnité de dépens réduite fixée à 500 fr.
8.
Le présent arrêt est communiqué au mandataire des recourants, à l'Administration cantonale des impôts et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 6 novembre 2019
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber