Faits :
A.
A._ (ci-après aussi: le contribuable), né en 1934, exerce à B._ en qualité d'indépendant la profession d'agent d'affaires breveté.
B.
B.a. Période fiscale 2003
Par décision de taxation du 6 avril 2005, l'Office d'impôt du district de Morges a fixé le revenu imposable de A._ pour la période fiscale 2003 à 146'900 fr. pour l'impôt cantonal et communal (ci-après: ICC) et à 154'000 fr. pour l'impôt fédéral direct (ci-après: IFD) (cf. <ref-law>). Elle a arrêté à 383'000 fr. la fortune imposable.
Le 4 mai 2005, A._ a formé une réclamation contre cette décision, qu'il a déclarée maintenir le 17 juin 2005.
Le 29 février 2016, l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) a émis une nouvelle détermination des éléments imposables. A._ a maintenu sa réclamation.
Par décision sur réclamation du 10 janvier 2017, l'Administration cantonale a partiellement admis la réclamation. Elle a fixé le revenu imposable à 76'500 fr. pour les ICC, à 83'601 fr. pour l'IFD, et la fortune imposable à 411'000 fr.
B.b. Période fiscale 2007
Par décision de taxation du 13 novembre 2012, l'Administration cantonale a fixé le revenu imposable de A._ pour la période fiscale 2007 à 196'400 fr. pour les ICC, à 200'800 fr. pour l'IFD (cf. <ref-law>), et sa fortune imposable à 348'000 fr. Par rapport à la déclaration d'impôt du contribuable déposée le 14 octobre 2008, l'Administration cantonale a repris, tant dans le revenu imposable que dans la fortune imposable, un montant de 47'374 fr. pour des travaux en cours non comptabilisés, somme correspondant à 1/8 e du chiffre d'affaires réalisé au cours de l'année 2007.
Le 14 décembre 2012, A._ a formé une réclamation contre cette décision.
Le 29 février 2016, l'Administration cantonale a notifié au contribuable une nouvelle détermination des éléments imposables, arrêtant le revenu imposable à 242'400 fr. pour les ICC, à 246'700 fr. pour l'IFD et la fortune imposable à 349'000 fr. Selon le nouveau calcul, la reprise pour travaux en cours s'élevait à 48'784 fr. A._ a maintenu sa réclamation.
Par décision sur réclamation du 10 janvier 2017, l'Administration cantonale a rejeté la réclamation.
B.c. Périodes fiscales 2008, 2009 et 2011
Pour la période fiscale 2008, A._ a déclaré, le 16 octobre 2009, un revenu imposable de 154'125 fr. et une fortune imposable de 310'595 fr.
Pour la période fiscale 2009, A._ a déclaré, le 10 septembre 2010, un revenu imposable de 110'361 fr. et une fortune imposable de 376'824 fr.
Pour la période fiscale 2011, A._ a déclaré, le 1 er octobre 2012, un revenu imposable de 131'958 fr. et une fortune imposable de 319'600 fr.
Le 8 octobre 2013, l'Administration cantonale a effectué un contrôle des comptes de l'activité indépendante de A._, notamment en relation avec les périodes fiscales 2008, 2009 et 2011.
Après avoir demandé à plusieurs reprises à la fin de l'année 2013 et au cours de l'année 2014 au contribuable de produire des pièces justificatives, l'Administration cantonale, a, le 30 avril 2015, sommé celui-ci de fournir les pièces sollicitées, en le rendant attentif au fait qu'en cas d'inexécution, elle procéderait à une taxation d'office. A._ n'a pas produit les documents demandés et n'a pas voulu se rendre à l'entrevue proposée par l'Administration cantonale.
Le 29 février 2016, l'Administration cantonale a notifié au contribuable trois décisions de taxation d'office pour les périodes fiscales 2008, 2009 et 2011 et lui a infligé des amendes pour violation des obligations de procédure pour chaque période. Pour 2008, elle a retenu un revenu imposable de 180'000 fr. pour les ICC, de 184'400 fr. pour l'IFD et une fortune imposable de 354'000 fr. Pour 2009, elle a arrêté le revenu imposable à 169'800 fr. pour les ICC, à 174'300 fr. pour l'IFD et la fortune imposable à 427'000 fr. Pour 2011, elle a fixé le revenu imposable à 157'800 fr. pour les ICC, à 162'100 fr. pour l'IFD et la fortune imposable à 352'000 fr. Pour chaque période fiscale, l'Administration cantonale a prononcé une amende de 500 fr. pour les ICC et de 250 fr. pour l'IFD.
Le 31 mars 2016, A._ a formé des réclamations contre les décisions de taxation d'office. Le 4 avril 2016, il a formé réclamation contre les prononcés d'amende (cf. <ref-law>).
Par décision sur réclamation du 10 janvier 2017, l'Administration cantonale a rejeté les réclamations formées contre les décisions de taxation du 29 février 2016, qu'elle a traitées comme des décisions de taxation ordinaires (cf. <ref-law>), et a déclaré irrecevables les réclamations formées à l'encontre des prononcés d'amendes (cf. <ref-law>).
C.
Contre la décision de l'Administration cantonale du 10 janvier 2017, A._ a formé recours auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal), qui l'a rejeté par arrêt du 17 août 2017.
D.
Agissant par la voie du recours en matière de droit public et celle subsidiaire du recours constitutionnel, A._ demande au Tribunal fédéral, sous suite de frais, principalement d'annuler l'arrêt du Tribunal cantonal du 17 août 2017 ainsi que la décision de l'Administration cantonale du 10 janvier 2017 et, subsidiairement, de renvoyer la cause à l'instance précédente pour nouvelle décision dans le sens des considérants. Il sollicite l'effet suspensif.
Le Tribunal cantonal renonce à se déterminer sur le recours, ainsi que sur la requête d'effet suspensif, et se réfère aux considérants de son arrêt. L'Administration cantonale conclut au rejet de la requête d'effet suspensif et du recours. L'Administration fédérale des contributions se rallie au dispositif et aux considérants de l'arrêt du Tribunal cantonal du 17 août 2017, ainsi qu'aux observations de l'Administration cantonale. A._ a déposé des observations finales, dans lesquelles il maintient ses conclusions.
Par ordonnance présidentielle du 5 octobre 2017, la II e Cour de droit public du Tribunal fédéral a rejeté la requête d'effet suspensif.

Considérant en droit :
I. Recevabilité et points de procédure
1.
Le Tribunal cantonal a rendu un seul arrêt valant tant pour l'IFD que pour les ICC du recourant, ce qui est en principe admissible (<ref-ruling> consid. 1.3.1 p. 262 ss), dès lors qu'il ressort clairement dudit arrêt que le litige porte sur les deux catégories d'impôts (cf. <ref-ruling> consid. 1.3.1 p. 262; arrêt 2C_576/2016 du 6 mars 2017 consid. 1.1 non publié in <ref-ruling>). Dans ces circonstances, on ne peut reprocher au recourant d'avoir formé les mêmes griefs et pris des conclusions valant pour les deux catégories d'impôts dans son recours devant le Tribunal fédéral (cf. <ref-ruling> consid. 1.3.3 p. 264).
2.
2.1. L'arrêt attaqué constitue une décision finale (<ref-law>) rendue par une autorité judiciaire supérieure de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF). Il a pour objet les taxations du recourant en matière d'IFD et d'ICC pour les périodes fiscales 2003, 2007, 2008, 2009 et 2011. Comme ce domaine relève du droit public (<ref-law>) et qu'aucune des exceptions prévues à l'<ref-law> n'est réalisée, la voie du recours en matière de droit public est ouverte (cf. aussi art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct [LIFD; RS 642.11] et 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]).
Partant, le recours constitutionnel subsidiaire est irrecevable (<ref-law> a contrario).
2.2. Dans ses conclusions, le recourant demande sans autre précision l'annulation de l'arrêt attaqué, subsidiairement le renvoi de la cause au Tribunal cantonal, alors que le Tribunal fédéral a un pouvoir général de réforme (cf. <ref-law>). On comprend toutefois à la lecture du recours que le recourant estime que la prescription est acquise pour quatre des cinq périodes fiscales concernées (2003, 2007, 2008 et 2009) et qu'il s'oppose, en tout état, à la reprise pour "travaux en cours" en lien avec la période fiscale 2007, ainsi qu'à trois reprises effectuées par l'Administration cantonale et confirmées par le Tribunal cantonal s'agissant des périodes fiscales 2008, 2009 et 2011 (réduction de l'amortissement autorisé d'un véhicule; refus de prendre en compte un forfait pour frais de représentation et refus de la déduction d'un abonnement demi-tarif CFF). Il convient partant de ne pas se montrer trop formaliste (cf. <ref-ruling> consid. 1.3 p. 137) et d'admettre la conclusion en annulation de l'arrêt querellé.
2.3. En revanche, la conclusion tendant à l'annulation de la décision sur réclamation de l'Administration cantonale du 10 janvier 2017 est irrecevable, en raison de l'effet dévolutif complet du recours déposé auprès du Tribunal cantonal (cf. <ref-ruling> consid. 1.2 p. 543). A cela s'ajoute que le recourant perd de vue qu'il n'appartient pas au Tribunal fédéral de contrôler les décisions de l'Administration cantonale, mais de vérifier si le Tribunal cantonal a correctement appliqué le droit. Les critiques du recourant dirigées contre l'Administration cantonale, sur un ton souvent vindicatif, n'ont pas leur raison d'être devant le Tribunal fédéral.
2.4. Au surplus, le recours a été interjeté en temps utile (<ref-law>) et dans les formes prescrites (art. 42 al. 1 et 2 LTF), par le destinataire de l'arrêt attaqué, qui a qualité pour recourir (<ref-law>). Il convient donc d'entrer en matière, sous la réserve qui précède (consid. 2.3).
3.
3.1. D'après l'<ref-law>, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral ainsi que la conformité du droit cantonal harmonisé et de sa mise en pratique par les instances cantonales aux dispositions de la LHID (arrêt 2C_826/2015 du 5 janvier 2017 consid. 2 non publié in <ref-ruling>). Conformément à l'<ref-law> et en dérogation à l'<ref-law>, le Tribunal fédéral ne connaît toutefois de la violation des droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si un tel moyen a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (<ref-ruling> consid. 3 p. 237).
3.2. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 6.3 p. 375).
II. Prescription
4.
Le recourant soutient que la prescription est acquise pour les périodes fiscales 2003, 2007, 2008 et 2009. Il s'agit d'une question que le Tribunal fédéral revoit librement, tant pour l'IFD que pour les ICC, à moins que, s'agissant de ceux-ci, elle soit uniquement régie par le droit cantonal (cf. <ref-ruling> consid. 3.4 p. 172; arrêt 2C_760/2017 du 15 juin 2018 consid. 4).
4.1. Selon l'art. 120 al. 1 première phrase LIFD, le droit de procéder à la taxation se prescrit par cinq ans à compter de la fin de la période fiscale. La prescription ne court cependant pas ou est suspendue pendant les procédures de réclamation, de recours ou de révision (<ref-law>). Par ailleurs, un nouveau délai de prescription commence à courir lorsque l'autorité prend une mesure tendant à fixer ou faire valoir la créance d'impôt et en informe le contribuable ou une personne solidairement responsable avec lui du paiement de l'impôt (<ref-law>). Selon la jurisprudence du Tribunal fédéral, toutes les mesures des autorités tendant à la fixation de la prétention fiscale et portées à la connaissance du contribuable, de mêmes que de simples lettres ou injonctions, interrompent le délai de prescription (<ref-ruling> consid. 3.3 p. 68; <ref-ruling> consid. 3.4.3 p. 281; <ref-ruling> consid. 2c p. 3; arrêt 2C_1098/2014 du 1 er décembre 2015 consid. 5.1). Le Tribunal fédéral a notamment mentionné comme acte interruptif de la prescription l'annonce ou l'accomplissement d'un contrôle des livres (ATF <ref-ruling> consid. 2c p. 3).
Enfin, la prescription du droit de procéder à la taxation est acquise dans tous les cas quinze ans après la fin de la période fiscale (<ref-law>).
4.2. L'<ref-law> retient pour sa part que le droit de taxer se prescrit par cinq ans à compter de la fin de la période fiscale; en cas de suspension ou d'interruption de la prescription, celle-ci est acquise dans tous les cas quinze ans après la fin de la période fiscale.
L'art. 170 de la loi vaudoise sur les impôts directs cantonaux du 4 juillet 2000 (LI/VD; RS/VD 642.11) a par ailleurs un contenu similaire à l'<ref-law>. La question de la prescription peut donc être examinée conjointement pour l'IFD et les ICC.
4.3. En l'occurrence, pour la période fiscale 2003, la prescription du droit de procéder à la taxation est suspendue depuis le 4 mai 2005, date du dépôt de la réclamation du recourant relative à cette période fiscale, soit moins de cinq ans après la fin de la période fiscale en cause. Il n'y a donc pas eu "d'interruption de la prescription après son échéance" comme le fait valoir le recourant, qui confond au surplus suspension et interruption de la prescription. Quant au droit absolu de procéder à la taxation, il ne parviendra à échéance que le 31 décembre 2018.
Pour la période fiscale 2007, la prescription est suspendue depuis le 14 décembre 2012, date du dépôt de la réclamation du recourant relative à cette période fiscale. La suspension étant intervenue avant le délai de cinq ans, qui arrivait à échéance le 31 décembre 2012, le droit de procéder à la taxation n'est pas prescrit. La prescription absolue n'est pas non plus acquise (échéance le 31 décembre 2022).
Pour ces deux périodes fiscales, la prescription n'est par conséquent pas acquise, ni en matière d'IFD, ni en matière d'ICC.
4.4. Pour les périodes fiscales 2008 et 2009, la première décision de taxation n'a été rendue que le 29 février 2016, alors que le délai de prescription de cinq ans à compter de la fin de la période fiscale arrivait à échéance le 31 décembre 2013, respectivement le 31 décembre 2014. Cela étant, comme l'a à juste titre souligné l'autorité précédente, le contrôle des comptes de l'activité indépendante du recourant, intervenu dans les locaux de l'intéressé le 8 octobre 2013, soit moins de cinq ans après la fin des périodes fiscales en cause, a eu pour effet d'interrompre la prescription et un nouveau délai de cinq ans a commencé à courir. La décision du 29 février 2016 est partant intervenue dans les délais; la prescription est en outre suspendue depuis la réclamation du recourant le 31 mars 2016. Par ailleurs, la prescription absolue n'est pas atteinte. Pour ces deux périodes fiscales, la prescription n'est donc pas acquise, ni pour l'IFD, ni pour les ICC.
Le droit de procéder à la taxation n'est enfin pas prescrit s'agissant de la période fiscale 2011, ce que le recourant ne conteste pas.
III. Période fiscale 2003
5.
Pour la période fiscale 2003, le recourant fait uniquement valoir la prescription. Ainsi qu'il a été vu, celle-ci n'est pas acquise. Il convient donc de confirmer l'arrêt entrepris en tant qu'il porte sur cette période, tant pour l'IFD que pour les ICC, attendu que si le Tribunal fédéral applique le droit d'office (cf. <ref-law>), il n'examine, compte tenu de l'exigence de motivation figurant à l'<ref-law>, en principe que les griefs invoqués (cf. <ref-ruling> consid. 1.5 p. 144).
IV. Impôt fédéral direct, périodes fiscales 2007, 2008, 2009 et 2011
6.
Pour la période fiscale 2007, le recourant estime que l'autorité fiscale a de manière arbitraire ajouté à son revenu des travaux en cours à hauteur de 1/8 e du chiffre d'affaires. Il fait valoir qu'en tant qu'agent d'affaires breveté, il serait tenu de facturer périodiquement ses honoraires, par le biais de relevés intermédiaires. Il n'y aurait pas d'autre règle de facturation des affaires en cours, pour lesquelles les honoraires ne pourraient de toute façon pas être déterminés.
6.1. Sont imposables tous les revenus provenant de l'exploitation d'une entreprise commerciale, industrielle, artisanale, agricole ou sylvicole, de l'exercice d'une profession libérale ou de toute autre activité lucrative indépendante (<ref-law>).
6.2. Selon le principe de la périodicité de l'impôt sur le revenu, l'impôt dû pour une période fiscale donnée se calcule sur la base du revenu réalisé et des frais tombant durant cette période. Ce principe implique que l'on attribue un revenu à la période fiscale au cours de laquelle il a été réalisé. L'attribution d'un revenu à une période fiscale s'effectue ainsi selon le principe de la réalisation, qui y est lié (cf. <ref-ruling> consid. 6.4.4 p. 364; arrêts 2C_784/2017 du 8 mars 2018 consid. 7.4; 2C_683/2013 du 13 février 2014 consid. 6.3, résumé in RDAF 2015 II 88). Selon la jurisprudence, un revenu est réalisé lorsqu'une prestation est faite au contribuable ou que ce dernier acquiert une prétention ferme sur laquelle il a effectivement un pouvoir de disposition (cf. <ref-ruling> consid. 2e p. 26; <ref-ruling> consid. 4a p. 242; arrêts 2C_784/2017 du 8 mars 2018 consid. 7.5; 2C_445/2015 du 26 août 2016 consid. 6.3.3; 2C_1050/2015 du 13 juin 2016 consid. 2.2; 2C_454/2015 du 1 er avril 2016 consid. 4.1). En règle générale, l'acquisition d'une prétention est déjà considérée comme un revenu dans la mesure où son exécution ne paraît pas incertaine. Ce n'est que si cette exécution paraît d'emblée peu probable que le moment de la perception réelle de la prestation est pris en considération (<ref-ruling> consid. 2e p. 26; <ref-ruling> consid. 4a p. 242; arrêt 2C_152/2015 du 31 juillet 2015 consid. 4.3). Dans le cas d'honoraires résultant de contrats de mandat, la prétention est acquise au moment où le mandat confié a été porté à son terme, ou, pour simplifier, au moment de la facturation (cf. arrêts 2C_907/2012 du 22 mai 2013 consid. 5.2.2, in RF 68 2013 714; 2C_157/2010 du 12 décembre 2010 consid. 4.1, in RDAF 2011 II 418). Pour pouvoir se baser sur la facturation, il est cependant nécessaire que celle-ci ne soit pas artificiellement retardée (cf. arrêts 2C_907/2012 du 22 mai 2013 consid. 5.2.2; 2C_157/2010 du 12 décembre 2010 consid. 4.1).
Dans ce contexte, un problème particulier se pose en lien avec les travaux ou activités en cours, soit des prestations non encore terminées, en particulier dans les contrats portant sur une longue période. Sur le principe, ces travaux en cours doivent être comptabilisés (cf. arrêts 2C_907/2012 du 22 mai 2013 consid. 5.2.2 à 5.2.4; 2C_157/2010 du 12 décembre 2010 consid. 4.1 et 4.2; 2A.196/1988 du 30 août 1989 consid. 3b; ROBERT DANON, in Commentaire de la LIFD, 2 e éd. 2017, n o 94 ad art. 58; XAVIER OBERSON, Droit fiscal suisse, 4 e éd. 2012, §7, n o 71; PETER LOCHER, Kommentar zum DBG, I. Teil, 2001, n o 69 ad <ref-law>; cf. l'ancien <ref-law> [RO 1992 733], abrogé avec la révision du 23 décembre 2011 [RO 2012 6679] et les actuels art. 959a al. 1 let. d et 958b CO). La difficulté tient toutefois à la manière de calculer le revenu généré (cf. arrêts 2C_907/2012 du 22 mai 2013 consid. 5.2.3; 2C_157/2010 du 12 décembre 2010 consid. 4.2 et 4.3; 2P.3/2002 du 3 avril 2002 consid. 2c). Selon la jurisprudence du Tribunal fédéral, les activités en cours doivent être évaluées à leur valeur de production ("coût de revient") et non à celle de leur facturation prévue, sauf en cas de retard artificiel dans celle-ci (cf. arrêt 2C_907/2012 du 22 mai 2013 consid. 5.2.3). Le "coût de revient" peut toutefois être défini de manière plus ou moins précise. Au niveau cantonal, il est souvent fait recours à des évaluations forfaitaires (voir, pour des exemples, arrêt 2C_157/2010 du 12 décembre 2010 consid. 4.3).
6.3. Les indépendants ne tenant pas de comptabilité commerciale doivent présenter un état des actifs et des passifs et un relevé de leurs recettes et dépenses (cf. <ref-law> dans sa version en vigueur jusqu'au 31 décembre 2015 applicable au cas d'espèce et, depuis le 1 er janvier 2016, <ref-law>). Sous l'angle du moment de la réalisation du revenu, il est admis que les indépendants qui ne sont pas astreints à la tenue d'une comptabilité commerciale et qui n'en tiennent pas une peuvent choisir la méthode de l'encaissement (dite "Ist-Methode"), selon laquelle un revenu est réputé réalisé au moment de l'encaissement seulement (cf. ATF <ref-ruling> consid. 4a p. 242; arrêts 2C_1015/2015 du 8 décembre 2016 consid. 5.7.1; 2C_404/2013 du 2 mai 2014 consid. 3.3.5, in RDAF 2014 II 513; 2A.338/1998 du 11 février 2000 consid. 2a, in RF 55 2000 500).
6.4. En l'occurrence, il résulte de l'arrêt entrepris que le recourant n'a joint à sa déclaration d'impôt pour la période fiscale 2007 qu'un détail de ses recettes et dépenses professionnelles. Il n'a pas fait parvenir un état de ses actifs et passifs. Le recourant n'a pas indiqué de travaux en cours.
Selon les faits de l'arrêt entrepris, le recourant aurait pu opter pour la méthode de l'encaissement, car il n'avait pas l'obligation de tenir une comptabilité commerciale. Le recourant a toutefois confirmé qu'il appliquait le principe de la facturation pour établir sa comptabilité. Par conséquent, les travaux en cours auraient dû être comptabilisés et l'autorité fiscale était fondée à procéder à une reprise sur ce point. Le fait que le recourant soit tenu de facturer périodiquement ses honoraires et s'acquitte de cette obligation n'y change rien, dans la mesure où il n'est pas établi dans l'arrêt attaqué que ces factures intermédiaires auraient couvert l'intégralité des travaux réalisés au cours de la période fiscale 2007. L'allégation contraire du recourant est appellatoire et ne peut donc être prise en considération (cf. supra consid. 3.2). Enfin, on relèvera qu'il n'est pas question d'imposer deux fois le même revenu comme le prétend le recourant, mais uniquement de tenir compte des revenus générés durant chaque période fiscale, étant relevé qu'il résulte du dossier (cf. <ref-law>) que l'Administration cantonale a tenu compte l'année suivante (période fiscale 2008) des montants ajoutés au titre des travaux en cours durant la période fiscale 2007.
6.5. Ainsi qu'il a été vu, la difficulté en lien avec les travaux en cours réside dans la manière de les estimer. En l'occurrence, à défaut d'indications fournies par le recourant sur ses travaux en cours, l'Administration cantonale a arrêté à un 1/8 e du chiffre d'affaires le montant de ces travaux, ce que le Tribunal cantonal a confirmé. Le recourant, qui s'en prend essentiellement au principe de la reprise des activités en cours dans le chiffre d'affaires, relève que ce montant est arbitraire, mais ne fait pas valoir, ni ne démontre qu'il ne correspondrait pas à l'activité déployée, de sorte que l'arrêt entrepris peut être confirmé sur ce point.
6.6. Il suit de ce qui précède que le recours doit être rejeté en ce qui concerne l'IFD de la période fiscale 2007.
7.
Pour les périodes fiscales 2008, 2009 et 2011, le recourant se plaint de la manière dont l'amortissement de son véhicule a été calculé par l'Administration cantonale et du refus de celle-ci de prendre en compte deux déductions, l'une pour frais de représentation et l'autre pour des frais d'abonnement CFF.
7.1. A titre liminaire, il est relevé que, bien que l'Administration cantonale a rendu initialement des décisions de taxation d'office s'agissant des périodes fiscales 2008, 2009 et 2011, elle a, dans sa décision sur réclamation du 10 janvier 2017, requalifié celles-ci de taxations ordinaires et n'a partant pas soumis la réclamation du recourant aux conditions formelles de l'<ref-law> (cf., sur ces conditions, <ref-ruling> consid. 4c p. 557). Elle ne s'est pas non plus limitée à l'examen de l'éventuel caractère manifestement inexact de ses décisions (cf. art. 132 al. 3 première phrase LIFD). Le Tribunal cantonal n'est pas revenu sur ce point et a examiné librement les critiques du recourant. Il en sera partant fait de même.
7.2. Le recourant se plaint de la manière dont l'Administration cantonale a calculé l'amortissement de son véhicule, acquis selon les faits de l'arrêt entrepris le 2 septembre 2009. Il estime que l'amortissement d'un bien se calcule toujours sur la valeur "initiale" et non pas sur la valeur résiduelle.
7.2.1. En droit fiscal, les amortissements sont admis en déduction du bénéfice imposable pour autant que, s'agissant de personnes physiques, le contribuable exerce une activité indépendante, et que le bien amorti appartienne à sa fortune commerciale (art. 27 al. 1 et 2 let. a et 28 LIFD). Ils doivent être justifiés par l'usage commercial et correspondre à une dépréciation réelle des actifs (<ref-ruling> consid. 2.2 p. 178). L'amortissement ordinaire devrait correspondre à la dépréciation réelle du bien, qui peut varier d'un exercice à l'autre. Toutefois, la méthode consistant à répartir l'amortissement en fonction de la durée probable de vie de l'actif peut être utilisée pour des raisons de simplification (cf. <ref-law>). L'amortissement mathématique peut se présenter sous deux formes: l'amortissement linéaire se calcule sur la valeur d'acquisition ou sur le prix de revient, de sorte que le montant de l'amortissement est constant d'année en année; l'amortissement dégressif est basé sur la valeur comptable résiduelle. Le montant de l'amortissement sera ainsi plus élevé au cours des premières années d'utilisation (<ref-ruling> consid. 2.2 p. 178). En principe, les taux d'amortissement admis sur le plan fiscal sont fixés par les autorités fiscales; tel est le cas pour l'impôt fédéral direct (cf. Administration fédérale des contributions, Notice A 1995 relative aux amortissements sur les valeurs immobilisées des entreprises commerciales). Selon cette notice, l'amortissement pour un véhicule à moteur est de 40 % sur la valeur comptable résiduelle; en cas d'amortissement sur la valeur d'acquisition, le taux est de 20 %.
7.2.2. Il découle de ce qui précède que, contrairement à ce que soutient le recourant, il est parfaitement admissible de calculer l'amortissement d'un bien sur la valeur comptable résiduelle. Le montant de l'amortissement retenu par l'Administration cantonale, correspondant à 40 % de la valeur résiduelle, se révèle même plus favorable au recourant qu'un calcul fondé sur la valeur d'acquisition, car le véhicule venait d'être acheté en 2009 et le taux d'amortissement admis est plus bas. Pour le surplus, le recourant ne prétend pas qu'il existerait en l'occurrence des motifs justifiant un amortissement plus élevé que celui retenu par l'Administration cantonale pour son véhicule. Le grief du recourant ne peut donc qu'être rejeté.
7.3. S'agissant du forfait pour frais de représentation, le recourant fait uniquement valoir que ce forfait a toujours été admis par l'Administration cantonale lors de précédentes taxations. Il invoque la protection de la bonne foi (art. 5 al. 3 Cst.) et l'interdiction de l'arbitraire (art. 9 Cst.).
Selon la jurisprudence constante, les décisions de taxation n'ont en principe d'effet que pour la période fiscale qu'elles concernent et ne lient pas l'autorité de taxation pour les périodes ultérieures (<ref-ruling> consid. 8 p. 167 et les arrêts cités). Par conséquent, le fait que l'autorité de taxation ait pu admettre lors de périodes fiscales antérieures un forfait pour frais de représentation ne pouvait constituer l'assurance qu'il en irait toujours de même.
Au demeurant, il résulte de l'arrêt entrepris que les frais du recourant ayant trait à des frais de représentation ont déjà été pris en considération au titre des frais généraux effectifs. Le recourant ne le conteste pas, de sorte qu'on ne voit pas pour quelle raison l'Administration cantonale aurait dû admettre en sus le forfait pour frais de représentation. Le grief est donc rejeté.
7.4. Pour ce qui a trait à l'abonnement CFF, le recourant se plaint de ce qu'il n'a pas été pris en compte dans ses frais généraux.
Dans son arrêt, le Tribunal cantonal a retenu que le recourant n'avait pas démontré que l'abonnement CFF servait exclusivement à ses transports professionnels.
Le recourant se contente de prétendre le contraire, sans démontrer en quoi la constatation du Tribunal cantonal serait inexacte ou arbitraire, de sorte qu'il n'y a pas lieu de s'écarter du constat de l'autorité cantonale (cf. <ref-law>; cf. supra consid. 3.2). Il résulte par ailleurs de l'arrêt entrepris que le recourant disposait d'un véhicule commercial (cf. aussi supra consid. 6.2), ce qui n'est pas contesté par l'intéressé. Dans ces conditions, on ne voit pas pour quel motif la déduction pour l'abonnement CFF aurait dû être admise au titre des charges déductibles de l'activité indépendante. Le grief du recourant doit donc être rejeté.
7.5. Le recourant ne conteste pas le prononcé d'irrecevabilité contenu dans la décision sur réclamation du 10 janvier 2017 s'agissant des amendes qui lui ont été infligées pour les trois périodes fiscales susmentionnées. Il n'y a donc pas lieu de revenir sur ce point.
7.6. Il suit de ce qui précède que recours doit être rejeté en ce qui concerne l'IFD des périodes fiscales 2008, 2009 et 2011.
V. Impôt cantonal et communal
8.
8.1. La notion de revenu imposable de la LHID et du droit cantonal correspond à celle de la loi sur l'impôt fédéral direct (cf. <ref-law> dans sa teneur en vigueur à la période fiscale litigieuse [RO 1991 1256]; art. 21 al. 1 LI/VD). Il en va de même s'agissant des obligations qui s'imposent aux contribuables notamment lorsque le revenu provient d'une activité lucrative indépendante (<ref-law>; art. 175 LI/VD [dans leur teneur en vigueur avant le 1 er janvier 2016]). Partant, les considérations développées pour l'impôt fédéral direct trouvent à s'appliquer aux impôts cantonal et communal de la période fiscale 2007. Il y a donc aussi lieu de rejeter le recours pour ce qui a trait aux ICC de cette période fiscale.
8.2. S'agissant des périodes fiscales 2008, 2009 et 2011, les règles relatives aux déductions revendiquées par le recourant ont un contenu similaire en matière d'impôts cantonal et communal à celles exposées en matière d'IFD (cf. <ref-law>; art. 31 et 32 LI/VD). Il peut donc également être renvoyé à ce qui précède. Partant, le recours doit être rejeté en tant qu'il concerne les ICC des périodes fiscales 2008, 2009 et 2011.
VI. Issue du litige, frais et dépens
9.
En résumé, le recours doit être rejeté, dans la mesure de sa recevabilité, tant en ce qui concerne l'IFD que les ICC des périodes fiscales 2003, 2007, 2008, 2009 et 2011.
Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours en matière de droit public est rejeté dans la mesure où il est recevable en tant qu'il concerne l'impôt fédéral direct des périodes fiscales 2003, 2007, 2008, 2009 et 2011.
2.
Le recours en matière de droit public est rejeté dans la mesure où il est recevable en tant qu'il concerne les impôts cantonal et communal des périodes fiscales 2003, 2007, 2008, 2009 et 2011.
3.
Le recours constitutionnel subsidiaire est irrecevable.
4.
Les frais judiciaires, arrêtés à 4'500 fr., sont mis à la charge du recourant.
5.
Le présent arrêt est communiqué au recourant, à l'Administration cantonale des impôts et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 16 août 2018
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber