Faits:
A. X._ est en litige avec l'Administration cantonale vaudoise des impôts (ci-après l'Administration cantonale), qui lui reproche diverses soustractions et tentatives de soustraction fiscales.
A.a Par arrêt du 7 avril 2003 (causes 2P.215/2002 et 2A.479/2002), le Tribunal fédéral a rejeté, dans la mesure de sa recevabilité, le recours de droit administratif formé par X._ à l'encontre d'un arrêt du Tribunal administratif vaudois du 20 août 2002 et déclaré irrecevable le recours de droit public interjeté parallèlement contre ce même arrêt. Le litige portait sur une procédure de soustraction fiscale concernant l'impôt cantonal et communal (ICC) pour les périodes 1991-1992, 1993-1994 et 1995-1996. Il était reproché à X._ de n'avoir pas déclaré tous ses revenus ni tous les éléments de sa fortune en relation avec la société Y._, dont il a été retenu qu'il était le véritable ayant droit économique, et avec la société Z._ Holding SA, dont il détenait l'entier du capital-actions. Selon cet arrêt, c'était à bon droit que les juges cantonaux avaient admis que les conditions de la soustraction fiscale étaient réalisées.
A.b Parallèlement, X._ a fait l'objet d'autres procédures pour soustraction fiscale concernant l'impôt fédéral direct (IFD) relatif aux périodes allant de 1991 à 1996, d'une part, et de 1997 à 2002, d'autre part; il en va de même pour l'impôt cantonal et communal (ICC) des périodes comprises entre 1999 et 2002.
Le 14 mars 2003, l'Administration cantonale a rejeté la réclamation formée par le recourant concernant l'IFD des trois périodes comprises entre 1991 et 1996; le 25 novembre 2005, elle a rejeté les réclamations portant sur l'IFD des trois périodes allant de 1997 à 2002, ainsi que sur l'ICC des deux périodes comprises entre 1999 et 2002.
Par arrêt du 14 juin 2007, le Tribunal administratif du canton de Vaud (devenu par la suite la Cour de droit administratif et public du Tribunal cantonal; ci-après: le Tribunal cantonal) a joint les causes concernant les deux réclamations précitées et a admis partiellement le recours interjeté par X._, au sujet de reprises fiscales relatives à un prêt. Il a annulé la décision sur réclamation du 25 novembre 2005 et a renvoyé la cause à l'Administration cantonale pour qu'elle statue à nouveau sur les reprises et les amendes sans tenir compte de ce prêt.
A.c Le 10 juillet 2007, l'Administration cantonale a rendu une nouvelle décision, admettant partiellement la réclamation et déterminant à nouveau le revenu et la fortune imposables du recourant, tant en matière d'ICC que d'IFD, pour les périodes considérées. Elle a fixé une nouvelle fois les amendes, mais uniquement dans les motifs et non dans le dispositif de sa décision. X._ n'a pas recouru contre cette décision dans le délai légal, mais a contesté ultérieurement le plan de recouvrement du montant à payer. L'Administration cantonale, par décision du 27 novembre 2007, a traité cette contestation comme une réclamation et l'a déclarée irrecevable au motif que sa décision précitée du 10 juillet 2007 était entrée en force.
Par arrêt du 10 juin 2008, le Tribunal cantonal a admis le recours formé par X._ contre la décision du 27 novembre 2007, l'a annulée et a renvoyé la cause à l'Administration cantonale pour nouvelle décision. Il a enjoint à l'autorité de statuer sur les amendes qui n'avaient pas été formellement arrêtées dans le dispositif de la décision du 10 juillet 2007. Cet arrêt est entré en force.
B. Le 3 novembre 2008, l'Administration cantonale a admis partiellement la réclamation concernant les amendes et a fixé celles-ci à 21'400 fr. pour l'IFD 1997-1998, à 110'800 fr. pour l'ICC 2001-2002 et à 33'100 fr. pour l'IFD 2001-2002.
Par arrêt du 30 juin 2009, le Tribunal cantonal a rejeté le recours déposé par X._ et a confirmé la décision du 3 novembre 2008. Les juges ont retenu en substance que le contribuable avait sciemment omis de mentionner dans ses déclarations d'impôt litigieuses des éléments de revenu et de fortune. Ainsi, alors qu'il savait pertinemment qu'il était le détenteur de la société Z._ Holding SA, il n'en avait volontairement pas déclaré la totalité des actions. Ces éléments ont fait l'objet des reprises à l'origine des amendes contestées. Comme les taxations relatives aux périodes fiscales en cause n'étaient pas entrées en force au moment où l'infraction de soustraction avait été découverte, il n'y avait que tentative. Le courrier produit par le recourant et daté du 15 août 2003, qui contenait une liste des éléments de revenu et de fortune ayant fait l'objet d'un rappel d'impôt pour les années 1991 à 1996, dont le recourant précisait qu'il contestait l'attribution dans son revenu et sa fortune, n'était pas propre à démontrer l'absence de tentative de soustraction ni ne pouvait être tenu pour une dénonciation spontanée. En outre, les amendes, fixées à deux tiers des montants soustraits, étaient justifiées compte tenu de la situation de l'auteur de l'infraction.
C. Contre l'arrêt du 30 juin 2009, X._ interjette un recours en matière de droit public au Tribunal fédéral. Il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué et à ce qu'aucune amende ne soit prononcée à son encontre pour les périodes fiscales 1997-1998 et 2001-2002, subsidiairement à ce que la cause soit renvoyée à l'autorité inférieure pour nouvelle décision.
L'effet suspensif requis à titre préalable par X._ a été refusé par ordonnance du Président de la IIe Cour de droit public du 7 août 2009.
Le Tribunal cantonal n'a pas présenté d'observations, se référant à son arrêt, à l'instar de l'Administration cantonale, qui renvoie également à sa décision du 3 novembre 2008 et à ses déterminations de première instance du 28 janvier 2009. L'Administration fédérale des contributions ne s'est pas prononcée dans le délai imparti à cet effet.

Considérant en droit:
1. Le litige concerne le bien-fondé d'amendes pour tentatives de soustraction fiscale prononcées tant en matière d'ICC que d'IFD. Il relève donc du droit public (<ref-law>). L'arrêt attaqué est une décision finale (<ref-law>) rendue par une autorité judiciaire cantonale supérieure de dernière instance (art. 86 al. 1 lettre d et al. 2 LTF), sans qu'aucune des exceptions prévues à l'<ref-law> ne soit réalisée, de sorte que la voie du recours en matière de droit public est ouverte. Interjeté en temps utile (<ref-law>) et dans la forme prévue par la loi (<ref-law>), par le contribuable qui, en tant que destinataire de la décision attaquée le condamnant à payer des amendes, a indéniablement qualité pour recourir (<ref-law>), le présent recours est recevable.
2. 2.1 D'après l'<ref-law>, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral. Selon l'<ref-law>, en revanche, il n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal, sous réserve d'exceptions (cf. art. 95 let. c, d et e LTF) non réalisées en l'espèce, que si ces griefs ont été invoqués et motivés de façon suffisante par le recourant (cf. <ref-law>; <ref-ruling> consid. 1.4 p. 254; <ref-ruling> consid. 6 p. 397 et la jurisprudence citée).
2.2 Le Tribunal fédéral statue sur la base des faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ceux-ci n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). La notion de "manifestement inexacte" de l'<ref-law> correspond à celle d'arbitraire au sens de l'art. 9 Cst. (ATF <ref-ruling> consid. 7.1 p. 398). Le recourant qui entend remettre en cause les faits doit donc démontrer de manière suffisante en quoi ceux-ci seraient arbitraires (cf. <ref-law>). Les critiques de type appellatoire ne sont pas recevables (cf. <ref-ruling> consid. 1.4 p. 254 s.).
3. Les amendes litigieuses concernent l'IFD pour les périodes 1997-1998 et 2001-2002 et l'ICC pour la période 2001-2002. L'arrêt attaqué doit donc être examiné sous l'angle de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et du droit cantonal vaudois. Ce dernier doit être appliqué en conformité à la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14), car l'ICC porte sur la période 2001-2002 et la soustraction d'impôt figure au titre 6 de la LHID (cf. <ref-law>).
I. Impôt fédéral direct
4. 4.1 En premier lieu, il convient de s'assurer que l'infraction n'est pas atteinte par la prescription absolue. Certes, depuis la modification, au 1er octobre 2002, des règles sur la prescription figurant dans le Code pénal, le risque que l'action pénale se prescrive durant la procédure devant le Tribunal fédéral, ce qui justifiait l'examen d'office de cette question (<ref-ruling> consid. 5.4 p. 52; <ref-ruling> consid. 2a p. 81 s.), n'existe plus, puisque l'art. 333 al. 6 let. d CP prévoit désormais que la prescription de l'action pénale ne court plus si, avant son échéance, un jugement de première instance a été rendu. En l'espèce cependant, les actes reprochés au recourant pour la période fiscale 1997-1998 ont été commis avant l'entrée en vigueur des nouvelles règles sur la prescription, de sorte que l'ancien droit, plus favorable sur ce point, continue de s'appliquer (cf. <ref-law>). L'examen de la prescription s'impose donc.
4.2 Jusqu'à la modification du 1er octobre 2002, le délai de prescription absolue était de 6 ans en matière de tentative de soustraction fiscale (cf. <ref-law> combiné à l'art. 184 al. 2 in fine LIFD). Désormais, il est de huit ans sur la base de l'<ref-law>, applicable jusqu'à l'adaptation de la LIFD (XAVIER OBERSON, Droit fiscale suisse, 3e éd. Bâle 2007, § 26 n. 43; PIETRO SANSONETTI, Commentaire LIFD, Bâle 2007, n. 25 ad <ref-law>). En vertu de l'<ref-law>, le délai de prescription ne commence à courir qu'à compter de la clôture définitive de la procédure au cours de laquelle la tentative de soustraction a été commise.
En l'occurrence, la procédure de taxation à l'origine des amendes pour tentative de soustraction s'est terminée avec l'entrée en force de la décision de l'Administration cantonale du 10 juillet 2007. Par suite, que l'on applique le délai de prescription absolue de 8 ans ou de 6 ans pour les tentatives commises avant l'entrée en vigueur du nouveau droit (cf. <ref-law>), la prescription n'est pas acquise.
5. Invoquant une violation de l'<ref-law>, le recourant considère qu'il n'y a eu ni tentative de tromperie, ni intention de tromper.
5.1 Selon l'<ref-law>, celui qui tente de se soustraire à l'impôt sera puni d'une amende. La tentative de soustraction (<ref-law>) se situe entre les actes préparatoires d'une soustraction, qui ne sont pas punissables, et la soustraction consommée (<ref-law>), qui l'est (arrêt 2A.719/2004 du 11 mai 2005, in Archives 75 p. 483, consid. 4). Le comportement illicite réprimé correspond à celui de la soustraction fiscale de l'<ref-law> (Sansonetti, op. cit., n. 6 ad art. 176 LFD; Roland Sieber, Kommentar DGB I/2b, n. 1 ad <ref-law>). Dans la procédure de taxation (<ref-law>), il suffit que le contribuable donne à l'autorité fiscale des renseignements inexacts, en particulier en fournissant une déclaration d'impôt incomplète et qui n'est pas conforme à la vérité au sens de l'<ref-law> (Sansonetti, op. cit., n. 8 ad <ref-law>; Diane Monti, Les contraventions fiscales en droit fiscal harmonisé, thèse Lausanne 2001, p. 86). Pour qu'il y ait tentative, l'autorité de taxation doit découvrir que les renseignements fournis sont inexacts avant que la décision de taxation ne soit entrée en force, car après, la soustraction est consommée (cf. arrêts 2A.168/2006 du 8 mars 2007 in StE 2007 B 101.21 no 17 consid. 3; 2A.719/2004 précité consid. 4). Sur le plan subjectif, l'<ref-law> ne prévoit rien. D'après la jurisprudence, la tentative de soustraction fiscale suppose un agissement intentionnel de l'auteur (arrêts 2A.168/2006 précité consid. 3; 2A.194/2002 du 25 avril 2003 in RF 59/2004 p. 58 consid. 2.3; 2A.351/2002 du 5 novembre 2002 in RDAF 2003 II p. 632 consid. 3.1). Cette conséquence, qui découle du concept même de tentative au sens du droit pénal (Bernard Corboz, Code pénal I, Bâle 2009, n, 182 ad <ref-law>), correspond à l'<ref-law> applicable en vertu de l'<ref-law> (Richner/Frei/Kaufmann, Handkommentar zum DBG, Zurich 2009, n. 2 s. ad <ref-law>) et l'emporte sur l'<ref-law>, selon lequel les contraventions prévues par d'autres lois fédérales sont punissables même quand elles ont été commises par négligence, à moins qu'il ne ressorte de la disposition applicable que la contravention est réprimée seulement si elle a été commise intentionnellement.
5.2 Il est reproché au recourant d'avoir volontairement omis de mentionner, dans ses déclarations d'impôts afférentes aux périodes 1997-1998 et 2001-2002, l'ensemble des éléments de son revenu et de sa fortune, en relation avec la société Z._ Holding SA dont il n'avait pas déclaré la totalité des actions, bien qu'il en fût le détenteur. Un tel comportement équivaut à celui réprimé à l'<ref-law>, puisque les déclarations fiscales du recourant relatives à ces périodes, qui ne comportaient pas l'ensemble des éléments de son revenu, étaient inexactes au sens de l'<ref-law>.
Le recourant ne le nie du reste pas, mais considère qu'il n'avait pas à mentionner, dans ses déclarations 1997-1998 et 2001-2001, qu'il était propriétaire de la totalité des actions de Z._ Holding SA et de l'entier de la créance chirographaire de Y._, dès lors qu'en 1998, l'administration fiscale n'ignorait rien de ces éléments, ceux-ci faisant déjà l'objet de procédures pour soustraction fiscale pour les périodes 1991 à 1996. Une telle position ne peut être suivie. En effet, la loi exige que la déclaration mentionne l'ensemble des revenus du contribuable, y compris ceux qui ne sont pas imposables (Isabelle Althaus-Houriet, Commentaire LIFD, n. 19 ad <ref-law>). Le recourant ne pouvait donc simplement taire des éléments de son revenu, ce d'autant que l'administration fiscale lui reprochait déjà de ne pas les avoir déclarés les années précédentes. Tout au plus, s'il estimait ces éléments comme non imposables, devait-il l'indiquer dans sa déclaration en ajoutant une mention ad hoc (cf. Sieber, op. cit., n. 9 ad art. 175; Richner/Frei/Kaufmann/Meuter, op. cit., n. 15 ad <ref-law>). On ne voit pas en quoi l'existence de procédures pour soustraction fiscale en cours qui portaient sur les déclarations des années antérieures dispensait le recourant de toute mention. Au contraire, ce dernier ne pouvait ignorer que le fait de ne pas déclarer l'entier des actions de Z._ Holding SA et des créances litigieuses était considéré comme une infraction par les autorités fiscales. Que, sur un poste, il ait finalement obtenu gain de cause devant le Tribunal cantonal, ne change rien au caractère litigieux de ces données et à l'obligation de les faire figurer dans sa déclaration d'impôt. A suivre le recourant, il suffirait au contribuable de contester le caractère imposable de son revenu pour ne pas devoir le déclarer.
5.3 Le recourant se prévaut d'un courrier du 15 août 2003 qui démontrerait, selon lui, l'absence de toute tromperie et de toute intention de tromper, car il y mentionnerait les éléments litigieux. Ce courrier contient une annexe qui énumère les postes de revenu et de fortune ayant fait l'objet de tous les rappels d'impôt pour les périodes 1991 à 1996. Le recourant précise aussi qu'il conteste l'attribution de ces éléments à son revenu et à sa fortune imposables. Il ne ressort toutefois pas de ce document que le recourant entendît modifier ses déclarations d'impôts pour les périodes litigieuses ou qu'il fût prêt à déclarer ces éléments. Au contraire, cette lettre ne fait que confirmer sa position. On ne peut donc la considérer comme un document rectifiant les déclarations d'impôts incomplètes déposées auparavant.
5.4 Lorsque la taxation en matière d'IFD afférente aux périodes 1997-1998 et 2001-2002 a été définitivement tranchée par la décision de l'Administration cantonale du 10 juillet 2007, la poursuite concernant la tentative de soustraction était déjà en cours, puisque les amendes étaient mentionnées dans les motifs de cette décision. Par conséquent, il y a bien eu tentative de soustraction fiscale.
5.5 Quant à l'élément subjectif, l'arrêt attaqué retient l'intention du recourant, ce qui suppose que ce dernier ait agi avec conscience et volonté (cf. <ref-law>, applicable par le renvoi combiné des <ref-law> et 104 CP; cf. YVAN JEANNERET, Code pénal I, Bâle 2009, n. 2 ad <ref-law>), question relevant du fait (MONTI, op. cit., p. 88). Selon la jurisprudence, la preuve d'un comportement intentionnel doit être considérée comme apportée, lorsqu'il est établi de façon suffisamment sûre, que le contribuable était conscient que les informations données étaient incorrectes ou incomplètes. Si tel est le cas, il faut présumer qu'il a volontairement voulu tromper les autorités fiscales, ou du moins qu'il a agi par dol éventuel afin d'obtenir une taxation moins élevée; cette présomption ne se laisse pas facilement renverser, car l'on peine à imaginer quel autre motif pourrait conduire un contribuable à fournir au fisc des informations qu'il sait incorrectes ou incomplètes (cf. <ref-ruling> consid. 3a p. 29 s.; confirmé in arrêts précités 2A.168/2006 consid. 3 et 2A.351/2002 consid. 3.3).
Selon les constatations cantonales, qui lient le Tribunal fédéral (cf. arrêt 2A.538/1998 du 30 juin 1999 in RDAF 1999 II p. 535 consid. 3a), le recourant a sciemment omis de mentionner dans ses déclarations d'impôts litigieuses des éléments de revenu et de fortune. Dès lors qu'il ne conteste pas ces faits, il ne saurait reprocher au Tribunal cantonal d'avoir admis qu'il avait agi intentionnellement.
5.6 En retenant que le comportement du recourant était constitutif de tentative de soustraction fiscale, les juges cantonaux n'ont donc pas violé l'<ref-law>.
6. A titre subsidiaire, le recourant s'en prend au montant des amendes infligées. Il invoque à nouveau son courrier du 15 août 2003 qui, selon lui, aurait dû être considéré comme une dénonciation spontanée et entraîner une réduction de l'amende au sens de l'<ref-law>. Au surplus, il considère le montant mis à sa charge comme disproportionné.
6.1 La dénonciation spontanée est également applicable à la tentative de soustraction (SANSONETTI, op. cit., n. 18 ad. <ref-law>; MONTI, op. cit., p. 91; RICHNER/FREI/KAUFMANN/MEUTER, op. cit., n. 11 ad <ref-law>). Jusqu'au 31 janvier 2009, celle-ci n'entraînait qu'une réduction de la peine au cinquième de l'impôt soustrait (cf. art. 175 al. 3 aLIFD). Depuis le 1er janvier 2010, le législateur a prévu que le contribuable n'encourt pas d'amende pour sa première dénonciation spontanée, l'amende demeurant réduite d'un cinquième pour toute dénonciation spontanée ultérieure (cf. art. 175 al. 3 et 4 LIFD). On peut se demander si, en vertu de la lex mitior, également applicable à la répression des infractions fiscales (art. 2 al. 2 et 333 al. 1 CPS; arrêt 2A.719/2004 précité p. 483, consid. 2), cette modification légale ne devrait pas être prise en compte. Certes, selon la jurisprudence rendue sous l'ancienne loi fédérale d'organisation judiciaire du 16 décembre 1943 (OJ; RO 3 521), lorsque, comme en l'espèce, le droit plus favorable était entré en vigueur alors que la procédure était pendante devant le Tribunal fédéral, la lex mitior ne s'appliquait pas, car le pourvoi en nullité selon les anciens art. 268 ss PPF était de nature purement cassatoire (cf. arrêt 6S.52/2007 du 23 mars 2007 consid. 3). Dès lors qu'en vertu de l'<ref-law>, le Tribunal fédéral peut désormais statuer lui-même sur le fond (cf. <ref-law>), on peut s'interroger sur le maintien de cette pratique (en ce sens, JEAN GAUTIER, Code pénal I, Bâle 2009, n. 29 ad <ref-law>; JEANNERET/ROTH, Le recours en matière pénale, in Les recours au Tribunal fédéral, Zurich 2007, p. 130). Il n'y a toutefois pas lieu d'entrer plus avant sur ce point, car, de toute façon, la déclaration du recourant d'août 2003 ne remplit ni les conditions du nouvel <ref-law>, ni les exigences de l'ancien droit, pour être qualifiée de dénonciation spontanée. En effet, la notion même de dénonciation suppose que le contribuable annonce de lui-même son infraction à l'autorité fiscale alors que celle-ci n'en a encore pas eu connaissance d'une autre manière (RICHNER/FREI/KAUFMANN/MEUTER, op. cit., n. 126 ss ad <ref-law>; SANSONETTI, op. cit., n. 49 ad <ref-law>; <ref-law>). En l'occurrence, le recourant, en août 2003, n'a pas fait une annonce de son infraction à l'autorité fiscale, puisqu'il a rappelé qu'il contestait expressément le caractère imposable des éléments énumérés qui ne figuraient pas dans ses déclarations fiscales. De plus, à cette époque, des procédures pour soustraction fiscale relatives à la non-déclaration de ces mêmes éléments étaient en cours, de sorte que l'autorité fiscale était déjà au courant de l'infraction. Le recourant ne peut donc se plaindre de ce que le Tribunal cantonal n'a pas appliqué l'<ref-law>.
6.2 Reste à examiner si, en fixant les amendes aux deux tiers des montants soustraits, les autorités ont correctement appliqué le droit fédéral.
Selon la règle figurant à l'<ref-law>, l'amende pour tentative de soustraction fiscale est fixée aux deux tiers de la peine qui serait infligée si la soustraction avait été commise intentionnellement et consommée. En vertu de l'<ref-law>, l'amende est en règle générale fixée au montant de l'impôt soustrait. Elle peut être réduite jusqu'au tiers de ce montant si la faute est légère; si la faute est grave, elle peut au plus être triplée. Il en découle qu'en présence d'une infraction intentionnelle sans circonstances particulières, l'amende équivaut en principe au montant de l'impôt soustrait (SANSONETTI, op. cit., n. 44 ad art. 175). Ce dernier constitue donc le premier critère de fixation de l'amende (SANSONETTI, op. cit., n. 42 ad art. 175), la faute intervenant seulement, mais de manière limitée, comme facteur de réduction ou d'augmentation de sa quotité (cf. art. 175 al. 2 2ème phrase LIFD). Le recourant critique l'importance accordée au montant de l'infraction pour déterminer l'amende, perdant de vue que ce critère découle de la loi elle-même. Au demeurant, dans la mesure où elles respectent le cadre légal, les autorités fiscales cantonales disposent d'un large pouvoir d'appréciation lors de la fixation de l'amende, de sorte que le Tribunal fédéral n'intervient qu'en cas d'abus ou d'excès de celui-ci (<ref-ruling> consid. 4a p. 31; confirmé notamment in arrêts 2C_26/2007 du 10 octobre 2007 in RDAF 2009 II p. 120 consid. 6; 2A.583/2004 du 21 avril 2005 consid. 4.3).
6.3 Les juges cantonaux n'ont pas admis l'existence d'une faute légère eu égard aux montants soustraits et à la volonté du recourant de profiter d'un système peu transparent de détention fictive par un établissement étranger. Ils ont également tenu compte du comportement particulièrement récalcitrant et peu coopératif de l'intéressé à l'égard des autorités fiscales, celui-ci persistant à ne pas déclarer l'entier des actions de Z._ Holding SA, alors qu'il ne pouvait ignorer en être le détenteur. Pour autant, ils n'ont pas retenu de facteur aggravant. En pareilles circonstances, on ne voit pas qu'en fixant l'amende sur la base d'une faute moyenne, les juges aient abusé de leur pouvoir d'appréciation. Au contraire, ils n'ont fait montre d'aucune sévérité excessive, compte tenu de l'attitude du recourant, telle qu'elle ressort des constatations cantonales.
Par conséquent, en fixant le montant de l'amende pour tentative de soustraction aux deux tiers du montant soustrait, l'arrêt attaqué ne viole en rien le droit fédéral. Le recours doit donc être rejeté en ce qu'il concerne l'IFD.
II. Impôt cantonal et communal
7. L'<ref-law>, qui impose de réprimer la tentative de soustraction, contient des règles similaires à l'<ref-law>. Quant au droit cantonal, l'art. 243 de loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux (RS-VD 642.11), consacré à la tentative de soustraction, reprend la règle prévue à l'<ref-law>. Au demeurant, le recourant n'indique pas que le droit cantonal contiendrait une réglementation différente de la loi sur l'impôt fédéral direct ni qu'il serait en contradiction avec la LHID. En conséquence, les considérations développées ci-dessus pour l'impôt fédéral direct s'appliquent mutatis mutandis aux impôts cantonal et communal. Le recours doit ainsi également être rejeté en ce qui concerne l'amende pour tentative de soustraction fiscale prononcée pour l'ICC 2001-2002.
8. Compte tenu de l'issue du litige, les frais judiciaires sont mis à la charge du recourant qui succombe (<ref-law>). Il ne sera pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté tant en ce qu'il concerne l'impôt fédéral direct que les impôts cantonal et communal.
2. Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux participants à la procédure, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Administration fédérale des contributions, Division principale de l'impôt fédéral direct, de l'impôt anticipé, des droits de timbre.
Lausanne, le 16 mars 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Müller Addy