Faits:
A. X._, horloger de profession, a élu domicile à Gland depuis le 1er mai 2004.
Au 1er janvier 2004, l'intéressé détenait la totalité du capital-action de la société Y._ SA, à Genève (ci-après: Y._ SA ou la société). L'actif de cette société était composé d'une quinzaine d'immeubles, dont celui où X._ était domicilié. Par convention du 25 mars 2004, les actions de Y._ SA ont été vendues à Z._, pour un prix de 1'636'706 fr. 99. X._ a toutefois racheté ces actions le 20 octobre 2004, en s'acquittant d'un montant de 800'000 fr. Entretemps, la société avait cédé la plupart de ses biens immobiliers. Y._ SA avait notamment vendu, le 20 octobre 2004, l'immeuble sis à Gland à la société A._ SA, à Genève, détenue par X._, pour le prix de 3'070'000 fr. A la fin de l'année 2004, Y._ SA ne possédait plus aucun bien dans le canton de Vaud.
B. Le 17 octobre 2005, X._ a été sommé de déposer sa déclaration d'impôt pour l'année 2004 dans les trente jours. Cette sommation étant restée sans réponse, l'Office d'impôt de Nyon a, par décision du 28 février 2007, taxé d'office le contribuable pour l'année 2004. Il a fixé le revenu imposable à 15'803'200 fr. pour les impôts cantonal et communal, ainsi qu'à 15'881'500 fr. pour l'impôt fédéral direct, et a arrêté la fortune imposable à 33'943'000 fr.; les impôts cantonal et communal s'élevaient ainsi à 4'980'262 fr. 80 et l'impôt fédéral direct à 1'826'372 fr. 50. Cette décision était en outre assortie des amendes de 5'000 fr. pour l'impôt cantonal et de 2'500 fr. pour l'impôt fédéral. Elle mentionnait expressément que la réclamation, qui devait être motivée et indiquer les moyens de preuve, ne pouvait être déposée qu'au motif que la taxation était manifestement inexacte, sous peine d'irrecevabilité.
Le 19 mars 2007, X._ a déposé une réclamation contre cette taxation d'office. Il alléguait que les décisions de taxation prises par les autorités genevoises, sur lesquelles s'était basée l'administration vaudoise, faisaient l'objet d'un contrôle et sollicitait un délai pour faire parvenir les déclarations 2004 et 2005 du canton de Genève, afin d'établir correctement les taxations de ces deux années. Le réclamant a demandé l'annulation de la décision de taxation d'office et la fixation d'un entretien. Il n'a pas contesté les amendes prononcées à son encontre. Le 18 avril 2007, le contribuable a remis à l'autorité sa déclaration d'impôt 2004.
Le 10 juillet 2007, les mandataires du contribuable ont été entendus par l'Administration cantonale vaudoise des impôts (ci-après: l'Administration cantonale).
Par décision du 23 juillet 2007, l'Administration cantonale a déclaré irrecevable la réclamation du 19 mars 2007, au motif qu'elle n'exposait pas en quoi la de taxation d'office était manifestement inexacte, et a confirmé la décision du 28 février 2007.
C. X._ a recouru contre cette décision auprès du Tribunal cantonal vaudois (Cour de droit administratif et public), en faisant notamment valoir qu'il n'avait pas pu présenter ses arguments de manière circonstanciée dans le cadre de la réclamation, dès lors que la taxation d'office indiquait un revenu de 15 millions pour une activité dépendante, qualifiée ultérieurement d'activité indépendante en qualité de commerçant professionnel d'immeubles par l'Administration cantonale.
Le 29 février 2008, dans le cadre de l'instruction du recours devant le Tribunal cantonal, il s'est plaint également de n'avoir pas reçu la sommation du 17 octobre 2005.
Par arrêt du 10 juin 2009, le Tribunal cantonal a rejeté le recours et confirmé la décision sur réclamation de l'Administration cantonale du 28 février 2007 (recte: 23 juillet 2007). Il a retenu que, dans sa réclamation, le recourant n'avait mentionné que des motifs très généraux qui ne permettaient pas de savoir "quels éléments s'étaient révélés grossièrement contraires à la réalité", pas plus qu'il n'avait "offert de façon précise et complète des preuves à l'appui de ses griefs". La juridiction cantonale a par ailleurs estimé que le recourant aurait dû faire valoir l'absence de sommation dans le cadre de la réclamation elle-même et non pas seulement au cours de l'instruction du recours.
D. X._ forme auprès du Tribunal fédéral un recours en matière de droit public et conclut, avec suite de frais et dépens, à l'annulation de l'arrêt du Tribunal cantonal du 10 juin 2009, la cause étant renvoyée à l'Administration cantonale pour qu'elle prenne une nouvelle décision dans le sens des considérants.
Le Tribunal cantonal se réfère à son arrêt et relève que la composition du Tribunal figurant sur l'arrêt attaqué résulte d'une inadvertance manifeste, Cédric Stucker s'étant lui-même récusé le 27 avril 2009. L'Administration cantonale se réfère également à l'arrêt attaqué et conclut au rejet du recours.
L'Administration fédérale des contributions conclut au rejet du recours dans la mesure où il est recevable, avec suite de frais.
Par ordonnance présidentielle du 9 septembre 2009, la demande d'effet suspensif contenue dans le recours a été admise.
Le 3 décembre 2009, l'Administration cantonale a produit une copie de la décision de taxation d'office du 28 février 2007, ainsi que la lettre- type qu'elle envoie à tous les contribuables n'ayant pas rempli leur déclaration d'impôt.

Considérant en droit:
1. 1.1 L'arrêt attaqué concerne la réclamation contre une décision de taxation d'office portant aussi bien sur l'impôt fédéral direct que sur les impôts cantonal et communal de la période fiscale 2004. Comme ce domaine relève du droit public et qu'aucune des exceptions prévues à l'<ref-law> n'est réalisée, la voie du recours en matière de droit public est ouverte sur la base de l'<ref-law>. L'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) confirme du reste expressément cette voie de droit pour l'impôt fédéral direct. Il en va de même pour les impôts cantonal et communal litigieux: la réclamation contre une taxation d'office étant une matière harmonisée à l'art. 48 al. 2 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14), la voie du recours en matière de droit public est donc aussi ouverte en vertu de l'<ref-law> (<ref-ruling>, consid. 1.1 p. 188).
1.2 Le recours est dirigé contre une décision finale (<ref-law>) rendue dans une cause de droit public (<ref-law>) par un tribunal supérieur statuant en dernière instance cantonale (art. 86 a. 1 let. d et al. 2 LTF). Déposé en temps utile (100 al. 1 LTF) par le recourant qui a un intérêt digne de protection à son annulation ou à sa modification (art. 89 al. 1 let. b et c LTF), le présent recours est en principe recevable comme recours en matière de droit public.
1.3 D'après l'<ref-law>, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral. Selon l'<ref-law>, en revanche, le Tribunal fédéral n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal, sous réserve d'exceptions (cf. art. 95 let. c, d et e LTF) non réalisées en l'espèce, que si ces griefs ont été invoqués et motivés de façon suffisante par le recourant (cf. <ref-law>; <ref-ruling> consid. 5.2 p. 30 s.; <ref-ruling> consid. 1.4 p. 254; <ref-ruling> consid. 6 p. 397 et la jurisprudence citée).
2. 2.1 Invoquant l'art. 30 al. 1 Cst., le recourant se plaint tout d'abord de la composition irrégulière du Tribunal cantonal, telle que figurant sur l'arrêt attaqué, soit Xavier Michellod, président, Dino Venezia et Cédric Stucker, assesseurs. Or, en cours de procédure, les parties ont été avisées que Dino Venezia serait remplacé par Fernand Briguet, à la suite de la demande de récusation spontanée de Cédric Stucker du 27 avril 2009, au motif que ce dernier avait participé à l'instruction du dossier lorsqu'il travaillait au sein de l'Administration cantonale.
Dans sa réponse au recours, le président a affirmé que la Cour avait bien statué sans Cédric Stucker et que le fait qu'il figurait dans la composition mentionnée sur l'arrêt résultait d'une inadvertance.
2.2 Selon l'art. 30 al. 1 Cst., toute personne dont la cause doit être jugée dans une procédure judiciaire a droit à ce qu'elle soit portée devant un tribunal établi par la loi, compétent, indépendant et impartial. Le droit à un tribunal établi par la loi est notamment violé lorsqu'un des juges a déjà participé à la décision attaquée à un stade antérieur de la procédure (cf. <ref-ruling> consid. 3.2 p. 92).
Les explications fournies par le Tribunal cantonal démontrent que l'art. 30 al. 1 Cst. n'a pas été violé dans le cas d'espèce, puisque le Tribunal a effectivement statué sans le juge Cédric Stucker. En revanche, la désignation figurant sur l'arrêt attaqué est erronée, dès lors que son remplacement par le juge Fernand Briguet ne figure pas sur la première page de ladite décision. Il s'agit cependant d'une inadvertance qui ne justifie pas à elle seule l'annulation de la décision entreprise, mais sa rectification. En effet, selon l'art. 42 al. 1 let. a de la loi vaudoise sur la procédure administrative du 28 octobre 2008 (LPA; RSVD 173.36), la décision doit contenir le nom de l'autorité qui a statué et sa composition, s'il s'agit d'une autorité collégiale. Cette exigence légale doit être respectée et ne souffre d'aucune exception (cf. arrêt 1C_235/2008 du 13 mai 2009, consid. 2 relatif à la composition irrégulière de la Cour de droit administratif et public du Tribunal cantonal vaudois). Même si la loi ne prévoit pas expressément une rectification d'office dans le cas d'une composition qui serait indiquée de façon erronée (cf. art. 472a et 302 al. 2 du code de procédure civile vaudoise, applicables en vertu de l'art. 109 al. 2 LPA), les parties ont donc le droit de recevoir une version rectifiée de l'arrêt attaqué, si tel n'a pas déjà été le cas.
I. Impôt fédéral direct.
3. La taxation d'office est opérée si, malgré sommation, le contribuable n'a pas satisfait à ses obligations (<ref-law>). Condition nécessaire à la taxation d'office, la sommation mentionne les conséquences qui découleront de l'exécution de l'acte requis, à savoir le prononcé d'une taxation d'office assortie le cas échéant d'une amende pour violation des obligations de procédure (cf. Isabelle Althaus-Houriet, Commentaire romand de la LIFD, n. 18 ad art. 130, p. 1259 et Hugo Casanova, Commentaire romand de la LIFD, n. 26 ad art. 132, p. 1278 ).
En l'espèce, le recourant se plaint, comme devant le Tribunal cantonal, de ne pas avoir reçu la sommation du 17 octobre 2005. De fait, le dossier ne contient pas de copie de cette sommation expédiée par lettres-type adressées à tous les contribuables n'ayant pas déposé leur déclaration d'impôt 2004. Dans l'arrêt attaqué, le Tribunal cantonal a estimé que ce grief aurait dû être présenté lors de la réclamation contre la taxation d'office du 28 février 2007 et ne l'a pas examiné. Or, le recourant ne dit pas en quoi les premiers juges auraient violé ou fait une application arbitraire des règles de procédure. Il se borne à relever l'absence de sommation, mais ne prétend pas qu'il aurait allégué ce grief dans sa réclamation et ne formule aucune critique à l'encontre de l'arrêt attaqué sur ce point. Faute d'être motivé conformément aux exigences de l'<ref-law>, son grief est donc irrecevable. Au demeurant, en vertu du principe de la bonne foi, on peut attendre de l'administré qu'il indique dès que possible les vices de procédure dont il peut soupçonner l'existence (<ref-ruling> consid. 3a p. 207; <ref-ruling> consid. 2b p. 283 et les arrêts cités; voir aussi arrêts 6A.100/2006 du 28 mars 2007 consid. 2.2.2 et 1A.59/2003 du 17 mars 2004 consid. 2.6). En l'espèce, le recourant n'a indiqué qu'il n'avait pas reçu la sommation du 17 octobre 2005, ni dans le cadre de la procédure de réclamation, ni dans son recours, mais uniquement dans le cadre de l'instruction de la cause devant le Tribunal cantonal, le 29 février 2008. En pareilles circonstances, les juges cantonaux pouvaient, sans violer le droit fédéral, considérer que ce vice était invoqué tardivement et ne pas entrer en matière sur la question.
4. 4.1 A teneur de l'<ref-law>, le contribuable qui a été taxé d'office peut déposer une réclamation contre cette taxation uniquement pour le motif qu'elle est manifestement inexacte. La réclamation doit être motivée et indiquer, le cas échéant, les moyens de preuve. L'obligation de motiver la réclamation contre une taxation d'office est une exigence formelle dont la violation entraîne l'irrecevabilité de la réclamation (<ref-ruling>, consid. 2.3 p. 551; <ref-ruling> consid. 4c p. 557). Le contribuable ne peut, dans le cadre d'une réclamation contre une taxation d'office, se limiter à une contestation globale ou à une contestation partielle de positions uniques, car cela ne permet pas d'examiner d'emblée si la taxation d'office est manifestement inexacte (cf. arrêt 2A.39/2004 du 29 mars 2005, consid. 5.2, publié notamment in RF 60/2005 p. 520 et traduit in RDAF 2005 II p. 564). Il doit en tout cas être possible de reconnaître ce que le réclamant conteste dans la décision attaquée, par exemple le principe de la taxation d'office ou le montant de l'estimation opérée, ainsi que les arguments pertinents en fait et en droit sur lesquels il s'appuie (Hugo Casanova, op. cit, n. 23 ad art 132, p. 1277). Ainsi, le contribuable ne doit pas se contenter de mettre en doute la taxation d'office, mais doit prouver que celle-ci ne correspond pas à la situation réelle. Si la production de la déclaration d'impôt non déposée n'est pas une condition de recevabilité de la réclamation (cf. arrêt 2C_579/2008 du 29 avril 2009, consid. 2.2 et les arrêts cités, publié in StE 2009 B 95.1 no 14), il appartient toutefois au réclamant de présenter les faits de manière suffisamment détaillée et de mentionner les moyens de preuve relatifs à cet état de fait (arrêt précité consid. 2.1).
En l'espèce, le représentant du recourant à l'époque a, dans sa réclamation du 19 mars 2007, non seulement omis de produire une déclaration d'impôt dûment remplie pour la période fiscale 2004, mais n'a pas non plus présenté un état de fait qui aurait permis de constater que la taxation d'office était manifestement inexacte. Il s'est contenté de dire que le contribuable faisait l'objet d'un contrôle pour ses impôts genevois sur les années 2001 à 2003 et qu'il avait été également taxé à Genève pour l'année 2004, sur la base de la déclaration déposée dans ce canton. Ce mandataire n'a pas davantage expliqué pourquoi il contestait la position de la taxation d'office concernant l'activité dépendante. Pour le reste, il demandait un délai pour le dépôt de la déclaration d'impôt 2005 et sollicitait un rendez-vous lorsque les déclarations d'impôt 2004 et 2005 seraient prêtes. Force est donc de constater que la réclamation ne remplit pas les exigences de motivation posées par la loi et la jurisprudence. Au vu du contenu sommaire de la réclamation du recourant, l'autorité cantonale n'a pas abusé de son pouvoir d'appréciation en refusant d'entrer en matière.
4.2 Il est vrai que, dans son recours auprès du Tribunal cantonal, comme devant le Tribunal fédéral, le recourant a fait valoir que l'administration fiscale n'ayant pas donné de précisions quant aux bases de la taxation, il avait dû contester la taxation d'office dans son ensemble, en invoquant implicitement son caractère manifestement inexact et qu'il n'aurait de toute façon pas pu apporter la preuve d'un fait négatif, à savoir l'absence d'activité lucrative dépendante. Ce n'est en effet que lors de l'entrevue avec les collaborateurs de l'Administration cantonale du 10 juillet 2007 qu'il aurait appris que les gains de 15'838'202 fr. retenus provenaient de l'activité lucrative indépendante de commerçant d'immeubles qu'il aurait déployée et sur les rendements de fortune liés à des prestations en argent.
Cette argumentation n'est toutefois pas de nature à modifier les constations de l'arrêt attaqué car, dans sa réclamation du 19 mars 2007, le recourant n'a présenté aucun état de fait, ni offres de preuve pour une taxation concernant la période fiscale 2004, alors que rien ne l'aurait empêché de le faire. Il admet du reste lui-même n'avoir contesté qu'implicitement son contenu manifestement inexact. Dans ces circonstances, l'autorité fiscale pouvait considérer que le contribuable n'avait pas remédié aux actes manqués dans la procédure de taxation d'office, de sorte qu'elle n'était pas tenue d'entrer en matière sur la réclamation (cf. arrêt 2C_620/2007 du 2 juillet 2008, consid. 2.1, publié in StE 2009 B 95.1 no 13 et les références citées).
4.3 Dans la mesure où la réclamation a été déclarée à juste titre irrecevable, il n'y a pas lieu d'entrer en matière sur les critiques du recourant concernant la taxation d'office elle-même.
A cet égard, la position du recourant, selon laquelle, même si le caractère irrecevable de la réclamation devait être admis, il ne devrait pas être empêché de faire la démonstration du caractère manifestement inexact de la décision devant les instances supérieures ne peut être suivie. En effet, elle revient à vider de son sens les exigences formelles de l'<ref-law>, dès lors qu'il suffirait au contribuable ayant négligé de remplir ses propres obligations et ayant été taxé d'office, de réparer les conséquences prévues par la loi dans le cadre de la procédure de recours (cf. ATF <ref-ruling> consid. 3c p. 558 ss).
4.4 Il s'ensuit que les premiers juges pouvaient, sans violer le droit fédéral, ni abuser de leur pouvoir d'appréciation, confirmer le refus d'entrer en matière de l'Administration cantonale. Le recours doit dès lors être rejeté dans la mesure où il est recevable en tant qu'il porte sur l'impôt fédéral direct.
II. Impôts cantonal et communal.
5. Au terme de l'<ref-law>, le contribuable qui a été taxé d'office peut déposer une réclamation contre cette taxation uniquement pour le motif qu'elle est manifestement inexacte. La réclamation doit être motivée et indiquer, le cas échéant, les moyens de preuves. L'art. 186 al. 2 de la loi vaudoise sur les impôts directs cantonaux du 4 juillet 2000 (LI; RSVD 642.11) a la même teneur.
Cette règlementation ne diffère pas de celle applicable en matière d'impôt fédéral direct et le recourant ne différencie pas non plus les griefs qu'il présente en matière d'impôt fédéral direct de ceux concernant les impôts cantonal et communal. Les mêmes principes sont dès lors valables pour les deux catégories d'impôts (cf. arrêt 2A.72/2004 du 4 juillet 2005, consid. 5, publié in RF 60/2005 p. 973). Il y a donc lieu de renvoyer à l'argumentation développée ci-dessus pour rejeter le recours en matière d'impôts cantonal et communal dans la mesure où il est recevable.
6. Au vu de ce qui précède, le recours doit être rejeté dans la mesure de sa recevabilité. Le frais judiciaire seront mis la charge du recourant en fonction de la valeur litigieuse (art. 65 al. 2 et al. 3 let. b et <ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 30'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, à l'Administration cantonale des impôts et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 21 décembre 2009
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Müller Rochat