Faits:
A. Les époux A.X._ et B.X._ sont domiciliés à Genève. Professionnel de l'immobilier, A.X._ a été administrateur unique de la société Y._ SA, laquelle a été radiée du registre du commerce, au terme de sa liquidation, le 6 septembre 2005.
Le 9 mars 1999, les époux X._ ont transmis à l'Administration fiscale genevoise (ci-après: l'Administration fiscale) les éléments définitifs de leur déclaration pour l'impôt cantonal et communal 1998 (base de calcul 1997) et pour l'impôt fédéral direct 1999-2000. Il en ressortait qu'ils n'avaient ni revenu ni fortune. Sous la rubrique "intérêts et dettes chirographaires" figurait une dette de 6 millions fr. à l'égard de la mère de A.X._, domiciliée en France.
Le 8 octobre 1999, l'Administration fiscale a informé les contribuables de l'ouverture d'une procédure de vérification des déclarations d'impôts.
Le 3 février 2000, A.X._ a retourné la déclaration pour l'impôt cantonal et communal 1999 (base de calcul 1998) et pour l'impôt fédéral direct 1999-2000. Celle-ci faisait état d'un revenu imposable négatif et d'une fortune imposable de 243'854 fr. La dette de 6 millions fr. y figurait toujours.
Entendu le 21 juin 2000 par l'Administration fiscale, A.X._ a expliqué que le montant de 6 millions fr. avait été remis de main à main. Par conséquent, il n'y avait pas eu de transfert d'un compte à un autre et il n'existait pas d'autre preuve écrite de l'existence de ce prêt. Le prénommé a également admis que ce dernier ne figurait pas dans l'inventaire successoral de sa mère, décédée entre-temps.
Le 14 mai 2002, à l'issue de la procédure de vérification, l'Administration fiscale a adressé aux époux X._ un bordereau de rappel d'impôt pour la période 1998. Il en résultait un supplément d'impôt cantonal de 1'885'889 fr. 65, du fait que le montant de 6 millions fr. avait été repris comme revenu, la réalité du prêt n'étant pas établie. Une amende leur a en outre été infligée.
Les époux X._ ont contesté cette reprise ainsi que l'amende devant l'Administration fiscale puis la Commission cantonale de recours en matière d'impôts, qui les ont déboutés. Ils ont saisi le Tribunal administratif cantonal, en prétendant nouvellement - tout en persistant dans leur argumentation antérieure - que le montant de 6 millions fr. serait le résultat d'une erreur de leur précédent comptable. Par arrêt du 30 novembre 2004, entré en force, le Tribunal administratif a confirmé le bien-fondé de la reprise, s'agissant de l'impôt cantonal et communal.
B. Le 21 juin 2005, l'Administration fiscale a adressé aux époux X._ un bordereau d'impôt fédéral direct pour la période 1999-2000. Cet impôt se montait à 324'564 fr. 50 par année. Il avait été calculé sur un revenu imposable moyen de 2'822'300 fr., obtenu en reprenant le montant de 6 millions fr. à titre de revenu pour l'année de calcul 1997.
Les époux X._ ont contesté cette taxation successivement devant l'Administration fiscale, la Commission cantonale de recours de l'impôt fédéral direct et le Tribunal administratif genevois, qui les ont déboutés. Dans son arrêt du 2 septembre 2008, cette dernière autorité a relevé que, dans son prononcé du 30 novembre 2004 relatif à l'impôt cantonal et communal, elle avait confirmé la reprise litigieuse, pour le motif que les recourants n'avaient jamais démontré à satisfaction de droit que le montant de 6 millions fr. provenait d'un prêt ou d'une donation ou encore qu'il s'agissait d'une erreur commise par leur précédent mandataire. Or, rien ne justifiait une solution différente s'agissant de l'impôt fédéral direct.
C. A l'encontre de cet arrêt, A.X._, agissant par l'entremise d'une fiduciaire, déclare former un recours au Tribunal fédéral.
L'autorité précédente s'en remet à justice quant à la recevabilité du recours; sur le fond, elle persiste dans les considérants et le dispositif de son arrêt. L'Administration fiscale cantonale s'en remet également à justice s'agissant de la recevabilité du recours, dont elle propose le rejet sur le fond, sous suite de frais. L'Administration fédérale des contributions, Division principale de l'impôt fédéral direct, de l'impôt anticipé et des droits de timbre, conclut au rejet du recours dans la mesure où il est recevable. La Commission cantonale de recours de l'impôt fédéral direct a renoncé à se déterminer.
Considérant en droit:
1. 1.1 Le recourant n'a pas indiqué par quelle voie de recours il procède devant le Tribunal fédéral. Cette imprécision ne saurait lui nuire si son acte satisfait aux exigences légales de la voie de droit qui lui est ouverte (concernant le choix erroné d'une voie de recours, cf. ATF 134 III 379 consid. 1.2 p. 382), à savoir le recours en matière de droit public, s'agissant d'un litige en matière de droit public (cf. art. 82 lettre a LTF) ne tombant pas sous le coup des exceptions de l'art. 83 LTF.
1.2 Aux termes de l'art. 42 al. 1 LTF, le mémoire de recours doit contenir les conclusions et les motifs à l'appui de celles-ci. Les motifs doivent exposer succinctement en quoi l'acte attaqué viole le droit (art. 42 al. 2 LTF). Pour satisfaire à cette obligation de motiver, le recourant doit discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit; il n'est pas indispensable qu'il indique expressément les dispositions légales - le numéro des articles de loi - ou les principes de droit qui auraient été violés; il suffit qu'à la lecture de son exposé, on comprenne clairement quelles règles de droit auraient été, selon lui, transgressées par l'autorité intimée (cf. ATF 133 IV 119 consid. 6.3 p. 120 s., 286 consid. 1.4 p. 287). Saisi d'un recours en matière de droit public, le Tribunal fédéral applique en effet le droit d'office (art. 106 al. 1 LTF).
Le recourant ne saurait en outre se contenter de renvoyer aux actes cantonaux ou de reproduire la motivation déjà présentée dans la procédure cantonale: l'art. 42 al. 2 LTF exige qu'il discute au moins de manière succincte les considérants de la décision attaquée (ATF 134 II 244 consid. 2.1-2.3 p. 246 s.; 133 II 396 consid. 3.1 p. 399 s. et la jurisprudence citée).
1.3 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Le recourant qui invoque que les faits ont été établis de manière manifestement inexacte (art. 97 al. 1 LTF), c'est-à-dire, pour l'essentiel, que les constatations de fait sont arbitraires au sens de l'art. 9 Cst. (ATF 134 IV 36 consid. 1.4.1 p. 39), doit démontrer par une argumentation précise en quoi consiste la violation (art. 106 al. 2 LTF). Les faits ont été établis de manière arbitraire lorsqu'ils se trouvent clairement en contradiction avec la situation réelle, qu'ils reposent sur une erreur manifeste ou que rien ne peut les justifier objectivement (ATF 133 III 393 consid. 7.1 p. 398 et les références). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature purement appellatoire (ATF 133 III 393 consid. 6 p. 397).
1.4 En l'occurrence, le recourant critique de manière générale le point de vue des autorités ayant statué dans les différentes procédures liées au traitement fiscal du montant de 6 millions fr., au lieu de se focaliser sur l'arrêt du Tribunal administratif du 2 septembre 2008, qui constitue le seul objet de la présente contestation. En outre, il conteste la reprise non seulement pour ce qui est de l'impôt fédéral direct, mais aussi s'agissant de l'impôt cantonal et communal, alors qu'à cet égard ladite reprise a fait l'objet d'une décision du 30 novembre 2004 entrée en force. Par ailleurs, le recourant se limite à présenter sa propre version des événements, sans tenter de démontrer en quoi les faits retenus par l'autorité précédente auraient été établis de façon manifestement inexacte, c'est-à-dire arbitraire, comme l'exigent les dispositions mentionnées ci-dessus (consid. 1.3). Il se borne à renvoyer aux actes de procédure déposés et aux pièces justificatives produites devant les instances précédentes, en qualifiant de choquant le fait que ces pièces n'aient pas été "reconnues ni analysées" par ces instances, mais sans expliquer pourquoi. Il soutient également que la reprise litigieuse ne repose "sur aucune base légale", alors que l'arrêt entrepris se réfère, dans la partie en droit, à l'art. 16 al. 1 LIFD et à la théorie de l'accroissement de la fortune nette, jurisprudence à l'appui.
Une telle motivation ne satisfait pas aux exigences posées par les art. 42 al. 1 et 2 et 106 al. 2 LTF, telles qu'elles ont été rappelées ci-dessus (consid. 1.2 et 1.3). A cela s'ajoute que le recours ne contient pas de véritables conclusions sur le fond, en violation de l'art. 42 al. 1 LTF.
Dans ces conditions, le recours doit être déclaré irrecevable. Si l'art. 40 al. 1 LTF consacre, en matière de droit public, une exception au monopole des avocats, il ne dispense toutefois pas les représentants n'appartenant pas à cette profession de respecter les règles élémentaires de la procédure devant le Tribunal fédéral.
2. Compte tenu de ce qui précède, le recours est irrecevable.
Le recourant qui succombe doit supporter les frais judiciaires (cf. art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. Des frais judiciaires de 10'000 fr. sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, à l'Administration fiscale, à la Commission cantonale de recours de l'impôt fédéral direct et au Tribunal administratif du canton de Genève, ainsi qu'à l'Administration fédérale des contributions, Division principale de l'impôt fédéral direct.
Lausanne, le 19 mars 2009
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Müller Vianin