Faits: Faits: A. X._, domicilié à Genève, exerce la profession d'avocat à titre indépendant; il est propriétaire de plusieurs immeubles locatifs. Dans ses déclarations pour l'impôt fédéral direct 1997-1998, il a mentionné, pour les années de calcul 1995 et 1996, respectivement un revenu net nul et de 299'220 fr. Le 11 juin 1999, l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration fiscale cantonale) lui a notifié un bordereau pour l'impôt fédéral direct 1997-1998. Le revenu déterminant se montait à 2'950'400 fr., le revenu imposable à 874'000 fr. et l'impôt à 201'020 fr. pour les deux années. A la suite d'une réclamation de X._, l'Administration fiscale cantonale lui a fait parvenir un procès-verbal de taxation en date du 3 novembre 1999. Il en ressortait que ladite administration avait pris en compte, pour l'année de calcul 1996, un montant de 5'585'182 fr. correspondant à deux excédents de liquidation de sociétés immobilières, soit celui de la SI A._ de 2'757'790 fr. et celui de la SI B._ en liquidation de 2'827'392 fr. Ajoutés aux autres revenus, il en résultait un revenu moyen net total de 2'950'451 fr. Le procès-verbal mentionnait que le revenu non imposable, soit 2'076'421 fr., comprenait, notamment, une exonération de 75% sur l'excédent de liquidation. L'Administration fiscale cantonale a partiellement admis la réclamation de X._. Le 5 juin 2000, elle a émis un bordereau rectificatif de l'impôt fédéral direct 1997-1998. Le revenu déterminant était de 2'893'400 fr., le revenu imposable de 816'800 fr. et l'impôt de 187'864 fr. pour les deux années. Ladite administration a toutefois maintenu l'imposition des excédents de liquidation avec les autres revenus imposables de X._. Le 4 décembre 2002, la Commission cantonale de recours de l'impôt fédéral direct a rejeté le recours de l'intéressé. Le Tribunal administratif du canton de Genève (ci-après: le Tribunal administratif) a fait de même par arrêt du 25 mai 2004, après avoir entendu différents témoins. Il a jugé qu'en ce qui concerne l'impôt fédéral direct, les excédents de liquidation obtenus par un actionnaire doivent, légalement, être ajoutés aux autres revenus et soumis ensemble à l'impôt sur le revenu. Il a aussi retenu que l'enquête avait démontré qu'aucune des personnes de l'Administration fiscale cantonale contactées par X._ avant de liquider ses sociétés immobilières ne lui avaient indiqué qu'il aurait droit, pour l'impôt fédéral direct, à une taxation séparée des excédents de liquidation. Le principe de la bonne foi n'avait ainsi pas été violé. Le 4 décembre 2002, la Commission cantonale de recours de l'impôt fédéral direct a rejeté le recours de l'intéressé. Le Tribunal administratif du canton de Genève (ci-après: le Tribunal administratif) a fait de même par arrêt du 25 mai 2004, après avoir entendu différents témoins. Il a jugé qu'en ce qui concerne l'impôt fédéral direct, les excédents de liquidation obtenus par un actionnaire doivent, légalement, être ajoutés aux autres revenus et soumis ensemble à l'impôt sur le revenu. Il a aussi retenu que l'enquête avait démontré qu'aucune des personnes de l'Administration fiscale cantonale contactées par X._ avant de liquider ses sociétés immobilières ne lui avaient indiqué qu'il aurait droit, pour l'impôt fédéral direct, à une taxation séparée des excédents de liquidation. Le principe de la bonne foi n'avait ainsi pas été violé. B. Agissant par la voie du recours de droit administratif, X._ demande au Tribunal fédéral, sous suite de frais, d'annuler l'arrêt du Tribunal administratif du 25 mai 2004, de condamner l'Administration fiscale cantonale à établir plusieurs bordereaux pour l'impôt fédéral direct 1997-1998, soit un bordereau pour ses revenus courants et un autre pour chacun des revenus de liquidation ou, s'il n'est pas possible d'établir plusieurs bordereaux, de fixer le montant total d'impôt fédéral direct de façon à ce qu'il n'excède pas ce qu'il aurait été si plusieurs bordereaux avaient été émis. Le recourant invoque la violation du principe de la bonne foi (art. 9 Cst.). Sans formuler d'observations, le Tribunal administratif déclare persister dans les termes et conclusions de son arrêt. L'Administration fiscale cantonale conclut au rejet du recours. L'Administration fédérale des contributions déclare faire siennes tant les considérations émises dans son arrêt par le Tribunal administratif que les observations formulées par l'Administration fiscale cantonale dans sa réponse au présent recours et conclut, elle aussi, au rejet du recours, sous suite de frais.