Faits: Faits: A. A._, B._, C._ et D_ (ci-après: les consorts X._) ont reçu, en 1976, de leur père respectif, un immeuble sis à Y._. Cet immeuble était loué à Z._ Frères S.A. Le 22 décembre 1993, les consorts X._ ont vendu cet immeuble à Z._ Frères S.A. pour la somme de 19'000'000 fr. Divers entretiens ont eu lieu entre l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration fiscale), représentée par le directeur du service des personnes morales d'alors, et les consorts X._, afin de déterminer les modalités de taxation du gain réalisé lors de cette vente. Ceux-ci considéraient que la vente de l'immeuble concernait la gestion de leur patrimoine privé, alors que l'Administration fiscale estimait qu'il s'agissait d'une opération de type professionnel et commercial. Le 4 janvier 1994, l'Administration fiscale, sous la signature du directeur du service des personnes morales, a adressé un courrier à C._. Le directeur s'y référait "aux entretiens que vous-même et les autres membres des consorts X._ avez eus avec le soussigné à propos de l'objet cité sous rubrique". Il disait être arrivé à la conclusion que la vente en question ressortissait de la gestion du patrimoine privé des consorts. Il a été tenu compte pour cela du fait que le bien était propriété des pères des consorts X._ depuis de nombreuses années et que les donateurs n'étaient pas des professionnels de l'immobilier, de la durée de la détention par les consorts, de la qualité de l'acquéreur (le locataire) et du fait qu'aucune promotion n'avait été entreprise en vue de la vente du bien. Après déduction du prix de revient de la construction et de la valeur du terrain, le bénéfice s'élevait à 11'547'680 fr. et serait imposé au taux de 20%, soit un impôt de 2'309'536 fr. Des déclarations en vue de l'impôt spécial seraient adressées à chacun des consorts, lesquelles devraient être retournées dûment remplies et signées. Quatre formulaires de déclaration, portant chacun le nom de l'un des consorts, ont été adressés à la Fiduciaire E._ (ci-après: la Fiduciaire), mandataire de ceux-ci. Ces quatre formulaires ont été retournés à l'Administration fiscale, mais seul celui établi au nom de D_ a été rempli, conformément aux données du courrier précité du 4 janvier 1994 (auquel il est expressément fait référence), et signé par celui-ci. Un bordereau d'un montant de 2'309'536 fr. a alors été établi au nom de D_ et notifié le 18 août 1994 à l'adresse de la Fiduciaire. Le 24 mai 1995, l'Administration fiscale a envoyé un rappel à D_, chez la Fiduciaire, pour un solde de 1'154'768 fr. La Fiduciaire l'a renvoyé à l'Administration fiscale, en indiquant que l'impôt total était à répartir à parts égales entre les quatre consorts. Or, D._ et B._ s'étaient déjà acquittés de leur part. L'Administration fiscale était dès lors invitée à faire parvenir un bulletin de versement à C._ et A._ afin qu'ils paient leur part d'impôt. A._, alors domicilié en France, s'est acquitté de l'intégralité de la part lui incombant, soit 577'384 fr., par chèque du 15 septembre 1995. A._, alors domicilié en France, s'est acquitté de l'intégralité de la part lui incombant, soit 577'384 fr., par chèque du 15 septembre 1995. B. Par courrier du 6 mars 1999, A._ a réclamé à l'Administration fiscale le remboursement d'un trop perçu de 288'692 fr., plus intérêts. Il avait appris par son avocat que le bénéfice sur la vente de l'immeuble avait été taxé au taux de 20%, alors que la loi fixait ce taux à 10%. Il se prévalait du fait qu'il avait quitté la Suisse en 1989 et qu'il n'était pas un professionnel de l'immobilier. Il est revenu à charge les 13 juillet et 2 septembre 1999. Il n'a cependant jamais reçu de réponse de l'Administration fiscale. Son avocat est alors intervenu par courrier du 24 janvier 2000 pour réclamer derechef la restitution de ce montant, puis par lettre du 31 janvier 2000 pour solliciter une entrevue. Il n'a reçu aucune réponse. Par décision du 7 mars 2001, l'Administration fiscale a rejeté la réclamation, celle-ci étant tardive. A._ a recouru à la Commission cantonale de recours en matière d'impôts du canton de Genève (ci-après: la Commission cantonale de recours), qui, par décision du 14 novembre 2002, a rejeté le recours. Elle a considéré en substance que la décision de taxation querellée, faute de réclamation formée dans le délai légal, était entrée en force, que les conditions de la révision n'étaient pas remplies, que la voie de la restitution n'était pas ouverte, qu'enfin, et contrairement à ce que soutenait le recourant, la décision de taxation n'était pas nulle puisque les consorts et l'Administration fiscale avaient conclu une transaction, à savoir que le bénéfice de la vente serait soumis à un taux de 20%. A._ a recouru à la Commission cantonale de recours en matière d'impôts du canton de Genève (ci-après: la Commission cantonale de recours), qui, par décision du 14 novembre 2002, a rejeté le recours. Elle a considéré en substance que la décision de taxation querellée, faute de réclamation formée dans le délai légal, était entrée en force, que les conditions de la révision n'étaient pas remplies, que la voie de la restitution n'était pas ouverte, qu'enfin, et contrairement à ce que soutenait le recourant, la décision de taxation n'était pas nulle puisque les consorts et l'Administration fiscale avaient conclu une transaction, à savoir que le bénéfice de la vente serait soumis à un taux de 20%. C. A._ a recouru au Tribunal administratif du canton de Genève (ci-après: le Tribunal administratif), qui a entendu le directeur du service des personnes morales en qualité de témoin. Ce dernier a expliqué que, l'un des consorts étant un professionnel de l'immobilier, il avait été question que l'opération en cause soit imposée auprès de tous les consorts comme une opération commerciale, ce qui aurait représenté un taux d'imposition de plus de 50%. Il avait cependant été finalement convenu, lors des entretiens avec ceux-ci, que la vente serait considérée comme ressortant du patrimoine privé et que, en dérogation au taux légal de 10%, l'opération serait taxée à 20%. Ce taux représentait un compromis favorable pour les consorts. Le témoin a déclaré, dans un premier temps, qu'il "lui semblait" que A._ était lui aussi présent lors des entretiens, puis qu'il avait "le souvenir tout à fait précis" que celui-ci avait "participé à l'un et l'autre" de ces entretiens. Par arrêt du 3 février 2004, le Tribunal administratif a rejeté le recours. Il a considéré en substance que, n'ayant pas été contestée dans le délai légal de 30 jours, et à défaut de cas de force majeure, la taxation était passée en force. Aucun motif de révision n'était réalisé en l'espèce. De toute manière la révision était exclue lorsque le requérant invoquait des motifs qu'il aurait déjà pu faire valoir en procédure ordinaire en faisant preuve de la diligence qui pouvait raisonnablement être exigée de lui et que tel était le cas en l'espèce. Les consorts s'étaient déclarés d'accord avec un taux de 20% et il paraissait invraisemblable que le recourant se soit acquitté d'un montant de 577'384 fr. s'il estimait ne pas le devoir, et sans avoir reçu de bordereau, comme il le prétendait. Par arrêt du 3 février 2004, le Tribunal administratif a rejeté le recours. Il a considéré en substance que, n'ayant pas été contestée dans le délai légal de 30 jours, et à défaut de cas de force majeure, la taxation était passée en force. Aucun motif de révision n'était réalisé en l'espèce. De toute manière la révision était exclue lorsque le requérant invoquait des motifs qu'il aurait déjà pu faire valoir en procédure ordinaire en faisant preuve de la diligence qui pouvait raisonnablement être exigée de lui et que tel était le cas en l'espèce. Les consorts s'étaient déclarés d'accord avec un taux de 20% et il paraissait invraisemblable que le recourant se soit acquitté d'un montant de 577'384 fr. s'il estimait ne pas le devoir, et sans avoir reçu de bordereau, comme il le prétendait. D. Agissant par la voie du recours de droit public, A._ demande au Tribunal fédéral, avec suite de dépens, de dire et constater que l'Administration fiscale a appliqué un taux de 20% en lieu et place du taux de 10%, de dire que la somme de 288'692 fr. payée par le recourant n'aurait pas dû l'être et de condamner l'Administration fiscale à rembourser la somme de 288'692 fr. avec intérêts à 5% dès le 15 septembre 1995. Sans présenter d'observations, le Tribunal administratif déclare persister dans les termes et conclusions de son arrêt. L'Administration fiscale conclut au rejet du recours avec suite de frais.