Faits:
A. Le 24 mai 2004, X._, membre du mouvement raëlien, a déposé plainte pénale contre Z._ et Y._, du chef de discrimination raciale. Il exposait que, le soir du 2 avril 2004, alors qu'il se trouvait avec 15 à 20 de ses coreligionnaires au restaurant A._, Z._, "assistant manager" de l'établissement, avait refusé de lui servir une bière au motif qu'il était raëlien, en précisant qu'il agissait sur instruction du "manager", Y._.
B. Par décision du 25 juin 2004, le Procureur général du canton de Genève, estimant que le mouvement raëlien n'est pas une religion, a classé la plainte pour défaut de prévention d'une infraction pénale.
Saisie d'un recours de X._, la Chambre d'accusation genevoise l'a rejeté par ordonnance du 25 août 2004, confirmant le classement. A l'instar du Procureur général, elle a considéré que le mouvement raëlien ne constitue pas une religion au sens de l'<ref-law>.
C. X._ forme un recours de droit public et un pourvoi en nullité au Tribunal fédéral. Se plaignant, dans le premier, d'arbitraire dans l'appréciation des preuves, d'une violation de son droit d'être entendu et d'une violation de la liberté de conscience et de croyance et, dans le second, d'une violation de l'<ref-law>, il conclut à l'annulation de l'ordonnance attaquée.

Le Tribunal fédéral considère en droit:
I. Recours de droit public
1. Le recourant déduit sa qualité pour recourir de l'<ref-law>, alléguant qu'il en remplit les conditions et revêt donc le statut de victime au sens de cette disposition.
1.1 Au vu des faits dénoncés dans la plainte, seules pourraient entrer en considération en l'espèce les infractions réprimées par l'art. 261bis al. 4 1er membre de phrase CP - qui sanctionne le comportement de "celui qui aura publiquement, par la parole, l'écriture, l'image, le geste, par des voies de fait ou de toute autre manière, abaissé ou discriminé d'une façon qui porte atteinte à la dignité humaine une personne ou un groupe de personnes en raison de leur race, de leur appartenance ethnique ou de leur religion" - et l'<ref-law> - qui réprime le comportement de "celui qui aura refusé à une personne ou à un groupe de personnes, en raison de leur appartenance raciale, ethnique ou religieuse, une prestation destinée à l'usage public"-. En particulier, l'art. 261bis al. 4 2ème membre de phrase CP, qui vise la négation, la minimisation grossière ou la tentative de justification d'un génocide ou d'autres crimes contre l'humanité, n'entre manifestement pas en ligne de compte.
La question de savoir si le recourant revêt la qualité de victime au sens de l'<ref-law> doit dès lors être examinée au regard des deux infractions précitées.
1.2 Selon la jurisprudence, celui qui se prétend lésé par le comportement réprimé par l'art. 261bis al. 4 1er membre de phrase CP peut revêtir la qualité de victime au sens de l'<ref-law> si l'atteinte dont il se plaint est liée à des voies de fait ou si elle constitue un autre délit, tel que les lésions corporelles, l'incendie intentionnel, etc. A ce défaut, l'admission de la qualité de victime n'entre en considération que dans les cas particulièrement graves, ainsi lorsque des propos raciaux sont tenus à l'encontre d'un ancien détenu d'un camp de concentration, chez lequel ces propos réveillent un traumatisme induisant une grave atteinte à son intégrité psychique (<ref-ruling> consid. 1.5 p. 223 s.).
S'agissant de l'infraction réprimée par l'<ref-law>, on ne voit pas que le comportement incriminé, consistant à refuser une prestation destinée à l'usage public, puisse provoquer une atteinte directe à l'intégrité corporelle ou sexuelle de la personne visée. L'admission de la qualité de victime, au sens de l'<ref-law>, de l'infraction en cause n'entre donc en considération que si les circonstances étaient suffisamment graves pour entraîner une atteinte à l'intégrité psychique du lésé. Il doit au reste être rappelé que, pour fonder la qualité de victime au sens de l'<ref-law>, l'atteinte psychique doit revêtir une certaine gravité et, cela, d'un point de vue objectif, non pas en fonction de la sensibilité personnelle et subjective du lésé (<ref-ruling> consid. 2d/bb et cc p. 163 s.). Il n'y a au demeurant pas de raison de se montrer moins exigeant quant à la gravité de l'atteinte psychique requise dans le cas de l'<ref-law> que dans celui de l'art. 261bis al. 4 1er membre de phrase CP. N'est donc une victime, au sens de l'<ref-law>, de l'infraction réprimée par l'<ref-law> que celui qui a subi en raison de cette infraction une atteinte psychique objectivement importante, telle qu'illustrée par l'exemple cité plus haut, laquelle doit être établie ou du moins rendue vraisemblable.
1.3 Au vu de l'infraction dénoncée par le recourant, il convient encore d'examiner l'impact éventuel de la Convention internationale sur l'élimination de toutes les formes de discrimination raciale du 21 décembre 1965 (CERD; RS 0.104), entrée en vigueur pour la Suisse le 29 décembre 1994 (RO 1994, p. 1164 ss), sur le statut de victime et, partant, sur la qualité pour recourir de celui qui se prétend lésé par cette infraction.
La convention précitée vise toute distinction, exclusion, restriction ou préférence fondée sur la race, la couleur, l'ascendance ou l'origine nationale ou ethnique (art. 1 ch. 1 CERD). On peut dès lors s'interroger sur son application à un cas où, comme en l'espèce, c'est exclusivement de discrimination religieuse, non pas de discrimination raciale au sens strict, dont se plaint le recourant. La question peut toutefois demeurer indécise.
Selon la jurisprudence du Comité des Nations Unies pour l'élimination de la discrimination raciale, les termes de l'art. 6 de la convention - relatif au devoir des Etats signataires d'assurer à toute personne soumise à leur juridiction une protection et une voie de recours effectives contre les actes de discrimination raciale - "n'imposent pas aux Etats parties l'obligation de mettre en place un mécanisme de recours successifs, allant jusqu'à et y compris la Cour suprême, dans les cas présumés de discrimination raciale" (CERD/C/36/D/1/1984, affaire Dogan c. Pays-Bas, communication n° 1/1984 du 10 août 1988 par. 9.4; CERD/C/63/D/27/2002, affaire Quereshi c. Danemark, communication n° 27/2002 du 19 août 2003 par. 7.5). La convention, plus précisément son art. 6, qui est à cet égard déterminant, n'implique donc pas d'admettre plus largement la qualité pour recourir ni, par conséquent, d'interpréter plus largement l'<ref-law> dans le domaine de la discrimination raciale.
1.4 En l'espèce, les conditions auxquelles celui qui se prétend lésé par les infractions réprimées à l'art. 261bis al. 4 1er membre de phrase et al. 5 CP revêt la qualité de victime au sens de l'<ref-law> ne sont manifestement pas réalisées.
Des voies de fait ne sont ni établies ni d'ailleurs alléguées et le comportement dénoncé n'est pas non plus constitutif d'une autre infraction, telle que des lésions corporelles, etc. Une atteinte à l'intégrité psychique du recourant, qui soit d'une gravité comparable à celle résultant de l'exemple cité par la jurisprudence (cf. supra, consid. 1.1) n'est au reste pas démontrée ni même rendue vraisemblable. A cet égard, il ne suffit pas que le lésé, comme le fait le recourant, affirme avoir été "durement touché" ou " profondément heurté" par l'atteinte qu'il dénonce. Il faut - et il appartient au lésé de l'établir ou du moins de le rendre vraisemblable - que l'existence d'une atteinte psychique grave puisse être inférée objectivement des circonstances concrètes. Or, en l'occurrence, cela n'est ni établi ni même rendu vraisemblable. On ne voit au demeurant pas que le refus de servir une consommation au recourant en raison de son appartenance au mouvement raëlien ait pu lui causer une atteinte psychique de la gravité requise pour l'admission de la qualité de victime.
Le recourant n'est par conséquent pas une victime au sens de l'<ref-law>.
2. La qualité pour former un recours de droit public du lésé qui n'est pas une victime au sens de la LAVI doit être examinée sur la base de l'art. 88 OJ.
2.1 Conformément à la jurisprudence relative à cette disposition, le droit de punir n'appartenant qu'à l'Etat, celui qui se prétend lésé par une infraction n'a pas d'intérêt juridiquement protégé à la poursuite et à la condamnation de l'auteur (<ref-ruling> consid. 3b p. 324; <ref-ruling> consid. 1a p. 102, 157 consid. 2a/aa p. 159/160 et les arrêts cités). Il ne peut donc pas se plaindre sur le fond d'un acquittement, d'un non-lieu ou d'un classement et, en particulier, d'arbitraire dans l'appréciation des preuves, dès lors que l'examen d'un tel grief est lié à celui de l'affaire au fond. Il peut en revanche invoquer une violation, équivalant à un déni de justice formel, des droits procéduraux qui lui sont reconnus en tant que partie par le droit cantonal de procédure ou qui découlent directement de la Constitution fédérale (<ref-ruling> consid. 3b p. 324 et les arrêts cités). Ce droit d'invoquer des garanties de procédure ne permet cependant pas de remettre en cause, même de façon indirecte, la décision sur le fond. Le recours ne peut donc pas porter sur des points indissociables de cette décision, tel que le refus d'une mesure probatoire fondée sur une appréciation anticipée des preuves (<ref-ruling> consid. 1 p. 230 et les arrêts cités) ou tout autre point impliquant un examen de l'affaire au fond.
2.2 Vu ce qui précède, il n'est pas possible d'entrer en matière sur le grief d'arbitraire dans l'appréciation des preuves soulevé par le recourant.
De même, il ne peut être entré en matière sur son grief de violation de la liberté de conscience et de croyance garantie par les art. 15 Cst. et 9 ch. 1 CEDH, qui revient, non pas à se plaindre de la violation d'un droit de procédure qui lui serait reconnu en tant que partie, mais à contester la décision attaquée sur le fond.
2.3 En tant que lésé, le recourant est en revanche habilité à se plaindre d'une violation de son droit d'être entendu garanti par l'art. 29 al. 2 Cst., notamment de son droit à l'administration de preuves, autant que par là il ne remette pas en cause, fût-ce indirectement, la décision sur le fond. En l'espèce, le grief ainsi soulevé doit néanmoins être rejeté dans la mesure où il est recevable.
Le recourant reproche à la cour cantonale d'avoir statué sans lui avoir donné l'occasion d'être entendu et de produire des documents aux fins de prouver le caractère de religion du mouvement raëlien, alors qu'il aurait offert de le faire.
S'agissant de la première critique ainsi formulée, il doit toutefois être rappelé que, de jurisprudence constante, le droit d'être entendu garanti par la Constitution fédérale n'implique pas celui de s'exprimer oralement devant l'autorité appelée à statuer. Il faut, mais il suffit, que le justiciable ait pu le faire par écrit (<ref-ruling> consid. 9b p. 219; <ref-ruling> consid. 4c et les références citées). Or, en l'espèce, le recourant a eu la possibilité de se déterminer par écrit, dans son recours cantonal, sur le caractère de religion du mouvement raëlien et il l'a du reste largement fait. Dans cette mesure, le grief de violation du droit d'être entendu est donc infondé.
Pour le surplus, il ne ressort pas de la décision attaquée que le recourant aurait offert en instance cantonale de produire des documents aux fins de démontrer que le mouvement raëlien serait une religion et que la cour cantonale aurait refusé de donner suite à cette requête. Or, le recourant se borne à affirmer l'avoir fait, sans aucunement l'établir d'une manière qui satisfasse aux exigences de motivation de l'art. 90 al. 1 let. b OJ. En particulier et contrairement à ce qu'il soutient, il ne ressort pas de son mémoire cantonal que le recourant aurait présenté une requête tendant à la production de documents précis propres à prouver le fait litigieux. A l'appui du présent recours, il ne cite en tout cas aucune pièce précise en démontrant qu'il aurait demandé à pouvoir la produire devant la cour cantonale. Le grief fait à cette dernière d'avoir écarté des offres de preuves dûment présentées est par conséquent irrecevable, faute de motivation suffisante au regard des exigences de l'art. 90 al. 1 let. b OJ (<ref-ruling> consid. 3c p. 43; <ref-ruling> consid. 1b p. 536; <ref-ruling> consid. 1c p. 76, 492 consid. 1b p. 495 et les arrêts cités).
3. Le recours de droit public doit ainsi être rejeté dans la faible mesure où il est recevable.
II. Pourvoi en nullité
4. Le recourant ne formule aucun grief quant à son droit de plainte (cf. art. 270 let. f PPF). Au demeurant, l'infraction dénoncée, soit celle réprimée par l'<ref-law>, se poursuit d'office. En tant que lésé, le recourant ne pourrait donc fonder sa qualité pour recourir que sur l'art. 270 let. e PPF. Or, en vertu de cette disposition, seul le lésé qui est une victime au sens de l'<ref-law> peut se pourvoir en nullité, pour autant que les autres conditions de cette disposition, qui correspondent à celles de l'art. 8 al. 1 let. c LAVI, soient réalisées. Comme le recourant n'est pas une victime au sens de l'<ref-law> (cf. supra, consid. 1.4), il n'a pas qualité pour former un pourvoi en nullité, qui est dès lors irrecevable.
III. Frais et dépens
5. Vu l'issue du recours de droit public et du pourvoi en nullité, le recourant, qui succombe, supportera les frais (art. 156 al. 1 OJ; art. 278 al. 1 PPF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de droit public est rejeté dans la mesure où il est recevable.
2. Le pourvoi en nullité est déclaré irrecevable.
3. Un émolument judiciaire global de 4000 francs est mis à la charge du recourant.
4. Le présent arrêt est communiqué en copie aux parties, au Procureur général du canton de Genève et à la Chambre d'accusation du canton de Genève.
Lausanne, le 20 janvier 2005
Au nom de la Cour de cassation pénale
du Tribunal fédéral suisse
Le président: La greffière: