Faits:
A. Par jugement du 7 novembre 2003, le Tribunal de police du canton de Genève a reconnu X._ coupable d'usure (<ref-law>) pour avoir, de mai 1997 à novembre 1999, exploité l'inexpérience, l'incapacité de jugement, la dépendance et la gêne de Y._, employée de maison, à qui il a uniquement versé 300 francs par mois dès juillet 1998, alors qu'un salaire mensuel de 1'527 fr. 50 pour 50 heures hebdomadaires avait été convenu. Le Tribunal de police a condamné X._ à quatre mois d'emprisonnement avec sursis durant quatre ans. Il a aussi alloué à Y._ 3'000 francs à titre de réparation du tort moral et a ordonné la confiscation des avoirs de trois comptes bancaires dont X._ était titulaire et leur allocation à Y._.
B. Par arrêt du 14 juin 2004, la Chambre pénale de la Cour de justice genevoise a rejeté le recours de X._ et a confirmé le jugement du Tribunal de police. Il ressort notamment ce qui suit de cet arrêt:
Le 14 décembre 2000, Y._, née en 1975 et originaire du Ghana, a déposé plainte pénale contre X._, aussi originaire du Ghana, notamment pour usure (<ref-law>). Elle y expliquait avoir travaillé du 28 mai 1997 au 19 novembre 1999 comme employée de maison au service de X._, conseiller juridique auprès du Haut Commissariat des Nations Unies pour les Réfugiés. Le 27 mars 1997, elle avait signé au Ghana des documents fournis par la Mission permanente de la Suisse en vue de l'obtention d'un visa. Puis elle avait signé le 8 avril 1997 à l'Ambassade de Suisse au Ghana un contrat de travail sur un formulaire pré-imprimé édité par le Département fédéral des affaires étrangères, condition préalable à l'obtention du visa et d'une carte de légitimation. Ce contrat prévoyait un salaire mensuel de 1'527 fr. 50 pour 50 heures de travail hebdomadaires, en sus du logement et de la nourriture. Ce n'est qu'à partir de juillet 1998 que X._ a ouvert pour elle un compte bancaire et a commencé à lui verser 300 francs par mois. Elle n'a jamais pu retirer cet argent, X._ ayant conservé son passeport, sa carte de légitimation et sa carte bancaire. L'épouse de X._ lui versait 30 francs par mois à titre d'argent de poche. A l'appui de sa plainte, Y._ a notamment produit le contrat de travail signé le 8 avril 1997 ainsi que le dispositif du jugement rendu par défaut le 21 juin 2000 par la juridiction des prud'hommes condamnant X._ à lui payer 46'668 fr. 45 à titre de salaire et 4'674 fr. à titre d'indemnité pour licenciement avec effet immédiat.
X._ a été inculpé le 29 novembre 2002, en particulier pour usure. A cette occasion, il a déclaré n'avoir pas payé le salaire convenu contractuellement parce que, d'entente avec Y._, celle-ci était venue à Genève pour se mettre à son service plutôt comme membre de sa famille que comme employée. Selon un contrat coutumier, elle intégrait la famille de X._ et, en échange, il était responsable d'elle pour la vie. Il reconnaissait toutefois avoir commis une erreur en pensant pouvoir ainsi déroger au droit suisse. Il n'avait pas tenu de décompte des heures de travail effectuées. Il a confirmé qu'il avait chargé sa soeur de lui trouver une femme de ménage susceptible de l'accompagner en Suisse.
Devant le Tribunal de police, X._ et Y._, tous deux assistés de leur avocat, ont longuement été entendus. Y._ a notamment indiqué qu'elle avait auparavant travaillé durant deux ans pour son oncle au Ghana, qu'elle n'avait pas été payée pour cela, et qu'elle ne s'attendait pas à recevoir un salaire lorsqu'elle avait signé le 8 avril 1997 le contrat de travail avec X._, qu'elle n'avait d'ailleurs pas lu. De son côté, ce dernier a admis être conscient que les conditions figurant dans le contrat de travail du 8 avril 1997 étaient conformes à la loi suisse et qu'en ne les respectant pas, il violait le droit suisse en la matière. Entendue comme témoin, D._ a déclaré avoir habité en 1998 durant un mois avec la famille X._. Selon elle, l'ambiance familiale était détendue et Y._ bien traitée; elle pouvait notamment se rendre à l'église le dimanche. B._, qui habitait à Genève sur le même étage que la famille X._, a mentionné que Y._ lui avait confectionné, pour un prix compris entre 25 et 30 fr., un petit débardeur avec une machine à coudre que lui avait offerte X._.
C. X._ forme un recours de droit public et un pourvoi en nullité au Tribunal fédéral contre l'arrêt du 14 juin 2004. Il conclut à son annulation.

Le Tribunal fédéral considère en droit:
1. Conformément à l'art. 275 al. 5 PPF, le recours de droit public est examiné en premier lieu.
I. Recours de droit public
2. 2.1 Le recours de droit public au Tribunal fédéral est ouvert contre une décision cantonale pour violation des droits constitutionnels des citoyens (art. 84 al. 1 let. a OJ). Il n'est en revanche pas ouvert pour se plaindre d'une violation du droit fédéral, qui peut donner lieu à un pourvoi en nullité (art. 269 al. 1 PPF); un tel grief ne peut donc pas être invoqué dans le cadre d'un recours de droit public, qui est subsidiaire (art. 84 al. 2 OJ; art. 269 al. 2 PPF).
2.2 En vertu de l'art. 90 al. 1 let. b OJ, l'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Saisi d'un recours de droit public, le Tribunal fédéral n'a donc pas à vérifier de lui-même si la décision attaquée est en tous points conforme au droit ou à l'équité. Il n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours. Le recourant ne saurait se contenter de soulever de vagues griefs ou de renvoyer aux actes cantonaux (<ref-ruling> consid. 1.6 p. 189, 113 consid. 2.1 p. 120; <ref-ruling> consid. 1c p. 76). Le Tribunal fédéral n'entre pas non plus en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1b p. 495).
3. Le recourant critique l'établissement des faits. Il invoque à ce propos la violation de la présomption d'innocence (ou de la maxime "in dubio pro reo") et l'arbitraire dans l'appréciation des preuves.
Consacrée par les art. 32 al. 1 Cst. et 6 par. 2 CEDH, la présomption d'innocence interdit au juge de prononcer une condamnation alors qu'il éprouve des doutes sur la culpabilité de l'accusé. Des doutes abstraits ou théoriques, qui sont toujours possibles, ne suffisent cependant pas à exclure une condamnation. Pour invoquer utilement la présomption d'innocence, le condamné doit donc démontrer que le juge de la cause pénale, à l'issue d'une appréciation exempte d'arbitraire de l'ensemble des preuves à sa disposition, aurait dû éprouver des doutes sérieux et irréductibles au sujet de la culpabilité (<ref-ruling> consid. 2 p. 40; <ref-ruling> consid. 2a p. 87/88; <ref-ruling> consid. 2e p. 38, consid. 4b p. 40).
Une décision est arbitraire, donc contraire à l'art. 9 Cst., lorsqu'elle contredit d'une manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral n'invalide l'appréciation retenue par le juge de la cause que si elle apparaît insoutenable, en contradiction manifeste avec la situation effective ou adoptée sans motifs objectifs. Il ne suffit pas que les motifs du verdict soient insoutenables; il faut en outre que l'appréciation soit arbitraire dans son résultat (<ref-ruling> consid. 4 p. 58).
4.1 Le recourant se plaint de la non-prise en compte de l'accord coutumier préalable, selon lequel l'intimée est venue à Genève comme membre à part entière de sa famille et non comme employée de maison. Le contrat de travail signé le 8 avril 1997 n'a selon lui aucune valeur matérielle.
Dans une longue argumentation, le recourant procède uniquement à une libre discussion des faits, purement appellatoire. Une telle motivation est irrecevable dans un recours de droit public (supra, consid. 2.2). Au demeurant, la Chambre pénale a refusé de prêter foi aux explications du recourant relatives à l'accord coutumier pour le motif que le recourant était juriste et qu'il savait donc que le contrat de travail signé le 8 avril 1997 s'appliquait (cf. arrêt attaqué, p. 8). La solution ainsi retenue quant à l'état de conscience du recourant échappe à tout arbitraire. De plus, le recourant a aussi admis qu'il avait chargé sa soeur de lui trouver une femme de ménage pour l'accompagner en Suisse (cf. arrêt attaqué, p. 4), de sorte qu'il n'apparaît pas non plus insoutenable de retenir que l'intimé est venue à Genève comme employée de maison.
4.2 Le recourant conteste la durée hebdomadaire du travail effectué par l'intimée. Il serait arbitraire de retenir qu'elle a travaillé une cinquantaine d'heures par semaine.
Le recourant se borne à discuter librement des faits, ce qu'il n'est pas habilité à faire dans un recours de droit public. Par conséquent, son argumentation est irrecevable. Au demeurant, entendu devant le Tribunal de police, le recourant a admis avoir convenu d'un salaire de 1'527 francs pour 50 heures par semaine, qu'il se sentait lié par ce qui était écrit et qu'il n'avait pas payé le montant convenu (cf. procès-verbal d'audience du 10 octobre 2003, p. 1). Il ressort en outre du jugement du Tribunal de police (p. 7), qu'a confirmé la Chambre pénale, que l'importance de l'activité de l'intimée résulte aussi du fait qu'elle n'a suivi aucun cours, ni de langue ni de formation professionnelle durant sa période de travail chez le recourant. A partir de ces éléments, la déduction d'une activité hebdomadaire de cinquante heures par semaine procède d'une appréciation qui n'est pas insoutenable.
4.3 Le recourant soutient avoir versé spontanément 300 francs par mois à l'intimée, comme il l'aurait fait pour sa propre fille. Pour lui, ce montant ne correspondait pas à un salaire. De la sorte, le recourant présente encore une argumentation appellatoire, irrecevable dans un recours de droit public.
4.4 Dans la dernière partie de son mémoire, le recourant prétend qu'il n'avait pas d'intention délictueuse, qu'il n'a pas exploité l'intimée, qu'il l'a accueillie comme un membre de sa propre famille, qu'elle n'a jamais travaillé 50 heures par semaine, qu'elle est de mauvaise fois et qu'elle n'a jamais été maltraitée.
Ce faisant, le recourant reprend sous une formulation quelque peu différente ses critiques précédentes. Il ne respecte pas plus les exigences minimales de motivation selon l'art. 90 al. 1 let. b OJ.
5. Le recourant n'a présenté aucun grief recevable. Son recours de droit public est ainsi irrecevable.
II. Pourvoi en nullité
6. Saisi d'un pourvoi en nullité, le Tribunal fédéral contrôle l'application du droit fédéral (art. 269 PPF) sur la base d'un état de fait définitivement arrêté par l'autorité cantonale (cf. art. 273 al. 1 let. b et 277bis al. 1 PPF). Il ne peut donc pas revoir les faits retenus dans la décision attaquée ni la manière dont ils ont été établis, de sorte que ces points, sous peine d'irrecevabilité, ne peuvent pas être remis en cause dans le pourvoi (<ref-ruling> consid. 1 p. 66/67).
7. Le recourant se plaint d'une violation de l'<ref-law>.
7.1 De manière répétée, le recourant introduit des faits non constatés en instance cantonale ou discute et met en cause les faits retenus. L'argumentation qu'il présente est ainsi très largement irrecevable (supra, consid. 6).
7.2 Sous la note marginale "usure", l'<ref-law> punit de la réclusion pour cinq ans au plus ou de l'emprisonnement "celui qui aura exploité la gêne, la dépendance, l'inexpérience ou la faiblesse de la capacité de jugement d'une personne en se faisant accorder ou promettre par elle, pour lui-même ou pour un tiers, en échange d'une prestation, des avantages pécuniaires en disproportion évidente avec celle-ci sur le plan économique".
L'infraction consiste à obtenir ou à se faire promettre une contre-prestation disproportionnée en exploitant la faiblesse de l'autre partie (<ref-ruling> consid. 3a p. 140/141). Selon le texte légal, l'auteur doit obtenir l'avantage patrimonial "en échange d'une prestation". L'usure ne peut donc intervenir que dans le cadre d'un contrat onéreux (<ref-ruling> consid. 3c p. 142). L'avantage pécuniaire obtenu doit être en disproportion évidente, sur le plan économique, avec la prestation fournie. L'évaluation doit être objective (cf. Bernard Corboz Les infractions en droit suisse, vol. I, Berne 2002, <ref-law> n. 31 et 32).
L'infraction est intentionnelle. Le dol éventuel suffit. Il faut donc que l'auteur sache, au moins sous la forme du dol éventuel, que l'autre partie se trouve dans une situation de faiblesse. Il doit également connaître, au moins sous la forme du dol éventuel, la disproportion entre les prestations. Enfin, il doit avoir conscience, au moins sous la forme du dol éventuel, que la situation de faiblesse motive l'autre partie à accepter la disproportion évidente entre les prestations (cf. Corboz, op. cit., <ref-law> n. 45 ss).
7.3 Le recourant conteste tout d'abord que l'intimée se soit trouvée en situation de faiblesse.
Pour la Chambre pénale, l'intimée réalisait plusieurs des situations de faiblesse (gêne, dépendance, inexpérience) décrites à l'<ref-law>.
En ce qui concerne plus spécifiquement l'inexpérience, il doit s'agir d'une inexpérience générale se rapportant au domaine des affaires et non pas d'une inexpérience relative au contrat en cause (cf. Corboz, op. cit., <ref-law> n. 21; José Hurtado Pozo, Partie spéciale I, 3ème éd., Zurich 1997, § 49 n. 1222; Stefan Trechsel, Kurzkommentar, 2ème éd., Zurich 1997, <ref-law> n. 3; Philippe Weissenberger, Basler Kommentar, Strafgesetzbuch II, 2003, <ref-law> n. 13).
La Chambre pénale a indiqué que l'intimée était âgée de vingt-deux ans au moment de venir en Suisse et qu'elle n'avait jamais quitté son pays natal; qu'elle n'était pas en mesure de réaliser que son travail méritait un salaire pour avoir auparavant travaillé durant deux ans pour son oncle sans être payée. Sur la base de ces constatations, il apparaît donc que l'intimée méconnaissait totalement le domaine des relations de travail en droit suisse et son droit à être rémunérée. Aussi, est-ce à bon escient que la Chambre pénale a conclu à l'inexpérience de l'intimée. La situation de faiblesse étant réalisée pour ce motif, il n'est pas nécessaire d'examiner si elle l'est également pour d'autres raisons car celles-ci ne pourraient qu'avoir une incidence sur la peine (cf. Corboz, op. cit., <ref-law> n. 10), que le recourant ne critique pas en tant que telle.
7.4 Le recourant prétend n'avoir pas obtenu d'avantage pécuniaire, met en cause l'existence d'une disproportion évidente entre les prestations et nie avoir exploité la faiblesse de l'intimée pour obtenir d'elle une prestation disproportionnée.
L'intimée travaillait 50 heures par semaine dans le ménage du recourant. En contrepartie, elle était logée, nourrie et, dès juin 1998, a touché 300 francs par mois à titre de salaire. Le contrat signé le 8 avril 1997 prévoyait une rémunération mensuelle de 1'527 fr. 50 en sus du logement et de la nourriture. L'intimée n'a pas lu ce contrat et ignorait son droit à une rémunération.
Il est incontestable que l'intimée a fourni une prestation qui représente une valeur économique. De la sorte, le recourant a obtenu un avantage pécuniaire. En soi, il est vrai que le contrat signé le 8 avril 1997, qui prévoit pour l'intimée une rémunération de 1'527 fr. 50 en sus du logement et de la nourriture, n'apparaît pas usuraire. Toutefois, le Tribunal de police a mentionné que le recourant y avait dérogé unilatéralement en sachant que l'intimée ne protesterait pas (cf. jugement de première instance, p. 8). Il ressort en outre des constatations cantonales que l'intimée ne réalisait pas la portée du document signé. Autrement dit, le recourant a obtenu d'elle qu'elle travaille pour lui à d'autres conditions que celles auxquelles il s'était initialement engagé par écrit. Il s'est ainsi fait accorder un avantage pécuniaire en parvenant à modifier l'équilibre contractuel. C'est cette modification du contrat de travail qui est pertinente pour l'application de l'<ref-law>. Il saute aux yeux que l'avantage retiré par le recourant est largement disproportionné, sur le plan économique, avec la prestation qu'il a concrètement fournie en échange. Il faut aussi reconnaître que c'est en exploitant l'inexpérience de l'intimée qu'il a pu obtenir un tel avantage. Les critiques du recourant sont infondées dans la mesure où elles sont recevables.
7.5 Le recourant s'en prend encore à la réalisation de l'élément subjectif de l'infraction.
Selon les constatations cantonales, le recourant savait que l'intimée ne protesterait pas face à l'exploitation, raison pour laquelle il a abusé de cette situation. Il savait aussi que le travail fourni par l'intimée méritait un salaire. Il en découle que le recourant, à tout le moins, a envisagé et accepté que l'état de faiblesse de l'intimée soit à l'origine de sa soumission aux conditions de travail imposées. L'élément intentionnel est réalisé.
7.6 En conclusion, la condamnation du recourant en vertu de l'<ref-law> ne viole pas le droit fédéral.
III. Frais et indemnité
8. Le recourant, qui succombe, supporte les frais de la procédure devant le Tribunal fédéral, lesquels sont fixés de manière à prendre en compte les deux recours interjetés (art. 156 al. 1 OJ et 278 al. 1 PPF).
Il n'y a pas lieu d'allouer d'indemnité à l'intimée, qui n'a pas eu à intervenir dans la procédure devant le Tribunal fédéral.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de droit public est irrecevable.
2. Le pourvoi en nullité est rejeté dans la mesure où il est recevable.
3. Un émolument judiciaire de 4'000 francs est mis à la charge du recourant.
4. Le présent arrêt est communiqué en copie aux mandataires des parties, au Procureur général du canton de Genève et à la Cour de justice genevoise, Chambre pénale.
Lausanne, le 24 septembre 2004
Au nom de la Cour de cassation pénale
du Tribunal fédéral suisse
Le président: Le greffier: