Faits: Faits: A. Par jugement du 28 novembre 2003, le Tribunal de police du canton de Genève a condamné A. X._, pour violation d'une obligation d'entretien, à dix jours d'emprisonnement avec sursis durant deux ans. Le tribunal a par ailleurs réservé les droits de B. X._, partie civile. Par arrêt du 3 mai 2004, la Chambre pénale de la Cour de justice du canton de Genève a rejeté le recours de A. X._ et a confirmé le jugement du Tribunal de police. Par arrêt du 3 mai 2004, la Chambre pénale de la Cour de justice du canton de Genève a rejeté le recours de A. X._ et a confirmé le jugement du Tribunal de police. B. Il ressort notamment ce qui suit de ces décisions: B.a A. et B. X._ se sont mariés en 1968. Par jugement du 29 janvier 2002 sur mesures protectrices de l'union conjugale, le Tribunal de première instance du canton de Genève a condamné A. X._ à verser à son épouse 4'000 francs par mois dès le 1er mai 2001 à titre de contribution à son entretien. Le montant de cette contribution a été confirmé par arrêt du 26 septembre 2002 de la Chambre civile de la Cour de justice genevoise. Le 16 décembre 2002, B. X._ a déposé plainte pénale contre son époux pour violation d'une obligation d'entretien (art. 217 CP). Par feuille d'envoi du 10 juillet 2003, le Procureur général genevois a renvoyé A. X._ en jugement pour violation d'une obligation d'entretien en raison d'une contribution mensuelle non payée de 4'000 francs pour la période de mai 2001 à décembre 2002. B.b En 1989, les époux X._ ont repris un restaurant à Bernex. Ils ont travaillé ensemble dans cet établissement, le mari s'occupant de la cuisine et l'épouse du service. Cette situation a duré jusqu'au départ de l'épouse du domicile conjugal en avril 2001. A. X._ a ensuite continué l'exploitation. Il a signalé que depuis 2000 son chiffre d'affaires était en baisse constante. Pour 2001 et 2002, il a produit en procédure des comptes pertes et profits. Ces comptes font état d'un bénéfice respectif de 3'896 fr. 35 (après des prélèvements privés d'environ 32'500 francs) et de 45'532 fr. 15 (après des prélèvements privés de plus de 50'000 francs, dont la moitié en faveur de A. X._, qui exploite désormais le restaurant avec une amie avec qui il vit). A. X._ a expliqué être nourri, blanchi, habillé et logé par le restaurant. Le loyer de son logement (un appartement de trois pièces), qu'il partage avec son amie, est inclus dans celui du restaurant. En 2002, le solde positif de l'exercice, constitué des prélèvements privés opérés par A. X._ et son amie et de leur bénéfice net commun à la fin de l'année d'exploitation, s'est chiffré à un peu moins de 100'000 francs, dont la moitié est revenue à A. X._. De décembre 2000 jusqu'au 31 mars 2003, A. X._ a repris la gérance de la buvette d'un tennis-club. Il a produit les comptes pertes et profits pour 2001 et 2002. Ceux-ci clôturent avec un bénéfice respectif de 38'364 fr. 75 et 9'209 fr. 87, après que A. X._ eut opéré en 2002 des prélèvements privés à hauteur de 12'600 francs. Les charges incompressibles de A. X._ sont exclusivement constituées de sa cotisation d'assurance maladie (625 francs par mois). Ses autres charges de base (nourriture, habillement et logement) ont pour particularité d'entrer dans les frais généraux du restaurant. A. X._ s'est acquitté en 2001 d'un montant de 24'000 francs en faveur de son épouse, correspondant à 3'000 francs par mois pour la période de mai à décembre 2001. Il n'a versé aucune contribution en 2002. Durant toute la période pénale, A. X._ a pu payer 2'500 francs par mois pour le remboursement de l'hypothèque grevant le chalet dont les époux sont copropriétaires à Salvan en Valais. Il a été constaté que A. X._ n'avait pas cherché à améliorer ses revenus en mettant en location le chalet. A. X._ a indiqué qu'il avait voulu souscrire une nouvelle hypothèque sur le chalet pour pouvoir payer au printemps 2003 le montant dû pour la période pénale, mais que son épouse avait refusé de signer le contrat qui aurait permis à la banque de libérer les fonds. B.c Selon le Tribunal de police - dont le jugement a été confirmé par la Chambre pénale -, A. X._ ne pouvait ignorer depuis le début 2002 que sa contribution à l'entretien de son épouse était insuffisante puisqu'il avait été condamné à lui verser à ce titre 4'000 francs mensuellement par jugement sur mesures protectrices de l'union conjugale du 29 janvier 2002 (cf. supra, B.a). Le Tribunal de police a retenu que A. X._ s'était rendu coupable de l'infraction réprimée par l'art. 217 CP pour n'avoir rien versé à son épouse en 2002, alors qu'il en avait les moyens. B.c Selon le Tribunal de police - dont le jugement a été confirmé par la Chambre pénale -, A. X._ ne pouvait ignorer depuis le début 2002 que sa contribution à l'entretien de son épouse était insuffisante puisqu'il avait été condamné à lui verser à ce titre 4'000 francs mensuellement par jugement sur mesures protectrices de l'union conjugale du 29 janvier 2002 (cf. supra, B.a). Le Tribunal de police a retenu que A. X._ s'était rendu coupable de l'infraction réprimée par l'art. 217 CP pour n'avoir rien versé à son épouse en 2002, alors qu'il en avait les moyens. C. A. X._ se pourvoit en nullité au Tribunal fédéral contre l'arrêt du 3 mai 2004. Il conclut, sous suite de frais et dépens, à son annulation et au renvoi de la cause en instance cantonale pour y être acquitté.