Faits:
Faits:
A. Y._ vit avec X._ depuis l'été 1999. Lors de son divorce d'avec Z._, elle a obtenu la garde sur ses trois filles B._, née le 1er juin 1994, C._, née le 30 mars 1996, et D._, née le 8 mai 1997.
Dans le cadre de la garde de fait qu'il exerçait sur les trois enfants de sa compagne, X._ s'est livré à des actes de maltraitance, principalement sur B._, à qui il a donné des coups excédant manifestement ce qui est utile et adéquat pour corriger un enfant qui commet quelques bêtises ou fait un peu trop de bruit. X._ a instauré un climat de peur au domicile. B._ est allée jusqu'à s'enfuir de chez elle pour aller se réfugier dans un restaurant voisin.
Ces actes ont été commis dans un contexte familial extrêmement lourd, les parents divorcés de B._ ne s'entendant pas du tout, notamment sur la question de l'attribution de la garde sur leurs enfants. Le Service de protection de la jeunesse, nanti d'une curatelle d'assistance éducative, a suivi l'évolution de la situation depuis le début des soupçons pesant sur X._. En cours d'enquête, B._ a été soumise à une expertise de crédibilité, dont le résultat est toutefois peu tangible.
Ces actes ont été commis dans un contexte familial extrêmement lourd, les parents divorcés de B._ ne s'entendant pas du tout, notamment sur la question de l'attribution de la garde sur leurs enfants. Le Service de protection de la jeunesse, nanti d'une curatelle d'assistance éducative, a suivi l'évolution de la situation depuis le début des soupçons pesant sur X._. En cours d'enquête, B._ a été soumise à une expertise de crédibilité, dont le résultat est toutefois peu tangible.
B. Par jugement du 3 février 2004, le Tribunal correctionnel de l'arrondissement de la Côte a condamné X._ pour voies de fait qualifiées et violation intentionnelle du devoir d'assistance ou d'éducation à la peine de deux mois d'emprisonnement, sous déduction de quinze jours de détention préventive, avec sursis pendant deux ans.
Statuant le 1er juin 2004 sur recours de X._, la Cour de cassation du Tribunal cantonal vaudois a confirmé le jugement de première instance.
Statuant le 1er juin 2004 sur recours de X._, la Cour de cassation du Tribunal cantonal vaudois a confirmé le jugement de première instance.
C. X._ se pourvoit en nullité au Tribunal fédéral. Invoquant une violation des art. 126 al. 2 et 219 CP, il conclut à l'annulation de l'arrêt attaqué.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. Saisi d'un pourvoi en nullité, le Tribunal fédéral contrôle l'application du droit fédéral (art. 269 PPF) sur la base exclusive de l'état de fait définitivement arrêté par l'autorité cantonale (cf. art. 277bis et 273 al. 1 let. b PPF). Le raisonnement juridique doit se fonder sur les faits retenus dans la décision attaquée, dont le recourant ne peut s'écarter. Le Tribunal fédéral n'est pas lié par les motifs invoqués, mais il ne peut aller au-delà des conclusions du recourant (art. 277bis PPF). Celles-ci, qui doivent être interprétées à la lumière de leur motivation, circonscrivent les points litigieux (<ref-ruling> consid. 1 p. 66).
1. Saisi d'un pourvoi en nullité, le Tribunal fédéral contrôle l'application du droit fédéral (art. 269 PPF) sur la base exclusive de l'état de fait définitivement arrêté par l'autorité cantonale (cf. art. 277bis et 273 al. 1 let. b PPF). Le raisonnement juridique doit se fonder sur les faits retenus dans la décision attaquée, dont le recourant ne peut s'écarter. Le Tribunal fédéral n'est pas lié par les motifs invoqués, mais il ne peut aller au-delà des conclusions du recourant (art. 277bis PPF). Celles-ci, qui doivent être interprétées à la lumière de leur motivation, circonscrivent les points litigieux (<ref-ruling> consid. 1 p. 66).
2. Le recourant fait valoir que l'autorité cantonale a retenu à tort l'infraction de voies de fait qualifiées, les actes qui lui sont reprochés n'étant pas suffisamment identifiés, décrits et fixés dans le temps. Selon le recourant, aucun acte répréhensible n'a pu être établi de manière probante.
2.1 L'<ref-law> vise un comportement intentionnel qui cause à la victime l'atteinte à l'intégrité corporelle la moins grave que le droit pénal réprime. Doivent être qualifiées de voies de fait au sens de l'<ref-law> les atteintes physiques, même si elles ne causent aucune douleur, qui excèdent ce qu'il est admis de supporter selon l'usage courant et les habitudes sociales, et qui ne causent ni lésions corporelles, ni atteintes à la santé (Corboz, Les infractions en droit suisse, vol. I, Berne 2002, p. 152, n. 4 ad <ref-law>). Des gifles, des coups de poing ou de pied, un heurt violent ou le fait d'arroser quelqu'un doivent être qualifiés de voies de fait (<ref-ruling> consid. 2a/cc p. 17). L'<ref-law> prévoit que la poursuite aura lieu d'office si le délinquant a agi à réitérées reprises contre une personne, notamment contre un enfant, dont il avait la garde ou sur laquelle il avait le devoir de veiller.
2.2 En l'occurrence, l'autorité cantonale a retenu que le recourant s'était livré à des actes de maltraitance, principalement sur B._. Elle note que, lors des débats, l'assistante sociale qui suivait les enfants a expliqué que "les fillettes par[laient] davantage depuis l'été 2003 et [qu'il était] régulièrement question de coups, notamment sur la tête, qui f[aisaient] mal et qui paraiss[aient] disproportionnés par rapport aux bêtises commises". En outre, elle se réfère au témoignage de la grand-mère paternelle de B._, qui a déclaré que les enfants se plaignaient d'être tapées ou punies, les dernières déclarations en ce sens remontant aux fêtes de Noël 2003. Pour le surplus, l'autorité cantonale mentionne de nombreux actes qui ne sauraient cependant être pris en compte, dès lors qu'ils sont intervenus avant le 1er juin 2002 et qu'ils sont donc prescrits. En effet, il y a lieu de rappeler que les voies de fait sont une contravention, même dans le cas aggravé de l'alinéa 2, et que, partant, elles se prescrivent, conformément au droit ancien alors en vigueur, par deux ans (art. 109 et 72 ch. 2 al. 2 in fine aCP; cf. arrêt du 12 novembre 2003, 6S.339/2003, consid. 3.2).
Au vu de ce qui précède, il ressort clairement de l'état de fait cantonal que le recourant a infligé à B._ des coups, notamment sur la tête. Même s'ils ne sont pas décrits précisément et qu'il ne peuvent être exactement situés dans le temps, les coups infligés par le recourant constituent des voies de fait, dès lors qu'ils n'ont causé aucune lésion, ni atteinte à la santé de B._, mais que celle-ci a subi une forme de violence qui excède ce qui est socialement toléré. Il ne saurait s'agir d'actes très occasionnels. Selon l'arrêt cantonal, le recourant est en effet un homme rigide, dont le mode d'éducation est fondé sur la violence. Il faut donc admettre, même si l'on ignore le nombre exact des coups donnés à B._, que le recourant a agi à réitérées reprises au sens de l'<ref-law>, dépassant ainsi ce qui est admissible au regard d'un éventuel droit de correction (<ref-ruling> consid. 3 p. 222). C'est dès lors à juste titre que l'autorité cantonale a condamné le recourant en application de l'<ref-law>. Le pourvoi doit être rejeté sur ce point.
Au vu de ce qui précède, il ressort clairement de l'état de fait cantonal que le recourant a infligé à B._ des coups, notamment sur la tête. Même s'ils ne sont pas décrits précisément et qu'il ne peuvent être exactement situés dans le temps, les coups infligés par le recourant constituent des voies de fait, dès lors qu'ils n'ont causé aucune lésion, ni atteinte à la santé de B._, mais que celle-ci a subi une forme de violence qui excède ce qui est socialement toléré. Il ne saurait s'agir d'actes très occasionnels. Selon l'arrêt cantonal, le recourant est en effet un homme rigide, dont le mode d'éducation est fondé sur la violence. Il faut donc admettre, même si l'on ignore le nombre exact des coups donnés à B._, que le recourant a agi à réitérées reprises au sens de l'<ref-law>, dépassant ainsi ce qui est admissible au regard d'un éventuel droit de correction (<ref-ruling> consid. 3 p. 222). C'est dès lors à juste titre que l'autorité cantonale a condamné le recourant en application de l'<ref-law>. Le pourvoi doit être rejeté sur ce point.
3. Le recourant conteste également sa condamnation pour violation intentionnelle du devoir d'assistance ou d'éducation (<ref-law>), faisant valoir qu'il ne saurait avoir mis en danger le développement psychique de B._.
Déterminer si l'enfant a subi des traumatismes importants et, partant, si son développement psychique a été mis en danger relève de l'établissement des faits; cette question ne peut par conséquent pas être remise en cause dans un pourvoi. Dans la mesure où le recourant prétend qu'il n'a pas mis en danger le développement psychique de B._, son argumentation est donc irrecevable. C'est à tort qu'il parle de causalité adéquate entre les coups infligés à B._ et la mise en danger de son développement psychique. La notion de causalité adéquate est en effet inconnue en matière de délits intentionnels. Pour ces délits, seule s'applique la causalité naturelle, qui relève du fait; celle-ci est limitée par l'intention, l'auteur n'engageant sa responsabilité pénale que pour les faits qu'il connaissait et pouvait prévoir (cf. Graven, L'infraction pénale punissable, 2e éd., Berne 1995, p. 93).
Dans l'arrêt de non-lieu du 21 mai 2003, confirmé par le Tribunal fédéral dans son arrêt du 12 novembre 2003 rendu entre les mêmes parties (6S.339/2003), le Tribunal d'accusation du Tribunal cantonal vaudois a constaté, se fondant notamment sur une expertise psychiatrique, que le développement psychique de B._ n'avait pas été mis en danger. Ultérieurement, il est cependant apparu des faits nouveaux. Sur la base de ceux-ci, l'autorité de jugement a considéré qu'à une période donnée, le recourant avait mis en danger le développement psychique de B._. En particulier, elle fait observer que l'enfant était triste, se plaignait souvent et craignait de parler de ce qui se passait chez elle. Pour l'autorité cantonale, il ne fait aucun doute que ces symptômes s'expliquent, au moins pour une partie, par les mauvais traitements qui lui ont été infligés par le recourant. Ces constatations de fait lient la cour de céans. Dans la mesure où le recourant s'en écarte, ses griefs sont irrecevables.
Dans l'arrêt de non-lieu du 21 mai 2003, confirmé par le Tribunal fédéral dans son arrêt du 12 novembre 2003 rendu entre les mêmes parties (6S.339/2003), le Tribunal d'accusation du Tribunal cantonal vaudois a constaté, se fondant notamment sur une expertise psychiatrique, que le développement psychique de B._ n'avait pas été mis en danger. Ultérieurement, il est cependant apparu des faits nouveaux. Sur la base de ceux-ci, l'autorité de jugement a considéré qu'à une période donnée, le recourant avait mis en danger le développement psychique de B._. En particulier, elle fait observer que l'enfant était triste, se plaignait souvent et craignait de parler de ce qui se passait chez elle. Pour l'autorité cantonale, il ne fait aucun doute que ces symptômes s'expliquent, au moins pour une partie, par les mauvais traitements qui lui ont été infligés par le recourant. Ces constatations de fait lient la cour de céans. Dans la mesure où le recourant s'en écarte, ses griefs sont irrecevables.
4. En conclusion, le pourvoi doit être rejeté dans la mesure où il est recevable. Succombant, le recourant doit supporter les frais judiciaires (art. 278 al. 1 PPF; art. 156 al. 1 OJ).
Il n'y a pas lieu d'allouer d'indemnité à l'intimée qui n'a pas déposé de mémoire dans la procédure devant le Tribunal fédéral.

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le pourvoi est rejeté dans la mesure où il est recevable.
1. Le pourvoi est rejeté dans la mesure où il est recevable.
2. Un émolument judiciaire de 2'000 francs est mis à la charge du recourant.
2. Un émolument judiciaire de 2'000 francs est mis à la charge du recourant.
3. Le présent arrêt est communiqué en copie au mandataire des parties, au Ministère public du canton de Vaud et au Tribunal cantonal vaudois, Cour de cassation pénale.
Lausanne, le 24 septembre 2004
Au nom de la Cour de cassation pénale
du Tribunal fédéral suisse
Le président: La greffière: