Faits: Faits: A. Par jugement du 15 janvier 2003, le Tribunal pénal de l'arrondissement de la Veveyse a condamné P._, pour lésions corporelles simples sur une personne hors d'état de se défendre (art. 123 ch. 2 al. 3 CP), actes d'ordre sexuel avec des enfants (art. 187 CP) et viol (art. 190 CP), à la peine de 3 ans de réclusion. Il l'a par ailleurs astreint à verser une somme de 15'000 francs à la victime à titre de réparation du tort moral. Statuant sur appel du condamné, la Cour d'appel pénal du Tribunal cantonal fribourgeois l'a partiellement admis par arrêt du 12 octobre 2004. Considérant que les faits tenus pour constitutifs de lésions corporelles simples sur une personne hors d'état de se défendre devaient être qualifiés de voies de fait, lesquelles étaient toutefois atteintes par la prescription, elle a libéré l'accusé de la première de ces infractions et constaté que, pour la seconde, l'action pénale était prescrite. Elle a dès lors réduit la peine, qu'elle a fixée à 18 mois de réclusion, avec sursis pendant 4 ans. Pour le surplus, elle a écarté le recours. Statuant sur appel du condamné, la Cour d'appel pénal du Tribunal cantonal fribourgeois l'a partiellement admis par arrêt du 12 octobre 2004. Considérant que les faits tenus pour constitutifs de lésions corporelles simples sur une personne hors d'état de se défendre devaient être qualifiés de voies de fait, lesquelles étaient toutefois atteintes par la prescription, elle a libéré l'accusé de la première de ces infractions et constaté que, pour la seconde, l'action pénale était prescrite. Elle a dès lors réduit la peine, qu'elle a fixée à 18 mois de réclusion, avec sursis pendant 4 ans. Pour le surplus, elle a écarté le recours. B. Cet arrêt retient, en résumé, ce qui suit. B.a La victime, T._, est née en 1985 et a un frère d'un peu moins de deux ans son aîné. Elle a mal supporté le divorce de ses parents, qui se sont séparés en 1995, et ses rapports avec sa mère sont ensuite devenus tendus. En novembre 1995, la mère de T._ a fait la connaissance de P._, qui a commencé à partager régulièrement le domicile familial dès janvier 1996. En novembre de la même année, elle a emménagé avec ses deux enfants dans un appartement qu'elle avait loué avec P._. La cohabitation entre ce dernier et T._ a été difficile, notamment du fait qu'il frappait la mère de celle-ci. T._ a éprouvé des difficultés scolaires. En juin 1997, elle a participé à deux séances de traitement avec des psychologues scolaires. A la même époque, sa mère s'est séparée de P._. Cette rupture, qui a été conflictuelle, n'a pas amélioré les rapports de la victime avec sa mère. En raison de ces difficultés relationnelles, T._ a fait l'objet de quatre placements successifs dans différents foyers, la première fois entre la mi-septembre et la mi-octobre 1999 et la dernière fois, entre le 14 août et le 6 novembre 2000. C'est lors de ce dernier séjour, au foyer X._, que, suite à une crise, elle s'est confiée à une éducatrice spécialisée et a alors dénoncé, le 11 octobre 2000, les faits dont elle disait avoir été victime de la part de P._. B.b Les faits dénoncés sont, en substance, les suivants. B.b.a Entre novembre 1996 et juin 1997, P._ a régulièrement frappé la mère de T._, souvent en présence de cette dernière. Comme l'enfant tentait de s'interposer, il la poussait et la faisait tomber, lui causant des bleus sur les jambes. A une autre occasion, il a poussé T._ dans l'escalier. Un soir du début de l'été 1997, alors qu'elle n'avait pas regagné son domicile à l'heure convenue, il est venu la chercher et l'a, pendant 7 à 8 minutes, traînée par les cheveux jusqu'à la maison, en la tirant fortement par la chevelure et en lui donnant des coups de pied au derrière pour qu'elle avance. Ces faits ont, en seconde instance, été qualifiés de voies de fait, en constatant que cette infraction était prescrite. B.b.b Un soir du début de l'été 1997, alors qu'ils étaient seuls dans le logement, P._ est entré dans la chambre de T._, alors âgée de 11 ans, qui était sur le point de s'endormir. Le voyant à côté de son lit, T._ lui a demandé ce qu'il voulait et a commencé à l'insulter, car, selon ses propres termes, elle ne le supportait plus. P._ est alors venu sur le lit et lui a tenu les bras. Elle a tenté de s'éloigner, mais il l'en a empêchée en se mettant sur ses jambes et en la tenant très fort. Elle s'est mise à hurler et il lui a dit d'arrêter. Il lui a alors enlevé la culotte et a descendu son propre pantalon, puis l'a pénétrée un peu. Elle a cependant réussi à dégager ses jambes et lui a donné un coup de pied, sur quoi il s'est retiré, puis est descendu du lit. P._ lui a alors fait un sourire et a mis un doigt sur ses lèvres pour lui signifier qu'elle devait se taire, avant de quitter la chambre. Ces faits ont été considérés comme constitutifs d'actes d'ordre sexuel avec des enfants et de viol. B.c P._ a été soumis à une expertise psychiatrique. Dans son rapport, déposé le 29 juin 2001, l'expert est parvenu à la conclusion que la responsabilité de l'expertisé était pleine et entière au moment des faits. B.d Au stade de la fixation de la peine, la cour cantonale a estimé que, compte tenu de la suppression de l'une des infractions retenues en première instance et de la sévérité particulière de la sanction prononcée par les premiers juges, il se justifierait de fixer la peine à 21 mois de réclusion. Considérant toutefois que cette quotité n'était pas d'une durée nettement supérieure à celle de 18 mois compatible avec le sursis, dont les conditions étaient par ailleurs réalisées, elle a arrêté la peine à 18 mois de réclusion avec sursis pendant 4 ans. B.d Au stade de la fixation de la peine, la cour cantonale a estimé que, compte tenu de la suppression de l'une des infractions retenues en première instance et de la sévérité particulière de la sanction prononcée par les premiers juges, il se justifierait de fixer la peine à 21 mois de réclusion. Considérant toutefois que cette quotité n'était pas d'une durée nettement supérieure à celle de 18 mois compatible avec le sursis, dont les conditions étaient par ailleurs réalisées, elle a arrêté la peine à 18 mois de réclusion avec sursis pendant 4 ans. C. Le Ministère public se pourvoit en nullité au Tribunal fédéral. Invoquant une violation de l'art. 63 CP, il conclut à l'annulation de l'arrêt attaqué. La cour cantonale a renoncé à formuler des observations. L'intimé conclut au rejet du pourvoi, en sollicitant l'assistance judiciaire. Par arrêt 6P.181/2004 de ce jour, le recours de droit public déposé parallèlement par l'intimé a été rejeté dans la mesure où il était recevable.