Faits: Faits: A. X._ SA, dont le siège social est à Y._ dans le canton de Fribourg, est active dans le commerce de semence animale ainsi que dans le conseil en génétique. Elle est au bénéfice d'un permis général d'importation délivré le 10 janvier 2001 par l'Office fédéral de l'agriculture (ci-après: l'Office fédéral). Par décision du 4 décembre 2002, l'Office fédéral a retiré ce permis général d'importation et l'a fait bloquer auprès de la Direction générale des douanes. Il a également interdit à X._ SA de commercialiser directement de la semence de taureaux, sans passer par l'intermédiaire des organisations d'insémination artificielle autorisées. Il a fait valoir que la commercialisation directe de semence de taureaux pratiquée sans autorisation par X._ SA était illégale et qu'à défaut d'autorisation délivrée en application de l'ordonnance du 7 décembre 1998 sur l'élevage (ci-après: l'Ordonnance; RS 916.310), cette commercialisation devait s'opérer par le biais d'une organisation d'insémination artificielle reconnue. Par décision du 4 décembre 2002, l'Office fédéral a retiré ce permis général d'importation et l'a fait bloquer auprès de la Direction générale des douanes. Il a également interdit à X._ SA de commercialiser directement de la semence de taureaux, sans passer par l'intermédiaire des organisations d'insémination artificielle autorisées. Il a fait valoir que la commercialisation directe de semence de taureaux pratiquée sans autorisation par X._ SA était illégale et qu'à défaut d'autorisation délivrée en application de l'ordonnance du 7 décembre 1998 sur l'élevage (ci-après: l'Ordonnance; RS 916.310), cette commercialisation devait s'opérer par le biais d'une organisation d'insémination artificielle reconnue. B. Saisie d'un recours, la Commission de recours du Département fédéral de l'économie (ci-après: la Commission fédérale de recours), statuant le 15 juin 2004, l'a admis et a annulé la décision de l'Office fédéral du 4 décembre 2002. Elle a retenu en substance que l'activité de X._SA, soit la commercialisation directe de semence de taureaux, n'était soumise à autorisation ni par la loi fédérale du 29 avril 1998 sur l'agriculture (loi sur l'agriculture; LAgr; RS 910.1) ni par l'Ordonnance. En outre, l'interdiction notifiée à X._ SA ne pouvait pas se fonder sur l'application analogique de l'art. 25 al. 2 de l'Ordonnance relatif à l'attribution des parts de contingent tarifaire et constituait, à défaut de base légale explicite, une atteinte importante à l'exercice de la liberté économique de X._ SA garantie par l'art. 27 Cst. Par ailleurs, dès lors que X._ SA n'avait violé ni la loi sur l'agriculture ni ses dispositions d'exécution, l'Office fédéral lui avait retiré à tort le permis général d'importation. B. Saisie d'un recours, la Commission de recours du Département fédéral de l'économie (ci-après: la Commission fédérale de recours), statuant le 15 juin 2004, l'a admis et a annulé la décision de l'Office fédéral du 4 décembre 2002. Elle a retenu en substance que l'activité de X._SA, soit la commercialisation directe de semence de taureaux, n'était soumise à autorisation ni par la loi fédérale du 29 avril 1998 sur l'agriculture (loi sur l'agriculture; LAgr; RS 910.1) ni par l'Ordonnance. En outre, l'interdiction notifiée à X._ SA ne pouvait pas se fonder sur l'application analogique de l'art. 25 al. 2 de l'Ordonnance relatif à l'attribution des parts de contingent tarifaire et constituait, à défaut de base légale explicite, une atteinte importante à l'exercice de la liberté économique de X._ SA garantie par l'art. 27 Cst. Par ailleurs, dès lors que X._ SA n'avait violé ni la loi sur l'agriculture ni ses dispositions d'exécution, l'Office fédéral lui avait retiré à tort le permis général d'importation. C. Agissant par la voie du recours de droit administratif, le Département fédéral de l'économie demande au Tribunal fédéral, avec suite de frais, d'annuler la décision de la Commission fédérale de recours du 15 juin 2004 et de confirmer celle de l'Office fédéral du 4 décembre 2002. Il fait valoir, pour l'essentiel, que l'art. 145 LAgr consacre la volonté du législateur de promouvoir l'élevage bovin indigène et que l'Ordonnance concrétise cette intention en soumettant la commercialisation de semence de taureaux à autorisation et en réservant aux seules organisations d'insémination artificielle la possibilité de la récolter, de la stocker et de la commercialiser. En outre, les restrictions apportées à la liberté économique de X._ SA seraient justifiées par la promotion d'un élevage indigène de qualité. La Commission fédérale de recours se réfère aux motifs de la décision attaquée et renonce à se prononcer sur le recours. X._ SA conclut, avec suite de frais et dépens, au rejet du recours et à la confirmation de la décision entreprise.