Faits:
A. L'Entreprise X._ (ci-après: l'Entreprise) exploite la compostière xxx à Y._ depuis 1992. En automne 2004, à la suite de réclamations dues aux mauvaises odeurs dégagées par la compostière, la commune de Y._ a formellement exigé que les directives d'exploitation du Service de l'environnement du canton de Fribourg soient respectées et a avisé le Préfet du district de la Sarine (ci-après: le Préfet).
A la suite des interventions réitérées de la commune, du Préfet, du Service de l'environnement et du Service de la sécurité alimentaire et des affaires vétérinaires du canton de Fribourg - qui ont relevé des conditions d'exploitation contraires aux dispositions légales et réglementaires -, le Préfet a ordonné que la situation soit régularisée en tenant compte des conditions-cadre émises par les Services précités, par décision du 24 septembre 2009.
La Direction de l'aménagement, de l'environnement et des constructions du canton de Fribourg (ci-après: la DAEC) a constaté que l'Entreprise n'avait jamais bénéficié d'une autorisation formelle au sens de l'art. 17 de la loi cantonale sur la gestion des déchets (LGD; RSF 810.2) et a mis la compostière au bénéfice d'une autorisation provisoire d'exploiter en lui enjoignant de respecter les prescriptions en la matière, par décision du 14 avril 2010.
Le 20 juillet 2011, cette autorisation a été remplacée par une nouvelle autorisation d'exploiter valable jusqu'au 31 janvier 2012. Celle-ci mentionnait les déficiences de l'exploitation et avertissait qu'en cas de violation, l'autorisation serait retirée sans avertissement et que la compostière devrait fermer.
Le 5 décembre 2011, la DAEC a rejeté la demande de renouvellement de l'autorisation provisoire du 20 juillet 2011, formée par l'Entreprise. Elle a précisé que l'autorisation provisoire prenait fin au 31 janvier 2012. Ce refus était motivé par le fait que la compostière avait continuellement été exploitée de manière insatisfaisante, eu égard notamment au problème récurrent de l'émanation d'odeurs et à l'écoulement de jus vers le fonds voisin; il a en outre été relevé que des contrôles avaient mis en évidence plusieurs irrégularités par rapport aux conditions de l'autorisation (stockage de déchets non conformes; insuffisance des travaux de réparations nécessaires à une collecte parfaite des eaux de la place et empêchant une fuite directe dans les champs avoisinants; contrôles insuffisants des déchets à l'entrée de la compostière et acceptation de déchets dans un stade de dégradation avancé; séparation insuffisante des flux de matières [entrées/sorties]; non-respect de la fréquence des intervalles de brassage des matériaux en cours de compostage; non-achèvement en avril 2011 des travaux portant sur l'installation d'une aération forcée ayant pour but de diminuer les problèmes d'odeurs et d'assurer l'assainissement de la compostière).
B. Le 20 janvier 2012, l'Entreprise a recouru contre cette décision auprès de la IIe Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal). Par arrêt du 14 mars 2012, le Tribunal cantonal a traité la demande d'effet suspensif comme requête de mesures provisionnelles qu'il a admise partiellement, dans le sens que l'exploitation de la compostière xxx est autorisée jusqu'au 30 juin 2012. Le Tribunal fédéral a confirmé ce jugement, par arrêt du 4 juin 2012 (cause 1C_199/2012).
Sur le fond, la cour cantonale a rejeté le recours, par arrêt du 8 février 2013. Après avoir énuméré les dysfonctionnements dans l'exploitation de la compostière - consignés dans divers procès-verbaux figurant au dossier -, elle a constaté en substance que les conditions d'exploitation contenues dans l'autorisation provisoire n'avaient pas été respectées. Elle a considéré que la recourante n'avait jamais été mise au bénéfice d'une autorisation définitive, de sorte que l'art. 45 de l'ordonnance du 10 décembre 1990 sur le traitement des déchets (OTD; RS 814.600) ne s'appliquait pas. Elle a enfin jugé que le principe de la proportionnalité n'était pas violé.
C. Agissant par la voie du recours en matière de droit public, l'Entreprise X._ demande principalement au Tribunal fédéral d'annuler l'arrêt du 8 février 2013 ainsi que la décision du 5 décembre 2011. Elle conclut subsidiairement au renvoi de la cause à la DAEC pour nouvelle décision dans le sens de l'octroi d'une autorisation d'exploitation définitive de la compostière xxx.
Le Tribunal cantonal, la DAEC et le Préfet renvoient aux considérants de l'arrêt attaqué et concluent au rejet du recours. La commune de Y._ renonce à se déterminer.
Considérant en droit:
1. Dirigé contre une décision finale (art. 90 LTF) prise en dernière instance cantonale (art. 86 al. 1 lit. d LTF) dans le domaine du droit de l'environnement et du droit de traitement des déchets (art. 82 lit. a LTF), le recours est en principe recevable comme recours en matière de droit public selon les art. 82 ss LTF, aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée. La recourante a pris part à la procédure de recours devant le Tribunal cantonal. Elle est particulièrement touchée par l'arrêt attaqué qui confirme le non-renouvellement de l'autorisation provisoire d'exploiter la compostière xxx, qui lui avait été accordée. Elle peut ainsi se prévaloir d'un intérêt personnel et digne de protection à l'annulation de l'arrêt attaqué. Elle a dès lors qualité pour agir au sens de l'art. 89 al. 1 LTF. Les autres conditions de recevabilité sont par ailleurs réunies, si bien qu'il y a lieu d'entrer en matière.
2. La recourante se plaint d'une violation de l'art. 45 al. 3 de l'ordonnance du 10 décembre 1990 sur le traitement des déchets (OTD; RS 814.600). Elle prétend que le délai de deux ans prévu par cette disposition n'échoit que le 20 juillet 2013 puisqu'il a commencé à courir le 20 juillet 2011, lorsque les déficiences de l'exploitation ont été constatées officiellement. A cet égard, elle se plaint d'une violation du principe de la légalité et du principe de la primauté du droit fédéral. Elle reproche à l'instance précédente d'avoir appliqué la législation cantonale au lieu du droit fédéral, soit notamment l'OTD.
2.1 L'art. 21 OTD dispose que l'exploitation d'une décharge contrôlée est soumise à une autorisation d'exploiter délivrée par le canton. En application de cette disposition, l'art. 17 de la loi cantonale sur la gestion des déchets du 13 novembre 1996 (LGD; RSF 810.2) prévoit que les installations d'élimination des déchets désignées par le règlement d'exécution sont soumises à une autorisation d'exploiter. Selon l'art. 7 du règlement sur la gestion des déchets du 20 janvier 1998 (RTD; RSF 810.21), la demande d'autorisation d'exploiter doit être déposée auprès de la DAEC et doit contenir la justification du projet, en particulier sa conformité au plan (let. a), la description du fonctionnement de l'installation et sa durée de vie présumée (let. b), un règlement d'exploitation contenant notamment le cahier des charges du personnel ainsi que sa formation (let. c), les informations exigées à l'article 19 OTD (let. d).
A teneur de l'art. 45 al. 1 OTD, l'autorité contrôle périodiquement les installations de compostage et leur exploitation. L'alinéa 2 de cette disposition précise que si l'autorité constate des défauts, elle ordonne à son détenteur d'y remédier et fixe pour ce faire un délai approprié. Conformément à l'alinéa 3, si ces défauts sont considérables et si le détenteur n'y remédie pas dans un délai de deux ans au plus, l'autorité ordonne la fermeture de l'installation. En cas d'urgence, elle en ordonne la fermeture immédiatement.
2.2 Le Tribunal cantonal a considéré que la recourante n'avait jamais été mise au bénéfice d'une autorisation définitive au sens de l'art. 17 LGD et que l'art. 45 OTD n'était pas applicable à une telle situation précaire.
Au contraire, la recourante fait valoir qu'elle exploite la compostière depuis 20 ans - laquelle figure dans la planification cantonale comme l'une des trois compostières du canton de Fribourg - et qu'elle a reçu un million de francs de subsides de la part de la Confédération et du canton pour la construire et l'exploiter. Elle en déduit qu'il est insoutenable de prétendre qu'elle serait seulement au bénéfice d'une autorisation provisoire.
Le fait de tolérer, voire d'encourager l'activité d'exploitation au moyen de subventions, pendant une longue période apparaît certes en contradiction avec le régime des autorisations purement provisoires. Une telle activité d'exploitation durant 20 ans ne pallie toutefois pas l'absence d'autorisation conforme au droit pendant cette période, ce d'autant moins que la recourante ne conteste pas avoir été mise au bénéfice d'une autorisation provisoire les 14 avril 2010 et 20 juillet 2011. Ainsi, l'argumentation de la cour cantonale ne paraît pas contraire au droit fédéral, lequel prévoit que l'exploitation d'une décharge doit être soumise à une autorisation d'exploiter délivrée par le canton (art. 21 al. 1 OTD). Les principes de la légalité et de la primauté du droit fédéral sont donc respectés. Par conséquent, c'est à bon droit que le Tribunal cantonal a conclu que l'art. 45 al. 3 OTD ne s'appliquait pas en l'espèce, faute d'autorisation définitive. Il n'est dès lors pas nécessaire d'examiner les conditions d'application de l'art. 45 al. 3 OTD.
3. La recourante reproche en outre à la cour cantonale d'avoir abusé de son pouvoir d'appréciation dans l'examen du principe de la proportionnalité.
3.1 Le principe de la proportionnalité, ancré à l'art. 5 al. 2 Cst., exige qu'une mesure restrictive soit apte à produire les résultats escomptés (règle de l'aptitude) et que ceux-ci ne puissent être atteints par une mesure moins incisive (règle de la nécessité); en outre, il interdit toute limitation allant au-delà du but visé et il exige un rapport raisonnable entre celui-ci et les intérêts publics ou privés compromis (principe de la proportionnalité au sens étroit, impliquant une pesée des intérêts; ATF 136 I 87 consid. 3.2 p. 91 et les arrêts cités).
Il y a abus du pouvoir d'appréciation lorsque l'autorité, tout en restant dans les limites du pouvoir d'appréciation qui est le sien, se fonde sur des considérations qui manquent de pertinence et sont étrangères au but visé par les dispositions légales applicables, ou viole des principes généraux du droit tels que l'interdiction de l'arbitraire et de l'inégalité de traitement, le principe de la bonne foi et le principe de la proportionnalité (ATF 123 V 150 consid. 2 p. 152 et les références). Commet un excès positif de son pouvoir d'appréciation, l'autorité qui exerce son appréciation alors que la loi l'exclut, ou qui, au lieu de choisir entre les deux solutions possibles, en adopte une troisième. Il y a également excès du pouvoir d'appréciation dans le cas où l'excès de pouvoir est négatif, soit lorsque l'autorité considère qu'elle est liée, alors que la loi l'autorise à statuer selon son appréciation, ou qu'elle renonce d'emblée en tout ou partie à exercer son pouvoir d'appréciation (ATF 137 V 71 consid. 5.1 p. 73; 116 V 307 consid. 2 p. 310 et les références).
3.2 En l'espèce, la recourante soutient que d'autres sanctions prévues aux art. 35 et 36 LGD, à savoir la suspension de l'autorisation d'exploiter ou l'amende, auraient dû être ordonnées avant d'imposer la fermeture de la compostière. Partant, elle perd de vue qu'avant de prononcer le non-renouvellement de l'autorisation provisoire d'exploitation, l'autorité a multiplié les mesures moins incisives destinées à assainir la compostière xxx. Le Tribunal cantonal a relevé que depuis 2009 le Service cantonal de l'énergie a procédé à des visions locales annoncées et impromptues et que la commission de contrôle a effectué des visites trimestrielles. Il ressort des procès-verbaux y faisant suite que la recourante a été régulièrement rendue attentive aux dysfonctionnements persistants et invitée à y remédier à brève échéance. Elle a été sommée à de nombreuses reprises de se conformer aux conditions fixées dans les autorisations provisoires d'exploiter, sous peine de fermeture de la compostière. Dès lors, ce n'est qu'après avoir constaté que la plupart des défaillances signalées au cours des années écoulées subsistaient en dépit des mesures et sursis prononcés - notamment malgré l'aide d'un expert du compostage - que la DAEC a décidé de ne pas renouveler l'autorisation provisoire d'exploiter. Cette appréciation est conforme à la règle de la nécessité. La critique de la recourante doit donc être écartée.
Quant à la pesée des intérêts en présence, la recourante affirme que la fermeture de la compostière porte une atteinte grave à ses intérêts privés et causera la faillite de l'entreprise. Elle soutient aussi que les communes ont dispersé des déchets verts sur des sites non protégés depuis le 30 juin 2012 et demande que cette conséquence de la fin de l'exploitation de la compostière soit prise en compte dans l'intérêt public. Elle relève qu'il n'y a que trois compostières dans tout le canton et qu'une partie des déchets a dû être acheminée dans le canton de Vaud. A cet égard, l'instance précédente a retenu que la fermeture de la compostière n'engendre pas la fin de la valorisation des déchets verts puisque ceux-ci peuvent être livrés à d'autres installations à distance raisonnable. Elle a noté que la valorisation des déchets verts peut s'effectuer autrement que par compostage, par exemple par la production de biogaz. Elle a enfin estimé que l'intérêt public visant au traitement des déchets verts dans des installations permettant leur valorisation conforme à la législation et sans génération de nuisance l'emportait sur l'intérêt privé à éviter la faillite de l'entreprise. La pesée des intérêts opérée par l'instance précédente dans l'examen du principe de la proportionnalité au sens étroit ne prête ainsi pas le flanc à la critique. Le fait que la recourante ait investi plus de trois millions, dont un million de subsides, dans cette installation ne suffit pas pour autoriser l'exploitation d'une entreprise qui ne respecte pas les conditions légales et réglementaires.
3.3 Dans ces conditions, la DAEC et le Tribunal cantonal n'ont pas abusé de leur pouvoir d'appréciation dans l'application du principe de la proportionnalité, en retenant que l'autorisation provisoire d'exploiter la compostière ne pouvait pas être renouvelée.
Il s'ensuit que le recours est rejeté.
4. La recourante, qui succombe, supporte les frais judiciaires (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3'000 francs, sont mis à la charge de la recourante.
3. Le présent arrêt est communiqué au mandataire de la recourante, à la Commune de Y._, au Préfet du district de la Sarine, à la Direction de l'aménagement, de l'environnement et des constructions et au Tribunal cantonal du canton de Fribourg, IIe Cour administrative.
Lausanne, le 14 mai 2013
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Tornay Schaller