Faits: A. Par décision du 5 décembre 2011, la Direction de l'aménagement, de l'environnement et des constructions du canton de Fribourg (ci-après: la Direction de l'aménagement) a rejeté la demande de renouvellement de l'autorisation provisoire d'exploiter la compostière du Gibloux à Vuisternens-en-Ogoz, délivrée à l'Entreprise A._. Elle a précisé que l'autorisation provisoire prenait fin au 31 janvier 2012. Ce refus était motivé par le fait que la compostière avait continuellement été menée de manière insatisfaisante, eu égard notamment au problème récurrent de l'émanation d'odeurs et à l'écoulement de jus vers le fonds voisin; il a en outre été relevé que des contrôles avaient mis en évidence plusieurs irrégularités par rapport aux conditions de l'autorisation. L'Entreprise A._ (ci-après: l'Entreprise) a recouru contre cette décision auprès de la IIe Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal). Elle a notamment demandé la confirmation de l'effet suspensif de son recours et la possibilité de continuer à bénéficier de l'autorisation provisoire d'exploiter la compostière au-delà du 31 janvier 2012. Par arrêt du 14 mars 2012, le Tribunal cantonal a traité la demande d'effet suspensif comme requête de mesures provisionnelles qu'il a admise partiellement, dans le sens que l'exploitation de la compostière du Gibloux est autorisée jusqu'au 30 juin 2012. B. Agissant par la voie du recours en matière de droit public, l'Entreprise demande au Tribunal fédéral de réformer l'arrêt du 14 mars 2012, en ce sens qu'elle pourra exploiter la compostière du Gibloux jusqu'à ce que la décision finale au recours déposé le 20 janvier 2012 soit rendue. Le Tribunal cantonal, la Préfecture de la Sarine et la Commission administrative de la commune de Vuisternens-en-Ogoz renoncent à se déterminer. La Direction de l'aménagement conclut au rejet du recours. La recourante a répliqué par courrier du 29 mai 2012.