Faits: Faits: A. X._, qui exploite un domaine agricole sur le territoire de la Commune de Y._, est propriétaire de la parcelle no xxx du registre foncier, sise hors du village, en zone agricole, et sur laquelle sont édifiés une habitation et un bâtiment agricole. Deux silos à fourrage hauts d'une quinzaine de mètres ont également été construits sur cette parcelle, dépassant la hauteur maximale autorisée par le règlement communal sur le plan d'extension et la police des constructions (10,50 m). Le 30 mai 1995, X._ a présenté un projet tendant notamment à construire un hangar et à remplacer les silos existants par deux nouveaux silos d'une capacité supérieure. La Municipalité de Y._ (ci-après: la municipalité) a accordé le permis de construire le 5 octobre 1995, à condition que la hauteur des nouveaux silos ne dépasse pas celle des anciens. Le 30 mai 1995, X._ a présenté un projet tendant notamment à construire un hangar et à remplacer les silos existants par deux nouveaux silos d'une capacité supérieure. La Municipalité de Y._ (ci-après: la municipalité) a accordé le permis de construire le 5 octobre 1995, à condition que la hauteur des nouveaux silos ne dépasse pas celle des anciens. B. Constatant que les nouveaux silos dépassaient de 2,42 m la hauteur autorisée par le permis de construire, la municipalité a d'abord exigé leur mise en conformité avec le permis, avant d'inviter X._ à constituer un dossier en vue d'une mise à l'enquête des silos tels que réalisés. Elle a refusé le permis de construire par décision du 15 juillet 1996, confirmée par arrêt du 9 mars 1999 du Tribunal administratif du canton de Vaud. Le 29 mars 1999, la municipalité a demandé à X._ de réduire la hauteur des silos litigieux. Ce dernier a recouru contre cette décision auprès du Tribunal administratif, invoquant une violation du principe de la proportionnalité. Le constructeur des silos a devisé la réduction de leur hauteur à 140'000 fr. environ, auxquels s'ajouteraient environ 30'000 fr. pour le démontage et le remontage du hangar adjacent, alors que selon le rapport de l'expert désigné par le Tribunal, une telle opération reviendrait à 108'000 fr. environ, y compris le démontage partiel et le remontage du hangar. Par arrêt du 24 février 2005, le Tribunal administratif a rejeté le recours, considérant que les conditions permettant de renoncer à ordonner la "mise en conformité" n'étaient pas réalisées et qu'une telle mesure respectait le principe de la proportionnalité. Le Tribunal a imparti à X._ un délai au 31 décembre 2005 pour procéder aux modifications requises. Le constructeur des silos a devisé la réduction de leur hauteur à 140'000 fr. environ, auxquels s'ajouteraient environ 30'000 fr. pour le démontage et le remontage du hangar adjacent, alors que selon le rapport de l'expert désigné par le Tribunal, une telle opération reviendrait à 108'000 fr. environ, y compris le démontage partiel et le remontage du hangar. Par arrêt du 24 février 2005, le Tribunal administratif a rejeté le recours, considérant que les conditions permettant de renoncer à ordonner la "mise en conformité" n'étaient pas réalisées et qu'une telle mesure respectait le principe de la proportionnalité. Le Tribunal a imparti à X._ un délai au 31 décembre 2005 pour procéder aux modifications requises. C. Agissant par la voie du recours de droit public, X._ demande au Tribunal fédéral d'annuler cet arrêt. Il se plaint d'une violation de son droit d'être entendu (art. 29 al. 2 Cst.). Invoquant la garantie de la propriété (art. 26 Cst.), il se plaint également d'une violation du principe de la proportionnalité en raison du coût important de la "mise en conformité" et de l'écoulement d'un temps exceptionnellement long depuis la construction des silos litigieux. Le Tribunal administratif et la Municipalité de Y._ concluent au rejet du recours.