Faits: Faits: A. A._ est propriétaire du château de X._, sur le territoire de la commune de Saint-Saphorin (Lavaux). Le Conseil d'Etat du canton de Vaud a pris, en 1956 et 1961, deux arrêtés de classement de ce bâtiment, qui est un monument historique. En 2001, A._ a demandé l'autorisation de rénover une partie du château comportant cinq appartements. A cause des arrêtés de classement, ces travaux de transformation nécessitaient une autorisation spéciale du département cantonal des infrastructures, fondée sur l'art. 23 de la loi cantonale sur la protection de la nature, des monuments et des sites (LPNMS). Ce département (ci-après: le département cantonal) a délivré cette autorisation le 14 novembre 2001, notamment aux conditions suivantes: "L'architecte informera la section des monuments historiques deux semaines avant le début du chantier pour qu'elle puisse faire procéder à un constat archéologique ainsi qu'établir une documentation photographique avant travaux. L'architecte doit soumettre à la section une proposition pour le remplacement des fenêtres existantes qui tienne compte de la solution préconisée par l'expert, à savoir une fenêtre à double vitrage." L'expert auquel il est fait référence est un spécialiste de la conservation et de la restauration d'éléments en bois, B._, qui avait été mandaté par le département cantonal (par l'intermédiaire du service des bâtiments, monuments et archéologie, section monuments et sites) pour analyser l'état de conservation des fenêtres du château et formuler des propositions. La municipalité de Saint-Saphorin a délivré le permis de construire le 22 novembre 2001 et notifié au propriétaire l'autorisation spéciale précitée. Ces décisions n'ont pas fait l'objet d'un recours au Tribunal administratif. La municipalité de Saint-Saphorin a délivré le permis de construire le 22 novembre 2001 et notifié au propriétaire l'autorisation spéciale précitée. Ces décisions n'ont pas fait l'objet d'un recours au Tribunal administratif. B. Le 15 mai 2003, l'architecte de A._ a avisé le service cantonal des bâtiments, monuments et archéologie, du département des infrastructures (ci-après: le service cantonal; abrégé: SBMA) du prochain début des travaux. Le 3 juin 2003, le propriétaire et son architecte ont rencontré sur place un collaborateur du service cantonal, accompagné de l'expert B._. Selon un procès-verbal de cette réunion, il a alors été décidé que les fenêtres des façades nord et est seraient en "verre isolant" (deux vitres enserrant du gaz), avec des "petits-bois rapportés à l'extérieur" (baguettes amovibles fixées sur le cadre, sans contact avec la vitre). Quant aux "fenêtres de la cour" - soit celles situées sur les façades sud et ouest -, il a été décidé qu'elles seraient de type "double vitrage" (deux châssis à simple vitrage fixés par des vis de jonction), que les petits-bois seraient présents sur le cadre extérieur, et que les verres seraient de "forme carrée ou verticale". Le 4 juin 2003, l'architecte du propriétaire a établi un cahier de plans et de photographies intitulé "Château de X._, étude des fenêtres, version monuments historiques". Ce document décrit des fenêtres en bois, avec verre isolant et petits-bois extérieurs pour les façades nord et est, et avec double vitrage et petits bois sur vitrage extérieur pour les façades sud et ouest. L'architecte a préparé à la même date un autre document, intitulé "version maître de l'ouvrage", avec des fenêtres différentes. L'architecte du propriétaire et le service cantonal ont ensuite échangé plusieurs correspondances au sujet des fenêtres durant l'année 2003. En substance, l'architecte a finalement proposé, en vain, de poser également sur les façades sud et ouest des fenêtres en bois, avec verre isolant et un nombre réduit de petits-bois. Il critiquait le manque de cohérence d'une solution ne prévoyant pas les mêmes fenêtres sur les quatre façades. Dans ses réponses, le service cantonal a exposé qu'il s'en tenait à l'autorisation spéciale du 14 novembre 2001 et à ce qui avait été décidé en séance du 3 juin 2003. L'architecte du propriétaire et le service cantonal ont ensuite échangé plusieurs correspondances au sujet des fenêtres durant l'année 2003. En substance, l'architecte a finalement proposé, en vain, de poser également sur les façades sud et ouest des fenêtres en bois, avec verre isolant et un nombre réduit de petits-bois. Il critiquait le manque de cohérence d'une solution ne prévoyant pas les mêmes fenêtres sur les quatre façades. Dans ses réponses, le service cantonal a exposé qu'il s'en tenait à l'autorisation spéciale du 14 novembre 2001 et à ce qui avait été décidé en séance du 3 juin 2003. C. Au cours des travaux de transformation, A._ a fait poser, en façades sud et ouest des fenêtres en sapin avec un verre isolant, sans petits-bois; un vitrage a par ailleurs été installé sur une porte d'entrée, en façade ouest. Lors d'une séance organisée le 25 juin 2004, le service cantonal a donné à A._ et à son architecte l'occasion de s'exprimer au sujet de ces fenêtres car elles ne correspondaient pas à ce qui avait été autorisé. Puis le département cantonal a notifié à A._ une "décision de remise en état", datée du 2 septembre 2004, qui lui impose les mesures suivantes, avec menace d'exécution par substitution: "1. Toutes les fenêtres, à l'exception de celles des façades nord et partiellement est, doivent être remplacées par des fenêtres en bois à double vitrage (composées de deux châssis, un vitrage simple avec des vrais petits bois fixés sur le châssis extérieur), telles qu'exigées initialement par le SBMA et figurées sur la variante d'études des fenêtres du 4 juin 2003 intitulée "monuments historiques". 2. La porte d'entrée située sur la façade ouest doit être rétablie dans son état d'origine (suppression de la partie vitrée). Ces mesures devront être entièrement exécutées dans un délai échéant au 1er février 2005." Ces mesures devront être entièrement exécutées dans un délai échéant au 1er février 2005." D. A._ a recouru contre la décision de remise en état auprès du Tribunal administratif cantonal, en demandant son annulation. Il soutenait en substance que les travaux exigés de lui étaient disproportionnés; il estimait à 179'083 fr. le coût global du remplacement des fenêtres déjà posées. Le Tribunal administratif a tenu une audience sur place le 8 février 2005. Il a entendu le recourant, son architecte, des représentants du service cantonal, le spécialiste du bois B._ et des représentants de la municipalité. Le Tribunal administratif a rejeté le recours par un arrêt rendu le 25 février 2005. Il a confirmé la décision attaquée et fixé à A._ un nouveau délai, au 30 juin 2005, pour exécuter les mesures de remise en état. Le Tribunal administratif a rejeté le recours par un arrêt rendu le 25 février 2005. Il a confirmé la décision attaquée et fixé à A._ un nouveau délai, au 30 juin 2005, pour exécuter les mesures de remise en état. E. Agissant par la voie du recours de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal administratif et de renvoyer l'affaire à cette juridiction pour nouvelle décision dans le sens des considérants. Il se plaint de violations du droit d'être entendu, de la garantie de la propriété et du principe de la proportionnalité. Le département cantonal et le Tribunal administratif proposent le rejet du recours. Le département cantonal et le Tribunal administratif proposent le rejet du recours. F. Par ordonnance du 20 avril 2005, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif présentée par le recourant.