Faits:
Faits:
A. A._ est propriétaire du château de X._, sur le territoire de la commune de Saint-Saphorin (Lavaux). Le Conseil d'Etat du canton de Vaud a pris, en 1956 et 1961, deux arrêtés de classement de ce bâtiment, qui est un monument historique.
En 2001, A._ a demandé l'autorisation de rénover une partie du château comportant cinq appartements. A cause des arrêtés de classement, ces travaux de transformation nécessitaient une autorisation spéciale du département cantonal des infrastructures, fondée sur l'art. 23 de la loi cantonale sur la protection de la nature, des monuments et des sites (LPNMS). Ce département (ci-après: le département cantonal) a délivré cette autorisation le 14 novembre 2001, notamment aux conditions suivantes:
"L'architecte informera la section des monuments historiques deux semaines avant le début du chantier pour qu'elle puisse faire procéder à un constat archéologique ainsi qu'établir une documentation photographique avant travaux.
L'architecte doit soumettre à la section une proposition pour le remplacement des fenêtres existantes qui tienne compte de la solution préconisée par l'expert, à savoir une fenêtre à double vitrage."
L'expert auquel il est fait référence est un spécialiste de la conservation et de la restauration d'éléments en bois, B._, qui avait été mandaté par le département cantonal (par l'intermédiaire du service des bâtiments, monuments et archéologie, section monuments et sites) pour analyser l'état de conservation des fenêtres du château et formuler des propositions.
La municipalité de Saint-Saphorin a délivré le permis de construire le 22 novembre 2001 et notifié au propriétaire l'autorisation spéciale précitée. Ces décisions n'ont pas fait l'objet d'un recours au Tribunal administratif.
La municipalité de Saint-Saphorin a délivré le permis de construire le 22 novembre 2001 et notifié au propriétaire l'autorisation spéciale précitée. Ces décisions n'ont pas fait l'objet d'un recours au Tribunal administratif.
B. Le 15 mai 2003, l'architecte de A._ a avisé le service cantonal des bâtiments, monuments et archéologie, du département des infrastructures (ci-après: le service cantonal; abrégé: SBMA) du prochain début des travaux. Le 3 juin 2003, le propriétaire et son architecte ont rencontré sur place un collaborateur du service cantonal, accompagné de l'expert B._. Selon un procès-verbal de cette réunion, il a alors été décidé que les fenêtres des façades nord et est seraient en "verre isolant" (deux vitres enserrant du gaz), avec des "petits-bois rapportés à l'extérieur" (baguettes amovibles fixées sur le cadre, sans contact avec la vitre). Quant aux "fenêtres de la cour" - soit celles situées sur les façades sud et ouest -, il a été décidé qu'elles seraient de type "double vitrage" (deux châssis à simple vitrage fixés par des vis de jonction), que les petits-bois seraient présents sur le cadre extérieur, et que les verres seraient de "forme carrée ou verticale".
Le 4 juin 2003, l'architecte du propriétaire a établi un cahier de plans et de photographies intitulé "Château de X._, étude des fenêtres, version monuments historiques". Ce document décrit des fenêtres en bois, avec verre isolant et petits-bois extérieurs pour les façades nord et est, et avec double vitrage et petits bois sur vitrage extérieur pour les façades sud et ouest. L'architecte a préparé à la même date un autre document, intitulé "version maître de l'ouvrage", avec des fenêtres différentes.
L'architecte du propriétaire et le service cantonal ont ensuite échangé plusieurs correspondances au sujet des fenêtres durant l'année 2003. En substance, l'architecte a finalement proposé, en vain, de poser également sur les façades sud et ouest des fenêtres en bois, avec verre isolant et un nombre réduit de petits-bois. Il critiquait le manque de cohérence d'une solution ne prévoyant pas les mêmes fenêtres sur les quatre façades. Dans ses réponses, le service cantonal a exposé qu'il s'en tenait à l'autorisation spéciale du 14 novembre 2001 et à ce qui avait été décidé en séance du 3 juin 2003.
L'architecte du propriétaire et le service cantonal ont ensuite échangé plusieurs correspondances au sujet des fenêtres durant l'année 2003. En substance, l'architecte a finalement proposé, en vain, de poser également sur les façades sud et ouest des fenêtres en bois, avec verre isolant et un nombre réduit de petits-bois. Il critiquait le manque de cohérence d'une solution ne prévoyant pas les mêmes fenêtres sur les quatre façades. Dans ses réponses, le service cantonal a exposé qu'il s'en tenait à l'autorisation spéciale du 14 novembre 2001 et à ce qui avait été décidé en séance du 3 juin 2003.
C. Au cours des travaux de transformation, A._ a fait poser, en façades sud et ouest des fenêtres en sapin avec un verre isolant, sans petits-bois; un vitrage a par ailleurs été installé sur une porte d'entrée, en façade ouest. Lors d'une séance organisée le 25 juin 2004, le service cantonal a donné à A._ et à son architecte l'occasion de s'exprimer au sujet de ces fenêtres car elles ne correspondaient pas à ce qui avait été autorisé. Puis le département cantonal a notifié à A._ une "décision de remise en état", datée du 2 septembre 2004, qui lui impose les mesures suivantes, avec menace d'exécution par substitution:
"1. Toutes les fenêtres, à l'exception de celles des façades nord et partiellement est, doivent être remplacées par des fenêtres en bois à double vitrage (composées de deux châssis, un vitrage simple avec des vrais petits bois fixés sur le châssis extérieur), telles qu'exigées initialement par le SBMA et figurées sur la variante d'études des fenêtres du 4 juin 2003 intitulée "monuments historiques".
2. La porte d'entrée située sur la façade ouest doit être rétablie dans son état d'origine (suppression de la partie vitrée).
Ces mesures devront être entièrement exécutées dans un délai échéant au 1er février 2005."
Ces mesures devront être entièrement exécutées dans un délai échéant au 1er février 2005."
D. A._ a recouru contre la décision de remise en état auprès du Tribunal administratif cantonal, en demandant son annulation. Il soutenait en substance que les travaux exigés de lui étaient disproportionnés; il estimait à 179'083 fr. le coût global du remplacement des fenêtres déjà posées.
Le Tribunal administratif a tenu une audience sur place le 8 février 2005. Il a entendu le recourant, son architecte, des représentants du service cantonal, le spécialiste du bois B._ et des représentants de la municipalité.
Le Tribunal administratif a rejeté le recours par un arrêt rendu le 25 février 2005. Il a confirmé la décision attaquée et fixé à A._ un nouveau délai, au 30 juin 2005, pour exécuter les mesures de remise en état.
Le Tribunal administratif a rejeté le recours par un arrêt rendu le 25 février 2005. Il a confirmé la décision attaquée et fixé à A._ un nouveau délai, au 30 juin 2005, pour exécuter les mesures de remise en état.
E. Agissant par la voie du recours de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal administratif et de renvoyer l'affaire à cette juridiction pour nouvelle décision dans le sens des considérants. Il se plaint de violations du droit d'être entendu, de la garantie de la propriété et du principe de la proportionnalité.
Le département cantonal et le Tribunal administratif proposent le rejet du recours.
Le département cantonal et le Tribunal administratif proposent le rejet du recours.
F. Par ordonnance du 20 avril 2005, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif présentée par le recourant.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. Le recourant invoque la garantie de la propriété, selon l'art. 26 al. 1 Cst., et le principe de la proportionnalité, en se référant à l'art. 36 Cst. qui énonce les conditions des restrictions des droits fondamentaux. Il soutient qu'il n'est pas établi que le type de fenêtres qu'il a choisies et installées porterait atteinte à l'aspect historique du château et il qualifie de disproportionné le coût des travaux de remise en état. Il se plaint encore d'une violation du droit d'être entendu.
1.1 D'après l'arrêt attaqué, la permission de remplacer les fenêtres du château a été donnée par le service cantonal responsable de la conservation des monuments historiques dans l'autorisation spéciale du 14 novembre 2001; cette autorisation prévoyait toutefois expressément des fenêtres à double vitrage, conformément à ce que préconisait un spécialiste choisi par l'administration cantonale comme expert pour ce type de rénovations. Comme le propriétaire n'a pas attaqué les conditions de cette autorisation spéciale dans le délai prescrit dès l'octroi du permis de construire, il ne pouvait plus ensuite contester cette exigence devant le Tribunal administratif. La présente contestation a en effet un objet différent, puisqu'elle est dirigée contre une décision de remise en état, qui peut être prise par le département cantonal "lorsque le propriétaire d'un objet classé lui a porté atteinte sans autorisation" (art. 30 LPNMS).
Le recourant admet que le permis de construire et l'autorisation spéciale sont entrés en force. Il ne conteste pas que les fenêtres qu'il a posées, en remplacement de celles existant avant les transformations, ne sont pas des fenêtres à double vitrage, au sens de l'autorisation précitée (la description détaillée des caractéristiques de ces fenêtres ayant été précisée après l'octroi du permis de construire, quand l'architecte du recourant et le service cantonal ont, conformément à une clause de l'autorisation spéciale, examiné différentes propositions). Il ne conteste pas non plus que, formellement, le département cantonal puisse, par une décision de remise en état fondée sur l'art. 30 LPNMS, exiger sur ce point le respect des conditions du permis de construire et de l'autorisation spéciale de 2001. Il fait en revanche valoir que cette décision initiale aurait été réexaminée et modifiée par le service cantonal, qui l'a autorisé en 2003 à poser des fenêtres avec vitrage isolant et faux petits-bois sur les façades nord et est. En conséquence, le Tribunal administratif aurait dû lui-même réexaminer entièrement la question du remplacement des fenêtres car, d'après le recourant, il serait disproportionné d'imposer la pose de fenêtres à double vitrage sur deux façades alors que n'est plus une exigence pour deux autres façades "essentielles, les plus visibles".
1.2 Il est constant que la dérogation à l'exigence initiale (ou sa reconsidération), pour les fenêtres des façades nord et est, est favorable aux intérêts du recourant puisque les fenêtres avec vitrage isolant sont moins onéreuses que les fenêtres à double vitrage. Le Tribunal administratif a résumé ainsi les motifs qui ont conduit l'autorité cantonale a tolérer cette exception: les façades nord et est sont surtout visibles à distance tandis que les façades sud et ouest donnent notamment sur la cour du château, les fenêtres du château sont de toute manière disparates et le recourant a allégué des difficultés financières. Des éléments objectifs et subjectifs justifiaient ainsi la différence de traitement. Il n'appartenait toutefois pas au Tribunal administratif d'examiner plus avant les circonstances de cette dérogation car la décision litigieuse de remise en état vise les fenêtres d'autres façades, pour lesquelles les conditions de l'autorisation initiales restent pleinement applicables.
En soi, il n'est à l'évidence pas contraire à la garantie de la propriété d'exiger du propriétaire qu'il respecte, lors de travaux de construction ou de transformation, les conditions de l'autorisation. Le recourant ne prétend pas - ou en tout cas pas d'une manière qui satisfasse aux exigences de motivation du recours de droit public (art. 90 al. 1 let. b OJ; cf. <ref-ruling> consid. 1.6 p. 189; <ref-ruling> consid. 1c p. 282; <ref-ruling> consid 1b p. 536; <ref-ruling> consid. 1c p. 76) - qu'il aurait demandé la reconsidération de l'autorisation spéciale du 14 novembre 2001 et que le département cantonal puis le Tribunal administratif auraient considéré de manière arbitraire que les conditions pour la reconsidération d'une décision administrative n'étaient pas remplies en l'espèce. Dans ces circonstances, la juridiction cantonale n'a manifestement pas violé le droit d'être entendu du recourant en ne réexaminant pas d'office le permis de construire en force.
Il faut donc se borner à vérifier si l'ordre de remise en état d'un bâtiment transformé en violation de l'autorisation de construire respecte les conditions déduites, en pareil cas, de la garantie de la propriété et du principe de la proportionnalité (art. 36 al. 3 Cst.).
1.3 D'après la jurisprudence, l'ordre de démolir une construction édifiée sans permis et pour laquelle une autorisation ne pouvait être accordée n'est en principe pas contraire au principe de la proportionnalité. L'autorité renonce toutefois à une telle mesure si les dérogations à la règle sont mineures, si l'intérêt public lésé n'est pas de nature à justifier le dommage que la démolition causerait au maître de l'ouvrage, si celui-ci pouvait de bonne foi se croire autorisé à construire ou encore s'il y a des chances sérieuses de faire reconnaître la construction comme conforme au droit. Celui qui place l'autorité devant un fait accompli doit cependant s'attendre à ce qu'elle se préoccupe plus de rétablir une situation conforme au droit que d'éviter les inconvénients qui en découlent pour lui (<ref-ruling> consid. 4 p. 255; <ref-ruling> consid. 6 p. 221 et les arrêts cités).
Dans le cas particulier, le recourant ne démontre pas que l'autorité cantonale aurait apprécié de manière arbitraire, c'est-à-dire insoutenable (art. 9 Cst.; cf. <ref-ruling> consid. 2.1 p. 9; <ref-ruling> consid. 2.1 p. 275, 128 II 259 consid. 5 p. 280 et les arrêts cités), les caractéristiques du monument historique et l'atteinte causée par la pose des fenêtres non autorisées. On ne saurait considérer que le recourant n'a commis qu'une entorse mineure aux conditions de l'autorisation spéciale, le dossier révélant en outre que le service cantonal avait clairement indiqué, lors de réunions et dans des échanges de correspondance, qu'il n'entendait pas permettre la pose d'autres fenêtres sur les façades litigieuses. Quant au préjudice financier subi par le recourant, il a été jugé supportable par le Tribunal administratif, qui a pris en considération les frais de remplacement des fenêtres selon les chiffres allégués par le recourant (environ 180'000 fr., dont 80'000 fr. pour le "coût proprement dit de la remise en état") et le coût total des travaux de rénovation du château (près de 2.5 mio fr.). L'arrêt attaqué n'est pas critiquable de ce point de vue, qui retient que le renchérissement est proportionnellement faible. Les exigences du droit constitutionnel sont respectées même si l'on prend en compte, pour évaluer l'importance des conséquences pour le recourant, non seulement le coût d'achat et d'installation des nouvelles fenêtres (80'000 fr.) mais aussi les autres frais liés à la remise en état (démontage des fenêtres déjà installées, prix d'achat de ces fenêtres, honoraires, etc.). On ne saurait en définitive reprocher au Tribunal administratif d'avoir arbitrairement ignoré des éléments du préjudice. Au vu des critères de la jurisprudence, les griefs du recourant à l'encontre de la décision de remise en état sont mal fondés.
Dans le cas particulier, le recourant ne démontre pas que l'autorité cantonale aurait apprécié de manière arbitraire, c'est-à-dire insoutenable (art. 9 Cst.; cf. <ref-ruling> consid. 2.1 p. 9; <ref-ruling> consid. 2.1 p. 275, 128 II 259 consid. 5 p. 280 et les arrêts cités), les caractéristiques du monument historique et l'atteinte causée par la pose des fenêtres non autorisées. On ne saurait considérer que le recourant n'a commis qu'une entorse mineure aux conditions de l'autorisation spéciale, le dossier révélant en outre que le service cantonal avait clairement indiqué, lors de réunions et dans des échanges de correspondance, qu'il n'entendait pas permettre la pose d'autres fenêtres sur les façades litigieuses. Quant au préjudice financier subi par le recourant, il a été jugé supportable par le Tribunal administratif, qui a pris en considération les frais de remplacement des fenêtres selon les chiffres allégués par le recourant (environ 180'000 fr., dont 80'000 fr. pour le "coût proprement dit de la remise en état") et le coût total des travaux de rénovation du château (près de 2.5 mio fr.). L'arrêt attaqué n'est pas critiquable de ce point de vue, qui retient que le renchérissement est proportionnellement faible. Les exigences du droit constitutionnel sont respectées même si l'on prend en compte, pour évaluer l'importance des conséquences pour le recourant, non seulement le coût d'achat et d'installation des nouvelles fenêtres (80'000 fr.) mais aussi les autres frais liés à la remise en état (démontage des fenêtres déjà installées, prix d'achat de ces fenêtres, honoraires, etc.). On ne saurait en définitive reprocher au Tribunal administratif d'avoir arbitrairement ignoré des éléments du préjudice. Au vu des critères de la jurisprudence, les griefs du recourant à l'encontre de la décision de remise en état sont mal fondés.
2. Il s'ensuit que le recours de droit public doit être rejeté.
L'effet suspensif ayant été accordé au présent recours, il se justifie de prolonger le délai, fixé par le Tribunal administratif, pour exécuter les mesures de remise en état.
Le recourant, qui succombe, doit supporter les frais de la présente procédure (art. 153, 153a et 156 al. 1 OJ). Il n'y a pas lieu d'allouer des dépens à l'Etat de Vaud (art. 159 al. 1 et 2 OJ).

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de droit public est rejeté.
1. Le recours de droit public est rejeté.
2. Le délai fixé par le Tribunal administratif pour exécuter les mesures de remise en état est prolongé au 31 août 2005.
2. Le délai fixé par le Tribunal administratif pour exécuter les mesures de remise en état est prolongé au 31 août 2005.
3. Un émolument judiciaire de 3'000 fr. est mis à la charge du recourant.
3. Un émolument judiciaire de 3'000 fr. est mis à la charge du recourant.
4. Il n'est pas alloué de dépens.
4. Il n'est pas alloué de dépens.
5. Le présent arrêt est communiqué en copie au mandataire du recourant, au Département des infrastructures et au Tribunal administratif du canton de Vaud.
Lausanne, le 27 mai 2005
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le président: Le greffier: