Faits: Faits: A. Le 2 octobre 1998, le plan partiel d'affectation "Clos de Chillon" (PPA) a été mis à l'enquête par la Commune de Veytaux. Le périmètre visé comprend les parcelles n° 292 et 293 (comprenant chacune une villa), 311 (non construite) et 343 (viticole); l'ensemble forme une pente entre la voie ferrée au nord et le quai Chatelanat qui longe le lac Léman au sud; il est limité à l'ouest par le cours d'eau de la Veraye (limite avec la commune de Montreux) et à l'est par les vignobles du Château de Chillon. Le périmètre se trouvait depuis 1980 en zone intermédiaire, et le PPA prévoit de colloquer désormais les parcelles n° 292, 293 et 311 en zone constructible, et la parcelle n° 343 en zone viticole. Trois villas à toits plats seraient réparties dans la pente de la parcelle n° 311. Le projet a suscité de nombreuses oppositions, en particulier de la copropriété "X._" et de ses membres A._, B._ et G._ (ci-après: les consorts X._), propriétaires d'appartements dans l'immeuble sis sur la parcelle n° 412, située de l'autre côté de la voie de chemin de fer au nord du secteur concerné. Les opposants mettaient en doute la nécessité de créer de nouvelles zones à bâtir. L'esthétique et l'intégration dans le site étaient contestées, de même que la construction d'un mur antibruit au nord de la parcelle n° 311. Sur le vu de ces oppositions, la Municipalité a proposé plusieurs modifications: réduction de la surface brute de plancher maximale de 380 m2 à 285 m2 par villa, abaissement de 2m des villas situées en haut de la parcelle, affectation exclusive à l'habitation, limitation à une famille par unité de construction et suppression du mur antibruit, remplacé par une butte antibruit de 1,5 m de haut au maximum. Les oppositions ont été levées le 3 juillet 2000 par le Conseil communal de Veytaux et le PPA modifié a été adopté. A. Le 2 octobre 1998, le plan partiel d'affectation "Clos de Chillon" (PPA) a été mis à l'enquête par la Commune de Veytaux. Le périmètre visé comprend les parcelles n° 292 et 293 (comprenant chacune une villa), 311 (non construite) et 343 (viticole); l'ensemble forme une pente entre la voie ferrée au nord et le quai Chatelanat qui longe le lac Léman au sud; il est limité à l'ouest par le cours d'eau de la Veraye (limite avec la commune de Montreux) et à l'est par les vignobles du Château de Chillon. Le périmètre se trouvait depuis 1980 en zone intermédiaire, et le PPA prévoit de colloquer désormais les parcelles n° 292, 293 et 311 en zone constructible, et la parcelle n° 343 en zone viticole. Trois villas à toits plats seraient réparties dans la pente de la parcelle n° 311. Le projet a suscité de nombreuses oppositions, en particulier de la copropriété "X._" et de ses membres A._, B._ et G._ (ci-après: les consorts X._), propriétaires d'appartements dans l'immeuble sis sur la parcelle n° 412, située de l'autre côté de la voie de chemin de fer au nord du secteur concerné. Les opposants mettaient en doute la nécessité de créer de nouvelles zones à bâtir. L'esthétique et l'intégration dans le site étaient contestées, de même que la construction d'un mur antibruit au nord de la parcelle n° 311. Sur le vu de ces oppositions, la Municipalité a proposé plusieurs modifications: réduction de la surface brute de plancher maximale de 380 m2 à 285 m2 par villa, abaissement de 2m des villas situées en haut de la parcelle, affectation exclusive à l'habitation, limitation à une famille par unité de construction et suppression du mur antibruit, remplacé par une butte antibruit de 1,5 m de haut au maximum. Les oppositions ont été levées le 3 juillet 2000 par le Conseil communal de Veytaux et le PPA modifié a été adopté. B. Par décision du 21 novembre 2002, le Département des infrastructures du canton de Vaud (DINF) a déclaré irrecevable le recours formé par les consorts X._, après avoir procédé à une inspection locale et fait établir une étude de bruit. Les recourants faisaient essentiellement valoir des arguments tenant à la protection du site et n'avaient pas expliqué, malgré une interpellation dans ce sens, en quoi ils étaient personnellement touchés par le projet. Ils ne s'étaient pas opposés à la constructibilité de la parcelle et leurs arguments avaient été pris en considération lors de la modification du projet. Par décision du même jour, le DINF a approuvé le PPA, en intégrant à celui-ci l'étude de bruit réalisée le 3 juillet 2002. Par décision du même jour, le DINF a approuvé le PPA, en intégrant à celui-ci l'étude de bruit réalisée le 3 juillet 2002. C. Par arrêt du 14 avril 2004, le Tribunal administratif vaudois a confirmé la décision d'irrecevabilité du DINF, la décision d'approbation n'ayant pas été attaquée. Les recourants paraissaient n'avoir agi que comme prête-nom de l'Association pour la protection des rives et du site de Chillon, laquelle n'aurait pas eu qualité pour agir. La seule proximité de la parcelle des recourants, et l'existence d'un certain impact visuel, ne suffisaient pas pour admettre l'existence d'une atteinte particulière: les biens-fonds étaient séparés par la voie de chemin de fer, et la vue sur la baie de Montreux n'était pas obstruée. Les opposants avaient d'ailleurs obtenu satisfaction lors de la modification du projet. S'agissant des réflexions de bruit et de la circulation sur les quais, les recourants n'expliquaient pas non plus en quoi consistait l'atteinte invoquée. C. Par arrêt du 14 avril 2004, le Tribunal administratif vaudois a confirmé la décision d'irrecevabilité du DINF, la décision d'approbation n'ayant pas été attaquée. Les recourants paraissaient n'avoir agi que comme prête-nom de l'Association pour la protection des rives et du site de Chillon, laquelle n'aurait pas eu qualité pour agir. La seule proximité de la parcelle des recourants, et l'existence d'un certain impact visuel, ne suffisaient pas pour admettre l'existence d'une atteinte particulière: les biens-fonds étaient séparés par la voie de chemin de fer, et la vue sur la baie de Montreux n'était pas obstruée. Les opposants avaient d'ailleurs obtenu satisfaction lors de la modification du projet. S'agissant des réflexions de bruit et de la circulation sur les quais, les recourants n'expliquaient pas non plus en quoi consistait l'atteinte invoquée. D. Par acte du 26 avril 2004, les opposants (étant précisé que C._ s'est substituée à G._) forment un recours de droit administratif et de droit public. Ils demandent l'annulation de l'arrêt précité, ainsi que des décisions du DINF du 29 octobre 2002 et 21 novembre 2002. Le Tribunal administratif conclut au rejet du recours. Les propriétaires de la parcelle n° 311 se réfèrent à l'arrêt attaqué. La commune de Veytaux conclut au rejet du recours de droit administratif dans la mesure où il est recevable et à l'irrecevabilité, subsidiairement au rejet du recours de droit public. Le DINF s'en remet à justice. L'Office fédéral du développement territorial a renoncé à se déterminer. L'Office fédéral de l'environnement des forêts et du paysage a présenté des observations, sur lesquelles les recourants ont pu se déterminer.