Faits:
Faits:
A. Le 2 octobre 1998, le plan partiel d'affectation "Clos de Chillon" (PPA) a été mis à l'enquête par la Commune de Veytaux. Le périmètre visé comprend les parcelles n° 292 et 293 (comprenant chacune une villa), 311 (non construite) et 343 (viticole); l'ensemble forme une pente entre la voie ferrée au nord et le quai Chatelanat qui longe le lac Léman au sud; il est limité à l'ouest par le cours d'eau de la Veraye (limite avec la commune de Montreux) et à l'est par les vignobles du Château de Chillon. Le périmètre se trouvait depuis 1980 en zone intermédiaire, et le PPA prévoit de colloquer désormais les parcelles n° 292, 293 et 311 en zone constructible, et la parcelle n° 343 en zone viticole. Trois villas à toits plats seraient réparties dans la pente de la parcelle n° 311. Le projet a suscité de nombreuses oppositions, en particulier de la copropriété "X._" et de ses membres A._, B._ et G._ (ci-après: les consorts X._), propriétaires d'appartements dans l'immeuble sis sur la parcelle n° 412, située de l'autre côté de la voie de chemin de fer au nord du secteur concerné. Les opposants mettaient en doute la nécessité de créer de nouvelles zones à bâtir. L'esthétique et l'intégration dans le site étaient contestées, de même que la construction d'un mur antibruit au nord de la parcelle n° 311. Sur le vu de ces oppositions, la Municipalité a proposé plusieurs modifications: réduction de la surface brute de plancher maximale de 380 m2 à 285 m2 par villa, abaissement de 2m des villas situées en haut de la parcelle, affectation exclusive à l'habitation, limitation à une famille par unité de construction et suppression du mur antibruit, remplacé par une butte antibruit de 1,5 m de haut au maximum. Les oppositions ont été levées le 3 juillet 2000 par le Conseil communal de Veytaux et le PPA modifié a été adopté.
A. Le 2 octobre 1998, le plan partiel d'affectation "Clos de Chillon" (PPA) a été mis à l'enquête par la Commune de Veytaux. Le périmètre visé comprend les parcelles n° 292 et 293 (comprenant chacune une villa), 311 (non construite) et 343 (viticole); l'ensemble forme une pente entre la voie ferrée au nord et le quai Chatelanat qui longe le lac Léman au sud; il est limité à l'ouest par le cours d'eau de la Veraye (limite avec la commune de Montreux) et à l'est par les vignobles du Château de Chillon. Le périmètre se trouvait depuis 1980 en zone intermédiaire, et le PPA prévoit de colloquer désormais les parcelles n° 292, 293 et 311 en zone constructible, et la parcelle n° 343 en zone viticole. Trois villas à toits plats seraient réparties dans la pente de la parcelle n° 311. Le projet a suscité de nombreuses oppositions, en particulier de la copropriété "X._" et de ses membres A._, B._ et G._ (ci-après: les consorts X._), propriétaires d'appartements dans l'immeuble sis sur la parcelle n° 412, située de l'autre côté de la voie de chemin de fer au nord du secteur concerné. Les opposants mettaient en doute la nécessité de créer de nouvelles zones à bâtir. L'esthétique et l'intégration dans le site étaient contestées, de même que la construction d'un mur antibruit au nord de la parcelle n° 311. Sur le vu de ces oppositions, la Municipalité a proposé plusieurs modifications: réduction de la surface brute de plancher maximale de 380 m2 à 285 m2 par villa, abaissement de 2m des villas situées en haut de la parcelle, affectation exclusive à l'habitation, limitation à une famille par unité de construction et suppression du mur antibruit, remplacé par une butte antibruit de 1,5 m de haut au maximum. Les oppositions ont été levées le 3 juillet 2000 par le Conseil communal de Veytaux et le PPA modifié a été adopté.
B. Par décision du 21 novembre 2002, le Département des infrastructures du canton de Vaud (DINF) a déclaré irrecevable le recours formé par les consorts X._, après avoir procédé à une inspection locale et fait établir une étude de bruit. Les recourants faisaient essentiellement valoir des arguments tenant à la protection du site et n'avaient pas expliqué, malgré une interpellation dans ce sens, en quoi ils étaient personnellement touchés par le projet. Ils ne s'étaient pas opposés à la constructibilité de la parcelle et leurs arguments avaient été pris en considération lors de la modification du projet.
Par décision du même jour, le DINF a approuvé le PPA, en intégrant à celui-ci l'étude de bruit réalisée le 3 juillet 2002.
Par décision du même jour, le DINF a approuvé le PPA, en intégrant à celui-ci l'étude de bruit réalisée le 3 juillet 2002.
C. Par arrêt du 14 avril 2004, le Tribunal administratif vaudois a confirmé la décision d'irrecevabilité du DINF, la décision d'approbation n'ayant pas été attaquée. Les recourants paraissaient n'avoir agi que comme prête-nom de l'Association pour la protection des rives et du site de Chillon, laquelle n'aurait pas eu qualité pour agir. La seule proximité de la parcelle des recourants, et l'existence d'un certain impact visuel, ne suffisaient pas pour admettre l'existence d'une atteinte particulière: les biens-fonds étaient séparés par la voie de chemin de fer, et la vue sur la baie de Montreux n'était pas obstruée. Les opposants avaient d'ailleurs obtenu satisfaction lors de la modification du projet. S'agissant des réflexions de bruit et de la circulation sur les quais, les recourants n'expliquaient pas non plus en quoi consistait l'atteinte invoquée.
C. Par arrêt du 14 avril 2004, le Tribunal administratif vaudois a confirmé la décision d'irrecevabilité du DINF, la décision d'approbation n'ayant pas été attaquée. Les recourants paraissaient n'avoir agi que comme prête-nom de l'Association pour la protection des rives et du site de Chillon, laquelle n'aurait pas eu qualité pour agir. La seule proximité de la parcelle des recourants, et l'existence d'un certain impact visuel, ne suffisaient pas pour admettre l'existence d'une atteinte particulière: les biens-fonds étaient séparés par la voie de chemin de fer, et la vue sur la baie de Montreux n'était pas obstruée. Les opposants avaient d'ailleurs obtenu satisfaction lors de la modification du projet. S'agissant des réflexions de bruit et de la circulation sur les quais, les recourants n'expliquaient pas non plus en quoi consistait l'atteinte invoquée.
D. Par acte du 26 avril 2004, les opposants (étant précisé que C._ s'est substituée à G._) forment un recours de droit administratif et de droit public. Ils demandent l'annulation de l'arrêt précité, ainsi que des décisions du DINF du 29 octobre 2002 et 21 novembre 2002.
Le Tribunal administratif conclut au rejet du recours. Les propriétaires de la parcelle n° 311 se réfèrent à l'arrêt attaqué. La commune de Veytaux conclut au rejet du recours de droit administratif dans la mesure où il est recevable et à l'irrecevabilité, subsidiairement au rejet du recours de droit public. Le DINF s'en remet à justice. L'Office fédéral du développement territorial a renoncé à se déterminer. L'Office fédéral de l'environnement des forêts et du paysage a présenté des observations, sur lesquelles les recourants ont pu se déterminer.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. 1.1 Les recourants ont agi par la voie d'un recours de droit administratif, par lequel ils se plaignent de violations des art. 24 LAT et 11ss LPE, et par la voie d'un recours de droit public pour violation du droit d'être entendu et arbitraire. Les deux causes peuvent être jointes afin qu'il soit statué par un même arrêt.
1.2 Le recours de droit administratif est interjeté dans le délai et les formes utiles contre un arrêt final rendu en dernière instance cantonale. L'arrêt attaqué confirme le défaut de qualité pour agir des recourants. Dès lors, seule cette question peut être soumise à la cour de céans, à l'exclusion du fond. Devant l'autorité cantonale, les recourants invoquaient notamment les dispositions de l'OPB, de sorte que, sur le fond, la contestation serait susceptible d'être portée devant le Tribunal fédéral par la voie du recours de droit administratif. Dans ces conditions, les auteurs du recours cantonal qui se sont vu dénier la qualité pour recourir peuvent agir par cette voie pour contester ce prononcé (<ref-ruling> consid. 1b p. 502).
Le recours de droit administratif est par conséquent recevable dans la mesure où il porte sur la qualité pour agir des recourants; il est irrecevable pour le surplus. Le recours de droit public, formé pour violation des règles cantonales de procédure (de teneur identique à l'art. 103 let. a OJ) et pour arbitraire (s'agissant de l'établissement des faits propres à admettre la qualité pour recourir), doit pour sa part être converti en recours de droit administratif. Compte tenu de cette conversion, le fait que les moyens propres à chacun des recours soient exposés dans une certaine confusion ne saurait porter à conséquence.
Le recours de droit administratif est par conséquent recevable dans la mesure où il porte sur la qualité pour agir des recourants; il est irrecevable pour le surplus. Le recours de droit public, formé pour violation des règles cantonales de procédure (de teneur identique à l'art. 103 let. a OJ) et pour arbitraire (s'agissant de l'établissement des faits propres à admettre la qualité pour recourir), doit pour sa part être converti en recours de droit administratif. Compte tenu de cette conversion, le fait que les moyens propres à chacun des recours soient exposés dans une certaine confusion ne saurait porter à conséquence.
2. Les recourants soulèvent divers griefs d'ordre formel, qu'il y a lieu d'examiner en premier lieu.
2.1 Ils reprochent au DINF d'avoir statué, par deux décisions distinctes, d'une part sur la qualité pour agir des opposants, et d'autre part - par une décision antérieure et non communiquée aux recourants - sur l'intégration de l'étude de bruit dans le PPA. Cette façon de procéder aurait privé les recourants d'un moyen de preuve important concernant leur qualité pour agir. Dans la mesure où les recourants pourraient se plaindre sur ce point d'une atteinte à leur droit d'être entendus et de la garantie d'un procès équitable, cette violation a pu être réparée en instance cantonale de recours, puisque les recourants ont eu connaissance, à ce stade, de l'étude de bruit. L'étude en question ne contient d'ailleurs guère d'indications propres à fonder la qualité pour agir des recourants, puisqu'elle se limite pour l'essentiel à la protection contre le bruit des villas prévues dans le PPA.
2.2 Les recourants reprochent également au DINF de n'avoir pas établi de procès-verbal à l'issue de l'inspection locale du 27 juin 2001, et de n'avoir pas permis aux recourants de produire un mémoire conclusif. En réalité, il existe un procès-verbal manuscrit de six pages, reprenant les constatations de faits et les déclarations des parties, et les recourants ne prétendent pas que ce document serait incomplet.
Les recourants se plaignent aussi de l'absence de procès-verbal de l'inspection locale faite le 31 octobre 2003 par la cour cantonale. Celle-ci se serait contentée de quelques constatations de fait mentionnées dans son arrêt. Les explications fournies à cette occasion par leur mandataire à propos notamment de l'obstruction de la vue, de la réflexion du bruit, de l'esthétique et de l'accès au quai, auraient ainsi été ignorées.
2.3 Le droit d'être entendu, garanti par l'art. 29 al. 2 Cst., comprend le droit pour l'intéressé de prendre connaissance du dossier, d'obtenir l'administration des preuves pertinentes et valablement offertes, de participer à l'administration des preuves essentielles et de se déterminer sur son résultat lorsque cela est de nature à influer sur la décision à rendre. Selon la jurisprudence récente, le droit d'être entendu confère également le droit d'obtenir que les déclarations de parties, de témoins ou d'experts qui sont importantes pour l'issue du litige soient consignées dans un procès-verbal, tout au moins dans leur teneur essentielle; la consignation des déclarations dans une note du dossier ou dans les considérants de la décision ne saurait pallier l'absence de procès-verbal. La verbalisation des déclarations pertinentes vise notamment à permettre aux parties de participer à l'administration des preuves et, surtout, de se prononcer effectivement sur leur résultat. L'obligation de dresser un procès-verbal doit aussi permettre à l'autorité de recours de contrôler, s'il y a lieu, que les faits ont été constatés correctement par l'autorité inférieure (<ref-ruling> consid. 2 concernant la procédure pénale vaudoise).
2.4 La cour cantonale relève que, depuis le 4 février 2003, la loi cantonale de procédure administrative (LJPA) permet de requérir la transcription des actes d'instruction. Il n'y a toutefois pas lieu de rechercher si cette possibilité satisfaisait aux exigences du droit d'être entendu. En effet, les recourants ne se plaignent pas de ce que la cour cantonale aurait inexactement constaté certains faits déterminants pour l'issue du litige: l'absence de verbalisation dont ils se plaignent portait uniquement sur les explications de leur avocat concernant la qualité pour agir. Or, cette question constituait l'unique objet du litige; les recourants devaient par conséquent s'exprimer sur cette question spontanément et de manière complète d'entrée de cause dans leurs recours déjà, sans avoir à compter sur d'éventuelles explications complémentaires en cours d'inspection locale. Le grief doit être rejeté.
2.4 La cour cantonale relève que, depuis le 4 février 2003, la loi cantonale de procédure administrative (LJPA) permet de requérir la transcription des actes d'instruction. Il n'y a toutefois pas lieu de rechercher si cette possibilité satisfaisait aux exigences du droit d'être entendu. En effet, les recourants ne se plaignent pas de ce que la cour cantonale aurait inexactement constaté certains faits déterminants pour l'issue du litige: l'absence de verbalisation dont ils se plaignent portait uniquement sur les explications de leur avocat concernant la qualité pour agir. Or, cette question constituait l'unique objet du litige; les recourants devaient par conséquent s'exprimer sur cette question spontanément et de manière complète d'entrée de cause dans leurs recours déjà, sans avoir à compter sur d'éventuelles explications complémentaires en cours d'inspection locale. Le grief doit être rejeté.
3. Pour les recourants, la seule affectation de la parcelle n° 311 en zone constructible suffirait à justifier leur qualité pour recourir, compte tenu de la proximité des terrains; les voisins directs devraient pouvoir se prononcer dans de tels cas. Ils pourraient aussi faire valoir des intérêts de nature idéale et s'opposer aux atteintes portées au site, à l'égal des organisations de défense de l'environnement. L'atteinte ressortait également des griefs soulevés par les recourants (disparition de la zone de verdure, accès par le quai, disparition du mur et des clôtures); en outre, l'avocat des recourants s'était exprimé sur ce point au cours de l'inspection locale organisée en première instance, en mentionnant la question du bruit. Lors de l'inspection effectuée par la cour cantonale, le représentant des recourants avait indiqué les effets négatifs du projet: perte de valeur des appartements, réflexions de bruit sur les installations antibruit, et désagréments résultant de l'accès par le quai.
3.1 Comme le relève la cour cantonale, la qualité pour recourir des particuliers est régie de manière concordante pour la procédure devant le Département (art. 60a LATC), devant le Tribunal administratif (art. 37 LJPA) et devant le Tribunal fédéral saisi d'un recours de droit administratif (art. 103 let. a OJ). Les trois dispositions reconnaissent la qualité pour agir à toute personne atteinte par la décision attaquée et qui dispose d'un intérêt digne de protection à son annulation ou à sa modification.
3.2 Selon la jurisprudence relative à l'art. 103 let. a OJ - à laquelle se réfère l'arrêt attaqué -, l'admission du recours doit procurer au recourant un avantage, de nature économique, matérielle ou idéale. Le recours d'un particulier formé dans l'intérêt de la loi ou d'un tiers est en revanche irrecevable. Ces exigences ont été posées de manière à empêcher l'"action populaire" dans le domaine de la juridiction administrative fédérale, lorsqu'un particulier conteste une autorisation donnée à un autre administré (<ref-ruling> consid. 2c/aa, 171 consid. 2b, 120 Ib 48 consid. 2a et les arrêts cités). Ces conditions sont en principe considérées comme remplies quand le recours émane du propriétaire d'un terrain directement voisin de la construction ou de l'installation litigieuse (<ref-ruling> consid. 2b; cf. aussi arrêt du 8 avril 1997 reproduit in RDAF 1997 I p. 242 consid. 3a). Cela ne dispense toutefois pas le voisin d'alléguer les éléments de fait précis permettant de juger si la construction litigieuse est susceptible de lui causer un réel préjudice.
3.3 Les recourants ont été rendus attentifs, dès la première instance, à l'exigence d'une motivation relative à leur intérêt pour recourir. Après les avoir interpellés dans ce sens, le Département a constaté que le simple critère de la distance était insuffisant, et que les recourants n'invoquaient aucun intérêt personnel à l'appui de leur recours. S'étant rendu sur les lieux, le Tribunal administratif a pour sa part retenu que l'immeuble des recourants est bâti sur un talus dominant la voie de chemin de fer, bénéficiant d'une vue "impressionnante sur tout le lac et son pourtour alors que le terrain litigieux se trouve en contrebas et n'occupait qu'un secteur réduit de la partie inférieure de ce panorama". Selon ces constatations, les villas prévues par le PPA, de dimensions réduites et dont les toits plats devront être végétalisés, n'auraient qu'un impact négligeable pour la vue dont bénéficient les habitants de l'immeuble "X._". On ne voyait pas, dans ces circonstances, en quoi pouvait résulter l'atteinte aux propriétaires voisins.
3.4 Tout en admettant que le recours déposé auprès du Département était quelque peu sommaire quant à la qualité pour recourir, les recourants estiment que les indications essentielles y figuraient. Celles-ci se rapportaient toutefois essentiellement au critère de la proximité, insuffisant à lui seul. Les recourants prétendent ensuite que les propriétaires touchés devraient se voir reconnaître la qualité pour recourir aux mêmes conditions que les associations de protection de l'environnement, afin de préserver les sites et paysages, perdant de vue qu'une telle démarche constitue une action populaire que les dispositions telles que l'art. 103 let. a OJ ont précisément pour but d'éviter. Les recourants reprochent aussi au Tribunal administratif d'avoir méconnu les arguments développés lors de l'audience du 31 octobre 2003 à propos de la réflexion du bruit sur les parois antibruit destinées à protéger les villas. La cour cantonale a toutefois répondu à ces allégations en relevant que la construction d'un tel mur avait été exclue et que l'utilisation d'un revêtement phono-absorbant pour la façade nord-est avait été prévue, afin précisément d'éviter de telles réflexions en direction de l'immeuble des recourants. Quant aux désagréments qui résulteraient de l'accès à la parcelle n° 311 par le quai, les recourants ne sont pas plus touchés que l'ensemble des promeneurs qui empruntent ce quai, dans la mesure notamment où l'accès à leur propre bien-fonds n'est pas affecté.
3.5 A l'instar du département, la cour cantonale était ainsi fondée à retenir que les recourants n'avaient pas allégué de manière suffisante en quoi pouvait consister l'atteinte particulière qu'ils auraient à souffrir en cas de réalisation du projet. Quand bien même les procédures de recours cantonal et fédéral étaient limitées à cette seule question, les recourants n'ont fourni aucune argumentation topique propre à démontrer leur qualité pour agir.
3.5 A l'instar du département, la cour cantonale était ainsi fondée à retenir que les recourants n'avaient pas allégué de manière suffisante en quoi pouvait consister l'atteinte particulière qu'ils auraient à souffrir en cas de réalisation du projet. Quand bien même les procédures de recours cantonal et fédéral étaient limitées à cette seule question, les recourants n'ont fourni aucune argumentation topique propre à démontrer leur qualité pour agir.
4. Le recours de droit administratif doit donc être rejeté dans la mesure où il est recevable. Le recours de droit public, traité comme recours de droit administratif, est rejeté. Conformément à l'art. 156 al. 1 OJ, un émolument judiciaire est mis à la charge des recourants, qui succombent. Les intimés F._ et l'hoirie D._ n'ont pas procédé, et n'ont pas droit à des dépens. En revanche, une indemnité est allouée à la commune de Veytaux, représentée par un mandataire professionnel.

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de droit administratif est rejeté dans la mesure où il est recevable.
1. Le recours de droit administratif est rejeté dans la mesure où il est recevable.
2. Le recours de droit public, traité comme recours de droit administratif, est rejeté.
2. Le recours de droit public, traité comme recours de droit administratif, est rejeté.
3. Un émolument judiciaire de 3000 fr. est mis à la charge des recourants.
3. Un émolument judiciaire de 3000 fr. est mis à la charge des recourants.
4. Une indemnité de dépens de 2000 fr. est allouée à la commune de Veytaux, à la charge solidaire des recourants.
4. Une indemnité de dépens de 2000 fr. est allouée à la commune de Veytaux, à la charge solidaire des recourants.
5. Le présent arrêt est communiqué en copie aux mandataires des parties et de la Commune de Veytaux, au Département de la sécurité et de l'environnement, Service de l'aménagement du territoire, au Département des infrastructures, Service de justice, de l'intérieur et des cultes, et au Tribunal administratif du canton de Vaud ainsi qu'à l'Office fédéral du développement territorial et à l'Office fédéral de l'environnement, des forêts et du paysage.
Lausanne, le 3 janvier 2005
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le juge présidant: Le greffier: