Faits:
Faits:
A. Le 26 novembre 1998, A._ a déposé une demande de permis de construire portant sur deux bâtiments sur la parcelle n° 2283 dont il est propriétaire à Chardonne. Située au nord du chemin du Retet, la parcelle se présente comme une bande de terrain de 165 m de long sur 35 m de large, orientée nord-sud et en forte pente. La partie supérieure est occupée par une forêt, le reste est classé, selon le plan des zones communal de 1984, en zone d'habitation de faible densité "B", réservée aux maisons familiales, villas et habitations collectives comportant au plus deux appartements par étage. Les deux bâtiments avaient fait l'objet d'un permis de construire accordé en 1995, mais non utilisé. Le bâtiment A est situé au bord du chemin du Retet; il comporte une entrée avec un parking approximativement au niveau de la voie publique, deux étages de deux appartements chacun et des combles avec galerie. Le bâtiment B, pratiquement identique mais dépourvu de parking souterrain, est situé quinze mètres en amont. Son accès se fait par le bâtiment A au moyen d'un ascenseur et d'une passerelle.
Le 23 avril 1999, la Municipalité de Chardonne a accordé le permis, moyennant certaines modifications, rejetant pour le surplus les oppositions formées par les propriétaires voisins concernant notamment la taille des bâtiments: on ne pouvait refuser au propriétaire le droit d'utiliser les possibilités réglementaires, même si les constructions alentour (villas et chalets) étaient de dimensions plus modestes; l'accès par le chemin du Retet n'était certes pas idéal, mais suffisant.
Les opposants ont saisi le Tribunal administratif vaudois, en reprenant leurs motifs d'opposition.
Les opposants ont saisi le Tribunal administratif vaudois, en reprenant leurs motifs d'opposition.
B. Cette procédure de recours a été suspendue car, au mois de novembre 2000, le constructeur a déposé une nouvelle demande de permis de construire destinée à satisfaire les opposants sur certains points; la profondeur des bâtiments était augmentée de deux mètres afin de régulariser la hauteur du mur des combles. Le 22 août 2002, la Municipalité a rejeté la demande de permis en se fondant notamment sur les refus d'autorisations spéciales du Service cantonal des forêts, de la faune et de la nature, qui n'avait jamais été consulté jusque-là: le projet était situé dans le périmètre du territoire d'agglomération de la loi sur le Plan de protection de Lavaux (LPPL); l'effet visuel du projet correspondait à une construction de 9 étages, échelonnés sur 29,6 m de hauteur; les travaux impliquaient des fouilles d'une grande profondeur portant atteinte à la prairie maigre située dans la partie supérieure de la parcelle, ainsi qu'à la forêt. La pente du talus en amont du bâtiment B était telle qu'une stabilisation du terrain était impossible.
A._ a recouru contre ce refus auprès du Tribunal administratif.
A._ a recouru contre ce refus auprès du Tribunal administratif.
C. Par arrêt du 3 mai 2004, celui-ci a statué simultanément sur les deux recours. Il a admis celui des opposants et annulé la décision du 23 avril 1999, ainsi que le permis de construire du 2 juin 1999. Tant la LPPL que le plan des zones communal posaient des exigences particulières en matière d'intégration des bâtiments. Celles-ci n'étaient pas respectées par le projet: les bâtiments comportaient sur leurs façades latérales des éléments saillants triangulaires qui se retrouvaient au faîte de la toiture; le bâtiment B empiétait sur un site naturel digne d'intérêt; la configuration générale du sol était profondément bouleversée, car des mouvements de terre de plus de 7 m étaient prévus (5 à 6 m pour le premier projet), avec des murs de soutènement de près de 4 m. Les premiers niveaux d'habitation étaient situés à plus de 1,5 m au dessous du niveau du terrain naturel, et le dégagement latéral des seconds niveaux impliquait des déplacements de terre trop importants. Pour les mêmes motifs, le recours dirigé contre la décision de refus du 22 août 2001 a été rejeté.
C. Par arrêt du 3 mai 2004, celui-ci a statué simultanément sur les deux recours. Il a admis celui des opposants et annulé la décision du 23 avril 1999, ainsi que le permis de construire du 2 juin 1999. Tant la LPPL que le plan des zones communal posaient des exigences particulières en matière d'intégration des bâtiments. Celles-ci n'étaient pas respectées par le projet: les bâtiments comportaient sur leurs façades latérales des éléments saillants triangulaires qui se retrouvaient au faîte de la toiture; le bâtiment B empiétait sur un site naturel digne d'intérêt; la configuration générale du sol était profondément bouleversée, car des mouvements de terre de plus de 7 m étaient prévus (5 à 6 m pour le premier projet), avec des murs de soutènement de près de 4 m. Les premiers niveaux d'habitation étaient situés à plus de 1,5 m au dessous du niveau du terrain naturel, et le dégagement latéral des seconds niveaux impliquait des déplacements de terre trop importants. Pour les mêmes motifs, le recours dirigé contre la décision de refus du 22 août 2001 a été rejeté.
D. A._ forme un recours de droit public contre cet arrêt. Il en demande l'annulation, ainsi que le renvoi de la cause à une nouvelle section de la cour cantonale pour nouvelle décision dans le sens des considérants. Il demande en outre l'effet suspensif afin d'éviter la péremption du permis de construire durant la procédure de recours.
Le Tribunal administratif conclut au rejet du recours, en se référant aux considérants de son arrêt. La Municipalité de Chardonne et les opposants concluent au rejet du recours.
Par ordonnance du 1er juillet 2004, l'effet suspensif a été refusé.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. Le recours de droit public est formé en temps utile contre un arrêt final rendu en dernière instance cantonale. Le recourant a qualité pour recourir (art. 88 OJ) contre l'annulation du permis de construire qui lui avait été accordé, ainsi que contre le refus, confirmé par le Tribunal administratif, d'accorder un nouveau permis pour un projet modifié.
1. Le recours de droit public est formé en temps utile contre un arrêt final rendu en dernière instance cantonale. Le recourant a qualité pour recourir (art. 88 OJ) contre l'annulation du permis de construire qui lui avait été accordé, ainsi que contre le refus, confirmé par le Tribunal administratif, d'accorder un nouveau permis pour un projet modifié.
2. Le recourant invoque la garantie de la propriété, le principe de la légalité et l'autonomie communale; il se plaint en outre d'une violation de ses droits de procédure, du principe de la proportionnalité, ainsi que d'arbitraire. L'art. 42 du règlement sur le plan d'extension et la police des constructions de la commune de Chardonne (RPE) concrétiserait les exigences de la LPPL en matière d'esthétique, et la Municipalité n'avait pas vu d'objection sur ce point lors de l'octroi du permis en 1999; compte tenu du large pouvoir d'appréciation dont dispose l'autorité communale dans ce domaine (art. 86 de la loi vaudoise sur l'aménagement du territoire et les constructions - LATC), le Tribunal administratif, dont le pouvoir d'examen est limité à l'excès ou à l'abus du pouvoir d'appréciation et ne saurait s'étendre aux questions d'opportunité, aurait dû examiner cette question avec une retenue particulière. Il y aurait aussi violation de l'autonomie dont dispose la commune dans l'application des normes d'esthétique.
2. Le recourant invoque la garantie de la propriété, le principe de la légalité et l'autonomie communale; il se plaint en outre d'une violation de ses droits de procédure, du principe de la proportionnalité, ainsi que d'arbitraire. L'art. 42 du règlement sur le plan d'extension et la police des constructions de la commune de Chardonne (RPE) concrétiserait les exigences de la LPPL en matière d'esthétique, et la Municipalité n'avait pas vu d'objection sur ce point lors de l'octroi du permis en 1999; compte tenu du large pouvoir d'appréciation dont dispose l'autorité communale dans ce domaine (art. 86 de la loi vaudoise sur l'aménagement du territoire et les constructions - LATC), le Tribunal administratif, dont le pouvoir d'examen est limité à l'excès ou à l'abus du pouvoir d'appréciation et ne saurait s'étendre aux questions d'opportunité, aurait dû examiner cette question avec une retenue particulière. Il y aurait aussi violation de l'autonomie dont dispose la commune dans l'application des normes d'esthétique.
2.1 La cour cantonale a fait application de l'art. 42 RPE, selon lequel la municipalité veille particulièrement à ce que les nouvelles constructions aient un aspect architectural s'intégrant au site et n'y jetant pas de note discordante. Cette disposition reprend par ailleurs les exigences de la clause d'esthétique figurant à l'art. 86 LATC. La cour cantonale s'est en outre inspirée, dans l'application de cette norme, de l'art. 21 LPPL, tout en rappelant que celui-ci n'avait pas de valeur directement contraignante.
2.1 La cour cantonale a fait application de l'art. 42 RPE, selon lequel la municipalité veille particulièrement à ce que les nouvelles constructions aient un aspect architectural s'intégrant au site et n'y jetant pas de note discordante. Cette disposition reprend par ailleurs les exigences de la clause d'esthétique figurant à l'art. 86 LATC. La cour cantonale s'est en outre inspirée, dans l'application de cette norme, de l'art. 21 LPPL, tout en rappelant que celui-ci n'avait pas de valeur directement contraignante.
2.2 Le pouvoir d'examen du Tribunal administratif est défini à l'art. 36 de la loi sur la juridiction et la procédure administratives (LPJA), dont la teneur est la suivante:
Le recourant peut invoquer
a) la violation du droit, y compris l'excès ou l'abus du pouvoir d'appréciation,
b) la constatation inexacte ou incomplète de faits pertinents,
c) l'inopportunité, si la loi spéciale le prévoit,
c) l'inopportunité, si la loi spéciale le prévoit,
... 2.3 Comme le relève le recourant, le respect de l'esthétique des constructions ressortit en premier lieu à la Municipalité, qui dispose pour cela d'un large pouvoir d'appréciation auquel la cour cantonale ne saurait substituer sans autre le sien propre (<ref-ruling> consid. 3b p. 367). Il ne s'agit pas pour autant, comme semble le soutenir le recourant, d'une question de pure opportunité qui échapperait par principe à la cognition de la cour cantonale. La réglementation impose en effet à l'autorité de refuser le permis de construire lorsque le projet ne s'intègre pas au site, ou y jette une note discordante. Dans ce cas, il n'y a pas de choix entre plusieurs solutions pareillement conformes à la loi. La cour cantonale s'est fondée sur les critères tels que l'harmonie des volumes, l'atteinte à un site naturel, et le maintien de la configuration du sol; il s'agit là de notions comportant une certaine part d'indétermination, mais qui ne confèrent pas pour autant à l'autorité communale un libre choix.
La question de l'intégration d'une construction ou d'une installation à l'environnement bâti ne doit donc pas être résolue en fonction du sentiment subjectif de l'autorité, mais selon des critères objectifs; lorsqu'elle revient sur l'appréciation émise, en tout cas dans un premier temps, par l'autorité communale, la cour cantonale doit indiquer de manière circonstanciée les raisons pour lesquelles elle considère qu'une construction ou une installation serait de nature à enlaidir le site (<ref-ruling> consid. 3b p. 367, 370 consid. 3 p. 373; <ref-ruling> consid. 4b p. 345; <ref-ruling> consid. 5 p. 87/88; <ref-ruling> consid. 4b p. 474 et les arrêts cités; cf. en dernier lieu, ZBl 99/1998 p. 170 consid. 3b).
L'arrêt attaqué satisfait à ces exigences: il est motivé par la forme des bâtiments, qui présentent des éléments saillants sur les façades latérales et en toiture, et par les importants mouvements de terre qu'ils nécessitent, arguments dont la pertinence est examinée ci-dessous (consid. 5).
2.4 Le recourant perd également de vue que l'annulation du permis de construire est également fondée sur l'application de l'art. 71 al. 1 RPE, disposition qui autorise l'habitation des locaux en contrebas de 1,5 m au point le plus élevé du sol extérieur. La municipalité peut certes accorder des dérogations, en cas de pente importante, s'il en résulte une meilleure intégration au site (art. 71 al. 2 RPE); il s'agit toutefois là aussi d'une question d'appréciation, soumise à la sanction du Tribunal administratif en vertu de l'art. 36 let. a LPJA.
2.5 En définitive, le Tribunal administratif a contrôlé, pour des motifs pertinents et suffisamment exposés, l'exercice du pouvoir d'appréciation reconnu à la commune, ainsi que le droit de procédure l'y autorise. Il n'y a aucun arbitraire sur ce point.
2.5 En définitive, le Tribunal administratif a contrôlé, pour des motifs pertinents et suffisamment exposés, l'exercice du pouvoir d'appréciation reconnu à la commune, ainsi que le droit de procédure l'y autorise. Il n'y a aucun arbitraire sur ce point.
3. Le recourant invoque aussi l'autonomie communale. S'agissant d'apprécier les circonstances locales, la commune devrait se voir reconnaître un très large pouvoir d'appréciation, et la cour cantonale ne pouvait intervenir que pour des motifs majeurs, en raison d'un intérêt public prépondérant.
3.1 Selon la jurisprudence, un particulier peut invoquer l'autonomie communale à l'appui de son recours de droit public, pour autant que ce dernier soit par ailleurs recevable et que la commune n'ait pas renoncé, expressément ou tacitement, à se prévaloir de sa propre autonomie (<ref-ruling> consid. 2c p. 218; Karl Spühler, Der Rechtsschutz von Privaten und Gemeinden im Raumplanungsrecht, in: Zbl 90/1989 p. 97 ss, p. 105 s.).
3.2 Tel n'est pas le cas en l'espèce: à ce stade de la procédure, ainsi d'ailleurs qu'après la reprise de la procédure cantonale de recours, la commune a appuyé les conclusions des opposants, concluant elle aussi à l'annulation du permis de construire. Elle a ainsi expressément renoncé à se prévaloir de son autonomie, ce qu'elle a encore confirmé dans sa réponse au recours de droit public. Le grief est par conséquent irrecevable. Il se confond d'ailleurs largement avec l'argument qui précède, et devrait être rejeté dans la même mesure.
3.2 Tel n'est pas le cas en l'espèce: à ce stade de la procédure, ainsi d'ailleurs qu'après la reprise de la procédure cantonale de recours, la commune a appuyé les conclusions des opposants, concluant elle aussi à l'annulation du permis de construire. Elle a ainsi expressément renoncé à se prévaloir de son autonomie, ce qu'elle a encore confirmé dans sa réponse au recours de droit public. Le grief est par conséquent irrecevable. Il se confond d'ailleurs largement avec l'argument qui précède, et devrait être rejeté dans la même mesure.
4. Le recourant soutient ensuite que la procédure suivie par le Tribunal administratif, consistant à suspendre l'examen du premier recours, puis à joindre les deux causes pour statuer en tenant compte de l'état de fait concernant le second recours, violerait ses droits de procédure. L'argument n'est toutefois pas suffisamment motivé au regard de l'art. 90 al. 1 let. b OJ, disposition qui exige du recourant qu'il indique clairement quelle disposition ou principe de procédure aurait été violé.
Le recourant ne prétend pas que la suspension de la procédure ait été ordonnée sans son accord; il a ensuite déposé de son propre chef une nouvelle demande d'autorisation de construire. Après avoir recouru contre le refus de la Municipalité, il ne s'est pas non plus opposé à la jonction des causes, ordonnée le 21 novembre 2001. Il ne prétend pas, enfin, que la prise en compte, dans l'examen du premier recours, de faits relatifs au second, violerait une disposition de procédure particulière. Le grief est par conséquent irrecevable.
Le recourant ne prétend pas que la suspension de la procédure ait été ordonnée sans son accord; il a ensuite déposé de son propre chef une nouvelle demande d'autorisation de construire. Après avoir recouru contre le refus de la Municipalité, il ne s'est pas non plus opposé à la jonction des causes, ordonnée le 21 novembre 2001. Il ne prétend pas, enfin, que la prise en compte, dans l'examen du premier recours, de faits relatifs au second, violerait une disposition de procédure particulière. Le grief est par conséquent irrecevable.
5. Sur le fond, le recourant estime que le critère des mouvements de terre nécessaires à la réalisation du projet ne serait pas prévu par la réglementation. L'ensemble du territoire communal présentant une forte déclivité, la solution adoptée par la cour cantonale compromettrait la construction sur de nombreuses parcelles. Il n'y aurait pas de modification sensible du profil des lieux puisque les bâtiments sont en partie enterrés au nord, le terrain retrouvant sa pente naturelle au nord et sur les côtés à l'issue des travaux. S'agissant de la distance du plancher habitable par rapport au sol naturel, la cour cantonale n'expliquerait pas en quoi la dérogation accordée par la Municipalité en 1999 l'aurait été à mauvais escient. Quant aux décrochements triangulaires présentés par les balcons, ils ne prenaient pas de volume et seraient sans effet sur la silhouette des bâtiments. Enfin, l'arrêt attaqué méconnaîtrait que le projet est situé sous une ligne à haute tension, laquelle marquerait fortement le site. L'annulation du permis accordé en 1999 violerait par ailleurs le principe de la proportionnalité, car selon le nouveau plan de zones de la commune de Chardonne, toute la partie supérieure de la parcelle passerait désormais en zone de verdure; après avoir suspendu la procédure afin de permettre au recourant de modifier son projet, le Tribunal administratif aurait dû réformer le permis en posant les conditions qu'il jugeait nécessaires.
5.1 Selon la jurisprudence, l'application d'une clause d'esthétique ne doit pas aboutir à ce que, de façon générale, la réglementation sur les zones en vigueur soit vidée de sa substance. En droit vaudois, un projet de construction peut être interdit sur la base de l'art. 86 LATC quand bien même il satisferait à toutes les autres dispositions cantonales et communales en matière de police des constructions. Cependant, une intervention des autorités dans le cas de la construction d'un immeuble réglementaire qui, par son volume, ne serait pas en harmonie avec les bâtiments existants, ne peut s'inscrire que dans la ligne tracée par la loi elle-même et par les règlements communaux, qui définissent en premier lieu l'orientation que doit suivre le développement des localités. Ainsi, lorsqu'un plan de zones prévoit que des constructions d'un certain volume peuvent être édifiées dans tel secteur du territoire, une interdiction de construire fondée sur l'art. 86 LATC, en raison du contraste formé par le volume du bâtiment projeté, ne peut se justifier que par un intérêt public prépondérant. Il faut alors que l'utilisation des possibilités de construire réglementaires apparaisse déraisonnable (<ref-ruling> consid. 3d p. 119; 363 consid. 3a p. 366/367; 370 consid. 5 p. 377).
5.2 En l'occurrence, le Tribunal administratif s'est inspiré des principes figurant dans la LPPL. Sans perdre de vue que cette loi, à l'instar d'un plan directeur, ne déploie d'effet obligatoire qu'à l'égard des autorités, la cour cantonale a tenu compte de l'intérêt public poursuivi par ce texte, qui est notamment d'empêcher toute atteinte pouvant altérer le caractère et la beauté de la région de Lavaux. Il s'agit là d'un intérêt public important, concrétisé notamment à l'art. 42 RPE. Le recourant ne conteste pas, par ailleurs, que les critères retenus (harmonie des volumes, atteinte à un site naturel, hauteur et implantation dans le terrain) sont pertinents dans la perspective d'une intégration dans le site. Les considérations relatives aux mouvements de terre ne concernent pas uniquement la phase des travaux; le Tribunal administratif a ainsi notamment voulu montrer le volume considérable que représentaient les bâtiments projetés. Son appréciation est confirmée par le point de vue du Service des forêts, de la faune et de la nature, à l'appui de son refus de délivrer les autorisations spéciales dans le cadre du second permis de construire: l'alignement des bâtiments impliquerait un effet visuel correspondant à un immeuble de neuf étages, d'une hauteur cumulée d'environ 29 m. L'ensemble formé par les deux immeubles liés entre eux ne s'intègre manifestement pas dans le milieu bâti, qui comprend des villas et chalets aux dimensions bien moindres, et qui disposent en règle générale d'un certain dégagement. L'existence d'une ligne à haute tension au dessus de la parcelle du recourant n'a pas pour effet de dégrader le site au point que l'impact des constructions prévues s'en trouverait négligeable. Elle n'enlève rien à la disproportion évidente qui existe entre le projet litigieux et les constructions alentour. L'appréciation du Tribunal administratif ne prête donc pas le flanc à la critique.
5.3 Le recourant reproche à la cour cantonale de ne pas s'être contentée de réformer l'autorisation de construire. Il n'indique toutefois pas sur quels points une telle réforme était possible, dans le but de permettre le maintien, respectivement l'octroi, du permis de construire. Les réserves d'ordre esthétique ne portaient d'ailleurs pas sur des points de détail, mais sur le principe même de la construction de deux bâtiments voisins d'un tel gabarit.
5.4 Sans doute, l'annulation, respectivement le refus du permis de construire, pourront avoir des conséquences rigoureuses pour le recourant, privé d'une partie de ses possibilités de construire en raison de la nouvelle planification. Toutefois, ces possibilités réduites permettront peut-être d'aboutir à un projet acceptable du point de vue de l'intégration. L'argument tiré du principe de la proportionnalité doit lui aussi être écarté.
5.4 Sans doute, l'annulation, respectivement le refus du permis de construire, pourront avoir des conséquences rigoureuses pour le recourant, privé d'une partie de ses possibilités de construire en raison de la nouvelle planification. Toutefois, ces possibilités réduites permettront peut-être d'aboutir à un projet acceptable du point de vue de l'intégration. L'argument tiré du principe de la proportionnalité doit lui aussi être écarté.
6. Sur le vu de ce qui précède, le recours de droit public doit être rejeté, dans la mesure où il est recevable. Un émolument judiciaire est mis à la charge du recourant qui succombe (art. 156 al. 1 OJ), de même qu'une indemnité de dépens allouée aux opposants d'une part, et à la commune de Chardonne d'autre part (art. 159 al. 1 OJ).

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
1. Le recours est rejeté dans la mesure où il est recevable.
2. Un émolument judiciaire de 3000 fr. est mis à la charge du recourant.
2. Un émolument judiciaire de 3000 fr. est mis à la charge du recourant.
3. Une indemnité de dépens de 2000 fr. est allouée aux intimés B._ et consorts, à la charge du recourant.
3. Une indemnité de dépens de 2000 fr. est allouée aux intimés B._ et consorts, à la charge du recourant.
4. Une indemnité de dépens de 2000 fr. est allouée à la commune de Chardonne, à la charge du recourant.
4. Une indemnité de dépens de 2000 fr. est allouée à la commune de Chardonne, à la charge du recourant.
5. Le présent arrêt est communiqué en copie aux mandataires des parties, à la Municipalité de Chardonne et au Tribunal administratif du canton de Vaud.
Lausanne, le 5 août 2004
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le président: Le greffier: