Faits: Faits: A. Le 26 novembre 1998, A._ a déposé une demande de permis de construire portant sur deux bâtiments sur la parcelle n° 2283 dont il est propriétaire à Chardonne. Située au nord du chemin du Retet, la parcelle se présente comme une bande de terrain de 165 m de long sur 35 m de large, orientée nord-sud et en forte pente. La partie supérieure est occupée par une forêt, le reste est classé, selon le plan des zones communal de 1984, en zone d'habitation de faible densité "B", réservée aux maisons familiales, villas et habitations collectives comportant au plus deux appartements par étage. Les deux bâtiments avaient fait l'objet d'un permis de construire accordé en 1995, mais non utilisé. Le bâtiment A est situé au bord du chemin du Retet; il comporte une entrée avec un parking approximativement au niveau de la voie publique, deux étages de deux appartements chacun et des combles avec galerie. Le bâtiment B, pratiquement identique mais dépourvu de parking souterrain, est situé quinze mètres en amont. Son accès se fait par le bâtiment A au moyen d'un ascenseur et d'une passerelle. Le 23 avril 1999, la Municipalité de Chardonne a accordé le permis, moyennant certaines modifications, rejetant pour le surplus les oppositions formées par les propriétaires voisins concernant notamment la taille des bâtiments: on ne pouvait refuser au propriétaire le droit d'utiliser les possibilités réglementaires, même si les constructions alentour (villas et chalets) étaient de dimensions plus modestes; l'accès par le chemin du Retet n'était certes pas idéal, mais suffisant. Les opposants ont saisi le Tribunal administratif vaudois, en reprenant leurs motifs d'opposition. Les opposants ont saisi le Tribunal administratif vaudois, en reprenant leurs motifs d'opposition. B. Cette procédure de recours a été suspendue car, au mois de novembre 2000, le constructeur a déposé une nouvelle demande de permis de construire destinée à satisfaire les opposants sur certains points; la profondeur des bâtiments était augmentée de deux mètres afin de régulariser la hauteur du mur des combles. Le 22 août 2002, la Municipalité a rejeté la demande de permis en se fondant notamment sur les refus d'autorisations spéciales du Service cantonal des forêts, de la faune et de la nature, qui n'avait jamais été consulté jusque-là: le projet était situé dans le périmètre du territoire d'agglomération de la loi sur le Plan de protection de Lavaux (LPPL); l'effet visuel du projet correspondait à une construction de 9 étages, échelonnés sur 29,6 m de hauteur; les travaux impliquaient des fouilles d'une grande profondeur portant atteinte à la prairie maigre située dans la partie supérieure de la parcelle, ainsi qu'à la forêt. La pente du talus en amont du bâtiment B était telle qu'une stabilisation du terrain était impossible. A._ a recouru contre ce refus auprès du Tribunal administratif. A._ a recouru contre ce refus auprès du Tribunal administratif. C. Par arrêt du 3 mai 2004, celui-ci a statué simultanément sur les deux recours. Il a admis celui des opposants et annulé la décision du 23 avril 1999, ainsi que le permis de construire du 2 juin 1999. Tant la LPPL que le plan des zones communal posaient des exigences particulières en matière d'intégration des bâtiments. Celles-ci n'étaient pas respectées par le projet: les bâtiments comportaient sur leurs façades latérales des éléments saillants triangulaires qui se retrouvaient au faîte de la toiture; le bâtiment B empiétait sur un site naturel digne d'intérêt; la configuration générale du sol était profondément bouleversée, car des mouvements de terre de plus de 7 m étaient prévus (5 à 6 m pour le premier projet), avec des murs de soutènement de près de 4 m. Les premiers niveaux d'habitation étaient situés à plus de 1,5 m au dessous du niveau du terrain naturel, et le dégagement latéral des seconds niveaux impliquait des déplacements de terre trop importants. Pour les mêmes motifs, le recours dirigé contre la décision de refus du 22 août 2001 a été rejeté. C. Par arrêt du 3 mai 2004, celui-ci a statué simultanément sur les deux recours. Il a admis celui des opposants et annulé la décision du 23 avril 1999, ainsi que le permis de construire du 2 juin 1999. Tant la LPPL que le plan des zones communal posaient des exigences particulières en matière d'intégration des bâtiments. Celles-ci n'étaient pas respectées par le projet: les bâtiments comportaient sur leurs façades latérales des éléments saillants triangulaires qui se retrouvaient au faîte de la toiture; le bâtiment B empiétait sur un site naturel digne d'intérêt; la configuration générale du sol était profondément bouleversée, car des mouvements de terre de plus de 7 m étaient prévus (5 à 6 m pour le premier projet), avec des murs de soutènement de près de 4 m. Les premiers niveaux d'habitation étaient situés à plus de 1,5 m au dessous du niveau du terrain naturel, et le dégagement latéral des seconds niveaux impliquait des déplacements de terre trop importants. Pour les mêmes motifs, le recours dirigé contre la décision de refus du 22 août 2001 a été rejeté. D. A._ forme un recours de droit public contre cet arrêt. Il en demande l'annulation, ainsi que le renvoi de la cause à une nouvelle section de la cour cantonale pour nouvelle décision dans le sens des considérants. Il demande en outre l'effet suspensif afin d'éviter la péremption du permis de construire durant la procédure de recours. Le Tribunal administratif conclut au rejet du recours, en se référant aux considérants de son arrêt. La Municipalité de Chardonne et les opposants concluent au rejet du recours. Par ordonnance du 1er juillet 2004, l'effet suspensif a été refusé.