Faits:
A. Le 20 juillet 2007, A._ a demandé l'autorisation de construire deux maisons d'habitation sur les parcelles n° 1554 et 1555 dont il est propriétaire à Grandvaux, en bordure de la rue de la Gare. Les maisons, de deux niveaux plus combles, à toit asymétrique, comptent deux appartements chacune. Le projet prévoit la création de dix places de parc, et, selon un plan déposé après le délai de mise à l'enquête, un cheminement couvert ("pergola") traversant toute la partie aval du bien-fonds, sur une longueur de près de 50 m. Le projet a fait l'objet de diverses oppositions, concernant notamment la hauteur des bâtiments, le taux d'utilisation du sol, les aménagements extérieurs et l'intégration dans le site. Une séance a eu lieu le 8 octobre 2007 entre des représentants de la commune et le constructeur, durant laquelle les griefs des opposants ont été discutés. Un compte-rendu en a été envoyé à A._ le 18 octobre 2007. A l'issue d'une audience de conciliation, ce dernier proposa l'abaissement de 55 cm de l'une des maisons, ce qui fut refusé par les opposants. Le 7 décembre 2007, le constructeur annonça le dépôt de nouveaux plans (modification des façades, réduction des terrasses et mention de la pergola notamment).
Le 4 février 2008, la Municipalité de Grandvaux a refusé le permis de construire. La hauteur des bâtiments n'avait pas été changée. La pergola était d'une longueur démesurée. Elle devait être prise en compte dans le calcul du coefficient d'occupation du sol (COS), de sorte que ce dernier était excessif. La taille des terrasses devait encore être réduite, car il subsistait d'importantes surfaces planes, alors que l'environnement, y compris les terrasses du vignoble, était caractérisé par des surfaces en pente. Certains calculs et formulaires manquaient.
B. A._ a déféré ce refus auprès de la Cour de droit administratif et public du Tribunal cantonal vaudois (CDAP). Il affirmait que la hauteur des constructions prévues était réglementaire. La pergola était un ouvrage annexe, sans incidence sur le calcul du COS. S'agissant de la surface des terrasses, il relevait que la Municipalité, dans sa lettre du 18 octobre 2008, avait considéré que la succession de terrasses correspondait à l'image du vignoble de Lavaux; il estimait par ailleurs que la taille de ces terrasses était justifiée.
Par arrêt du 29 octobre 2008, la CDAP a partiellement admis le recours. Au regard du droit communal et de la jurisprudence, une pergola non couverte ne devait pas être prise en compte pour le calcul du COS. Il ne s'agissait toutefois pas d'un ouvrage de peu d'importance, de sorte que les distances aux limites de propriété devaient être respectées. Le projet était conçu sur huit à neuf niveaux différents et, en dépit des modifications apportées dans les plans du 13 décembre 2007, la succession de terrasses restait incompatible avec la configuration actuelle du sol. Dans son compte-rendu du 18 octobre 2008, la Municipalité avait certes considéré que cette succession de terrasses était à l'image du vignoble de Lavaux. Toutefois, le constructeur ne pouvait en déduire aucune assurance en sa faveur. S'agissant des toitures, la disproportion entre les deux pans (2,5m au nord et 7,2m) au sud était manifeste. La pente était également différente, ce qui justifiait un refus pour des motifs d'esthétique. L'étude géotechnique pourrait avoir lieu après la délivrance du permis de construire. La CDAP a enfin retenu que les plans avaient été signés par un architecte diplômé, que la hauteur des bâtiments devrait être vérifiée, que les exigences relatives à la résistance au feu des murs séparant les appartements pourraient faire l'objet d'une condition dans le permis de construire et que les formules réclamées par la Municipalité figuraient bien au dossier.
C. A._ forme un recours en matière de droit public. Il conclut à l'annulation de l'arrêt cantonal et au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants.
La CDAP a renoncé à répondre au recours. La Municipalité de Grandvaux conclut au rejet du recours. Les opposants n'ont pas répondu dans le délai imparti; ils ont demandé une restitution de délai, qui a été refusée par ordonnance du 28 janvier 2009.
Considérant en droit:
1. Le recours est dirigé contre une décision prise en dernière instance cantonale dans le domaine du droit public des constructions. Il est en soi recevable comme recours en matière de droit public selon les art. 82 ss LTF.
1.1 Le recourant, dont la demande de permis de construire est en l'état rejetée, a qualité pour recourir (art. 89 al. 1 LTF).
1.2 Selon l'art. 90 LTF, le recours est recevable contre les décisions finales, soit celles qui mettent fin à la procédure. Tel n'est pas le cas de l'arrêt attaqué qui, tout en réformant sur plusieurs points le refus de délivrance du permis de construire (s'agissant notamment de l'admissibilité de principe de la pergola et de la hauteur des bâtiments), confirme par ailleurs le motif de refus retenu par la commune s'agissant de la taille des terrasses, y ajoutant un motif concernant la forme des toitures. Sur ces points, qui font l'objet du recours, l'arrêt attaqué a le caractère d'une décision partielle au sens de l'art. 91 LTF, puisqu'il oblige le recourant à présenter un projet modifié.
2. Le recourant reproche à la Municipalité d'avoir considéré que le projet ne respectait pas la configuration générale du sol, alors qu'elle avait clairement exprimé le contraire dans sa lettre du 18 octobre 2007, dont l'objet était pourtant d'informer sur la position de la Municipalité. Il estime que ce renseignement liait l'autorité, conformément au principe de la bonne foi (art. 9 Cst.).
2.1 Conformément à la jurisprudence, les règles de la bonne foi, que l'Etat doit respecter en vertu de l'art. 9 Cst., protègent le citoyen dans la confiance légitime qu'il met dans les assurances reçues des autorités, lorsqu'il a réglé sa conduite d'après des décisions, des déclarations ou un comportement déterminé de l'administration (ATF 131 II 627 consid. 6.1 p. 636 et les arrêts cités). L'autorité doit être intervenue dans une situation concrète à l'égard de personnes déterminées et avoir agi dans les limites de ses compétences; il faut aussi que l'administré se soit fondé sur ces assurances pour prendre des dispositions auxquelles il ne saurait renoncer sans subir de préjudice, et que la réglementation n'ait pas changé depuis le moment où l'assurance a été donnée (ATF 131 II 627 consid. 6.1 p. 637; 129 I 161 consid. 4.1 p. 170; 122 II 113 consid. 3b/cc p. 123 et les références citées).
2.2 La lettre du 18 octobre 2007 est un compte-rendu d'une rencontre entre le recourant et des représentants de la Municipalité, dont l'objet était d'examiner les divers motifs d'opposition au projet. Il s'agissait de préparer, à la demande du recourant, la séance de conciliation avec les opposants, fixée au 7 novembre suivant. Ce compte-rendu relève l'importance des aménagements extérieurs. Toutefois, les successions de terrasses étant à l'image du vignoble de Lavaux, on ne pouvait affirmer que les mouvements de terre projetés portaient atteinte à l'aspect du coteau. Il s'agissait d'une interprétation du règlement et il était "difficile de déterminer qui a raison ou tort". Il ressort notamment de cette dernière phrase que la Municipalité ne s'est jamais prononcée, à ce stade, sur la conformité du projet à la réglementation. Elle s'est contentée, dans l'optique de la séance de conciliation, de préciser: "une refonte de tous ces aménagements, dans le sens d'une diminution des terrasses au profit du terrain naturel, semble nécessaire à l'obtention d'un accord avec les opposants". Le recourant ne pouvait dès lors voir dans ce compte-rendu une quelconque assurance quant à la conformité de son projet. On ne voit pas non plus quelle disposition irréversible il aurait prise sur la base des assurances dont il se prévaut. La demande de permis de construire avait déjà été déposée, et le recourant n'a pas engagé de frais particuliers en se fondant sur les déclarations de la Municipalité.
L'argument doit par conséquent être écarté, de même que le grief d'arbitraire, qui est sans portée propre.
3. Invoquant également le principe de la bonne foi, le recourant reproche aussi à la Municipalité d'avoir considéré, dans sa réponse au recours cantonal, que les toitures sans avant-toit n'étaient pas réglementaires, alors qu'elle avait approuvé le projet, notamment lors d'une séance du 7 novembre 2007. La CDAP aurait mis en doute les allégations pourtant non contestées du recourant sur ce point, sans instruire la question, en violation des art. 9 et 29 Cst.
3.1 Point n'est besoin de rechercher si les faits ont été établis de manière manifestement inexacte, ou en violation du droit d'être entendu au sens de l'art. 97 al. 1 LTF. En effet, les circonstances alléguées par le recourant étaient de toute façon sans pertinence sur le sort de la cause.
3.2 Même si, comme le soutient le recourant, la Municipalité avait donné des assurances précises quant à la conformité des toitures, il n'apparaît pas que le recourant aurait, sur cette base, pris des dispositions irréversibles qui lui permettraient de se prévaloir de sa bonne foi. Par ailleurs, on ne saurait reprocher à la Municipalité un comportement contradictoire lors de la prise de décision, puisque le refus du permis de construire n'évoque pas le problème des toitures. C'est seulement dans sa réponse au recours cantonal que la Municipalité a soulevé cette objection. Or, le recourant ne prétend pas qu'une règle de procédure empêchait la Municipalité de faire valoir devant la cour cantonale de nouveaux arguments juridiques ne figurant pas dans sa décision, la cour cantonale n'étant d'ailleurs pas liée par les moyens soulevés par les parties (art. 53 LPJA).
Dans la mesure où il est suffisamment motivé, le grief est lui aussi mal fondé.
4. Sur le vu de ce qui précède, le recours est rejeté, dans la mesure où il est recevable. Conformément à l'art. 66 al. 1 LTF, les frais judiciaires sont mis à la charge du recourant. Il n'est alloué de dépens ni à la Commune de Grandvaux (art. 68 al. 3 LTF), ni aux opposants qui n'ont pas valablement procédé.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 3000 fr., sont mis à la charge du recourant. Il n'est pas alloué de dépens.
3. Le présent arrêt est communiqué aux mandataires des parties et de la Municipalité de Grandvaux et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Lausanne, le 24 mars 2009
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Féraud Kurz