Faits:
A. Le 2 juin 2008, le Juge d'instruction du Jura bernois a condamné A._ à trente jours-amende à 320 fr. avec sursis pendant deux ans et à 4000 fr. d'amende. Le 24 mars 2008, vers deux heures du matin, alors qu'il circulait sur la route nationale A5 à la hauteur d'Alfermée, sa vitesse avait été contrôlée à 96 km/h (marge de sécurité déduite) alors que le tronçon était limité à 60 km/h. A._ a formé une opposition auprès de l'autorité judiciaire de Berne-Nidau, mais l'a ensuite retirée.
Le 10 juin 2008, le Service des automobiles et de la navigation du canton de Vaud (ci-après: le SAN) a invité A._ à présenter ses observations, dans la perspective d'une mesure administrative. L'intéressé a fait savoir qu'il ne contestait pas l'infraction, tout en relevant qu'au moment des faits, la visibilité était excellente, qu'il n'y avait pas de circulation ni de risque de présence d'enfants ou de personnes âgées vu l'heure tardive, et qu'en 26 ans de conduite automobile, il n'avait jamais été impliqué dans un accident.
Par décision du 1er juillet 2008, le SAN a retiré le permis de conduire de A._ pour une durée de quatorze mois. Un excès de vitesse de plus de 24 km/h en zone de localité constituait une infraction grave. Un retrait de permis avait déjà été ordonné en juin 2006 pour une infraction grave.
B. Par arrêt du 17 mars 2009, la Cour de droit administratif et public du Tribunal cantonal vaudois a rejeté le recours formé par A._, après avoir écarté certaines offres de preuves formulées par celui-ci. Le dépassement de vitesse, constaté au pénal, n'était pas contesté en soi. La route litigieuse était reconnue pour être dangereuse; les obstacles qui la jalonnaient (chevrons, balises, panneaux, pistes cyclables, voies de bus) empêchaient tout conducteur raisonnable de se croire sur une semi-autoroute. Malgré les changements successifs de vitesse autorisée, la signalisation était claire et les critiques formulées à l'encontre de l'aménagement de l'A5 ne concernaient pas ce tronçon. S'agissant de la durée du retrait, il y avait lieu de tenir compte de la gravité de l'infraction et du précédent retrait de permis de trois mois, pour faute grave également.
C. A._ forme un recours en matière de droit public. Il conclut à la réforme de l'arrêt cantonal en ce sens que le retrait de permis est prononcé pour une durée d'un mois pour faute légère, subsidiairement pour une durée de douze mois. Plus subsidiairement, il conclut au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants.
La cour cantonale se réfère à son arrêt. Le SAN s'en remet à justice. L'Office fédéral des routes renvoie à l'arrêt attaqué.
Considérant en droit:
1. La voie du recours en matière de droit public, au sens des art. 82 ss LTF, est ouverte contre une décision de dernière instance cantonale au sujet d'une mesure administrative de retrait du permis de conduire. Le recourant a qualité pour agir au sens de l'art. 89 al. 1 let. a et b LTF. Le recours est formé en temps utile contre une décision finale prise en dernière instance cantonale non susceptible de recours devant le Tribunal administratif fédéral; il est recevable au regard des art. 42, 86 al. 1 let. d, 90 et 100 al. 1 LTF.
2. Dans un grief formel (pour lequel il requiert que le recours soit traité, s'il y a lieu, comme recours constitutionnel), le recourant invoque son droit d'être entendu. Alors qu'il prétendait s'être mépris sur la vitesse autorisée (60 km/h au lieu de 80 km/h), et qu'il avait proposé diverses mesures d'instruction à l'appui de cet argument (inspection locale, rapport sur le nombre d'infractions constatées au même endroit, rapport de l'OFROU sur les modifications de la signalisation depuis janvier 2007), la cour cantonale n'y a pas donné suite.
2.1 Conformément à l'art. 95 LTF, le recours en matière de droit public peut porter sur la violation du droit fédéral, y compris du droit constitutionnel. Le grief du recourant est dès lors recevable dans ce cadre, et il n'est point besoin de traiter le recours, sur ce point, comme recours constitutionnel.
2.2 Garanti à l'art. 29 al. 2 Cst., le droit d'être entendu permet au justiciable de participer à la procédure probatoire en exigeant l'administration des preuves déterminantes (ATF 126 I 15 consid. 2a/aa p. 16 et les arrêts cités). Ce droit ne s'étend toutefois qu'aux éléments pertinents pour décider de l'issue du litige. Il est ainsi possible de renoncer à l'administration de certaines preuves offertes, lorsque le juge parvient à la conclusion qu'elles ne sont pas décisives pour la solution du litige ou qu'elles ne pourraient l'amener à modifier son opinion. Ce refus d'instruire ne viole le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a ainsi procédé, est entachée d'arbitraire (ATF 125 I 127 consid. 6c/cc in fine p. 135, 417 consid. 7b p. 430; 124 I 208 consid. 4a p. 211, 241 consid. 2 p. 242, 274 consid. 5b p. 285 et les arrêts cités).
2.3 Les offres de preuves formulées par le recourant tendaient à démontrer qu'en raison des particularités de la route, il pouvait se croire autorisé à circuler à 80 km/h, de sorte que son excès de vitesse devrait être considéré comme de peu de gravité. La cour cantonale a considéré que les faits déterminants n'étaient ni litigieux ni contestés (soit un dépassement de la vitesse autorisée de 36 km/h sur un tronçon de 250 m limité à 60 km/h). Le recourant avait produit les pièces et références relatives à la configuration des lieux; la cour cantonale a tenu compte des objections soulevées à ce propos (consid. 5b de l'arrêt attaqué), mais a jugé les autres renseignements comme dénués de pertinence.
Cette appréciation anticipée n'a rien d'arbitraire. En effet, l'arrêt attaqué retient - à juste titre comme cela est relevé ci-dessous - qu'à l'exception de situations tout à fait particulières, la signalisation routière en place est seule déterminante pour juger de la vitesse admissible. La cour cantonale a également retenu que, même avérés, les défauts allégués de réglementation et de signalisation de la route ne permettaient pas de considérer le cas comme de moindre gravité. En particulier, les nombreuses critiques visant le tronçon de l'A5 ne portaient pas sur la limitation de vitesse au niveau d'Alfermée. Les éléments de preuves offerts par le recourant ne permettaient pas de remettre en cause cette appréciation, de sorte qu'il n'y a pas de violation du droit d'être entendu.
3. Sur le fond, le recourant affirme qu'il pensait que la vitesse était limitée non pas à 60, mais à 80 km/h. Sur ce point, la cour cantonale aurait dû se distancer des constatations faites au pénal, et s'interroger sur la validité de la signalisation en place au regard des critères légaux. Le recourant relève que le segment de route de 250 m où il a été contrôlé comporte peu d'habitations et ne constituerait en tout cas pas une zone bâtie compacte. Il est précédé et suivi de tronçons limités à 80 km/h et le recourant, qui ne connaît pas les lieux, pouvait de bonne foi se croire autorisé à rouler à cette vitesse. Seul un dépassement de 16 km/h devait par conséquent être sanctionné.
3.1 Le prononcé pénal repose sur deux faits déterminants, à savoir l'existence d'une limitation de vitesse à 60 km/h et la vitesse du recourant, établie à 96 km/h. L'arrêt attaqué retient, avec raison, que ces deux faits ne sont pas contestés en tant que tels. La question de savoir si le recourant pouvait légitimement se croire autorisé à circuler à une vitesse plus élevée n'est pas une question de fait, mais de droit, que la cour cantonale a d'ailleurs résolue sans se référer à la décision pénale. Il n'y a par conséquent aucune violation du principe d'indépendance du juge administratif.
3.2 Le recourant estime qu'il avait de sérieuses raisons de penser qu'il circulait hors localité, et non dans un secteur limité à 60 km/h. La cour cantonale aurait donc dû examiner la validité de la signalisation en cause au regard des critères légaux. Or, le tronçon en question ne traverserait pas une zone bâtie de façon compacte au sens de l'art. 4a al. 1 OCR, comme le confirment les images satellite. Compte tenu de la largeur de la route, de l'absence d'habitations et de commerces, de la brièveté de ce secteur, précédé et suivi par des limitations à 80 km/h, le recourant pouvait légitimement se méprendre sur la vitesse autorisée.
3.3 Selon la jurisprudence rappelée par la cour cantonale, la signalisation routière est valable et obligatoire pour les usagers lorsqu'elle a été mise en place sur la base d'une décision et d'une publication conforme de l'autorité compétente (ATF 126 IV 48 consid. 2a p. 51 et les arrêts cités). Lorsque, comme en l'espèce, la validité formelle de la signalisation n'est pas contestée, les usagers de la route ne sont légitimés à mettre en doute ni son opportunité, ni même sa légalité matérielle (ATF 126 II 196 consid. 2b p. 200), sans quoi la sécurité et la fluidité du trafic pourraient s'en trouver gravement compromis (cf. ATF 100 IV 71 consid. 2 p. 74); chacun doit en effet pouvoir compter sur le respect, par autrui, de la signalisation en place, en particulier en ce qui concerne les limitations de vitesse. Il n'est fait exception à ce principe que de manière très restrictive, lorsque la signalisation n'est pas suffisamment visible (par exemple parce qu'elle se trouve masquée par des branchages - arrêt 6A.11/2000 du 7 septembre 2000) ou lorsqu'elle prête en soi à confusion au point qu'un usager attentif et de bonne foi ne saurait plus quel comportement adopter (ATF 126 IV 48 consid. 2b p. 51).
3.4 En l'occurrence, comme l'a retenu la cour cantonale et comme cela ressort des pièces produites par le recourant lui-même, le panneau de limitation de vitesse à 60 km/h est parfaitement visible; il fait l'objet d'un rappel, situé peu avant le radar. En dépit de la brièveté du tronçon, de l'absence d'habitations visibles, de la largeur de la route, la signalisation ne prêtait nullement à confusion. Rien n'autorisait dès lors le recourant a faire abstraction de la limitation de vitesse, ou à remettre en cause la décision de l'autorité compétente concernant l'opportunité et la légalité de cette limitation (ATF 126 II 196 consid. 2b p. 200). L'arrêt attaqué apparaît dès lors conforme au droit fédéral en ce qui concerne la gravité de la faute commise.
4. Le recourant soutient enfin que la durée du retrait devrait être réduite au minimum, soit un an en tenant compte de la précédente mesure de retrait. Il relève là aussi les circonstances particulières (largeur de la route, bonnes conditions et absence de trafic en raison de l'heure tardive), ainsi que les nombreuses critiques visant la signalisation du tronçon Bienne-La Neuveville.
4.1 Selon l'art. 16c al. 2 let. c LCR, le permis de conduire est retiré pour douze mois au minimum si, au cours des cinq années précédentes, le permis a été retiré une fois en raison d'une infraction grave ou à deux reprises en raison d'infractions moyennement graves.
4.2 Le SAN ne s'est écarté que de peu du minimum légal, en considérant que la précédente mesure de retrait avait pris fin une année seulement avant la nouvelle infraction, et que l'excès de vitesse était important. La cour cantonale a pour sa part également retenu que le recourant avait commis quatre excès de vitesse entre 2002 et 2006, et qu'il n'avait pas pris conscience de la gravité de son acte, puisqu'en soutenant avoir cru que la vitesse était limitée à 80 km/h, il estimait implicitement qu'un dépassement de 16 km/h était insignifiant. Le recourant ne conteste pas ces considérations. Ses explications se heurtent au fait que la réglementation routière était claire et qu'il s'en est écarté soit par inadvertance, soit délibérément. Dans les deux cas, la gravité de l'excès de vitesse et les antécédents du recourant justifiaient un retrait de permis de quatorze mois. Sur ce point également, l'arrêt attaqué est fondé sur des critères pertinents et conformes au droit fédéral.
5. Le recours en matière de droit public doit par conséquent être rejeté. Conformément à l'art. 66 al. 1 LTF, les frais judiciaires sont à la charge du recourant.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué à la mandataire du recourant, au Département de la sécurité et de l'environnement, Service des automobiles et de la navigation, et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral des routes.
Lausanne, le 11 septembre 2009
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Féraud Kurz