Faits:
A. X._ est propriétaire des parcelles 574, 227 et 575 du cadastre de la commune de Gingins, situées au lieu-dit "En-Arpey", en bordure de la route Blanche (Nyon-St-Cergue). Les parcelles se trouvent en zone d'habitation de faible densité, selon la réglementation communale de 1982. Au mois d'octobre 1984, le Conseil d'Etat vaudois a adopté le plan des zones de protection de la source d'Arpey, appartenant à la commune de Nyon. Le périmètre de protection comprenait, en aval au sud-est, la zone de captage (SI, limitée aux installations de captage) avec six chambres reliées entre elles, une zone SII de protection rapprochée où les constructions sont en principe exclues et les accès limités aux chemins de campagne, et une zone SIII autorisant dans une certaine mesure les constructions et routes. Les biens-fonds de X._, sur lesquels se trouvent deux habitations, étaient alors classés en zone SIII.
Le 16 décembre 2005, les communes de Gingins et de Trélex ont mis à l'enquête un nouveau plan de délimitation des zones de protection, avec son règlement d'application. Celui-ci prévoit une extension vers le nord, au-delà de la route Blanche, des zones S3 et S2. La parcelle 575, actuellement non construite, se voit pour plus de la moitié classée en zone S2, ainsi qu'une petite portion de la parcelle 227. Par décision du 7 janvier 2009, le Département de la sécurité et de l'environnement du canton de Vaud a approuvé le plan et écarté l'opposition formée, notamment, par X._.
B. Par arrêt du 10 novembre 2009, la Cour de droit administratif et public du Tribunal cantonal vaudois a rejeté le recours formé par X._ et d'autres opposants. Le nouveau plan était fondé sur un rapport hydrogéologique du 30 janvier 2004. Celui-ci ne tenait pas compte des instructions pratiques pour la protection des eaux souterraines, publiées en 2004 par l'Office fédéral de l'environnement (ci-après: les instructions de 2004), mais de la version publiée en 1977/1982. S'agissant toutefois d'un aquifère en roches meubles, il n'existait pas de différence décisive entre les deux versions, pour la détermination des zones S2 et S3. Compte tenu de l'importance du captage pour les communes de Nyon et de Gingins, l'atteinte au droit de construire était constitutionnellement admissible, le recourant pouvant agir au plan civil pour un éventuel dédommagement.
C. X._ forme un recours en matière de droit public assorti d'une demande d'effet suspensif. Il demande principalement au Tribunal fédéral de réformer l'arrêt cantonal en ce sens que le plan est annulé totalement; subsidiairement il demande que la zone S2 fasse l'objet d'une nouvelle délimitation pour les parcelles n° 227 et 575; plus subsidiairement, il conclut à l'annulation de l'arrêt cantonal.
Le Tribunal cantonal conclut au rejet du recours en se référant à son arrêt. Le Département vaudois de la sécurité et de l'environnement, Service des eaux, sols et assainissement, conclut au rejet du recours. l'Office fédéral de l'environnement (OFEV) se prononce dans le sens de l'arrêt attaqué. Les recourants ont déposé des observations complémentaires.
La demande d'effet suspensif a été admise par ordonnance présidentielle du 21 janvier 2010.
Considérant en droit:
1. Dirigé contre une décision finale (art. 90 LTF) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public fédéral relatif à la protection des eaux (art. 82 let. a LTF), le recours est recevable comme recours en matière de droit public selon les art. 82 ss LTF, aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée. Le recourant a pris part à la procédure de recours devant le Tribunal cantonal. Il est particulièrement touché par l'arrêt attaqué confirmant le classement d'une partie de deux parcelles dont il est propriétaire dans la zone de protection S2. Il peut ainsi se prévaloir d'un intérêt personnel et digne de protection à l'annulation de l'arrêt attaqué, et a qualité pour agir au sens de l'art. 89 al. 1 LTF.
2. Le recourant se plaint d'une violation des art. 19 à 21 LEaux (RS 814.20) et de l'art. 29 al. 2 OEaux (RS 814.201), ainsi que - dans un grief distinct - du chiffre 123 al. 2 let. b de l'annexe 4 OEaux. Il relève que les études hydrogéologiques ont été faites sur la base des instructions de 1977/1982, sans tenir compte de celles de 2004. La cour cantonale ne pouvait retenir comme elle l'a fait que les méthodes de délimitation des zones S2/S3 n'étaient pas différentes, car la nouvelle réglementation aurait ajouté au critère qualitatif une protection quantitative, et prévoirait des zones de protection qui n'existaient pas jusqu'alors. Les critères fixés au chiffre 121 al. 2 de l'annexe 4 OEaux ne figureraient pas dans les instructions de 1977. Selon les nouvelles instructions, à certaines conditions, la distance séparant les limites amont des zones S2 et S3 pourrait être inférieure à 100 m, alors que les instructions de 1977/1982 prévoyaient le contraire. Cette possibilité n'aurait pas été examinée dans les rapports hydrogéologiques, et un complément d'instruction aurait dû être ordonné sur ce point. Rien ne permettrait d'affirmer, comme le fait le Tribunal cantonal, que les auteurs du rapport auraient tenu compte de la possibilité de réduire la distance entre les zones S2 et S3. Par ailleurs, le rapport hydrogéologique et le règlement du plan ne correspondraient pas entièrement aux exigences fixées dans les nouvelles instructions.
2.1 L'art. 20 al. 1 LEaux impose aux cantons de délimiter des zones de protection autour des captages des eaux souterraines qui sont d'intérêt public et de fixer les restrictions nécessaires au droit de propriété. En vertu de l'art. 20 al. 2 let. a LEaux, les détenteurs de captages d'eaux souterraines sont tenus de faire les relevés nécessaires pour délimiter les zones de protection. Décrites à l'annexe 4 de l'ordonnance du 28 octobre 1998 sur la protection des eaux (OEaux; RS 814.21), ces zones se composent de la zone de captage (zone S1), de la zone de protection rapprochée (zone S2) et de la zone de protection éloignée (zone S3). La zone S2 doit empêcher que des germes et des virus pénètrent dans le captage ou l'installation d'alimentation artificielle (annexe 4 OEaux chiffre 123 al. 1 let. a), que les eaux du sous-sol soient polluées par des excavations et travaux souterrains (let. b) et que l'écoulement des eaux du sous-sol soit entravé par des installations en sous-sol (let. c). Pour les eaux du sous-sol présentes dans les roches meubles, elle est dimensionnée de sorte que la durée d'écoulement des eaux du sous-sol, de la limite extérieure de la zone S2 au captage ou à l'installation d'alimentation artificielle, soit de dix jours au moins (annexe 4 OEaux chiffre 123 al. 2 let. a) et que la distance entre la zone S1 et la limite extérieure de la zone S2, dans le sens du courant, soit de 100 m au moins; elle peut être inférieure si les études hydrogéologiques permettent de prouver que le captage ou l'installation d'alimentation artificielle sont aussi bien protégés par des couches de couverture peu perméables et intactes (let. b).
2.2 Le rapport hydrogéologique du 27 août 2002 préconise une augmentation de la taille de la zone S2 d'une part au sud-ouest de la route Blanche (y compris notamment les parcelles du recourant) et, d'autre part, au nord-est de celle-ci, en application du critère le plus sévère entre le minimum de 100 m et un temps d'écoulement de dix jours. Pour justifier l'extension au nord-est, le rapport mentionne l'existence de la décharge de Molard Parelliet et se fonde sur le temps de transit constaté lors du traçage effectué en mai 2001. Ce dernier (traçage F0) avait mis en évidence une liaison hydraulique entre la décharge et les sources, ainsi qu'une direction d'écoulement localement orientée nord-sud. Cette étude est fondée sur les instructions de 1977.
A la demande de la commune, une étude complémentaire a été menée afin de déterminer si le déclassement en zone S2 se justifiait pour les parcelles 227 et 228. Le rapport complémentaire du 30 janvier 2004 parvient à la conclusion que la zone S2 peut être maintenue, à l'ouest de la route cantonale, dans le périmètre défini par le plan de 1985. Un traçage effectué en avril 2003 (F10) avait mis en évidence un temps de transit favorable à une telle réduction. Toutefois, l'angle sud-est de la parcelle 227 du recourant devait être maintenu en zone S2 pour tenir compte du traçage F0. Ce rapport complémentaire confirme la nécessité d'étendre la zone S2 au nord-est, sur la base d'un temps de transit de dix jours. Ce complément mentionne également les directives de 1977.
2.3 Les instructions pratiques éditées par l'OFEFP, au même titre que les recommandations et autres manuels édités par l'office compétent, constituent une simple aide à l'intention des autorités d'application. Elles n'ont pas force de loi et ne lient ni les administrés, ni l'administration. Elles tendent à assurer une application uniforme de certaines dispositions légales et à expliciter leur interprétation. De telles directives ne peuvent sortir du cadre fixé par la norme supérieure qu'elles sont censées concrétiser. A défaut de lacune dans la loi, elles ne peuvent prévoir autre chose que ce qui découle de la législation ou de la jurisprudence (ATF 133 II 305 consid. 8.1 p. 315; 121 II 473 consid. 2b p. 478 et les références). Les instructions de 2004 précisent d'ailleurs elles-mêmes (p. 2) que d'autres solutions que celles retenues sont également admissibles au regard du droit fédéral.
Le recourant ne saurait ainsi se contenter d'alléguer que l'autorité d'exécution s'est écartée des dernières recommandations; il doit indiquer en quoi la solution adoptée constitue une violation du droit fédéral actuellement applicable, au sens de l'art. 95 let. a LTF.
2.4 Comme le relève la cour cantonale, la détermination de la zone de protection rapprochée S2 ne diffère guère, pour les eaux souterraines en roches meubles, entre la législation de 1977 et les instructions de 1977/1982 d'une part, et la LEaux, son ordonnance d'application et les instructions de 2004 d'autre part. Pour les aquifères en terrains meubles, cette détermination a lieu, dans les deux cas, sur la base d'un temps d'écoulement de dix jours et d'une distance de 100 m au moins en amont du captage (instructions 1977, synthèse p. 46; instructions 2004, p. 43 ss).
Le recourant se prévaut de la possibilité, réservée par le ch. 123 al. 2 let. b de l'annexe 4 OEaux et par les instructions de 2004 (p. 47), de prévoir une limite inférieure à 100 m entre les zones S1 et S2 "lorsque les études hydrogéologiques permettent de prouver que le captage ou l'installation d'alimentation artificielle sont aussi bien protégés par des couches de couverture peu perméables et intactes. Le recourant se contente d'évoquer la possibilité de réduire la zone S2 en application de cette disposition, sans toutefois prétendre que les conditions en seraient réalisées.
Selon les instructions pratiques de 2004, une telle réduction de la distance de 100 m entre les limites des zones S1 et S2 n'est envisageable qu'en présence de couches de couverture peu perméables, continues et intactes (soit une perméabilité de K < 1x10-7 m/s). Or, il ressort de l'étude hydrogéologique et de son complément que l'aquifère principal des sources d'Arpey est constitué, notamment sur les parcelles du recourant, de cônes de déjection fluvio-glaciaire composés de graviers sableux très perméables (K = 10-3 à 10-4 m/s). Cela a été confirmé lors du traçage d'avril 2003. C'est d'ailleurs la raison pour laquelle le rapport du mois d'août 2002 préconisait une extension de la zone S2 au sud-ouest de la route Blanche. Il résulte dès lors clairement du dossier que les conditions posées pour une réduction de la zone S2, sur les parcelles du recourant, n'étaient pas réunies. Une telle constatation ne nécessitait pas de complément d'instruction. Pour le surplus, la limite de la zone S2 qui traverse les parcelles 227 et 575 du recourant résulte de l'extension de la zone vers le nord, dont le recourant ne conteste nullement le bien-fondé.
2.5 Le recourant reproche aussi au rapport hydrogéologique et au règlement de ne pas contenir l'ensemble des données figurant dans les instructions de 2004 (p. 41-42). Il omet toutefois d'indiquer quelles données feraient défaut, et surtout en quoi il en résulterait une violation matérielle du droit fédéral.
3. Invoquant la garantie de la propriété, le recourant relève que la délimitation de la zone S2 rendrait inconstructible la parcelle 575, compte tenu de la surface forestière et des distances à respecter. L'arrêt attaqué ne tiendrait pas compte de l'importance de l'atteinte et de la valeur de la parcelle; il suffirait de déplacer la limite de 5 à 7 m vers l'est pour que la parcelle redevienne constructible. Un tel déplacement ne nuirait pas à la protection des captages.
3.1 Pour être conforme au principe de la proportionnalité (art. 36 al. 3 Cst.), une restriction à un droit fondamental doit être apte à atteindre le but visé, lequel ne peut pas être atteint par une mesure moins incisive; il faut en outre qu'il existe un rapport raisonnable entre les effets de la mesure sur la situation de la personne visée et le résultat escompté du point de vue de l'intérêt public (ATF 4A.18/2010 consid. 4.4.4; 134 I 214 consid. 5.7 p. 218; 132 I 229 consid. 11.3 p. 246; 129 I 12 consid. 9.1 p. 24).
3.2 Le recourant méconnaît que le rapport complémentaire a été demandé par la commune pour préciser les limites de la zone S2 à l'ouest de la route cantonale. Le rapport complémentaire a ainsi permis de maintenir en zone S3 la plus grande partie de la parcelle 227 du recourant. En revanche, comme cela est prévu dans le rapport de 2002, plus de la moitié de la parcelle 575 est classée en zone S2. Cela est dû à la nécessité, non contestée, d'inclure la décharge de Molard Parelliet en zone de protection rapprochée. Le rapport complémentaire expose que l'angle sud-est de la parcelle 227 doit être maintenu en zone S2 pour tenir compte des résultats du traçage F0, réalisé non loin de la parcelle en cause et à l'origine de l'extension de la zone S2. Cette explication vaut également pour la parcelle 575. La limite de la zone a ainsi été définie par interpolation entre les captages F10 et F0, en ligne droite depuis l'extrémité nord de la zone.
Dès lors que cette délimitation est, comme on l'a vu, conforme au droit fédéral, et que le recourant ne saurait obtenir de statut dérogatoire pour sa parcelle 575, il n'y a pas place pour une pesée différente des intérêts en présence et l'arrêt attaqué ne viole en rien le principe de la proportionnalité, quelle que soit la perte de valeur du bien-fonds. La question d'une éventuelle expropriation matérielle n'a pas à être examinée dans ce cadre.
4. Sur le vu de ce qui précède, le recours doit être rejeté. Conformément à l'art. 66 al. 1 LTF, les frais judiciaires sont mis à la charge du recourant. Il n'est pas alloué de dépens
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, à la Municipalité de Nyon, à la Municipalité de Trélex, au Département de la sécurité et de l'environnement du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Office fédéral de l'environnement, Division Droit.
Lausanne, le 9 juillet 2010
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Féraud Kurz