Faits:
A. Le 14 août 2009, le Département de l'intérieur du canton de Vaud a constaté l'aboutissement de l'initiative populaire intitulée "Sauver Lavaux". Celle-ci tend à modifier la loi cantonale sur le plan de protection de Lavaux du 12 février 1979 (ci-après: LLavaux; RS/VD 701.43). Les dispositions modifiées de la loi (ci-après: nLLavaux) sont notamment les suivantes:
Art. 1er (modification des buts de la loi comprenant désormais l'intégration des exigences découlant de l'inscription au patrimoine mondial de l'UNESCO)
Art. 4 (nouveau)
1La présente loi et la carte annexée sont directement applicables.
2Les règlements et plans communaux qui ne s'y conforment pas sont nuls.
3Aucun permis de construire, démolir ou transformer ne peut être accordé si le projet ne respecte pas strictement les dispositions de la présente loi.
4Les communes peuvent adopter des dispositions plus restrictives.
(selon l'art. 4 actuel, la loi et la carte annexée ont force obligatoire pour les autorités uniquement, le statut juridique de la propriété étant régi par les plans et règlements communaux, sous réserve des dispositions transitoires)
Art. 4 à 8 (abrogés ou adaptés au nouveau régime)
Les art. 15 à 20 reprennent, en les complétant, les principes applicables aux différentes zones d'intérêt public, de villages et hameaux, de centre ancien de bourgs et d'agglomération I et II.
Art. 18
Le territoire des villages et hameaux est régi par les principes suivants:
(let. a à e: sans changement)
f) (nouveau) Les bâtiments existants sont protégés dans la mesure où ils présentent un caractère architectural traditionnel; leur démolition peut être autorisée à titre exceptionnel si elle est justifiée par des motifs objectifs s'opposant à leur conservation.
g) (nouveau) A l'exception des constructions souterraines (par ex. parkings, hangars viticoles) toute construction nouvelle est exclue. Les reconstructions ne peuvent être autorisées que dans les limites des volumes existants et doivent respecter le caractère de l'ensemble; des exceptions de peu d'importance peuvent être consenties pour autant qu'elles répondent à des besoins avérés et prépondérants de l'exploitation viticole.
h) (nouveau) Les espaces extérieurs (jardins, potagers, cours) sont dans la règle protégés.
Art. 19
Le territoire de centre ancien de bourgs est régi par les principes suivants:
(let. a à e: sans changement;
let. f, g, h nouveaux, comme la disposition précédente)
Art. 20 (nouveau)
1Dans les territoires d'agglomérations I et II, les secteurs n'ayant pas encore été colloqués en zone à bâtir, n'ayant pas encore fait l'objet d'un plan partiel d'affectation ou d'un plan de quartier ou dont ces derniers n'ont pas fait l'objet d'un commencement d'exécution ou encore, les secteurs n'étant pas équipés lors de l'adoption du principe constitutionnel de sauvegarde inscrit à l'article 52a de la Constitution du 14 avril 2003 sont en principe inconstructibles et soumis aux articles 15 et 16 de la présente loi.
2Les secteurs des territoires d'agglomération I et II qui ont été colloqués en zone à bâtir ou équipés avant l'adoption du principe constitutionnel de sauvegarde inscrit à l'article 52a de la Constitution du 14 avril 2003 sont régis par les principes suivants :
a) Dans le territoire d'agglomération I: ils sont destinés à l'habitat en prédominance et peuvent accueillir toutes les activités compatibles avec cette fonction ainsi que les équipements collectifs nécessaires. Les constructions nouvelles ont une hauteur maximum de trois niveaux, y compris les parties dégagées par la pente.
b) Dans le territoire d'agglomération II: ils sont destinés à l'habitat en prédominance; les équipements collectifs et les activités y sont tolérés dans la mesure où ils sont compatibles avec le voisinage. L'implantation des constructions nouvelles est adaptée à la configuration du sol; leurs volumes ne présentent pas de lignes saillantes dans le paysage. Le site naturel ainsi que l'arborisation en particulier sont prédominants, dans toute la mesure compatible avec la culture de la vigne, par rapport au site construit. Les constructions nouvelles ont une hauteur maximum de deux niveaux, y compris les parties dégagées par la pente. La configuration générale du sol est maintenue.
Art. 21 et 22 (abrogés ou adaptés)
Art. 24 (nouveau)
Les personnes lésées par une atteinte à la protection du site, ainsi que les associations de protection de la nature et du patrimoine, ont qualité pour en contester la validité devant toute autorité administrative ou judiciaire, cantonale ou fédérale.
Art. 33 (nouveau)
1Les communes veillent à opérer une transition harmonieuse entre les territoires compris à l'intérieur du périmètre ou plan de protection, et ceux qui sont à l'extérieur, dans la zone de voisinage.
2Les territoires qui auront été répertoriés comme zone de voisinage du périmètre de protection de Lavaux sur la carte prévue à l'art. 2 ne peuvent être colloqués en zone à bâtir.
3La zone de voisinage comprend notamment les crêtes de Lavaux, les villages et hameaux de Corsier, Chexbres, Jongny, Cremières.
4Dans les zones à bâtir existantes, toute construction nouvelle doit respecter la volumétrie et le caractère de l'architecture traditionnelle de la région.
Art. 34 (nouveau)
Les dispositions et décisions d'application de la présente loi peuvent faire l'objet d'un recours à la Cour de droit administratif et public du Tribunal cantonal qui exerce un libre pouvoir d'examen.
Art. 35 Dispositions transitoires et finales (nouveau)
1La carte annexée à la loi du 12 février 1979 sur le plan de protection de Lavaux reste en vigueur.
2Elle sera révisée conformément à la présente loi dans un délai de 5 ans à compter de son acceptation par le peuple.
3Les terrains non encore construits ne peuvent pas être bâtis jusque là, sauf s'ils font l'objet d'une autorisation donnée par le Département à titre exceptionnel et s'il s'agit de petites extensions ou dépendances.
4Les procédures de planification en cours sont suspendues jusqu'à l'adoption du plan révisé.
5Le plan révisé est soumis à la procédure de l'article 73 LATC.
B. Dans son préavis du mois de décembre 2009 au Grand Conseil, le Conseil d'Etat vaudois proposait de constater la nullité de l'initiative, car elle ne respectait pas le droit supérieur: en vertu de son art. 4, la nouvelle loi deviendrait matériellement un plan d'affectation. Or, elle ne prévoyait aucune des possibilités d'opposition ou de recours exigées par l'art. 33 LAT. Un recours ne serait pas possible auprès d'une autorité judiciaire disposant d'un pouvoir d'examen suffisant (art. 86 LTF et 6 CEDH), et le droit d'être entendu (art. 29 al. 2 Cst.) ne pourrait être exercé par les propriétaires concernés, compte tenu notamment de la procédure en deux phases prévue par l'initiative. L'initiative ne respectait pas non plus les principes généraux d'aménagement du territoire, faute d'une pesée globale des intérêts en présence, notamment en ce qui concerne le territoire d'intérêt public et la zone de voisinage du périmètre de protection. Le déclassement des zones constructibles et largement bâties contreviendrait à l'art. 15 LAT. Le changement de planification violerait également l'art. 21 LAT. Enfin, la zone réservée prévue par le régime transitoire de l'initiative apparaissait disproportionnée. Compte tenu du nombre de dispositions contraires au droit fédéral, une invalidation partielle n'était pas possible.
C. Par décret du 8 juin 2010, le Grand Conseil vaudois a, contrairement à la proposition du Conseil d'Etat, constaté la validité de l'initiative. Cette décision a fait l'objet de trois recours auprès de la Cour constitutionnelle du Tribunal cantonal du canton de Vaud. L'un était formé par Maurice Neyroud et seize consorts (tous syndics des communes de Lavaux); le second par Bernard Bovy et dix consorts (tous habitants de la région concernée); le troisième par Philippe Porta, domicilié à Aran Villette. Les recourants se référaient à l'avis du Conseil d'Etat.
D. Par arrêt du 16 novembre 2010, la Cour constitutionnelle a admis les recours. Telle que modifiée par l'initiative, la nLLavaux constituait matériellement un plan d'affectation. Or, les intéressés ne disposaient pas du droit de se prononcer, puis de recourir contre les mesures d'aménagement prévues, contrairement à l'art. 33 LAT. Le recours prévu à l'art. 34 nLLavaux ne concernait que les mesures d'application et non la planification elle-même. Le recours à la Cour constitutionnelle contre la loi ne satisfaisait pas aux exigences de l'art. 33 al. 2 let. b LAT, faute d'un pouvoir de libre examen. L'institution d'une zone réservée (art. 35 nLLavaux) se heurtait aux mêmes objections et ne respectait pas le principe de la proportionnalité puisqu'elle s'appliquait de manière générale. Le manque de contrôle judiciaire violait aussi les art. 6 CEDH, 29 al. 2 Cst. et 82 al. 2 LTF. Les art. 18, 19 et 20 nLLavaux empêchaient, par leur caractère schématique, une pesée globale des intérêts pertinents, et ne laissaient pas à l'autorité de planification une liberté d'appréciation suffisante. Amputée de ses dispositions problématiques (soit les art. 4, 18 à 20 et 35 nLLavaux), l'initiative s'en trouverait totalement dénaturée, de sorte qu'elle devait être entièrement invalidée.
E. Cet arrêt fait l'objet de cinq recours en matière de droit public. Le recours 1C_578/2010 est formé par le comité d'initiative "Sauver Lavaux", soit Franz et Judith Weber et 7 consorts. Le recours 1C_2/2011 est formé par l'association "les Verts mouvement écologiste vaudois" (ci-après: les Verts), ainsi que 24 députés au Grand Conseil vaudois. Les recours 1C_4, 6 et 8/2011 sont formés respectivement par Denis Vicquerat, Etienne Grisel et Marcel Heider-Piccard, tous trois électeurs vaudois. Les recours tendent à l'annulation ou à la réforme de l'arrêt de la Cour constitutionnelle et à la validité de l'initiative "Sauver Lavaux", avec suite de frais et dépens. Subsidiairement, les Verts concluent à une validation partielle de l'initiative.
La Cour constitutionnelle a renoncé à répondre aux recours, tout en estimant que le recours 1C_578/2010 serait tardif. Le Conseil d'Etat se réfère à l'arrêt attaqué et s'en remet à justice. Le Grand Conseil s'en remet également à justice, tout en expliquant que sa décision de validation tient à l'application du principe "in dubio pro populo". Maurice Neyroud et consorts concluent à l'irrecevabilité - subsidiairement au rejet - du recours 1C_578/2010, et au rejet des autres recours. Bernard Bovy et consorts proposent le rejet des recours. Philippe Porta a renoncé à procéder.
Le 29 juin 2011, l'Office fédéral du développement territorial (ODT) a fait part de ses observations. Il estime que l'initiative pourrait être interprétée conformément au droit fédéral, et notamment à l'art. 33 LAT. Le Conseil d'Etat, Maurice Neyroud et consorts, Bernard Bovy et consorts, ainsi que les recourants (à l'exception de Denis Viquerat et consorts) ont répliqué. Le Grand Conseil y a renoncé.
Considérant en droit:
1. Les cinq recours sont dirigés contre une même décision d'invalidation rendue en dernière instance cantonale. Les motifs invoqués dans les recours sont les mêmes, de sorte qu'il y a lieu de joindre les causes et de statuer par un même arrêt.
2. Le Tribunal fédéral contrôle librement la recevabilité des recours qui lui sont soumis (ATF 136 I 42 consid. 1; 135 II 94 consid. 1 p. 96).
2.1 Selon l'art. 82 let. c LTF, le Tribunal fédéral connaît des recours qui concernent le droit de vote des citoyens ainsi que les élections et votations populaires. Cette disposition reprend la règle de l'art. 85 let. a OJ et permet de recourir contre l'ensemble des actes affectant les droits politiques (message LTF, FF 2001 4118). Le recours en matière de droits politiques permet en particulier au citoyen de se plaindre de ce qu'une initiative a été indûment soustraite au scrutin populaire, parce qu'elle a été déclarée totalement ou partiellement invalide par l'autorité chargée de cet examen (ATF 134 I 172 consid. 1.1 p. 174).
2.2 Les recours 1C_4/2011, 1C_6/2011 et 1C_8/2011 sont formés par des citoyens vaudois qui ont, à ce titre - et indépendamment de tout intérêt juridique personnel -, qualité pour se plaindre d'une violation de leur droit de vote (art. 89 al. 3 LTF). La jurisprudence reconnaît également la qualité pour recourir pour violation du droit de vote aux partis politiques et aux organisations à caractère politique formées pour l'occasion, à la condition qu'ils exercent leur activité dans la collectivité publique concernée par l'élection ou la votation en cause et qu'ils soient constitués en personne morale (ATF 121 I 334 consid. 1a p. 337; 115 Ia 148 consid. 1b p. 153; 114 Ia 267 consid. 1c p. 270; 112 Ia 208 consid. 1a p. 211). Tel est le cas du parti des Verts vaudois, dont le recours est recevable à ce titre. Les recourants n'ont certes pas participé à la procédure devant l'instance précédente, mais ils n'avaient pas à le faire puisque l'initiative a d'abord été déclarée valide par le Grand Conseil. La condition posée à l'art. 89 al. 1 let. a 2ème hypothèse LTF est dès lors satisfaite.
2.3 Selon l'art. 100 al. 1 LTF, le recours doit être déposé dans les trente jours qui suivent la notification de l'expédition complète de l'arrêt attaqué.
2.3.1 En l'occurrence, l'arrêt de la Cour constitutionnelle a été notifié le 17 novembre 2010 à l'adresse d'Helvetia Nostra. Ayant commencé à courir le lendemain (art. 44 al. 1 LTF), il arrivait à échéance le 17 décembre 2010. Déposé le 29 décembre 2010, le recours 1C_578/2010 formé par le comité d'initiative et consorts est par conséquent tardif.
Le comité relève que selon l'art. 15 al. 2 de la loi vaudoise sur la juridiction constitutionnelle (LJC; RS/VD 173.32), l'arrêt de la Cour constitutionnelle doit être rendu public par voie officielle. Il perd toutefois de vue qu'il était lui-même partie à la procédure cantonale et qu'à ce titre, l'arrêt lui a été notifié comme le prévoit expressément l'art. 15 al. 2 LJC. A l'égard d'une partie à la procédure, la publication officielle dans la feuille des avis du 19 novembre 2010 ne saurait faire courir un nouveau délai de recours. Le comité soutient que, n'étant pas constitué en personne morale, l'arrêt devait être notifié séparément à chacun de ses membres. Les observations adressées à la cour cantonale n'ont toutefois été signées que par le président du comité, ainsi que par son conseil. Il en résultait des pouvoirs de représentation à tout le moins apparents, de sorte que l'arrêt pouvait valablement être notifié à l'adresse qui, comme le reconnaît le comité, constituait une adresse de notification. Celle-ci figure d'ailleurs également sur le recours adressé au Tribunal fédéral.
Le recours est par conséquent tardif. Une telle sanction ne constitue pas un formalisme excessif, car les dispositions sur les délais de recours sont claires et facilement compréhensibles, même par des non juristes. Le fait que le recours concerne les droits politiques ne constitue pas non plus une raison de se montrer moins strict dans l'application de ces dispositions de procédure. Le recours 1C_578/2010 formé par le comité d'initiative est dès lors irrecevable.
2.3.2 Les autres recourants n'étaient en revanche pas parties à la procédure cantonale. L'arrêt attaqué ne leur a pas été notifié et ils n'ont dès lors pu en prendre connaissance que lors de sa publication officielle le 19 novembre 2011, ou par d'autre biais (les Verts indiquent en avoir été informés le 18 novembre 2011 par l'entremise du Grand Conseil). Compte tenu des féries judiciaires (art. 46 al. 1 let. c LTF), les recours 1C_2, 4, 6 et 8 /2011 ont été déposés en temps utile.
3. Selon la pratique constante, l'autorité appelée à statuer sur la validité matérielle d'une initiative doit en interpréter les termes dans le sens le plus favorable aux initiants. Lorsque, à l'aide des méthodes reconnues, le texte d'une initiative se prête à une interprétation la faisant apparaître comme conforme au droit supérieur, elle doit être déclarée valable et être soumise au peuple. L'interprétation conforme doit ainsi permettre d'éviter autant que possible les déclarations d'invalidité (ATF 132 I 282 consid. 3.1 p. 286; 129 I 392 consid. 2.2 p. 395; 128 I 190 consid. 4 p. 197; 125 I 227 consid. 4a p. 231 s. et les arrêts cités). Tel est le sens de l'adage "in dubio pro populo", selon lequel un texte n'ayant pas un sens univoque doit être interprété de manière à favoriser l'expression du vote populaire (cf. ATF 134 I 172 consid. 2.1; 111 Ia 292 consid. 3c p. 300; 104 Ia 343 consid. 4 p. 348; 101 Ia 354 consid. 9c p. 367). Cela découle également du principe de la proportionnalité (art. 34 et 36 al. 2 et 3 Cst.), selon lequel une intervention étatique doit porter l'atteinte la plus restreinte possible aux droits des citoyens. Les décisions d'invalidation doivent autant que possible être limitées, en retenant la solution la plus favorable aux initiants (ATF 134 I 172 consid. 2.1 p. 177; 132 I 282 consid. 3.1 p. 286 et les arrêts cités; 129 I 381 consid. 4a p. 388).
3.1 D'une manière générale, une initiative populaire cantonale, quelle que soit sa formulation, doit respecter les conditions matérielles qui lui sont imposées et ne doit, en particulier, rien contenir de contraire au droit supérieur, qu'il soit cantonal, intercantonal, fédéral ou international (ATF 133 I 110 consid. 4.1 p. 115 s.). En vertu du principe de la force dérogatoire du droit fédéral ancré à l'art. 49 al. 1 Cst., les cantons ne sont pas autorisés à légiférer dans les matières exhaustivement réglementées par le droit fédéral. Dans les autres domaines, ils peuvent édicter des règles de droit pour autant qu'elles ne violent ni le sens ni l'esprit du droit fédéral, et qu'elles n'en compromettent pas la réalisation (ATF 134 I 125 consid. 2.1 p. 128; 133 I 286 consid. 3.1 p. 290 et les arrêts cités).
3.2 L'art. 80 al. 1 Cst./VD et l'art. 97a de la loi vaudoise sur l'exercice des droits politiques (LEDP, RS/VD 160.01), de même teneur, prévoient que le Grand Conseil valide les initiatives et constate la nullité de celles qui sont contraires au droit supérieur (let. a). La Cour constitutionnelle admet que, même si cela ne ressort pas clairement des dispositions précitées, la sanction de l'invalidité n'est en principe applicable qu'aux initiatives manifestement contraires au droit supérieur. Elle considère toutefois que l'examen d'une initiative populaire rédigée de toutes pièces, telle que l'initiative "Sauver Lavaux", s'apparenterait à un contrôle abstrait d'un acte normatif. Elle méconnaît ainsi que l'intervention du parlement, puis du juge constitutionnel, ne se situe pas au même stade. Lors de la validation d'une initiative populaire, il s'agit de s'assurer que les citoyens ne seront pas appelés à voter sur un objet qui, d'emblée, ne pourra pas être finalement concrétisé conformément à la volonté exprimée. L'autorité de validation n'a pas à se livrer à un examen définitif de constitutionnalité, ni à résoudre par avance tous les cas d'application qui pourraient se poser. Elle doit se demander si l'initiative qui lui est soumise est susceptible de trouver sa place au sein de l'ordre juridique. Dans ce sens, la protection des droits politiques doit être distinguée de celle des autres droits constitutionnels des citoyens.
4. Les recourants contestent les motifs d'invalidation retenus par la Cour constitutionnelle. Ils reprochent à cette dernière d'avoir méconnu qu'une initiative populaire doit s'interpréter dans le sens le plus favorable à ses auteurs. Ils rappellent que la protection de Lavaux a fait l'objet d'une disposition dans l'ancienne constitution vaudoise (art. 6bis). Celle-ci n'ayant pas été reprise dans la constitution de 2003, une initiative populaire avait été lancée et largement acceptée afin d'ajouter l'art. 52a Cst./VD, lequel pose des principes de protection du site dans les termes suivants:
Art. 52a
1La région de Lavaux, de la Lutrive à Corsier, est déclarée site protégé.
2Toute atteinte à sa protection peut être attaquée sur le plan administratif ou judiciaire par ceux qui sont lésés et par les associations de protection de la nature et celles de la protection du patrimoine.
3La loi d'application respecte strictement le périmètre en vigueur, notamment par le maintien de l'aire viticole et du caractère traditionnel des villages et hameaux.
Selon les recourants, la loi actuelle ne serait pas suffisamment contraignante pour prévenir les nombreux abus, de sorte que la protection actuelle devrait être renforcée. Les recourants contestent ensuite que la nLLavaux, en tant que simple mesure de renforcement de la protection découlant de la loi actuelle, puisse être considérée comme un plan d'affectation auquel s'appliqueraient les exigences de l'art. 33 LAT. En l'état, l'initiative ne fait que prévoir des principes qui se trouvent d'ailleurs déjà dans la loi actuelle, sans régir exhaustivement l'utilisation du sol. La carte doit être adaptée par la suite, et l'initiative réserve la planification communale. L'instauration d'une zone réservée - ou d'une mesure de caractère provisionnel - s'expliquerait précisément dans l'attente d'une planification future. Les recourants soutiennent ensuite que la publication de la loi, et la possibilité d'un recours à la Cour constitutionnelle permettraient d'assurer une protection juridique suffisante. Les propriétaires concernés pourraient aussi agir lors de l'adoption de la nouvelle carte, ou à l'encontre de décisions d'application.
4.1 Selon l'art. 14 LAT, les plans d'affectation règlent le mode d'utilisation du sol (al. 1). Ils délimitent en premier lieu les zones à bâtir, les zones agricoles et les zones à protéger (al. 2). Ils peuvent aussi prévoir d'autres zones d'affectation comme des zones non affectées ou des territoires dont l'affectation est différée (art. 18 al. 1 et 2 LAT). Au contraire des plans directeurs qui n'ont force obligatoire que pour les autorités (art. 9 al. 1 LAT), les plans d'affectation ont force obligatoire pour chacun (art. 21 LAT); ils conditionnent notamment l'octroi des autorisations de construire (art. 22 al. 1 let. a LAT).
4.2 L'actuelle LLavaux et la carte annexée n'ont, selon l'art. 4, force obligatoire que pour les autorités. Le "statut juridique de la propriété" est régi par les plans et règlements communaux. Les territoires mentionnés dans la LLavaux et les principes applicables doivent, selon l'art. 7, être transposés dans les plans et règlements communaux. Matériellement, il s'agit donc d'un plan directeur cantonal (ATF 113 Ib 229 consid. 2b p. 301/302).
L'initiative tend en revanche à rendre "directement applicables" la LLavaux et la carte annexée (art. 4 al. 1 nLLavaux). Ces instruments deviendraient alors obligatoires pour chacun; les plans et règlements cantonaux qui ne s'y conforment pas seraient nuls et aucun permis de construire, de démolir ou de transformer ne pourrait être accordé si le projet ne respecte pas strictement les dispositions de la loi. L'initiative prévoit aussi (art. 35 al. 3 nLLavaux) que les terrains non encore construits ne peuvent être bâtis tant que la carte n'a pas été révisée et crée ainsi une zone réservée, au sens de l'art. 27 LAT. Le but poursuivi par l'initiative est ainsi un changement de régime de la LLavaux, laquelle disposerait d'une force obligatoire généralisée et déploierait alors des effets directs sur l'aménagement du secteur concerné.
Sur le vu des mesures suffisamment précises et détaillées qu'elle contient, la modification de la LLavaux proposée par les initiants doit être assimilée matériellement à un plan d'affectation. En effet, comme un plan d'affectation (art. 14 al. 1 LAT), elle détermine de façon contraignante le mode, le lieu et la mesure de l'utilisation admissible du sol (cf. ATF 135 II 328 consid. 2.2 p. 333; 123 II 91 consid. 1a/aa p. 91; WALDMANN/HÄNNI, Raumplanungsgesetz, 2006, n° 3 ad art. 14; MOOR, in Commentaire de la loi fédérale sur l'aménagement du territoire, 1999, n° 1 ad art. 14 LAT et les références citées). Même si la carte annexée à la loi est destinée à être adaptée, selon la procédure prévue à l'art. 73 LATC (art. 35 al. 5 nLLavaux), elle demeure en vigueur (art. 35 al. 1) et est déclarée d'application immédiate (art. 4 al. 1). Par ailleurs, la disposition transitoire de l'art. 35 al. 3 nLLavaux empêche entretemps l'octroi d'autorisations de construire sur les terrains non encore bâtis. La Cour constitutionnelle y voit avec raison la création d'une zone réservée au sens de l'art. 27 LAT, ce qui constitue une mesure d'aménagement assimilable à un plan d'affectation puisqu'elle détermine l'utilisation du sol durant une certaine période.
Partant, une telle réglementation est soumise aux exigences de l'art. 33 LAT en matière de protection juridique.
5. Selon l'art. 33 LAT, les plans d'affectation sont mis à l'enquête publique (al. 1). Le droit cantonal prévoit au moins une voie de recours contre les décisions et les plans d'affectation fondés sur la LAT (al. 2). Il doit en outre prévoir que la qualité pour recourir est reconnue au moins dans les mêmes limites que pour le recours en matière de droit public au Tribunal fédéral, et qu'une autorité de recours au moins ait un libre pouvoir d'examen (al. 3). Le but de cette disposition est de satisfaire aux exigences des art. 6 CEDH et 29a Cst. en garantissant, dans le domaine du droit de l'aménagement du territoire et des constructions, une protection juridique globale (ATF 135 II 286 consid. 5.3 p. 295). Doivent être mis à l'enquête publique non seulement les plans d'affectation représentés sous forme de carte, mais aussi la réglementation sur les zones et les constructions qui les accompagne.
5.1 Les buts de la mise à l'enquête sont de permettre à chacun de prendre connaissance du projet, de servir de point de départ de la procédure d'opposition et de permettre l'exercice du droit d'être entendu (ATF 135 II 286 consid. 5.3 p. 295; AEMISEGGER/HAAG, Commentaire LAT, n° 25 ad art. 33). L'art. 33 LAT ne comportant pas de précision sur ce point, c'est au droit cantonal qu'il appartient d'indiquer les modalités pratiques de la mise à l'enquête. Lorsque l'adoption des plans de zones est du ressort du législateur, la procédure d'opposition peut avoir lieu devant cette autorité qui dispose d'un libre pouvoir d'examen (ATF 108 Ib 479 consid. 3c p. 484).
5.2 Lorsque le droit cantonal ne l'exclut pas, une mesure concrète d'aménagement du territoire peut être proposée par voie d'initiative populaire (ATF 123 I 175; arrêt 1P.387/2006 du 19 septembre 2007 consid. 3.2; MOOR, Commentaire LAT, introduction n° 139; n° 24 ad art. 14 et les références citées à la note 27). Tel est le cas en droit vaudois, la LEDP ne posant aucune restriction quant à l'objet du droit d'initiative. Dans un tel cas, une mise à l'enquête préalable n'est pas possible, et l'information au public est celle qui est donnée à la population en vue de la votation, ou celle qui résulte de la publication officielle (lorsque le Grand Conseil approuve le projet, sans référendum; art. 102 LEDP). Le processus législatif et démocratique peut alors tenir lieu de mise à l'enquête. Il est admis en effet que la procédure de recours puisse s'ouvrir après l'adoption de la mesure de planification par l'organe compétent. Dans la mesure où la loi, une fois adoptée, fait l'objet d'une information auprès des intéressés, il est suffisant que ces derniers puissent se défendre pour la première fois devant une autorité de recours, sans avoir eu la possibilité de le faire déjà devant l'autorité de planification (ATF 114 Ia 233 consid. 2c/cc p. 239; AEMISEGGER/HAAG, op. cit. n° 19 ad art. 33).
5.3 Il n'est pas contesté que la procédure d'adaptation de la carte annexée à la loi, dans le délai fixé à l'art. 35 nLLavaux, satisfait aux exigences de l'art. 33 LAT. En effet, selon l'art. 35 al. 5 nLLavaux, cette adaptation doit avoir lieu conformément à l'art. 73 LATC, soit selon la procédure ordinaire d'enquête et d'adoption des plans d'affectation cantonaux.
5.4 Selon la cour cantonale, la violation des garanties de procédure concerne avant tout le régime transitoire résultant d'une part du nouveau régime juridique de la nLLavaux (soit l'application directe et contraignante pour chacun des principes énoncés dans la loi) et, d'autre part, de la création d'une zone réservée au sens de l'art. 27 LAT, dans le délai d'adaptation de la carte. L'initiative ne prévoit, en effet, aucune protection juridique à l'encontre de ces différentes mesures; l'instauration d'une zone réservée immédiatement applicable n'est pas soumise à la procédure applicable aux plans d'affectation, comme le prévoit l'art. 73 al. 5 LATC. Sur ce point, la nLLavaux constitue une lex specialis par rapport à cette dernière disposition.
L'argument principal à l'encontre de l'initiative tient donc à l'impossibilité d'exercer un droit de recours contre la loi elle-même (en particulier les mesures prévues à ses art. 4 et 35), auprès d'une autorité disposant d'un libre pouvoir d'examen. Les parties s'accordent à considérer que l'art. 34 nLLavaux, qui permet de recourir auprès de la Cour de droit administratif et public du Tribunal cantonal, ne se rapporte qu'aux mesures d'application et non à la loi elle-même.
5.4.1 Selon l'art. 3 LJC, la juridiction constitutionnelle statue sur la conformité au droit des lois et décrets du Grand Conseil, par le biais de requêtes formées dans les vingt jours dès la publication officielle de l'acte attaqué (cf. art. 136 al. 1 let. a Cst./VD). Comme le relève la Cour constitutionnelle, les art. 8 et 13 LJC limitent le pouvoir d'examen aux griefs invoqués, sauf en cas de violation manifeste du droit supérieur. Il est vrai également qu'en vertu de l'art. 4 LJC, sont soustraits au contrôle de conformité les plans d'affectation cantonaux et communaux, les règlements qui les accompagnent, de même que les décisions assimilées à des plans d'affectation cantonaux et communaux en vertu de la loi qui leur est applicable.
5.4.2 L'autorité judiciaire cantonale de recours ordinaire en matière de plans d'affectation est la Cour de droit administratif et public du Tribunal cantonal vaudois (art. 60 LATC). Celle-ci doit être saisie dans les trente jours qui suivent la notification de l'acte attaqué (art. 95 de la loi vaudoise sur la procédure administrative - LPA, RS/VD 173.36). C'est d'ailleurs cette juridiction qui est chargée, selon l'art. 34 nLLavaux, de statuer sur les recours dirigés contre les "dispositions et décisions d'application" de la loi. Le droit cantonal ne prévoit toutefois pas de recours auprès de cette autorité à l'encontre d'une loi cantonale portant sur un plan d'affectation et adoptée selon la procédure de l'initiative législative. Cela semble exclure tout recours qui serait dirigé directement contre la nouvelle loi.
5.4.3 S'il devait en résulter un défaut de protection juridique, cela ne serait toutefois pas le fait de l'initiative elle-même, mais des dispositions du droit cantonal de procédure qui se révèlent inadaptées lorsqu'une mesure d'aménagement n'est pas adoptée selon la procédure ordinaire, mais en vertu d'une initiative populaire. Or, l'art. 33 LAT s'applique de manière directe et autonome dans la procédure cantonale, sans qu'il soit besoin d'adopter une législation cantonale d'exécution (ATF 111 Ib 13 consid. 3b p. 15; AEMISEGGER/HAAG, op. cit. n° 5-6 ad art. 33). Les cantons doivent certes prévoir les dispositions d'organisation judiciaire et de procédure nécessaires, mais en tant que norme de droit fédéral d'application directe, l'art. 33 LAT doit primer sur les dispositions contraires - ou lacunaires - du droit cantonal (WALDMANN/HÄNNI, Raumplanungsgesetz, Berne 2006, n° 3 ad art. 33).
5.4.4 Il appartiendra dès lors aux autorités cantonales d'assurer une protection juridique suffisante en désignant quelle juridiction cantonale sera compétente pour statuer sur les recours qui pourront être formés directement après l'adoption de la nLLavaux, et les traiter avec un plein pouvoir d'examen comme l'exige l'art. 33 al. 2 LAT. La juridiction saisie devra en outre tenir compte des principes constitutionnels déduits des art. 9 et 29 al. 1 Cst., ainsi que du principe de coordination (art. 25a LAT), qui nécessite notamment l'intervention d'une instance cantonale avant le Tribunal fédéral (cf. art. 86 al. 2 LTF; ATF 123 II 231 concernant l'ancien art. 98a OJ).
Le silence du texte de l'initiative sur la protection judiciaire ne saurait, par conséquent, constituer un motif d'invalidation. Les objections tirées du droit d'être entendu (art. 29 al. 2 Cst. et 6 CEDH) doivent être rejetées dans la même mesure.
6. La cour cantonale considère également que les art. 18 à 20 nLLavaux auraient un caractère "détaillé et schématique" qui empêcherait l'autorité de planification d'effectuer la pesée d'intérêts exigée par l'art. 3 LAT. Cette objection ne résiste pas non plus à l'examen.
6.1 La cour cantonale admet avec raison qu'il est possible au regard de l'art. 15 LAT de déclarer inconstructible une partie de la zone à bâtir existante, pour des motifs tenant notamment à la protection du paysage. Rien n'empêche par ailleurs l'autorité cantonale de planification de déterminer elle-même les intérêts publics prépondérants qui doivent présider à l'élaboration des plans d'affectation. Or, la volonté des initiants est de faire prévaloir un objectif de protection générale de l'ensemble du site de Lavaux, ce qui est conforme au principe d'aménagement prévu à l'art. 3 al. 2 LAT. Si, dans certains cas particuliers, l'interdiction générale de bâtir qui découle de l'art. 35 al. 3 nLLavaux devait apparaître contraire à certains principes d'aménagement, les personnes concernées disposeront, comme cela est relevé ci-dessus, d'occasions suffisantes pour faire valoir leurs objections dans le cadre de la protection juridique imposée par l'art. 33 LAT.
6.2 L'institution d'une zone réservée, selon l'art. 35 al. 3 nLLavaux, ne viole pas non plus le droit fédéral. La période prévue, de cinq ans (art. 35 al. 2 nLLavaux), est en effet conforme à ce qu'autorise l'art. 27 al. 1 LAT. La cour cantonale s'interroge certes sur les conséquences d'un dépassement de ce délai, mais s'il devait en résulter une situation non conforme au droit fédéral, cela ne serait pas le fait de l'initiative elle-même.
Il est vrai que la zone concernée par le moratoire est d'une étendue considérable puisqu'elle couvre le territoire de plusieurs communes. Les conditions posées à l'art. 27 LAT n'en sont pas moins réalisées. En effet, l'instauration d'une zone de planification suppose réunies trois conditions matérielles, soit une intention de modifier la planification (qui fait en l'occurrence l'objet même de l'initiative), une délimitation exacte des territoires concernés (en l'espèce clairement définis par la carte actuelle) et le respect du principe de la proportionnalité: la délimitation des zones concernées ne doit pas aller au-delà de ce qui est nécessaire au maintien d'une situation en vue de la nouvelle planification. Ce principe est respecté dès lors que la zone réservée couvre l'ensemble du territoire concerné par la future carte (RUCH, in Commentaire LAT, n° 30 ad art. 27). L'art. 35 al. 3 nLLavaux permet d'ailleurs certaines exceptions, limitées aux petites extensions et dépendances, afin d'atténuer la rigueur de la disposition.
L'instauration d'une zone réservée ne saurait dès lors être considérée en soi comme disproportionnée, et la protection juridique imposée par l'art. 33 LAT doit, sur ce point également, permettre aux personnes qui estiment subir une atteinte excessive, de faire valoir leurs objections.
7. Les intimés se prévalent de l'autonomie communale garantie à l'art. 139 Cst./VD. Ce grief n'a pas été examiné par la cour cantonale, et doit donc l'être à ce stade. Alors que la loi actuelle charge les communes d'élaborer les plans d'affectation, l'initiative empêcherait de prévoir des nouvelles constructions dans les zones de village et hameaux et de centres anciens de bourgs, et ne laisserait aux communes que la possibilité d'adopter des dispositions plus restrictives.
7.1 L'art. 50 al. 1 Cst. dispose que l'autonomie communale est garantie dans les limites fixées par le droit cantonal. Selon la jurisprudence, une commune bénéficie de la protection de son autonomie dans les domaines que le droit cantonal ne règle pas de manière exhaustive, en lui laissant une liberté de décision relativement importante. L'existence et l'étendue de l'autonomie communale dans une matière concrète sont déterminées essentiellement par la constitution et la législation cantonales (ATF 128 I 3 consid. 2a p. 8; 124 I 223 consid. 2b p. 226-227 et les arrêts cités).
Selon l'art. 138 al. 1 Cst./VD, les communes assument, outre les tâches propres qu'elles accomplissent volontairement, celles que la loi ou la Constitution leur attribuent. Selon l'art. 139 Cst./VD, les communes vaudoises disposent d'autonomie en particulier dans la gestion du domaine public et du patrimoine communal (let. a) et en matière d'aménagement local du territoire (let. d).
7.2 Sur le territoire concerné par la LLavaux, les compétences communales en matière d'aménagement sont déjà fortement restreintes. Selon l'art. 52 al. 2 Cst./VD, les zones et régions protégées sont définies par la loi. La LLavaux et la carte actuelles - qui équivalent à un plan directeur régional, ordinairement de la compétence des communes intéressées selon l'art. 42 LATC - sont contraignantes pour les autorités, et les communes doivent déjà obligatoirement transposer dans leurs plans et règlements les principes fixés dans la loi (art. 4, 6 à 8 LLavaux). Au demeurant, dans la mesure où l'autonomie communale est définie et précisée par la législation cantonale, celle-ci peut retirer aux communes une compétence spécifique, sans que cela ne viole l'autonomie constitutionnellement reconnue aux communes (arrêt du 17 décembre 1986, publié in JAB 1987 p. 165, consid. 2). L'art. 45 LATC prévoit d'ailleurs expressément que l'Etat peut adopter des plans d'affectation cantonaux lorsqu'il s'agit, comme en l'espèce, de protéger les paysages, les sites, les rives de lacs ou de cours d'eau ou les ensembles méritant protection. Les communes disposent dans ce cadre d'un droit d'être entendues, puis de former opposition (art. 73 al. 1 LATC) et, le cas échéant, de recourir en invoquant leur autonomie. Dans ces conditions, l'initiative ne viole pas l'autonomie communale.
8. Sur le vu de ce qui précède, l'initiative "Sauver Lavaux" ne présente pas de contrariété manifeste avec le droit supérieur. L'arrêt d'invalidation prononcé par la Cour constitutionnelle viole par conséquent les droits politiques et doit par conséquent être annulé. Le décret du Grand Conseil du 8 juin 2010 validant l'initiative doit être confirmé.
8.1 L'arrêt attaqué renonce à percevoir des frais judiciaires et attribue des dépens aux trois groupes de recourants, à la charge du comité d'initiative. Ce dernier point du dispositif doit lui aussi être annulé compte tenu de l'issue de la cause, sans qu'il y ait lieu d'examiner les griefs soulevés par les recourants à cet égard. Il ne se justifie pas d'accorder au comité d'initiative des dépens pour l'instance cantonale, dès lors qu'il n'a pas procédé par avocat. L'arrêt attaqué doit dès lors être annulé dans son ensemble et il n'y a pas lieu de renvoyer la cause à la cour cantonale pour nouvelle décision sur les frais et dépens (art. 67 et 68 al. 5 LTF).
8.2 Pour la procédure devant le Tribunal fédéral, les frais et dépens doivent être fixés et répartis de la manière suivante:
Le recours 1C_578/2010 du comité d'initiative étant irrecevable, les frais réduits doivent être mis à la charge solidaire des recourants (art. 66 al. 1 LTF), de même qu'une indemnité de dépens - elle aussi réduite - allouée à chacun des intimés qui ont procédé avec un avocat, soit Maurice Neyroud et consorts, et Bernard Bovy et consorts.
Les recours 1C_2, 4, 6 et 8/2011 étant admis, les frais judiciaires, fixés d'une manière globale, sont mis à la charge des intimés qui ont procédé. Seuls ont droit à des dépens, à la charge solidaire des mêmes intimés, l'association les Verts et consorts qui ont agi par un mandataire professionnel. Les autres recourants ont agi en personne; ils prétendent avoir dû recourir à des hommes de loi pour rédiger leurs recours mais ne fournissent aucune indication quant aux dépenses faites à ce propos.
Par ces motifs, le Tribunal fédéral prononce:
1. Les causes 1C_578/2010, 1C_2/2011, 1C_4/2011, 1C_6/2011 et 1C_8/2011 sont jointes.
2. Le recours 1C_578/2010 est irrecevable.
3. Les recours 1C_2/2011, 1C_4/2011, 1C_6/2011 et 1C_8/2011 sont admis. L'arrêt attaqué est annulé et le décret du Grand Conseil du canton de Vaud du 8 juin 2010 validant l'initiative populaire cantonale "Sauver Lavaux" est confirmé.
4. Les frais réduits de la cause 1C_578/2010, arrêtés à 500 fr., sont mis à la charge des recourants. Une indemnité réduite de dépens de 500 fr. est allouée aux intimés Maurice Neyroud et consorts à la charge solidaire des recourants. Une indemnité réduite de dépens de 500 fr. est allouée aux intimés Bernard Bovy et consorts, à la charge solidaire des recourants.
5. Les frais des causes 1C_2/2011, 1C_4/2011, 1C_6/2011 et 1C_8/2011, arrêtés à 4'000 fr., sont mis à la charge solidaire des intimés Maurice Neyroud et consorts, et Bernard Bovy et consorts. Une indemnité de dépens de 2'000 fr. est allouée aux recourants "les Verts mouvement écologiste vaudois" et consorts, à la charge solidaire des mêmes intimés.
6. Le présent arrêt est communiqué aux parties, au mandataire du Grand Conseil, au Conseil d'Etat et au Tribunal cantonal du canton de Vaud, Cour constitutionnelle, ainsi qu'à l'Office fédéral du développement territorial.
Lausanne, le 20 décembre 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
Le Greffier: Kurz