Faits:
A. C._ est propriétaire de la parcelle n° 108 de la commune de St-Sulpice. D'une surface de 12'438 m2 et limité au nord par le chemin du Centre, le bien-fonds est occupé dans sa partie nord par des bâtiments agricoles, le solde étant en pré-champ. A._ et B._ sont propriétaires de la parcelle n° 110, contiguë à l'est de la précédente, d'une surface de 1'935 m2, sur laquelle est érigée une maison d'habitation. Selon le plan général d'affectation communal de 1992, les deux parcelles se trouvaient en zone résidentielle B (moyenne densité), permettant une surface bâtie sur 1/10ème de la surface du terrain, avec trois niveaux et combles éventuelles, soit un coefficient d'utilisation du sol de 0,3 voire 0,375.
Aux mois d'avril et mai 2007, la commune a mis à l'enquête un projet de révision de son plan général d'affectation (PGA), prévoyant notamment une extension vers le nord de la zone à faible densité située sur presque toute la longueur du territoire communal en bordure du lac Léman. Selon le projet de règlement général sur l'aménagement du territoire et les constructions (ci-après: le règlement), la zone de faible densité est destinée à l'habitation ou aux activités compatibles avec celle-ci. L'ordre des constructions est non contigu, la hauteur de 10 m au faîte et l'indice d'utilisation du sol (IUS, surface brute de planche habitable) de 0,3. La zone de moyenne densité permet une hauteur de 13 m au faîte et un IUS de 0,45. Selon la nouvelle réglementation, la parcelle n° 108 se voyait colloquée dans sa partie nord en zone de moyenne densité et dans sa partie sud en zone de faible densité. La parcelle n° 110 se trouvait entièrement en zone de faible densité. Leurs propriétaires respectifs ont fait opposition. Par décision du 16 avril 2008, le Conseil communal de St-Sulpice a adopté le nouveau PGA et son règlement, avec diverses modifications, et a levé les oppositions. Après mise à l'enquête complémentaire des différents amendements, la version définitive du PGA et du règlement a été adoptée le 25 février 2009, et approuvée préalablement par le chef du Département cantonal de l'économie le 25 mai 2009.
B. Par arrêt du 30 juin 2010, la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: la CDAP) a admis le recours formé par C._, A._ et B._, et annulé les décisions communale et cantonale des 25 février et 25 mai 2009 en ce qui concerne les parcelles n° 108 et 110. Le plan directeur cantonal (PDCn) prévoyait un développement de l'agglomération Lausanne-Morges par une densification de la zone à bâtir. Le projet d'agglomération Lausanne-Morges (PALM), adopté sur cette base, ainsi que le Schéma directeur Ouest lausannois reprenaient cet objectif en fixant une densité moyenne de 100 habitants et emplois par hectare, soit un IUS de 0,625. La commune devait donc clairement densifier sa zone à bâtir. Or, la nouvelle planification augmentait globalement les capacités constructibles, mais avait limité la densification afin de préserver le caractère du domaine bâti existant et de protéger le site de la rive du lac. Plus d'une trentaine de parcelles avait ainsi été déclassée totalement ou partiellement en zone de faible densité. Une telle planification n'était pas compatible avec les objectifs du développement territorial. Le dossier a dès lors été renvoyé à la commune afin de que les deux parcelles des recourants soient entièrement colloquées en zone de moyenne densité, ce qui permettait encore de respecter le caractère du coteau. La CDAP a par ailleurs annulé l'art. 3.7 du règlement qui prévoyait l'adoption d'un plan d'aménagement et d'équipement pour tout projet d'urbanisation portant sur plus de 3000 m2, la loi n'autorisant pas une telle condition à l'octroi d'autorisations de construire.
C. Par acte du 31 août 2010, la Commune de St-Sulpice forme un recours en matière de droit public pour violation de son autonomie. Elle demande la réforme de l'arrêt cantonal en ce sens que les décisions communale et cantonale sont maintenues en ce qui concerne les parcelles n° 108 et 110, la cause étant renvoyée au Conseil communal afin qu'il annule l'art. 3.7 du règlement.
La CDAP se réfère à son arrêt et conclut au rejet du recours. Le Service cantonal du développement territorial se réfère aux observations déposées en instance cantonale. Les intimés A._ et B._ ainsi que C._ concluent au rejet du recours.
Par ordonnance du 28 septembre 2010, la demande d'effet suspensif formée par la recourante a été rejetée.
Considérant en droit:
1. Dirigé contre une décision prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public de l'aménagement du territoire (art. 82 let. a LTF), le recours est en principe recevable comme recours en matière de droit public selon les art. 82 ss LTF, aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée.
1.1 Selon l'art. 89 al. 2 let. c LTF, les communes et autres collectivités publiques ont qualité pour recourir en invoquant la violation de garanties qui leur sont reconnues par les Constitutions cantonale ou fédérale. La Commune de St-Sulpice, qui invoque l'autonomie dont elle bénéficie en matière d'aménagement local du territoire, a ainsi qualité pour agir. La question de savoir si elle est réellement autonome dans ce domaine relève du fond (ATF 129 I 313 consid. 4.2 p. 319, 410 consid. 1.1 p. 412 et les références).
1.2 L'arrêt attaqué annule les décisions communale et cantonale d'approbation du plan et renvoie la cause à l'autorité communale. Celle-ci doit d'une part annuler l'art. 3.7 du règlement; le recours ne porte pas sur cette question, qui n'est dès lors plus litigieuse. La commune doit, d'autre part, classer l'intégralité des parcelles n° 108 et 110 en zone de moyenne densité. Sur ce point, l'arrêt attaqué constitue une décision de renvoi, mais le recours n'en est pas moins ouvert au sens de l'art. 90 LTF car la cour cantonale a définitivement tranché l'ensemble des questions juridiques qui lui étaient posées. L'autorité communale ne dispose plus d'aucune marge de décision dans l'exécution de l'arrêt attaqué, à tout le moins en ce qui concerne les parcelles des intimés (cf. ATF 134 II 124 consid. 1.3 p. 127). Par ailleurs, la jurisprudence admet qu'il peut résulter un préjudice irréparable, au sens de l'art. 93 al. 1 let. a LTF, pour une commune qui doit se soumettre aux injonctions du Tribunal cantonal: on ne peut pas exiger d'une commune, qui peut invoquer son autonomie au sens de l'art. 50 Cst., de donner suite à une injonction qu'elle considère comme infondée, pour plus tard contester sa propre décision (ATF 133 II 409 consid. 1.2 p. 412; 128 I 3 consid. 1b p. 7 et les références citées).
1.3 Conformément à l'art. 99 al. 1 LTF, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision attaquée. Les diverses pièces produites comme preuves par la recourante et qui ne figuraient pas au dossier de la CDAP doivent, à ce titre, être écartées.
1.3 Conformément à l'art. 99 al. 1 LTF, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision attaquée. Les diverses pièces produites comme preuves par la recourante et qui ne figuraient pas au dossier de la CDAP doivent, à ce titre, être écartées.
1.4 La recourante a demandé qu'il soit procédé à une inspection locale afin d'apprécier "la configuration des lieux et les enjeux liés à la préservation du paysage et à la typologie du village". Toutefois, la cour cantonale a déjà effectué une visite des lieux, et la recourante ne prétend pas que les constatations de fait qui ressortent sur ce point de l'arrêt cantonal - et qui lient le Tribunal fédéral en vertu de l'art. 105 LTF - seraient inexactes. La contestation porte d'ailleurs essentiellement sur la question juridique de la portée de l'obligation de densifier, et peut être résolue sur le vu des pièces figurant au dossier.
2. Selon l'art. 50 al. 1 Cst., l'autonomie communale est garantie dans les limites fixées par le droit cantonal. Une commune bénéficie de la protection de son autonomie dans les domaines que le droit cantonal ne règle pas de façon exhaustive, mais qu'il laisse en tout ou partie dans la sphère communale, conférant par là aux autorités municipales une liberté de décision relativement importante. L'existence et l'étendue de l'autonomie communale dans une matière concrète sont déterminées essentiellement par la constitution et la législation cantonales (ATF 136 I 316 consid. 2.1.1 p. 317; 133 I 128 consid. 3.1 p. 131; 129 I 410 consid. 2.1 p. 413; 128 I 3 consid. 2a p. 8; 126 I 133 consid. 2 p. 136 et les arrêts cités). Il n'est pas nécessaire que la commune soit autonome pour l'ensemble de la tâche communale en cause; il suffit qu'elle soit autonome dans le domaine litigieux (ATF 133 I 128 consid. 3.1; 122 I 279 consid. 8b p. 290; 110 Ia 197 consid. 2a p. 199 s. et les arrêts cités).
2.1 En droit cantonal vaudois, les communes jouissent d'une autonomie maintes fois reconnue lorsqu'elles définissent, par des plans, l'affectation de leur territoire, et lorsqu'elles appliquent le droit des constructions (art. 139 al. 1 let. d Cst./VD; cf. notamment ATF 115 Ia 114 consid. 3d p. 118 s., 363 consid. 3b p. 367; 108 Ia 74 consid. 2b p. 76 s.; arrêt 1P.167/2003 consid. 3 publié in RDAF 2004 p. 114). Cela ressort en particulier de l'art. 2 al. 2 de la loi vaudoise sur l'aménagement du territoire et les constructions (LATC; RSV 700.11), selon lequel l'Etat laisse aux communes la liberté d'appréciation nécessaire à l'accomplissement de leurs tâches. Le droit cantonal se borne ainsi à poser quelques règles sur l'esthétique, la solidité et la salubrité des constructions, sur la suppression des barrières architecturales et l'utilisation rationnelle de l'énergie (art. 86 à 102 LATC). En revanche, il ne contient aucune disposition sur la densité des constructions, en particulier sur le coefficient d'utilisation du sol, la hauteur et le nombre de niveaux admissibles. Ces domaines ressortissent au seul droit communal (arrêt 1P.167/2003 du 3 juillet 2003), de même que les dispositions sur l'esthétique des constructions, dont les communes doivent assortir leurs règlements afin d'éviter l'enlaidissement des localités et de leurs abords (art. 86 al. 3 LATC).
2.2 Lorsqu'elle est reconnue autonome dans un domaine spécifique, une commune peut dénoncer tant les excès de compétence d'une autorité cantonale de contrôle ou de recours que la violation par celle-ci des règles du droit fédéral, cantonal ou communal qui régissent la matière (ATF 128 I 3 consid. 2b p. 9; 126 I 133 consid. 2 p. 136). Le Tribunal fédéral examine librement l'interprétation du droit constitutionnel. En revanche, il vérifie l'application de règles de rang inférieur à la constitution cantonale sous l'angle restreint de l'arbitraire (art. 9 Cst.; ATF 128 I 3 consid. 2b p. 9; 122 I 279 consid. 8b p. 290 et la jurisprudence citée). Dans ce cas, il ne s'écarte de la solution retenue que si celle-ci se révèle insoutenable, en contradiction manifeste avec la situation effective, ou si elle a été adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - éventuellement plus judicieuse - paraît possible (ATF 134 II 124 consid. 4.1 p. 133; 133 II 257 consid. 5.1 p. 260 s. et les arrêts cités).
2.3 Selon la jurisprudence, le libre examen dont doit disposer l'autorité de recours cantonale, en vertu de l'art. 33 al. 3 let. b de la loi fédérale sur l'aménagement du territoire (LAT; RS 700), ne se réduit pas à un contrôle de la constatation des faits et de l'application du droit; il comporte aussi un contrôle de l'opportunité. L'autorité doit vérifier que la planification contestée devant elle soit juste et adéquate. Son rôle spécifique d'autorité de recours ne se confond toutefois pas avec celui de l'organe compétent pour adopter le plan; elle doit préserver la liberté d'appréciation dont celui-ci a besoin dans l'accomplissement de sa tâche (art. 2 al. 3 LAT). Cette liberté d'appréciation implique qu'une mesure d'aménagement appropriée doit être confirmée; l'autorité de recours n'est pas habilitée à lui substituer une autre solution qui serait également convenable. Elle suppose également que le contrôle de l'opportunité s'exerce avec retenue sur des points qui concernent principalement des intérêts locaux, tandis que, au contraire, la prise en considération adéquate d'intérêts d'ordre supérieur, dont la sauvegarde incombe au canton, doit être imposée par un contrôle strict (arrêt 1C_82/2008 du 28 mai 2008, consid. 6.1 non publié in ATF 134 II 117; ATF 127 II 238 consid. 3b/aa p. 242).
3. Invoquant notamment les art. 1, 2, 4 et 17 LAT, la recourante estime que la cour cantonale se serait livrée à une mauvaise pesée des intérêts en présence. Elle relève que si la densification du milieu bâti répond à un souci majeur de l'aménagement du territoire, elle doit avoir lieu dans le respect des autres objectifs poursuivis, notamment le maintien du cadre de vie de la commune et la protection des sites sensibles. La recourante relève que le territoire communal est dépourvu de zone agricole, et déjà largement bâti. La nouvelle planification permettrait de passer de 3'000 à environ 5'000 habitants. La zone mixte a été étendue tout le long de la route cantonale, y compris dans le périmètre du nouveau plan de quartier "En Champagny-Sud". La commune aurait ainsi donné suite aux exigences du service cantonal de l'aménagement du territoire (actuellement le service du développement territorial), à l'exception d'un IUS de 0,4 pour la zone de faible densité, qui n'est imposé par le PDCn que depuis le mois d'août 2008. La recourante invoque l'intérêt public à la préservation du paysage des rives du lac, qui imposerait de maintenir la prédominance de la végétation jusqu'au niveau de la rupture de pente où se trouve le village. Pour la parcelle n° 110, la limite de la zone de faible densité a été fixée afin d'éviter une construction au niveau de la rupture de pente et de faciliter la fixation de la limite sur les parcelles situées à l'est. Du point de vue des propriétaires intimés, la restriction des droits à bâtir serait faible, voire inexistante puisque l'IUS passe à 0,45 pour la zone de moyenne densité, et que l'art. 3.6 du règlement prévoit à certaines conditions un "bonus" de 10%. Pour les deux parcelles, il en résulterait une augmentation de 145 m2 des droits à bâtir. L'arrêt cantonal n'aurait pour effet qu'une augmentation dérisoire de la densité du territoire communal (0,46%) et provoquerait un découpage incohérent des zones. Une redéfinition de celles-ci se heurterait à la volonté des propriétaires voisins concernés, qui ont expressément consenti à la nouvelle planification.
4. Entré en vigueur le 1er août 2008, le plan directeur cantonal s'attache notamment à combattre le phénomène d'étalement urbain par un développement judicieux des centres, soit des quartiers disposant d'équipements, services et transports publics. Pour compenser cette densification, ce développement doit s'accompagner d'une exigence marquée pour l'intégration du bâti et la création de nouveaux espaces (volet stratégique, p. 37).
4.1 Le périmètre compact de l'agglomération Lausanne-Morges fait l'objet de la fiche régionale R 01 qui définit plusieurs objectifs. Il s'agit notamment de développer l'agglomération vers l'intérieur, en réunissant les conditions pour l'accueil de 70'000 habitants et emplois dans le périmètre de l'agglomération compacte entre 2005 et 2020; d'attribuer aux 4 principaux centres-villes de l'agglomération, à 10 sites stratégiques et à 4 sites d'exception le rôle de moteurs du développement; de favoriser une urbanisation alliant densité et qualité et de développer une offre de transports publics attractive et durable en lien avec l'urbanisation. Pour atteindre ces objectifs, le canton, les communes et les associations régionales partenaires ont signé le 22 février 2007 une Convention pour la mise en oeuvre du projet d'agglomération Lausanne-Morges dans laquelle ils s'engagent en particulier à soutenir les orientations stratégiques du PALM et à adapter dans les meilleurs délais leurs planifications territoriales de façon à faciliter la mise en oeuvre des objectifs du PALM.
Ce dernier constitue ainsi un instrument d'urbanisme de niveau directeur résultant d'une concertation entre les communes concernées et le canton. Il tend à réagir contre le développement non durable de l'agglomération Lausanne-Morges (étalement urbain, trafic automobile, pollution et nuisances sonores notamment) en concentrant le développement dans les espaces qui sont déjà largement urbanisés. L'objectif est d'atteindre 100 habitants et emplois à l'hectare dans les secteurs ordinaires, et le double dans les sites stratégiques. Les densités pourront être adaptées aux conditions locales, pour autant que les efforts de densification restent significatifs. Rappelant que les concepts de densité et de qualité ne sont pas incompatibles, le rapport relève qu'il y a lieu de ne pas se limiter à des critères quantitatifs, mais qu'il faut tenir compte de la valeur patrimoniale, de la morphologie des lieux, des conditions d'accessibilité multimodale et des impacts environnementaux.
4.2 La recourante relève la nécessité de conserver les caractéristiques du territoire communal, dont la partie située en bordure du lac est constituée d'un coteau peu bâti et arboré faisant office de zone tampon entre les rives et la partie amont de la commune, plus densément bâtie. Les zones de moyenne densité sont situées dans le prolongement à l'est et à l'ouest du village. Le rapport d'aménagement à l'appui du PGA souligne la nécessité de maintenir l'état actuel avec une prédominance de végétation, raison pour laquelle la zone de faible densité a été maintenue, et légèrement étendue vers le nord en tenant compte de la nature des constructions existantes.
4.3 La densification des zones à bâtir, telle qu'elle est voulue par le PDCn et le PALM, répond certes à un intérêt public important, maintes fois rappelé par la jurisprudence. Cela correspond au principe fondamental d'utilisation mesurée du sol (art. 1 al. 1 LAT), qui impose une rationalisation de la zone à bâtir plutôt que son extension (ATF 119 Ia 300 consid. 3c; 113 Ia 266 consid, 2a p. 269). Le rapport d'aménagement prévoit toutefois, pour la commune de St-Sulpice, une population de 4'500 habitants en 2020 (contre 3'000 en 2010), et considère que la légère augmentation de la densité permettrait d'accueillir environ 5'020 habitants. Dès lors, si la densification opérée par la nouvelle planification est certes très inférieure à la moyenne globale préconisée par le PALM, la définition de la zone à bâtir n'en satisfait pas moins aux exigences de l'art. 15 let. b LAT.
4.4 Le maintien d'un cadre de vie de qualité, en protégeant la typologie caractéristique d'un village ou d'un quartier, correspond lui aussi à un principe important de l'aménagement du territoire (art. 1 al. 2 let. b LAT), dont les instruments tels que le PALM tiennent d'ailleurs également compte. La cour cantonale ne nie pas que les abords de la rive du lac, sur quasiment toute la longueur du territoire communal, constituent une entité paysagère homogène qui mérite d'être conservée et qui peut être observée depuis le lac ainsi que depuis le cheminement piétonnier aménagé le long de la rive. Le Plan directeur cantonal des rives vaudoises du lac Léman, adopté en 2000 par le Grand Conseil vaudois, pose comme principe d'aménagement essentiel le maintien, sur tout le pourtour du lac, d'une faible densité des constructions. En particulier, dans les secteurs pas ou peu bâtis, il s'agit de rechercher le statu quo (p. 42-43, Mesure générale A1). De ce point de vue, le territoire de St-Sulpice présente des caractéristiques tout à fait particulières, que la commune a décidé de préserver en distinguant clairement la zone villageoise et résidentielle du milieu arborisé et faiblement construit situé en aval. Outre l'indice d'utilisation du sol, de 0,3, le règlement prévoit diverses mesures dans ce sens, tels que l'ordre non contigu, la limitation à deux du nombre de logements, l'implantation des bâtiments sur des parcelles de 800 m2 au moins, la limitation de la hauteur des bâtiments (6,5 m à la corniche et 10 m au faîte) ainsi que l'obligation de planter un arbre majeur pour chaque tranche de 500 m2 d'un bien-fonds bâti.
Le rapport d'aménagement explique que la limite entre les zones de faible et de moyenne densité a été redéfinie jusqu'à la rupture de pente du coteau pour tenir compte de l'état de l'urbanisation existante. S'agissant plus particulièrement des parcelles des intimés, cette limite n'a pas été aisée à fixer, compte tenu de la taille de la parcelle n° 108 qui s'étend en direction de la rive. Colloquer celle-ci entièrement en zone de moyenne densité impliquait une réduction sensible de la zone protégée, contrairement à ce qui a été décidé pour l'ensemble du territoire de la commune. Cela permettait aussi une augmentation du volume bâti ainsi que l'implantation d'un bâtiment à la hauteur de la rupture de pente, incompatible avec l'environnement actuel. Telle qu'elle a été fixée par l'autorité communale, la limite des zones, qui traverse la parcelle n° 108 et longe au nord la parcelle n° 110, procède d'un choix raisonnable et cohérent au regard de l'ensemble du plan.
4.5 Quant à l'atteinte aux intérêts privés des propriétaires intimés, elle apparaît elle aussi admissible. La question de savoir dans quelle mesure la nouvelle réglementation implique une réduction des droits à bâtir a fait l'objet d'une controverse entre les parties et n'a pas été résolue en instance cantonale, notamment en raison de l'utilisation de deux indices distincts, soit le coefficient d'occupation du sol et le coefficient d'utilisation théorique selon l'ancienne planification, et l'IUS selon la nouvelle. Pour ce qui concerne la parcelle n° 108, le passage en faible densité pour la partie sud est compensé dans une certaine mesure par l'augmentation de l'IUS (de 0,375 à 0,45) pour la zone de moyenne densité, de sorte que la réduction des droits à bâtir ne serait que de 5% environ. Quant à la parcelle n° 110, déjà bâtie, la réduction serait de 7,5% selon la commune et de 18% selon les intimés. La commune recourante relève qu'en application du "bonus" de 10% prévu à l'art. 3.6 du règlement, le PGA augmenterait de 145 m2 les droits à bâtir pour l'ensemble des deux parcelles. Un tel bonus n'est toutefois envisageable qu'à des conditions précises (équipement public, cession de parcelles à la commune, économies d'énergie ou développement durable). Quoi qu'il en soit, il n'est pas contestable que c'est essentiellement le caractère peu bâti et le voisinage du lac qui confère son intérêt et sa valeur au secteur sud de la commune, indépendamment de l'indice d'utilisation du sol. L'atteinte subie par les intimés n'apparaît dès lors pas excessive au regard de l'intérêt public tel que rappelé ci-dessus.
4.6 La planification communale résulte ainsi d'une pesée des intérêts au terme de laquelle l'autorité a décidé de faire prévaloir la protection paysagère, dans toute la partie aval de la commune, et d'opérer une certaine densification dans les parties situées au centre et le long des voies principales d'accès, notamment de la route cantonale. Une telle planification ne consacre aucune violation des principes régissant l'aménagement du territoire, au sens de l'art. 1er al. 2 let. b LAT.
La cour cantonale a pour sa part appliqué un objectif de densification de manière schématique, et sur un espace très restreint, sans tenir compte des spécificités du territoire communal. Du point de vue de la densification, sa décision n'a d'ailleurs qu'un effet très limité. En remettant ainsi en cause l'ensemble de la planification dans le quartier concerné, la cour cantonale a indument substitué son appréciation à celle de la commune et, partant, violé son autonomie.
5. Le recours doit par conséquent être admis et l'arrêt attaqué annulé en tant qu'il porte sur les parcelles n° 108 et 110. Il est maintenu pour le surplus, soit en tant qu'il annule l'art. 3.7 du règlement et renvoie la cause au Conseil communal pour modification dans ce sens. Conformément à l'art. 68 al. 3 LTF, aucun dépens n'est alloué à la commune recourante, qui a agi dans l'exercice de ses attributions officielles (art. 68 al. 3 LTF). Les frais judiciaires sont mis à la charge des intimés A._ et B._ et C._, qui succombent (art. 66 al. 1 LTF). Conformément aux art. 67 et 68 al. 5 LTF, la cause est renvoyée à la CDAP pour nouvelle décision sur les frais et dépens de l'instance cantonale.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. L'arrêt attaqué est annulé en tant qu'il concerne les parcelles n° 108 et 110 du cadastre du St-Sulpice; les décisions du Conseil communal de St-Sulpice du 25 février 2009 et du Département cantonal de l'économie du 25 mai 2009 sont maintenues sur ce point; la cause est renvoyée à la Cour de droit administratif et public du Tribunal cantonal vaudois pour nouvelle décision sur les frais et dépens de l'instance cantonale.
2. Les frais judiciaires, arrêtés à 3000 fr., sont mis à la charge solidaire des intimés C._, A._ et B._.
3. Il n'est pas alloué de dépens.
4. Le présent arrêt est communiqué aux mandataires des parties, au Département de l'économie, Service du développement territorial, et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral du développement territorial.
Lausanne, le 18 janvier 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Fonjallaz Kurz