Faits:
A. Le secteur de la commune de Lausanne délimité approximativement par l'avenue de Chailly au nord, la limite de la commune de Pully et le chemin de la Vuachère à l'est et au sud-est, ainsi que le cours de la Vuachère au sud-ouest, est régi par plusieurs plans partiels d'affectation (PPA), dont les plans nos 331, 333, 398 et 399. Le plan d'extension de la zone comprise entre la limite est du plan de quartier n° 331, les chemins de la Vuachère, Jean Pavillard et de la Rosière (PPA n° 398) a été approuvé le 12 mai 1959. Il comporte principalement une zone de villas dont la réglementation renvoie au chapitre 5 du règlement du 3 novembre 1942 concernant le plan d'extension (RPE); l'art. 53 RPE impose un coefficient d'occupation du sol (COS) de 1:6 au maximum.
B. Dans le cadre de la révision générale du plan d'extension et de son règlement, la municipalité a proposé l'abrogation de nombreux PPA (près de 400), dont les trois quarts ne comportaient que des tracés d'alignements. Ces plans figuraient à l'annexe 3 du projet du nouveau plan général d'affectation (PGA).
Parmi les PPA qu'il était en revanche prévu de maintenir, au nombre de 243, 185 voyaient leurs limites des constructions radiées et remplacées par le nouveau plan des limites des constructions. Ces plans figuraient à l'annexe 4 du projet de PGA. En vertu de l'art. 156 du projet de règlement du PGA (RPGA), les anciennes dispositions du règlement concernant le plan d'extension du 3 novembre 1942 (RPE) auquel certains articles des PPA faisaient référence, étaient remplacées par les dispositions RPGA selon les tableaux de correspondance des annexes 2a et 2b.
Le nouveau PGA a été mis à l'enquête publique du 1er au 30 juin 2004. Il prévoyait notamment l'abrogation des PPA nos 331, 333, 398 et 399. La zone de villa du PPA n° 398 devait notamment être placée en zone mixte de faible densité.
Un certain nombre de propriétaires, copropriétaires ou habitants dans le périmètre des PPA se sont opposés à ce projet, plus particulièrement à la transformation des zones de villas en zone mixte de faible densité. A la suite d'une séance de conciliation organisée le 5 octobre 2004, le directeur des travaux a concédé aux opposants que le maintien du cadre réglementaire en vigueur, à savoir les plans d'extension portant les nos 331, 333, 398 et 399, n'était pas incompatible avec les objectifs fixés par le plan directeur communal. Il a dès lors proposé "que les plans d'extension précités soient maintenus en vigueur en lieu et place de la zone mixte de faible densité prévue par le projet de PGA. Cependant, les nouveaux tracés des limites des constructions proposées par le plan des limites des constructions seraient maintenus" (lettre du 26 octobre 2004 à Me Benoît Bovay). Constatant que la municipalité allait dans le sens souhaité, Me Benoît Bovay, au nom de ses mandants, a levé son opposition. Afin de ne pas retarder de six mois l'ensemble de l'opération, le préavis municipal au conseil communal proposait de soustraire les périmètres des plans d'extension litigieux du dossier PGA.
Dans sa séance du 22 novembre 2005, le conseil communal a accepté cette proposition. Il a adopté le nouveau PGA, abrogé l'ancien RPE et le plan d'extension de 1942, ainsi que le règlement sur les constructions du 4 novembre 1990, et abrogé "les plans spéciaux d'affectation listés à l'annexe 3 du RPGA, en tenant compte des conclusions nos 14 et 18". Conformément à la conclusion n° 14, le conseil a décidé "d'exclure les plans d'extension nos 331, 333 398 et 399 de l'annexe 3 du RPGA (ces plans seraient remis en vigueur par le biais d'une procédure de légalisation parallèle conformément à l'art. 59 de la loi du 4 décembre 1985 sur l'aménagement du territoire et des constructions [ci-après: la LATC]) et les inclure à l'annexe 4 RPGA".
Les 4 mai et 26 juin 2006, le Département cantonal des institutions et des relations extérieures a approuvé préalablement puis décidé de mettre en vigueur le plan général d'affectation de la commune de Lausanne, à l'exception des secteurs compris dans les plans spéciaux nos 331, 333, 398 et 399, et d'abroger simultanément les plans et les règlements qui lui étaient contraires.
C. La nouvelle enquête publique prévue par l'art. 59 LATC n'a jamais eu lieu. Elle a apparemment été jugée superflue car, selon le conseiller juridique de la commune, la non approbation du périmètre occupé par les plans d'extension nos 331, 333, 398 et 399 avait pour effet de mettre à néant, tout simplement, le nouveau régime d'affectation du sol (lettre du 19 juillet 2006 au Service de l'urbanisme). Le 15 mai 2007, le directeur des travaux a ainsi précisé que les plans d'extension qui n'avaient pas été radiés n'avaient pas à être remis en vigueur par le biais d'une procédure nouvelle.
D. Saisi d'un recours contre une décision de la municipalité de Lausanne accordant un permis de construire dans le périmètre du plan d'extension n° 398, la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal) a jugé que ce plan avait été maintenu après l'entrée en vigueur du PGA, mais que le renvoi qu'il contenait aux dispositions du chapitre 5 RPE devait désormais être converti en un renvoi aux dispositions correspondantes du RPGA, selon les tableaux de correspondances prévus à l'art. 156 RPGA. Le coefficient d'occupation du sol de 1:6 fixé par l'art. 53 RPE devait être ainsi remplacé par un indice d'utilisation du sol de 1:2 suivant les art. 17 et 119 RPGA (arrêt AC.2007.0278 du 14 octobre 2009 consid. 3). Le tribunal a toutefois relevé que la différence entre les PPA n° 331, 333 et 339, dont les règlements prévoyaient expressément un coefficient d'occupation du sol de 1:6, et le plan d'extension n° 398, dont le règlement ne contenait qu'un renvoi au chapitre 5 RPE, ce qui conduisait à remplacer le coefficient de 1:6 par un indice d'utilisation du sol, pouvait "avoir des effets dommageables sur l'ensemble du quartier" et qu'il serait possible aux recourants "de demander la révision du plan d'extension n° 398 par l'introduction d'un coefficient d'occupation du sol de 1:6 afin de maintenir les caractéristiques urbanistiques essentielles du quartier" (consid. 3c).
Le 15 février 2010, A._ et 37 consorts ont demandé à la municipalité de Lausanne la modification de la règlementation du plan d'extension n° 398, soit l'introduction d'une disposition prévoyant que la proportion entre la surface bâtie et la surface de terrain ne dépassera pas 1:6. Par décision du 17 mars 2010, la municipalité, considérant qu'une procédure de plan de quartier visant une densité de construction moins élevée n'était pas conforme aux objectifs de l'aménagement du territoire défendus par la commune, a refusé d'entrer en matière sur la demande d'élaborer un plan de quartier pour les parcelles comprises entre les chemins de la Vuachère, Jean Pavillard et de la Rosière.
E. A._ et consorts ont recouru contre cette décision auprès du Tribunal cantonal. Par arrêt du 7 mars 2012, la cour cantonale a constaté que les plans partiels d'affectation nos 331, 333, 398 et 399 de la commune de Lausanne demeuraient intégralement en vigueur, y compris en ce qui concernait leurs renvois aux dispositions du règlement sur le plan d'extension du 3 novembre 1942. Le recours était dès lors sans objet et la cause rayée du rôle.
Le Tribunal cantonal a considéré pour l'essentiel que l'inclusion du PPA n° 398 dans la liste des plans spéciaux dont les limites de constructions étaient radiées exigeait une mise à l'enquête complémentaire, de manière à donner aux propriétaires favorables au passage en zone mixte de faible densité la possibilité de s'opposer à son maintien; à défaut, le droit d'être entendu était violé. Le renvoi aux dispositions du RPE de 1942 ne pouvait par ailleurs pas être remplacé par les dispositions du RPGA selon les tableaux de correspondance des annexes 2a et 2b; une application partielle du RPGA dans des secteurs où le PGA n'était pas en vigueur devait en effet être exclu. La réglementation en vigueur comportait ainsi toujours un coefficient d'utilisation du sol de 1:6.
F. Agissant par la voie du recours en matière de droit public, la municipalité de Lausanne demande au Tribunal fédéral d'annuler l'arrêt précité du 7 mars 2012 et de renvoyer l'affaire au Tribunal cantonal pour nouvelle décision conforme au règlement du plan général d'affectation du 26 juin 2006. La recourante invoque l'autonomie communale et fait valoir une mauvaise application du droit fédéral en matière d'aménagement du territoire. Elle se plaint au surplus d'arbitraire ainsi que d'une violation des principes de la bonne foi et de la sécurité du droit.
Le Tribunal cantonal se réfère aux considérants de son arrêt et conclut au rejet du recours. Le Service cantonal du développement territorial est d'avis que l'approbation partielle du PGA a pour conséquence une absence de mesure d'utilisation du sol pour le plan spécial n° 398, puisque celle-ci est définie par un renvoi au règlement du plan d'extension maintenant abrogé. Les intimés demandent au Tribunal fédéral de rejeter le recours. Les sociétés intéressées C._ et B._ concluent à l'admission du recours et à l'annulation de l'arrêt attaqué. La recourante, les intimés ainsi que les sociétés concernées ont fait parvenir des observations complémentaires.
Par ordonnance du 14 juin 2012, le Président de la Ire Cour de droit public a rejeté la requête d'effet suspensif de la recourante.
Considérant en droit:
1. Dirigé contre une décision prise en dernière instance cantonale dans le domaine du droit public de l'aménagement du territoire et des constructions, le recours est en principe recevable comme recours en matière de droit public conformément aux art. 82 ss LTF, aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée.
Selon l'art. 89 al. 2 let. c LTF, les communes ont qualité pour recourir en invoquant la violation de garanties qui leur sont reconnues par les Constitutions cantonale ou fédérale. La recourante, qui invoque l'autonomie dont elle bénéficie en matière de police des constructions, a ainsi qualité pour agir. La question de savoir si elle est réellement autonome dans ces domaines relève du fond (ATF 135 I 43 consid. 1.2 p. 45; 129 I 313 consid. 4.2 p. 319 et les références).
2. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus par l'art. 105 al. 2 LTF. Il ne peut s'en écarter que si les constatations de ladite autorité ont été établies de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (ATF 137 I 58 consid. 4.1.2 p. 62; 136 II 304 consid. 2.4 p. 314) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). S'il entend s'écarter des constatations de fait de l'autorité précédente, le recourant doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF sont réalisées.
Au début de son mémoire, la recourante présente sa propre version des faits et apporte quelques précisions aux constatations des juges cantonaux. Une telle argumentation, dans la mesure où elle s'écarte des faits établis dans l'arrêt attaqué ou les complète, sans qu'il soit indiqué que ceux-ci seraient manifestement inexacts ou arbitraires, est irrecevable, le Tribunal fédéral n'étant pas une instance d'appel (ATF 136 II 101 consid. 3 p. 104 s.; 135 II 313 consid. 5.2.2 p. 322).
3. Selon l'art. 50 al. 1 Cst., l'autonomie communale est garantie dans les limites fixées par le droit cantonal. Une commune bénéficie de la protection de son autonomie dans les domaines que le droit cantonal ne règle pas de façon exhaustive, mais qu'il laisse en tout ou partie dans la sphère communale, conférant par là aux autorités municipales une liberté de décision relativement importante. L'existence et l'étendue de l'autonomie communale dans une matière concrète sont déterminées essentiellement par la constitution et la législation cantonales (ATF 135 I 43 consid. 1.2 p. 45; 133 I 128 consid. 3.1 p. 131; 129 I 410 consid. 2.1 p. 413; 129 I 313 consid. 5.2 p. 320 et les arrêts cités).
En droit cantonal vaudois, les communes jouissent d'une autonomie maintes fois reconnue lorsqu'elles définissent, par des plans, l'affectation de leur territoire, et lorsqu'elles appliquent le droit des constructions (art. 139 al. 1 let. d Cst./VD; cf. notamment ATF 115 Ia 114 consid. 3d p. 118 s., 363 consid. 3b p. 367; 108 Ia 74 consid. 2b p. 76 s.).
Lorsqu'elle est reconnue autonome dans un domaine spécifique, une commune peut dénoncer tant les excès de compétence d'une autorité cantonale de contrôle ou de recours que la violation par celle-ci des règles du droit fédéral, cantonal ou communal qui régissent la matière (ATF 128 I 3 consid. 2b p. 9; 126 I 133 consid. 2 p. 136). Le Tribunal fédéral examine librement l'interprétation du droit constitutionnel; en revanche, il vérifie l'application de règles de rang inférieur à la constitution cantonale sous l'angle restreint de l'arbitraire (art. 9 Cst.; ATF 128 I 3 consid. 2b p. 9; 122 I 279 consid. 8b p. 290 et la jurisprudence citée). Dans ce cas, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - éventuellement plus judicieuse - paraît possible (ATF 134 II 124 consid. 4.1 p. 133; 133 II 257 consid. 5.1 p. 260 s. et les arrêts cités).
4. La recourante invoque l'art. 9 al. 1 de loi fédérale du 22 juin 1979 sur l'aménagement du territoire (LAT; RS 700), en vertu duquel les plans directeurs ont force obligatoire pour les autorités. Elle estime qu'en imposant aux autorités en charge de l'aménagement du territoire de revenir à l'ancien RPE, le Tribunal cantonal les obligerait à ne pas se soumettre au plan directeur communal, qui commande de densifier les zones à bâtir en général. Les juges cantonaux se seraient ainsi abusivement substitués aux autorités compétentes et auraient violé l'art. 9 al. 1 LAT.
Le plan directeur communal, en tant qu'il fixe comme objectif la densification de la zone à bâtir, constitue une indication quant à la direction que doit prendre la pesée des intérêts dans le cadre de la planification communale subséquente. L'autorité de planification reste toutefois libre d'apprécier les différents éléments en présence, notamment les circonstances locales, lorsqu'elle procède à l'élaboration des plans de détail et tous les secteurs ne sauraient être densifiés de la même façon. Concrètement, le plan directeur communal n'exclut pas, en tant que tel, le maintien d'une zone de villa (zone de faible densité) à l'intérieur de la zone à bâtir, pas plus qu'il n'impose d'adopter un indice d'utilisation du sol plus élevé dans un secteur déterminé. D'ailleurs, dans un courrier du 26 octobre 2004, le directeur des travaux avait concédé aux opposants, qui craignaient une densification du quartier, que le maintien du cadre réglementaire en vigueur, à savoir notamment le RPE no 398, n'était pas incompatible avec les objectifs fixés par le plan directeur communal. A cela s'ajoute que les PPA nos 331, 333 et 339, toujours en vigueur et voisins du RPE litigieux, imposent quant à eux des COS variant entre 1:4, 1:6 et 1:8, sans que la municipalité n'y voie une contradiction avec le plan directeur. En tout état de cause et contrairement à ce que prétend la recourante, l'arrêt attaqué, considérant que la règlementation en vigueur comporte toujours un COS de 1:6, n'oblige nullement les autorités communales à se soustraire aux exigences du plan directeur communal. Il n'y a par conséquent pas de violation de l'art. 9 LAT en l'espèce et ce premier grief doit être écarté.
5. Il n'est pas contesté que le PPA n° 398, maintenu par le nouveau plan général d'affectation de la ville de Lausanne de 2006, est toujours resté en vigueur. Ce PPA renvoie à l'art. 53 RPE, qui imposait un COS de 1:6 au maximum. Or, le RPE a été abrogé par l'adoption du RPGA. La recourante soutient dès lors qu'en vertu des art. 17 et 119 RPGA, l'ancien coefficient d'occupation du sol doit être remplacé par un indice d'utilisation du sol de 1:2 selon les tableaux de correspondance des annexes 2a et 2b. Le Tribunal cantonal considère au contraire que le RPGA ne peut pas s'appliquer et que le renvoi aux dispositions du RPE de 1942 reste en vigueur. Pour la recourante, cette solution, arbitraire, est contraire aux principes de la bonne foi et de la sécurité du droit.
5.1 En l'espèce, les juges cantonaux ont avancé plusieurs motifs à l'appui de leur conclusion. Ils ont tout d'abord considéré que l'inclusion du PPA n° 398 dans la liste des plans spéciaux dont les limites de constructions étaient radiées exigeait une mise à l'enquête complémentaire, de manière à donner aux propriétaires favorables au passage en zone mixte de faible densité la possibilité de s'opposer à son maintien; à défaut, le droit d'être entendu était violé. Le Département des institutions et des relations extérieures avait décidé d'approuver préalablement le RPGA, puis de le mettre en vigueur, à l'exception des secteurs compris dans les PPA nos 331, 333, 398 et 399; cette décision avait pour conséquence que les secteurs en question continuaient à être régis par les PPA précités à défaut d'une réglementation nouvelle les remplaçant, laquelle ne pouvait être adoptée qu'après nouvelle enquête publique. Or, aucune enquête complémentaire n'avait eu lieu. Le Tribunal cantonal estime dès lors que le renvoi aux dispositions du RPE de 1942 ne peut pas être remplacé par les dispositions du RPGA selon les tableaux de correspondance des annexes 2a et 2b. Une application partielle du RPGA dans des secteurs où le PGA n'est pas en vigueur doit en effet être exclu: le document cartographique (PGA), sur lequel on peut lire la situation de chaque parcelle, et son règlement (RPGA), qui pose les règles d'utilisation, forment ensemble le plan d'affectation; ils sont indissociables. Si le PGA n'est pas en vigueur dans les secteurs compris dans les PPA nos 331, 333, 398 et 399, son règlement ne l'est pas non plus. L'interprétation contraire reviendrait à dire que les règles applicables aux constructions dans ce secteur ont changé sans que ces modifications aient été mises à l'enquête publique.
On cherche en vain dans le recours une démonstration d'arbitraire de la motivation précitée. Or, celle-ci n'apparaît insoutenable ni dans son contenu, ni dans son résultat. L'interprétation de la règlementation communale par les juges cantonaux peut dès lors être confirmée, même si, de l'avis de la recourante, une autre solution aurait été préférable.
5.2 La recourante remet en cause la bonne foi des intimés et estime que la solution retenue enfreint le principe de la sécurité du droit. Elle fait valoir que les opposants ne pouvaient ignorer que les anciennes dispositions du RPE de 1942 étaient abrogées et remplacées par celles du RPGA. Ils avaient d'ailleurs retiré leur opposition et obtenu que le PE n° 398 figure à l'annexe 4 du PGA, puis avaient renoncé à recourir contre la nouvelle réglementation. La sécurité du droit exigeait en outre que toute personne qui s'estime lésée réagisse aussitôt que le défaut de la procédure est parvenu à sa connaissance, ceci en déployant un minimum de diligence. Les intimés ne pouvaient invoquer le fait qu'il n'y avait pas eu d'enquête complémentaire six ans après l'entrée en vigueur de la nouvelle réglementation.
La critique relative au principe de la sécurité du droit, tel qu'il est compris par la recourante, tombe à faux. La municipalité reproche en effet en vain leur inaction aux intimés, puis leur réaction tardive, puisqu'elle admet elle-même que personne ne s'est prévalu jusqu'ici d'une absence de mise à l'enquête complémentaire, la cour cantonale ayant examiné cette question d'office. Quant à la bonne foi des intimés, outre qu'elle n'a aucune influence sur le problème au fond, elle ne saurait être remise en cause. Etant donné le flou qui régnait sur la réglementation applicable au secteur en cause - preuve en sont les deux arrêts contradictoires du Tribunal cantonal sur la question -, on ne voit pas comment les opposants devaient "savoir" que l'ancien COS de 1:6 était remplacé par un indice d'utilisation du sol de 1:2 (selon les dispositions du RPGA), cette allégation de la municipalité ayant de toute façon été infirmée par la cour cantonale. Enfin, on peut relever que les intimés avaient retiré leur opposition au projet de PGA après avoir reçu la confirmation, par la municipalité, que les PPA concernés resteraient en vigueur. Les opposants pouvaient donc partir du principe que le conseil communal maintenait l'ancienne réglementation pour les secteurs en cause, notamment en ce qui concernait la densité. L'attitude de l'autorité communale donnait ainsi plutôt à penser que le COS de 1:6 serait maintenu, raison pour laquelle la bonne foi des intimés ne peut être discutée.
6. Il résulte de ce qui précède que le recours, entièrement mal fondé, doit être rejeté. Conformément à l'art. 66 al. 4 LTF, il n'est pas perçu de frais judiciaires. Les sociétés concernées C._ et B._ ont adhéré au recours; succombant, elles n'ont pas droit à des dépens (art. 68 al. 1 LTF). Quant aux intimés, qui obtiennent gain de cause avec l'assistance d'un avocat, ils ont droit à des dépens, à la charge de la recourante (art. 68 al. 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Il n'est pas perçu de frais judiciaires.
3. Une indemnité de 3'000 fr. est allouée aux intimés à titre de dépens, à la charge de la municipalité de Lausanne.
4. Le présent arrêt est communiqué aux mandataires des parties et des sociétés B._ et C._, au Service du développement territorial ainsi qu'au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 7 janvier 2013
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Mabillard