Faits:
A. Les sociétés B._ et A._ sont propriétaires à Lausanne, au n° 65 du chemin de la Vuachère, de la parcelle n° 6'678. Sur ce bien-fonds de 1'323 m2 est construite une maison familiale d'un seul niveau, occupant une surface de 141 m2. Les lieux sont situés dans un quartier de villas sis dans le périmètre du plan d'extension (n° 398) de la zone comprise entre la limite est du plan de quartier n° 331, les chemins de la Vuachère, Jean-Pavillard et de la Rosière, approuvé par le Conseil d'Etat le 12 mai 1959 (PE n° 398).
Les sociétés précitées souhaitent démolir la villa existante et construire un bâtiment d'habitation de quatre logements comportant un sous-sol, avec garage souterrain pour sept voitures, un rez-de-chaussée, un étage et un attique.
Le projet, mis à l'enquête publique du 13 novembre au 14 décembre 2009, a suscité l'opposition de plusieurs voisins. Ceux-ci reprochaient notamment au projet de ne pas respecter la longueur maximum des bâtiments ni la distance minimum jusqu'aux limites de propriété en zone de faible densité. Ils se plaignaient également d'une violation du coefficient d'utilisation du sol.
Pour répondre à ces griefs, B._ et A._ ont légèrement modifié leur projet en supprimant les murs qui prolongeaient de deux mètres la façade nord-est au nord-ouest et au sud-est, en modifiant l'implantation du bâtiment et en complétant les plans par la mention du niveau du terrain naturel aux angles du bâtiment. De nouveaux plans ont été envoyés à la municipalité le 24 février 2010.
Par décision du 31 mars 2010, la municipalité de Lausanne a levé l'opposition, considérant que celle-ci était partiellement satisfaite par la correction du projet et infondée pour le surplus; elle a en conséquence délivré le permis de construire sur la base des plans modifiés par ceux reçus le 26 février 2010.
B. Les opposants déboutés ont recouru contre la décision municipale du 31 mars 2010 auprès de la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal).
Précédemment, ils avaient demandé à la municipalité de Lausanne la modification de la réglementation du plan d'extension n° 398, soit l'introduction d'une disposition prévoyant que la proportion entre la surface bâtie et la surface de terrain ne dépasse pas 1:6 (soit un coefficient d'occupation du sol [COS] correspondant à ce que prévoyait le chapitre 5 du règlement du 3 novembre 1942 concernant le plan d'extension [RPE], auquel le plan d'extension n° 398 renvoie pour la zone de villas). Ils avaient également recouru, le 3 mai 2010, contre le refus de la municipalité d'entrer en matière sur cette demande.
Après avoir procédé à une inspection locale, le Tribunal cantonal a, par arrêt du 7 mars 2012, admis le recours dans la mesure où il était recevable et annulé le permis de construire accordé à B._ et A._ le 31 mars 2010. Les juges cantonaux ont relevé que, dans un arrêt du même jour, ils étaient parvenus à la conclusion que le plan d'extension n° 398 demeurait intégralement en vigueur, y compris en ce qui concernait ses renvois aux dispositions du RPE de 1942 (arrêt AC.2010.0118). La surface du bâtiment projeté représentait un COS de 0.196, ce qui dépassait la proportion de 1:6 imposée par l'art. 53 RPE. Le projet n'était dès lors pas conforme à la réglementation en vigueur.
C. Agissant par la voie du recours en matière de droit public et du recours constitutionnel subsidiaire, les sociétés B._ et A._ demandent au Tribunal fédéral de réformer l'arrêt du Tribunal cantonal du 7 mars 2012 en ce sens que le recours des opposants est rejeté et que la décision de la municipalité du 31 mars 2010 est confirmée. Subsidiairement, elles concluent à l'annulation de l'arrêt attaqué et au renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Les recourantes se plaignent pour l'essentiel d'une constatation inexacte des faits, d'une mauvaise application du droit fédéral ainsi que d'une violation de divers droits constitutionnels.
Le Tribunal cantonal conclut au rejet du recours. La municipalité de Lausanne demande au Tribunal fédéral d'admettre le recours, d'annuler l'arrêt attaqué et de renvoyer le dossier à la cour cantonale pour nouvelle décision dans le sens des considérants. Les intimés concluent au rejet du recours. Les recourantes, les intimés et la municipalité ont déposé des écritures complémentaires.
Considérant en droit:
1. Les recourantes ont formé, en un seul acte (art. 119 LTF), un recours en matière de droit public et un recours constitutionnel subsidiaire. Le second étant irrecevable en cas de recevabilité du premier (art. 113 LTF), il convient d'examiner en priorité si la voie du recours en matière de droit public est ouverte.
1.1 Dirigé contre une décision prise en dernière instance cantonale dans le domaine du droit public de l'aménagement du territoire et des constructions, le recours est en principe recevable comme recours en matière de droit public conformément aux art. 82 ss LTF, aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée. Les recourantes, qui ont pris part à la procédure devant le Tribunal cantonal, ont manifestement qualité pour recourir au sens de l'art. 89 al. 1 LTF contre l'arrêt attaqué qui annule l'autorisation de construire qu'elles avaient obtenue.
1.2 La voie du recours en matière de droit public étant ouverte, le recours constitutionnel subsidiaire est irrecevable.
2. Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, les recourantes se plaignent d'une violation de leur droit d'être entendues. Elles reprochent au Tribunal cantonal d'avoir insuffisamment motivé son arrêt et de ne pas s'être déterminé sur plusieurs arguments qu'elles avaient soulevés.
2.1 Le droit d'être entendu implique pour l'autorité l'obligation de motiver sa décision, afin que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. Selon la jurisprudence, la motivation d'une décision est suffisante lorsque l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé son raisonnement. L'autorité ne doit toutefois pas se prononcer sur tous les moyens des parties; elle peut se limiter aux questions décisives (ATF 130 II 530 consid. 4.3 p. 540 et les arrêts cités).
2.2 En l'espèce, les recourantes font grief aux juges cantonaux de n'avoir pas motivé leur interprétation selon laquelle il conviendrait d'appliquer à la parcelle litigieuse les dispositions du RPE de 1942. L'arrêt attaqué se serait contenté de renvoyer à un arrêt du même jour (arrêt AC.2010.0118), rendu dans le cadre d'une procédure à laquelle elles n'étaient pas parties. Il sied tout d'abord de relever que les recourantes ont été appelées à participer à la procédure AC.2010.0118, qu'elles ont eu l'occasion de s'exprimer dans le cadre de cette affaire, relative à la portée du plan d'extension n° 398, et qu'une copie de cet arrêt leur a été notifiée. Quoi qu'il en soit, le résumé de la motivation des juges cantonaux sur ce point dans l'arrêt attaqué, certes sommaire, est néanmoins suffisant pour comprendre les raisons qui les ont amenés à considérer que le PE n° 398 demeurait intégralement en vigueur, y compris quant à ses renvois au RPE. Il ne saurait dès lors y avoir de violation du droit d'être entendu à cet égard.
Les recourantes indiquent ensuite que le Tribunal cantonal a ignoré plusieurs critiques qu'elles avaient formulées, à savoir notamment le fait qu'il est impossible d'appliquer un texte abrogé ou que le PE n° 398 renvoie de manière claire au règlement du plan général d'affectation de 2006 (ci-après: le RPGA). Il apparaît que les juges cantonaux n'étaient pas tenus de répondre à tous les arguments soulevés par les recourantes, qui étaient d'ailleurs intimées dans la procédure cantonale, et que cette omission signifie simplement qu'ils ont considéré ces remarques comme étant dénuées de pertinence. On ne décèle pas non plus de violation du droit d'être entendu sous cet angle et le recours doit être rejeté sur ce point.
3. Dans un grief intitulé "établissement inexact des faits", les recourantes estiment que le Tribunal cantonal a retenu à tort que le plan d'extension n° 398 demeurait intégralement en vigueur, y compris quant aux renvois aux dispositions du RPE de 1942. Cet élément ne constitue toutefois pas une question de fait mais de droit, qui doit être examinée avec le fond. Les recourantes ne critiquent au demeurant pas d'autres constatations de fait, si bien que le Tribunal fédéral est lié par les faits retenus dans l'arrêt attaqué, conformément à l'art. 105 al. 1 LTF.
4. Le Tribunal cantonal a admis le recours des opposants contre le permis de construire octroyé à B._ et A._, au motif que le projet n'était pas conforme à la réglementation en vigueur. En effet, la surface du bâtiment projeté représentait un COS de 0.196, ce qui dépassait la proportion de 1:6 imposée par l'art. 53 RPE. Dans le présent recours, les sociétés constructrices contestent l'application du RPE de 1942. Elles font valoir que ce règlement a été abrogé et que le PE n° 398 renvoie actuellement aux dispositions du RPGA de 2006 qui prévoit, pour le secteur en question, un indice d'utilisation du sol de 1:2.
4.1 Le Tribunal fédéral ne revoit l'interprétation et l'application du droit cantonal et communal que sous l'angle de l'arbitraire. Il ne s'écarte de la solution retenue que si celle-ci se révèle insoutenable, en contradiction manifeste avec la situation effective, ou si elle a été adoptée sans motifs objectifs et en violation d'un droit certain, ce qu'il appartient au recourant de démontrer par une argumentation qui réponde aux exigences des art. 42 al. 2 et 106 al. 2 LTF (cf. ATF 134 II 349 consid. 3 p. 351 s.; 133 II 249 consid de 1.4.2 p. 254 et les références). Le recourant doit ainsi indiquer précisément quelle disposition constitutionnelle ou légale a été violée et démontrer par une argumentation précise en quoi consiste la violation. En outre, si l'interprétation défendue par la cour cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, elle sera confirmée, même si une autre solution paraît également concevable, voire préférable (ATF 132 I 13 consid. 5.1 p. 17).
4.2 En l'espèce, le Tribunal cantonal a exposé que, dans un arrêt AC.2010.0118 du 7 mars 2012, après une analyse détaillée des décisions prises par le conseil communal et par l'autorité cantonale d'approbation et au terme d'une procédure de coordination, il était parvenu à la conclusion que le plan d'extension n° 398 demeurait intégralement en vigueur, y compris en ce qui concernait ses renvois aux dispositions du RPE de 1942. En effet, la décision du conseil communal avait consisté à ne pas adopter le plan général d'affectation (PGA) et son règlement (RPGA) dans les secteurs régis par les plans d'extension nos 331, 333, 398 et 399 et à remettre à plus tard une décision définitive concernant ces secteurs. Quant au Département des institutions et des relations extérieures, il avait décidé d'approuver préalablement, puis de mettre en vigueur le PGA de la commune de Lausanne, à l'exception des secteurs compris dans les plans d'extension nos 331, 333, 398 et 399. Ces décisions avaient pour conséquence que ces secteurs continuaient d'être régis par les plans en question, y compris leurs renvois aux dispositions du RPE.
Les recourantes ne démontrent ni ne font valoir que le raisonnement des juges cantonaux serait arbitraire. Or, la motivation précitée n'apparaît insoutenable ni dans son contenu, ni dans son résultat. L'interprétation de la règlementation communale par les juges cantonaux peut donc en principe être confirmée. Il reste toutefois à examiner si la solution retenue par le Tribunal cantonal consacre une violation du droit fédéral, en particulier des art. 9 et 14 de loi fédérale du 22 juin 1979 sur l'aménagement du territoire (LAT; RS 700) ainsi qu'une violation de la liberté d'appréciation de l'autorité communale, comme le soutiennent les recourantes.
4.3 Dans la mesure où les recourantes ont qualité pour invoquer la liberté d'appréciation de l'autorité communale, leur grief apparaît infondé. L'art. 2 al. 3 LAT accorde certes aux autorités communales chargées de l'aménagement du territoire la liberté d'appréciation nécessaire à l'accomplissement de leurs tâches. En l'espèce, le Tribunal cantonal a toutefois annulé la décision de la municipalité car il a jugé que le permis octroyé contrevenait à la réglementation en vigueur, contrairement à l'opinion défendue par la commune. Il s'agit dès lors d'une question de droit et non pas d'appréciation. Mal fondé, le grief doit être rejeté dans la mesure de sa recevabilité.
4.4 Se prévalant de l'art. 9 LAT, les recourantes affirment que l'interprétation du PE n° 398 par la cour cantonale viole la force obligatoire du plan directeur cantonal (PDCn). Selon le PDCn, dans les centres urbains et en particulier dans l'agglomération lausannoise, le principe de la densification de l'habitat exigerait une densité de 100 habitants et emplois par hectare, ce qui correspondrait à un COS de 0.625 pour le secteur en cause. C'est dès lors en violation de l'art. 9 al. 1 LAT que le Tribunal cantonal a considéré que l'ancien COS de 1:6 était applicable et a refusé de suivre la municipalité qui avait appliqué un indice d'utilisation du sol de 1:2, en vertu du RPGA.
Le PDCn dont les extraits sont cités par les recourantes est entré en vigueur le 15 juin 2012. Dans leur réponse du 11 octobre 2010 devant le Tribunal cantonal, elles avaient mentionné le plan directeur en vigueur à cette époque qui, dans son volet stratégique, prévoyait une densification des zones à bâtir. Or, ce document était en vigueur du 1er août 2008 au 1er décembre 2011. Les plans directeurs cantonaux invoqués ne sont par conséquent pas pertinents dans le présent contexte, puisqu'ils ont été adoptés après la révision du PGA de 2006. On ne saurait en effet reprocher à l'autorité communale de planification de s'être écartée de lignes directrices qui n'avaient pas encore été édictées. Les recourantes ne font au surplus pas valoir que l'entrée en vigueur des PDCn successifs aurait dû entraîner une adaptation du plan général d'affectation (cf. art. 21 al. 2 LAT). Tel qu'il est formulé, le grief tiré de la force dérogatoire des plans directeurs est dès lors infondé et doit être rejeté.
4.5 Les recourantes invoquent l'art. 14 LAT. A leur avis, dans l'arrêt AC.2010.0118, le Tribunal cantonal a considéré à tort qu'il n'était pas possible d'appliquer le RPGA dans un secteur ou le PGA lui-même ne s'appliquait pas. Indépendamment de la question de savoir si le Tribunal fédéral est tenu d'examiner un grief dirigé expressément contre un arrêt qui n'est pas l'objet du litige, il apparaît que la cour cantonale n'a pas violé le droit fédéral en retenant que le document cartographique (PGA), sur lequel on peut lire la situation de chaque parcelle, et son règlement (RPGA), qui pose les règles d'utilisation, forment ensemble le plan d'affectation et sont par conséquent indissociables. Le recours doit également être écarté sur ce point.
5. Les recourantes se plaignent enfin d'une violation du principe de la légalité et de la garantie de la propriété; le RPE de 1942 ayant été abrogé lors de la révision du PGA de 2006, le COS de 1:6 appliqué par les juges cantonaux consacrerait une restriction illégale de la propriété. Or, comme il a été vu au consid. 4 ci-dessus, l'interprétation de la réglementation communale par le Tribunal cantonal échappe à l'arbitraire et respecte le droit fédéral. Son application au cas particulier ne constitue dès lors pas une violation des droits constitutionnels invoqués.
6. Il résulte de ce qui précède que le recours constitutionnel subsidiaire est irrecevable et que le recours en matière de droit public doit être rejeté dans la mesure où il est recevable. Les frais judiciaires sont mis à la charge des recourantes qui succombent (art. 65 et 66 al. 1 et 5 LTF). Celles-ci verseront en outre une indemnité de dépens aux intimés, qui obtiennent gain de cause avec l'assistance d'un avocat (art. 68 al. 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière de droit public est rejeté dans la mesure où il est recevable.
3. Les frais judiciaires, fixés à 3'000 fr., sont mis à la charge des recourantes, solidairement entre elles.
4. Une indemnité de 3'000 fr. est allouée aux intimés à titre de dépens, à la charge des recourantes, solidairement entre elles.
5. Le présent arrêt est communiqué aux mandataires des parties et de la Municipalité de la Ville de Lausanne ainsi qu'au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 7 janvier 2013
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Mabillard