Faits:
A. Au mois d'octobre 2002, une société propriétaire de deux parcelles contiguës à l'avenue du Mont-d'Or à Lausanne a demandé l'autorisation de démolir deux villas existantes en vue de construire à leur place un immeuble résidentiel. Le projet a été mis à l'enquête publique jusqu'au 6 janvier 2003 et il a suscité plusieurs oppositions. Par décisions des 10 et 18 juillet 2003, la Municipalité de la commune de Lausanne (ci-après: la municipalité) a délivré l'autorisation de démolir et le permis de construire. Plusieurs opposants ont recouru contre ces décisions auprès du Tribunal administratif du canton de Vaud. Par un arrêt rendu le 11 août 2004, le Tribunal administratif a admis les recours et annulé les décisions municipales.
Les deux parcelles ont été vendues en 2006 respectivement à B._ et C._, et à D._ et E._. Les nouveaux propriétaires n'ont pas le projet de démolir les villas existantes.
B. Peu après la mise à l'enquête publique des demandes d'autorisation précitées, des propriétaires de parcelles situées dans le voisinage ont demandé à la municipalité d'engager une procédure d'établissement d'un plan de quartier, selon l'art. 67 de la loi cantonale vaudoise sur l'aménagement du territoire et les constructions (LATC), pour le secteur dit "Mont-d'Or/Fleurettes" (le périmètre est limité au nord par le chemin des Fleurettes, et au sud ainsi qu'à l'est par l'avenue de Milan; il est traversé dans sa partie centrale par l'avenue du Mont-d'Or et il est délimité à l'ouest par un passage piétonnier reliant le chemin des Fleurettes à l'avenue du Mont-d'Or).
Par une décision rendue le 28 mai 2003 et notifiée le 14 juillet 2003, la municipalité a rejeté cette requête, en faisant notamment valoir que le secteur n'était pas un ensemble architectural ou bâti digne d'être protégé.
Des auteurs de la requête, soit A._ et consorts, ont recouru auprès du Tribunal administratif contre cette décision.
Le 15 octobre 2003, le recours a été transmis au Département cantonal des infrastructures, comme objet de sa compétence. L'affaire a été suspendue. Le 12 juillet 2006, le Département cantonal des institutions et des relations extérieures a retransmis l'affaire au Tribunal administratif, qui a repris l'instruction et, notamment, procédé à une inspection locale le 30 novembre 2006.
La Cour de droit administratif et public du Tribunal cantonal a repris, à partir du 1er janvier 2008, les attributions de l'ancien Tribunal administratif. Cette Cour a statué sur le recours par un arrêt rendu le 31 janvier 2008. Elle l'a admis (ch. I du dispositif), en réformant la décision de la municipalité du 14 juillet 2003 "en ce sens que cette autorité est invitée à engager l'étude d'un plan de quartier dans le sens des considérants du présent arrêt" (ch. II du dispositif).
Dans le consid. 4a de son arrêt, la Cour de droit administratif et public résume ainsi le sens de sa décision:
"Il résulte des considérants qui précèdent que le recours doit être admis et la décision attaquée réformée, en ce sens que la municipalité est invitée à entreprendre l'étude d'un plan de quartier dans le périmètre mentionné dans la demande des recourants. Ceux-ci ont d'ailleurs la possibilité de présenter des propositions à la municipalité, qui garde encore la liberté d'étendre le périmètre si elle le souhaite et qui n'est pas liée par les propositions des propriétaires. En revanche, elle a l'obligation d'entreprendre l'étude du plan de quartier, conformément aux considérants du présent arrêt."
Dans les considérants précédents, la Cour cantonale a retenu que le quartier du Mont-d'Or faisait partie des zones à protéger au sens de l'art. 17 al. 1 let. c LAT pour lesquelles des mesures de protection spécifiques devaient être prises (consid. 3b). L'arrêt cite des passages d'une étude effectuée par un historien, qui met en évidence les qualités architecturales du quartier (consid. 3a). Il se réfère également à un avis de la commission cantonale consultative d'urbanisme et d'architecture, mentionnant le caractère homogène du quartier ainsi que ses qualités urbanistiques, architecturales et paysagères (consid. 3b). La Cour cantonale a encore examiné si la réglementation du nouveau plan général d'affectation de la commune, entré en vigueur le 26 juin 2006, était propre à assurer la protection requise selon l'art. 17 al. 1 let. c LAT (en l'occurrence, classement du secteur dans la zone mixte de moyenne densité). Elle est parvenue à la conclusion que cette réglementation n'offrait en définitive pas les garanties nécessaires permettant d'assurer la conservation des caractéristiques essentielles du quartier (consid. 3c/cc). En d'autres termes, le nouveau plan général d'affectation serait "inadapté à cette situation et ne permet[trait] pas de concilier l'évolution du quartier avec le maintien de ses qualités urbanistiques"; c'est pourquoi "une mesure de planification spéciale dans le cadre d'un plan de quartier peut et doit être adoptée sur le secteur litigieux conformément à l'art. 17 al. 1 let. c LAT" (consid. 3d).
C. Agissant par la voie du recours en matière de droit public, la commune de Lausanne demande au Tribunal fédéral d'annuler l'arrêt de la Cour de droit administratif et public du Tribunal cantonal puis de renvoyer l'affaire à cette autorité pour nouvelle décision sur les frais et dépens de première instance. La commune se plaint d'une violation de son autonomie en matière d'aménagement local du territoire. Elle fait valoir en substance que l'obligation pour une municipalité d'établir un plan de quartier en vertu de l'art. 67 al. 2 LATC suppose que les objectifs d'aménagement de la commune soient respectés; or ces objectifs, énoncés dans le plan directeur communal, prônent un renforcement de l'habitat et un accroissement de la densité des zones à bâtir le long de l'axe routier du Mont-d'Or.
Dans leur réponse, A._ et consorts concluent au rejet du recours. Le Service cantonal du développement territorial, au nom du département cantonal chargé de l'aménagement du territoire, s'en remet à justice, en précisant que le conservateur des monuments et sites du canton a la même position. La Cour de droit administratif et public propose le rejet du recours.
Les parties ont pu présenter des déterminations sur les écritures déposées dans le délai de réponse. Elles n'ont pas modifié leurs conclusions.
D. Par une ordonnance rendue le 14 avril 2008, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif présentée par la recourante.
Considérant en droit:
1. La voie du recours en matière de droit public est ouverte, la décision attaquée ayant été rendue dans une cause de droit public (art. 82 let. a LTF), sans qu'une des exceptions de l'art. 83 LTF ne soit réalisée. En vertu de l'art. 89 al. 2 let. c LTF, une commune peut saisir le Tribunal fédéral, par cette voie, en se plaignant d'une violation de son autonomie, pour autant qu'elle soit atteinte par l'acte attaqué en tant que détentrice de la puissance publique ? ce qui est manifestement le cas en l'espèce.
L'arrêt attaqué, qui est une décision de renvoi à une autorité inférieure, a un caractère incident. L'affaire a cependant été renvoyée à l'exécutif de la commune recourante, afin qu'il statue à nouveau. En pareil cas, la jurisprudence admet qu'il peut en résulter un préjudice irréparable, au sens de l'art. 93 al. 1 let. a LTF, pour la commune qui doit se soumettre aux injonctions du Tribunal cantonal sans pouvoir ensuite attaquer la nouvelle décision qu'elle est tenue de rendre (ATF 133 II 409 consid. 1.2 p. 412). Le recours au Tribunal fédéral est donc recevable de ce point de vue. La commune a agi en temps utile (art. 100 al. 1 LTF) et selon les formes prescrites par la loi. Il y a donc lieu d'entrer en matière et d'examiner les griefs exposés dans le mémoire de recours.
2. Le recours est formé pour violation de l'autonomie communale. L'art. 50 al. 1 Cst. dispose que l'autonomie communale est garantie dans les limites fixées par le droit cantonal. En droit cantonal vaudois, les communes jouissent d'une autonomie lorsqu'elles définissent, par des plans, l'affectation de leur territoire, et lorsqu'elles appliquent le droit des constructions. Cela résulte, notamment, de la disposition constitutionnelle invoquée par la recourante (art. 139 let. d. Cst./VD [RS 131.231]). Le fondement de l'autonomie communale dans ce domaine a du reste plusieurs fois été examiné dans la jurisprudence (cf. par exemple arrêt non publié 1C_180/2008 du 14 août 2008, consid. 2, et les arrêts cités) et il n'y a pas lieu de développer d'autres considérations à ce sujet.
Dans la mesure où son autonomie est en cause, la commune peut exiger que l'autorité cantonale respecte les limites de sa compétence et qu'elle applique correctement les dispositions du droit fédéral, cantonal ou communal qui règlent la matière. Dans ce cadre, le Tribunal fédéral examine sous l'angle de l'arbitraire (cf. art. 9 Cst.) l'application des lois et règlements cantonaux ou communaux (cf. ATF 131 I 91 consid. 1 p. 93; 129 I 410 consid. 2.3 p. 414 et les arrêts cités). Selon la jurisprudence, une décision est arbitraire lorsqu'elle viole gravement une règle ou un principe juridique clair et indiscuté ou lorsqu'elle contredit d'une manière choquante le sentiment de la justice ou de l'équité. Le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si elle est insoutenable ou en contradiction évidente avec la situation effective, si elle a été adoptée sans motif objectif ou en violation d'un droit certain. Par ailleurs, il ne suffit pas que les motifs de la décision attaquée soient insoutenables, encore faut-il que celle-ci soit arbitraire dans son résultat (ATF 133 I 149 consid. 3.1 p. 153 et les arrêts cités). En l'occurrence, la recourante se plaint d'une mauvaise application de normes du droit cantonal de l'aménagement du territoire - à savoir les art. 66 et 67 LATC -, ce que le Tribunal fédéral doit donc revoir sous l'angle de l'arbitraire.
3. La recourante invoque l'art. 67 al. 2, 1ère phrase LATC qui dispose que la municipalité "est tenue d'établir un plan de quartier lorsque la demande en est faite par la moitié au moins des propriétaires du périmètre, dont les immeubles représentent la moitié au moins de l'estimation fiscale totale et pour autant que les conditions de l'article 66 [LATC] sont respectées". Aux termes de l'art. 66 al. 1 LATC (titre de l'article: "conformité avec les objectifs d'aménagement"), "le plan de quartier peut s'écarter des normes du plan d'affectation, à condition de respecter les objectifs d'aménagement de la ou des communes et les principes applicables à l'extension des zones à bâtir". La recourante fait valoir que ses objectifs d'aménagement ont été élaborés dans le cadre de son plan directeur et que son nouveau plan général d'affectation (PGA) contient les mesures qui concrétisent ces objectifs. Elle reproche au Tribunal cantonal de n'avoir pas respecté ces objectifs d'aménagement en fixant lui-même les conditions mises à l'obligation d'établir un plan de quartier, voire en dictant à la municipalité les principes d'après lesquels elle devra procéder à l'étude de ce plan spécial.
3.1 A titre préalable, il convient de relever que la recourante ne conteste pas - ou à tout le moins pas de manière suffisamment claire et précise, conformément aux exigences de motivation résultant des art. 42 al. 1 et 106 al. 2 LTF (cf. ATF 133 II 249 consid. 1.4.2 p. 254; 133 IV 286 consid. 1.4 p. 287) - que les conditions formelles de l'art. 67 al. 2 LATC étaient remplies et que la demande d'établissement d'un plan de quartier avait été présentée par un nombre suffisant de propriétaires du périmètre concerné. La recourante ne fait pas non plus valoir que le secteur "Mont-d'Or/Fleurettes", tel que déterminé dans le cadre de la présente procédure, ne se prêterait pas à une mesure de planification spéciale sous la forme d'un plan de quartier au sens des art. 64 ss LATC (instrument qui, selon la définition de l'art. 64 al. 1 LATC, est un plan d'affectation limité à une portion déterminée du territoire, fixant des conditions détaillées d'urbanisme, d'implantation et de construction dans ce périmètre).
3.2 La juridiction cantonale a, dans le cas particulier, appliqué exclusivement une disposition relative à l'initiative de la procédure d'établissement d'un plan de quartier. En vertu du droit cantonal, cette initiative appartient soit à la municipalité (selon l'art. 67 al. 1 LATC, elle peut en tout temps prendre une décision dans ce sens), soit à un groupe de propriétaires fonciers (art. 67 al. 2 LATC). Dès lors que la loi cantonale accorde un droit d'initiative à des particuliers, l'autorité de recours cantonale doit pouvoir contrôler une décision municipale refusant, comme en l'espèce, une demande formellement recevable pour des motifs de fond (la compatibilité avec les objectifs d'aménagement). En statuant sur un recours des propriétaires intéressés et en revoyant l'application de l'art. 67 al. 2 LATC dans un cas concret, la juridiction cantonale exerce ses attributions ordinaires; elle ne se substitue pas à l'autorité communale et, contrairement à ce qu'allègue la recourante, elle ne s'érige pas en autorité chargée de l'aménagement du territoire.
La recourante expose que l'art. 67 al. 2 LATC permet à la municipalité de rejeter la demande d'établissement d'un plan de quartier si la mesure de planification envisagée apparaît d'emblée contraire aux objectifs d'aménagement communaux. Dans son mémoire de recours au Tribunal fédéral, la commune ne décrit cependant que d'une manière très générale les objectifs d'aménagement qui seraient compromis: elle mentionne un renforcement de l'habitat et la densification des zones à bâtir concernées le long de l'axe routier du Mont-d'Or. Ce faisant, elle ne prétend pas que des mesures de protection du patrimoine urbanistique ou architectural n'entreraient pas en considération, et donc qu'il serait exclu d'envisager à ce propos une mesure de planification - compatible avec les objectifs en matière de logement ou de taux d'utilisation du sol - fondée soit directement sur l'art. 17 al. 1 let. c LAT (qui prescrit le classement en zone à protéger des localités typiques, des lieux historiques, ainsi que des monuments naturels ou culturels), soit sur d'autres normes ou principes (cf. art. 17 al. 2 LAT, qui laisse aux cantons la possibilité de prendre d'autres mesures adéquates pour atteindre les objectifs de préservation du patrimoine). Les objectifs d'aménagement du territoire invoqués par la recourante ne paraissent donc pas faire obstacle à la mise en oeuvre d'une procédure d'établissement d'un plan de quartier, pour laquelle le Tribunal cantonal n'a pas fixé directement de résultat à atteindre. Les considérants de l'arrêt attaqué ne sont du reste pas très précis, ils rappellent que la municipalité dispose d'une certaine liberté (consid. 4a dudit arrêt) et, quoi qu'il en soit, la décision finale d'adoption d'un plan de quartier, ou de refus d'un projet proposé par la municipalité, est prise par le conseil communal (art. 58 LATC par renvoi de l'art. 67 al. 3 LATC).
Au demeurant, les motifs pour lesquels l'étude d'un plan de quartier est imposée sont fondés sur des éléments a priori objectifs (une étude d'un historien, un rapport d'une commission cantonale consultative spécialisée, notamment). De plus, il ne s'agit pas de remettre directement en cause les mesures décidées dans le cadre du nouveau plan général d'affectation de la commune, qui demeure applicable sans réserve dans le secteur litigieux. Dans ces conditions, la décision du Tribunal cantonal qui retient que toutes le conditions de l'art. 67 al. 2 LATC sont remplies et que, vu l'intérêt au maintien des qualités urbanistiques du secteur, une procédure d'établissement d'un plan de quartier doit être engagée, ne viole pas de manière arbitraire les règles du droit cantonal de l'aménagement du territoire. Par conséquent, le grief de violation de l'autonomie communale est mal fondé.
4. Il s'ensuit que le recours doit être rejeté. L'arrêt doit être rendu sans frais (art. 66 al. 4 LTF). Les intimés A._ et consorts, qui avaient conclu au rejet du recours, obtiennent gain de cause. Comme ils sont représentés par un avocat, ils ont droit solidairement à des dépens, à la charge de la commune de Lausanne (art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Il n'est pas perçu de frais judiciaires.
3. Une indemnité de 2'000 fr., à payer à titre de dépens aux intimés A._ et consorts, pris solidairement, est mise à la charge de la commune de Lausanne.
4. Le présent arrêt est communiqué aux parties, le cas échéant par l'intermédiaire de leurs mandataires, au Département de l'économie (Service du développement territorial) et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Lausanne, le 3 décembre 2008
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Féraud Jomini