Faits:
A. La commune d'Epalinges a mis à l'enquête, du 2 au 25 juin 2006, un projet portant sur la création d'un giratoire avec place de rebroussement, au croisement du chemin des Ormeaux et du chemin du Grand-Pré, sur la parcelle n° 22 propriété de la commune. Le projet comporte la création d'un arrêt de bus au sud du préau du Collège de Bois-Murat, ainsi qu'un giratoire de 12,5 m de rayon pour permettre le rebroussement des bus des transports publics lausannois (TL), ainsi que la modification du préau du collège et la création d'un couvert de 140 m2 en bordure de celui-ci.
Le 21 juin 2007, la Municipalité a accordé le permis de construire et levé les oppositions formées, notamment, par la copropriété X._ ainsi que les copropriétaires concernés. Ceux-ci ont alors saisi le Tribunal administratif vaudois, en relevant préalablement que le projet ne constituait pas un aménagement de peu d'importance et devait faire l'objet d'une procédure d'adoption d'un plan d'affectation communal.
Le 15 décembre 2007, la Municipalité a mis à l'enquête le même projet, sous la forme d'un plan d'affectation. La zone couverte était remplacée par un abri bus de taille réduite. Le projet a suscité l'opposition des mêmes propriétaires, qui invoquaient les nuisances sonores, les problèmes de trafic et de pollution de l'air, ainsi qu'un engagement qui aurait été pris par la Municipalité, en 2002, de renoncer à la dépose d'élèves du Collège de Bois-Murat du côté du chemin des Ormeaux. Le 26 février 2008, le Conseil communal d'Epalinges a adopté le projet, ainsi que les réponses aux opposants. Le projet permettait d'une part de supprimer le trafic aux abords et sur le site du collège, et d'autre part d'organiser les transports publics desservant le territoire communal et assurant la jonction avec le terminus du Métro M2. L'augmentation du trafic serait minime, selon l'étude Transitec du 21 janvier 2008; ses effets seraient compatibles avec les exigences de l'OPB. La Municipalité n'avait donné aucune assurance et les circonstances avaient changé depuis 2002, notamment par la réalisation du M2.
Le 12 mars 2008, le Département cantonal vaudois des infrastructures (DINF) a approuvé préalablement le projet. Les opposants ont à nouveau saisi le Tribunal administratif, devenu la Cour de droit administratif et public du Tribunal cantonal (CDAP).
B. Par arrêt du 31 octobre 2008, cette dernière a admis partiellement le recours; le projet permettait d'éviter les risques actuels liés à la traversée de l'établissement scolaire par les bus des transports publics. Le giratoire était conçu de telle manière que l'écoulement du trafic soit assuré malgré le stationnement des bus. La note technique produite par la Municipalité, sur la base de comptages repris dans l'étude acoustique, tenait compte du trafic supplémentaire résultant des lignes de bus 45 et 46, ainsi que de la dépose et de la prise en charge des élèves. Il n'y avait pas lieu d'ordonner une expertise supplémentaire. Les déclarations de la Municipalité, en mars 2002, selon laquelle "elle n'envisage[ait] plus la dépose des élèves, soit par un bus, soit par les parents, du côté du chemin des Ormeaux", ne liaient pas le Conseil communal et le DINF, autorités d'adoption, respectivement d'approbation du plan. Les circonstances avaient d'ailleurs changé (réalisation du M2, augmentation de la cadence et de la dimension des bus). Selon l'étude acoustique produite par la Municipalité, les valeurs limites d'immission (VLI) étaient respectées - s'agissant d'une modification notable d'une installation existante - à l'exception du bâtiment situé sur la parcelle n° 29, pour lequel le projet entraînerait une aggravation du dépassement des VLI. Sur ce point, les décisions du 26 février et 12 mars 2008 ont été réformées en ce sens que des mesures permettant d'assurer le respect des VLI sur la façade nord du bâtiment sis au chemin des Tuileries devraient être prises à l'achèvement des travaux. Les décisions attaquées étaient maintenues pour le surplus.
C. Les copropriétaires X._ ainsi que la communauté elle-même forment un recours en matière de droit public avec une demande d'effet suspensif. Ils demandent la réforme de l'arrêt cantonal et des décisions des 26 février et 12 mars 2008 dans le sens d'un refus du projet. Subsidiairement, ils concluent au renvoi de la cause à l'autorité de première instance.
La CDAP se réfère à son arrêt. La Commune d'Epalinges et le Service cantonal des routes concluent au rejet du recours. Les Transports publics de la région lausannoise SA, tiers intéressé, relèvent l'importance du giratoire litigieux pour leur exploitation.
L'effet suspensif a été refusé par ordonnance du 15 janvier 2009.
Considérant en droit:
1. Le recours est formé contre une décision finale prise en dernière instance cantonale dans le domaine du droit public de l'aménagement du territoire et des constructions. Il est dès lors recevable comme recours en matière de droit public selon les art. 82 ss LTF. Les recourants sont directement voisins du projet litigieux. Leur qualité pour agir est incontestable (ATF 133 II 409 consid. 1.3 p. 413).
2. Dans un grief formel, qu'il convient d'examiner en premier lieu, les recourants invoquent leur droit d'être ente
3. ndus. Ils estiment que la cour cantonale aurait indûment refusé de procéder à une seconde expertise, celle effectuée par Ecoscan étant fondée sur des bases statistiques erronées: les comptages de trafic avaient été effectués du lundi 28 avril 2008 à 14h au mercredi 30 avril 2008 à 14h, soit durant les jours précédant le congé de l'Ascension, et alors que le collège était fermé le mercredi matin. La cour cantonale n'aurait pas pris position sur cet argument, contrairement à son obligation de motiver. La note technique Transitec du 21 janvier 2008, à laquelle se réfère l'arrêt attaqué, ne constituerait pas une expertise indépendante et ne tiendrait pas compte des avantages de la solution alternative préconisée par les recourants.
3.1 Garanti à l'art. 29 al. 2 Cst., le droit d'être entendu permet au justiciable de participer à la procédure probatoire en exigeant l'administration des preuves déterminantes (ATF 126 I 15 consid. 2a/aa p. 16 et les arrêts cités). Ce droit ne s'étend toutefois qu'aux éléments pertinents pour décider de l'issue du litige. Il est ainsi possible de renoncer à l'administration de certaines preuves offertes, lorsque le juge parvient à la conclusion qu'elles ne sont pas décisives pour la solution du litige ou qu'elles ne pourraient l'amener à modifier son opinion. Ce refus d'instruire ne viole le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a ainsi procédé, est entachée d'arbitraire (ATF 125 I 127 consid. 6c/cc in fine p. 135, 417 consid. 7b p. 430; 124 I 208 consid. 4a p. 211, 241 consid. 2 p. 242, 274 consid. 5b p. 285 et les arrêts cités; sur la notion d'arbitraire, voir ATF 127 I 60 consid. 5a p. 70).
Conformément au droit d'être entendu - et à l'obligation de motiver qui découle, pour l'autorité de dernière instance cantonale, des art. 29 al. 2 Cst. et 112 al. 1 LTF - , l'autorité doit indiquer dans son prononcé les motifs qui la conduisent à sa décision (ATF 123 I 31 consid. 2c p. 34; 112 Ia 107 consid. 2b p. 109). Elle n'est pas tenue de discuter de manière détaillée tous les arguments soulevés par les parties, ni de statuer séparément sur chacune des conclusions qui lui sont présentées. Elle peut se limiter à l'examen des questions décisives pour l'issue du litige. Il suffit que le justiciable puisse apprécier correctement la portée de la décision et l'attaquer à bon escient (ATF 134 I 83 consid. 4.1 p. 88; 130 II 530 consid. 4.3 p. 540; 126 I 97 consid. 2b, et les arrêts cités).
3.2 Ces dernières exigences sont satisfaites en l'occurrence. La cour cantonale a considéré que le rapport technique prenait en compte le trafic supplémentaire résultant des deux lignes de bus, et de la dépose et de la prise en charge des élèves, et que les comptages de trafic effectués à cette occasion avaient été repris dans l'étude acoustique. Le résumé d'audience sur place figurant dans la partie en fait de l'arrêt attaqué fait ressortir que les chiffres retenus sont comparables dans les deux rapports, concernant le chemin de Bois-Murat, mais qu'il existe une différence de 600 véhicules pour le chemin du Grand-Pré. Même si elle ne répond qu'indirectement aux objections des recourants, la motivation de l'arrêt cantonal n'empêche pas ces derniers de contester l'exactitude des charges de trafic figurant dans ces rapports.
3.3 Les griefs des recourants concernent les comptages de trafic figurant dans le rapport d'Ecoscan. Or, ce document relève lui-même (p. 3) que les comptages étaient d'une "représentativité sujette à discussion" puisqu'ils avaient été effectués sur seulement deux jours durant la semaine de l'Ascension. Les auteurs du rapport précisent que, pour cette raison, l'évaluation des immissions sonores a été effectuée sur la base du plan de charge de trafic réalisé par Transitec en 2007, et figurant dans la note technique du 21 janvier 2008, soit en particulier 2'200 véhicules par jour sur le chemin du Grand-Pré, au lieu des quelques 1'600 véhicules recensés dans le rapport d'Ecoscan. Les critiques des recourants tombent par conséquent à faux.
Au demeurant, les recourants se contentent d'alléguer que l'auteur de la note technique ne serait pas impartial, sans toutefois remettre sérieusement en cause l'évaluation du trafic figurant dans ce document. Celui-ci repose sur des comptages réalisés par la police d'Epalinges sur les chemins de Bois-Murat et des Tuileries; il se fonde également sur la population du quartier des Ormeaux, la capacité des parkings et la circulation liée au collège. Selon l'étude de bruit, les charges de trafic relevées dans la note techniques ont peut-être été surévaluées (au regard des comptages effectués en avril 2008), ce qui représenterait en terme de bruit une diminution potentielle de 1 à 1,5 dB(A). En outre, les hypothèses concernant les véhicules bruyants et la vitesse de circulation étant "plutôt" pessimistes, il en résulte que les niveaux sonores auraient été "un peu surévalués", d'environ 0-2 dB(A).
Dès lors, faute de toute critique propre à remettre en cause l'exactitude des évaluations qui ressortent de la note technique, et compte tenu de la surévaluation possible des niveaux sonores de d'étude de bruit, on ne saurait reprocher à la cour cantonale d'avoir renoncé à une nouvelle expertise.
4. Les recourants contestent ensuite l'existence d'un intérêt public suffisant. Il ne serait pas démontré que la situation actuelle, notamment la traversée du complexe scolaire par les autobus, présente des dangers pour les piétons. Aucun accident ne serait intervenu depuis plus de dix ans. L'augmentation de la taille des bus ne constituerait pas un motif valable, et la présence d'élèves aux abords du giratoire projeté constituerait également un danger. En raison de l'étroitesse du chemin des Ormeaux, les croisements de bus seront difficiles, ce qui engendrerait des nuisances pour les voisins. La variante préconisée par l'expert Chenevière, soit la réalisation d'une zone de dépose et de rebroussement au giratoire des Tuileries, éviterait ces inconvénients, et ne changerait rien aux nuisances actuelles. Les recourants soutiennent, à titre de faits nouveaux, que la Municipalité aurait finalement réalisé cette variante, en novembre 2008.
4.1 Selon l'art. 99 LTF, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de l'autorité précédente. Les travaux entrepris par la Municipalité sont postérieurs au prononcé de l'arrêt attaqué. Il s'agit donc d'un vrai novum, qui échappe à la cognition du Tribunal fédéral (ATF 133 IV 342 consid. 2.2). Au demeurant, comme l'explique la Municipalité, les travaux en question ne consistent qu'en l'élargissement du giratoire des Tuileries afin de faciliter le passage des bus articulés. Cela ne remet pas en cause la réalisation du projet litigieux.
4.2 Le Tribunal fédéral n'étant ni l'autorité supérieure de planification, ni autorité de surveillance en matière de protection de l'environnement, de la nature et du paysage, il ne lui appartient pas d'évaluer librement l'ensemble des variantes envisageables, mais seulement d'examiner si l'autorité de dernière instance a respecté le droit fédéral, et a correctement déterminé et pondéré les différents intérêts en présence (ATF 124 II 146 consid. 3c p. 153, 118 Ib 206 consid. 10 p. 221).
4.3 L'aménagement litigieux a pour but de permettre la suppression de tout trafic à l'intérieur du site du Collège de Bois-Murat, par le chemin du même nom. Les recourants contestent en vain les dangers, clairement exposés dans l'arrêt attaqué, que représente cette traversée pour les élèves de l'établissement. Ce danger s'est nettement accru depuis l'augmentation des fréquences des bus, de 20 à 7 minutes environ, en relation avec la mise en service du M2. La création de sites propres pour la circulation et pour les piétons présente dès lors un avantage évident du point de vue de la sécurité. L'implantation du giratoire permet par ailleurs une desserte optimale du quartier par les transports public, dans la mesure où il a été impossible, en raison de l'opposition des propriétaires concernés, de réaliser la place de rebroussement à l'extrémité ouest du chemin des Ormeaux. L'arrêt attaqué relève les inconvénients de la variante proposée par les recourants, soit une desserte moins favorable du quartier - puisque limitée au giratoire des Tuileries - et la nécessité pour les élèves de parcourir plusieurs centaines de mètres à pied, en traversant de surcroît un axe routier important, soit le chemin de Vaugueny.
Le projet litigieux repose dès lors sur un intérêt public suffisant. Sur le vu des pronostics de trafic et de bruit, il n'apparaît pas que les recourants devront subir des atteintes disproportionnées. Le grief doit par conséquent être rejeté.
5. Les recourants invoquent enfin le principe de la bonne foi. Ils se prévalent des déclarations faites le 7 mars 2002 par la Municipalité, en réponse à l'opposition des recourants à l'extension du Collège de Bois-Murat, dans les termes suivants: "elle n'envisage plus la dépose des élèves, soit par un bus, soit par les parents, du côté du chemin des Ormeaux". Selon l'arrêt attaqué, les autorités d'adoption et d'approbation du plan, soit le Conseil municipal et le DINF, ne seraient pas liés par cet engagement. En outre, les circonstances se seraient notablement modifiées, pour des motifs étrangers à l'extension du collège, depuis la réalisation du M2, nécessitant une augmentation des fréquences et de la taille des bus. Les recourants contestent cette appréciation en relevant que l'engagement de la Municipalité, pris dans une situation concrète, et valable formellement - les recourants relèvent, dans un grief distinct, que la Municipalité agissait en tant qu'organe et propriétaire -, engageait la commune. Par ailleurs, les circonstances ne se seraient pas modifiées entre mars 2002 et mars 2008: la création du M2 et ses conséquences étaient suffisamment connues au printemps 2002. La problématique de la circulation dans le complexe scolaire l'était également.
5.1 Conformément à la jurisprudence, les règles de la bonne foi, que l'Etat doit respecter en vertu de l'art. 9 Cst., protègent le citoyen dans la confiance légitime qu'il met dans les assurances reçues des autorités, lorsqu'il a réglé sa conduite d'après des décisions, des déclarations ou un comportement déterminé de l'administration (ATF 131 II 627 consid. 6.1 p. 636 et les arrêts cités). L'autorité doit être intervenue dans une situation concrète à l'égard de personnes déterminées et avoir agi dans les limites de ses compétences; il faut aussi que l'administré se soit fondé sur ces assurances pour prendre des dispositions auxquelles il ne saurait renoncer sans subir de préjudice, et que la réglementation n'ait pas changé depuis le moment où l'assurance a été donnée (ATF 131 II 627 consid. 6.1 p. 637; 129 I 161 consid. 4.1 p. 170; 122 II 113 consid. 3b/cc p. 123 et les références citées).
5.2 La lettre du 7 mars 2002 répond à l'opposition formée contre le projet de transformation et d'agrandissement du Collège de Bois-Murat. La Municipalité y conteste d'abord la qualité des opposants, dans la mesure où les travaux projetés concernaient un secteur situé de l'autre côté du chemin des Ormeaux, au-delà du bâtiment du Collège. Elle relève ensuite que le projet ne prévoit ni accès automobile, ni zone de dépose dans le secteur situé au sud du bâtiment, de sorte que les objections soulevées à ce propos paraissaient sans objet. La renonciation à prévoir un accès par le chemin des Ormeaux était limitée au projet soumis à l'enquête. Rien n'autorise à penser qu'elle serait définitive, ni ne permet d'y voir une quelconque assurance pour le futur. Par ailleurs, les recourants ne sauraient prétendre s'être fondés sur ces déclarations pour prendre des dispositions qui leur seraient préjudiciables. Ils allèguent certes avoir renoncé à recourir contre l'octroi du permis de construire, mais perdent de vue d'une part que leur qualité pour agir était pour le moins douteuse, et d'autre part que les questions liées à l'accès du Collège, et à la circulation en général, ne faisaient pas partie du projet mis à l'enquête. Les recourants n'ont dès lors consenti à aucun sacrifice particulier en se fondant sur les affirmations de la Municipalité. Cela suffit au rejet du grief, sans qu'il y ait encore à examiner le bien-fondé des autres motifs retenus par la cour cantonale.
6. Sur le vu de ce qui précède, le recours est rejeté. Conformément à l'art. 66 al. 1 LTF, les frais judiciaires sont mis à la charge des recourants. Il n'est pas alloué de dépens (art. 68 al. 3 LTF)
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3000 fr., sont mis à la charge des recourants.
3. Il n'est pas alloué de dépens.
4. Le présent arrêt est communiqué aux parties et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'aux Transports publics de la région lausannoise SA, tiers intéressé.
Lausanne, le 18 mars 2009
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Féraud Kurz