Faits:
A. Le 7 février 2009, B._ a déposé plainte pénale pour actes d'ordre sexuel sur son fils A._, né en 1999. De juillet 2002 à juillet 2003, alors qu'il était placé chez une maman de jour, le fils de celle-ci, D._, né en 1990, l'aurait obligé à lui faire des fellations. Une première audition de l'enfant a été effectuée le même jour en présence d'une psychologue indépendante. Elle a fait l'objet d'un enregistrement vidéo et d'un rapport. D._ a contesté les faits.
Lors de l'audience du 26 octobre 2009 devant le Tribunal des mineurs du canton de Vaud, A._ a été entendu, en l'absence de l'accusé. Il a confirmé ses déclarations.
Par ordonnance du 24 novembre 2009, la Vice-présidente du Tribunal des mineurs a ordonné une expertise de crédibilité de la victime, considérant que les faits étaient contestés et que leur appréciation exigeaient des connaissances spéciales. Le Service universitaire de psychiatrie de l'enfant et de l'adolescent était chargé de déterminer notamment si les déclarations des 7 février et 26 octobre 2009 étaient crédibles et si les actes dénoncés avaient eu des conséquences sur la santé et le développement de l'expertisé.
Sur recours de A._ et de ses parents, le Tribunal d'accusation du Tribunal cantonal vaudois a confirmé cette décision. En vertu de l'art. 43 al. 1 LAVI, l'enfant ne devait pas être soumis à plus de deux auditions au cours de la procédure, y compris pour l'expertise de crédibilité. En l'occurrence, le prévenu contestait les faits; ceux-ci s'étaient déroulés plus de cinq ans auparavant alors que l'enfant n'avait que trois ou quatre ans. Ce dernier n'avait pas pu donner de renseignements précis sur le déroulement des faits. Il n'était pas exclu qu'il ait pu être influencé par son entourage ou par des tiers.
B. Par acte du 8 février 2010, A._, agissant par ses parents, ainsi que ces derniers agissant en leur nom, forment un recours en matière pénale assorti d'une demande d'effet suspensif. Ils demandent l'annulation de l'arrêt cantonal et le refus de toute expertise de crédibilité.
Le Tribunal d'accusation se réfère à son arrêt. Le Ministère public conclut au rejet du recours. D._ conclut à l'irrecevabilité, subsidiairement au rejet du recours.
La demande d'effet suspensif a été admise par ordonnance du 2 mars 2010.

Considérant en droit:
1. L'arrêt attaqué confirme une décision par laquelle le juge pénal ordonne la réalisation d'une expertise de crédibilité. Il s'agit d'une décision en matière pénale au sens de l'art. 78 LTF, confirmée par une autorité de dernière instance cantonale (art. 80 LTF).
1.1 Selon l'art. 81 al. 2 LTF, a qualité pour former un recours en matière pénale quiconque a pris part à la procédure devant l'autorité précédente et dispose d'un intérêt juridique à l'annulation ou à la modification de la décision attaquée, soit en particulier la victime, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles (ch. 5).
Les recourants ont en l'occurrence qualité de victimes au sens de l'art. 1 al. 1 et 2 de la loi fédérale sur l'aide aux victimes d'infractions (LAVI; RS 312.5). Ils ont d'ores et déjà déposé des conclusions civiles devant le Tribunal des mineurs, et la décision attaquée est susceptible d'avoir une influence sur le sort de ces prétentions. Par ailleurs, indépendamment de ses prétentions civiles, la victime LAVI a également qualité pour invoquer une violation des droits particuliers qui lui sont reconnus dans la procédure pénale (art. 34 ss LAVI; Message du Conseil fédéral concernant la révision totale de l'organisation judiciaire fédérale du 28 février 2001, FF 2001 p. 4116; arrêt 1B_248/2009 du 26 octobre 2009). Tel est le cas en l'espèce, les recourants faisant valoir le droit de l'enfant à ne pas faire l'objet de plus de deux auditions sur l'ensemble de la procédure (art. 43 al. 1 LAVI). La qualité pour agir doit ainsi leur être reconnue.
1.2 L'arrêt attaqué est de nature incidente puisqu'il s'agit d'une ordonnance de preuve ne mettant pas fin au procès pénal. Selon l'art. 93 LTF, le recours contre une telle décision n'est recevable qu'en présence d'un préjudice irréparable (al. 1 let. a) ou si son admission est susceptible de conduire immédiatement à une décision finale permettant d'éviter une procédure probatoire longue et coûteuse (let. b). Cette seconde hypothèse n'entre pas en considération (ATF 1B_208/ 2009 du 13 janvier 2010 consid. 3).
1.2.1 Selon la jurisprudence, le préjudice exigé à l'art. 93 al. 1 let. a LTF doit être de nature juridique (<ref-ruling> consid. 1.3.4 p. 36 et la jurisprudence citée), c'est-à-dire qu'il ne doit pas pouvoir être réparé par une décision finale favorable au recourant. Un dommage de pur fait, comme la prolongation de la procédure ou un accroissement des frais de celle-ci, n'est pas considéré comme irréparable (<ref-ruling> consid. 1.3.4 p. 36; <ref-ruling> consid. 2.1 p. 190; <ref-ruling> consid. 4 p. 141 et les arrêts cités). C'est au recourant qu'il appartient d'indiquer en quoi la décision préjudicielle ou incidente est susceptible de lui causer un dommage irréparable (<ref-ruling> consid. 1.2 p. 429), à moins que cela ne fasse d'emblée aucun doute (<ref-ruling> consid. 2.3.1 p. 632; Merz, Basler Kommentar BGG, n° 76 ad art. 42; Corboz, Commentaire LTF, Berne 2009, n° 18 ad art. 93).
1.2.2 Les mesures relatives à l'administration des preuves ne causent en principe pas un préjudice irréparable (ATF <ref-ruling>), puisque la régularité des preuves, leur pertinence et leur crédibilité doivent encore être discutées ultérieurement. Si le recourant obtient raison sur le fond, ou si les moyens de preuve litigieux sont écartés du dossier, les effets de la mesure attaquée auront entièrement cessé (ATF 1B_108/ 2009 précité, consid. 4.1). Il en va différemment en l'espèce. Les recourants invoquent le droit de l'enfant, reconnu à l'art. 43 LAVI, de ne pas subir plus de deux auditions dans le cours de la procédure pénale. Cette protection a été instituée au motif qu'un interrogatoire sur les circonstances de l'infraction peut entraîner chez l'enfant victime un effet traumatisant; cette seconde atteinte psychique, appelée "victimisation secondaire", est comparable à celle qui est subie du fait de l'infraction (FF 2000 p. 3510 ss, spéc. p. 3525; <ref-ruling> consid. 1.2.2; <ref-ruling> consid. 2.3 p. 183). Un tel préjudice ne serait évidemment plus réparable par la suite. Il se justifie par conséquent d'entrer en matière.
2. Dans un grief d'ordre formel, qu'il convient d'examiner en premier, les recourants reprochent à la Vice-présidente du Tribunal des mineurs de n'avoir pas suffisamment motivé sa décision de mettre en oeuvre une expertise de crédibilité.
2.1 Conformément au droit d'être entendu, l'autorité doit indiquer dans son prononcé les motifs qui la conduisent à sa décision (<ref-ruling> consid 2c p. 34; <ref-ruling> consid. 2b p. 109). Elle n'est pas tenue de discuter de manière détaillée tous les arguments soulevés par les parties, ni de statuer séparément sur chacune des conclusions qui lui sont présentées. Elle peut se limiter à l'examen des questions décisives pour l'issue du litige; il suffit que le justiciable puisse apprécier correctement la portée de la décision et l'attaquer à bon escient (<ref-ruling> consid. 4.1 p. 88; <ref-ruling> consid. 4.3 p. 540; <ref-ruling> consid. 2b, et les arrêts cités).
2.2 La motivation de l'ordonnance de la Vice-présidente du Tribunal des mineurs apparaît certes très succincte. Le magistrat relève simplement que les affirmations du plaignant sont contestées et que l'appréciation des faits exige des connaissances spéciales. On ne saurait toutefois reprocher au magistrat de ne pas exposer dans les moindres détails les raisons pour lesquelles il estime devoir recourir à un expert. Cela pourrait en effet l'obliger à faire part de son opinion à ce stade de la procédure, en particulier des doutes qu'il peut avoir à l'égard de certaines affirmations des parties, au terme d'une appréciation anticipée des preuves. Une telle prise de position ne serait guère compatible avec l'apparence d'impartialité dont doit faire preuve le magistrat jusqu'au moment de rendre son jugement.
Dans le cas d'espèce, l'énoncé des questions soumises à l'expert pouvait aussi renseigner les recourants sur les points que le magistrat désirait éclaircir. Pour l'essentiel, ces questions portent sur le processus de dévoilement, ainsi que sur les conséquences des actes dénoncés sur la santé de l'enfant. Les recourants disposaient ainsi de suffisamment d'éléments pour contester efficacement la décision du juge auprès de l'autorité de recours.
2.3 Même s'il fallait considérer la décision du juge des mineurs comme insuffisamment motivée, la jurisprudence considère qu'une telle irrégularité peut être réparée lorsque l'intéressé jouit de la possibilité de s'exprimer librement devant une autorité de recours disposant du même pouvoir d'examen que l'autorité inférieure, et qui peut ainsi contrôler librement l'état de fait et les considérations juridiques de la décision attaquée (<ref-ruling> consid. 2.2 p. 204; <ref-ruling> consid. 2.2.3 p. 135; <ref-ruling> consid. 3d/aa p. 437; <ref-ruling> consid. 2b p. 132). Tel est le cas du tribunal d'accusation saisi d'un recours contre une ordonnance d'expertise (art. 294 al. 1 let. e du code de procédure pénale vaudois - CPP/VD -, par renvoi de l'art. 58 de la loi sur la juridiction pénale des mineurs - LJPM), cette juridiction statuant librement sur les questions de fait et de droit, sans être limitée par les moyens et les conclusions des parties (art. 306 al. 1 CPP/VD). Les recourants ne prétendent pas que l'arrêt cantonal serait lui aussi insuffisamment motivé, de sorte qu'un éventuel vice entachant la décision de première instance a ainsi été réparé.
3. Sur le fond, les recourants se plaignent d'arbitraire dans l'appréciation des faits. Ils relèvent qu'en raison de la grande liberté d'appréciation dont bénéficie le juge, une expertise de crédibilité ne devrait être ordonnée que dans des circonstances particulières, par exemple en présence de déclarations d'un petit enfant fragmentaires ou difficilement interprétables. En l'occurrence, l'enfant est âgé de plus de dix ans. Rien ne permettrait de soupçonner l'existence d'un trouble psychique; au contraire, le psychologue ayant procédé à la première audition avait relevé que l'enfant répondait volontiers, racontait spontanément son histoire et essayait de donner des détails, sans hésiter à dire lorsqu'il ne se souvenait pas. Contrairement à ce qu'a retenu le Tribunal d'accusation, les propos de l'enfant ne comporteraient aucune difficulté de compréhension ou d'interprétation.
Les recourants se prévalent par ailleurs de l'art. 43 LAVI, qui limite à deux le nombre d'auditions de l'enfant. En l'occurrence, l'enfant a déjà été entendu à deux reprises, la première fois en présence d'une psychologue, la seconde lors de l'audience devant le juge des mineurs. Une nouvelle audition ne serait justifiée ni par un intérêt scientifique, ni par l'intérêt de l'enfant.
3.1 Conformément au principe de la libre appréciation des preuves (art. 70 al. 2 LJPM; art. 169 al. 3 et 249 PPF), l'appréciation de la crédibilité des divers moyens de preuve relève en premier lieu de la compétence du juge du fait et aucun moyen de preuve ne s'impose à lui. Le magistrat ne saurait se soustraire à son devoir de libre appréciation en exigeant, sans nuance et quasi automatiquement, qu'une expertise de crédibilité soit ordonnée dès que des déclarations sont contestées, contiennent quelques imprécisions ou des contradictions mineures ou manquent de clarté sur des points secondaires (arrêt 1P.8/2002, du 5 mars 2002, consid. 4.3.1). Le juge ne doit ainsi recourir à une expertise de crédibilité qu'en présence de circonstances particulières (<ref-ruling> consid. 2 p. 86 et les arrêts cités).
Pour déterminer s'il y a lieu d'ordonner une expertise de crédibilité d'un enfant, il faut prendre en considération, selon les circonstances spécifiques du cas, un certain nombre d'éléments, parmi lesquels le degré de compréhensibilité, de cohérence et de crédibilité des dépositions à examiner. Il faut également observer dans quelle mesure ses déclarations sont compatibles avec les autres éléments de preuve recueillis. L'âge de l'auteur de la déposition, son degré de développement et son état de santé psychique de même que la portée de ses déclarations eu égard à l'ensemble des preuves administrées entrent également en considération. Une expertise de crédibilité effectuée par un spécialiste peut notamment s'imposer s'agissant de déclarations d'un petit enfant, qui sont fragmentaires ou difficiles à interpréter, lorsqu'il existe des indices sérieux de troubles psychiques ou encore lorsque des éléments concrets donnent à penser que la personne interrogée a été influencée par un tiers (ATF <ref-ruling> consid. 2.4 p. 184 et les références citées).
3.2 Dans le cadre des dispositions sur la protection et les droits de la victime dans la procédure pénale (art. 34ss LAVI), les articles 41 à 44 LAVI instituent une protection supplémentaire en faveur des enfants, soit des victimes âgées de moins de dix-huit ans au moment de l'ouverture de la procédure (GOMM/ZEHNTER, Opferhilfegesetz, Berne 2009, n° 6 ad art. 41 LAVI). La victime d'une infraction contre l'intégrité sexuelle ne doit en principe pas être confrontée au prévenu (art. 42 al. 1 LAVI), sous réserve du droit d'être entendu de ce dernier (al. 3). Par ailleurs, l'enfant ne doit en principe pas être soumis à plus de deux auditions sur l'ensemble de la procédure (art. 43 al. 1 LAVI). La première audition a lieu dès que possible et fait l'objet d'un enregistrement vidéo; la seconde est organisée si les parties n'ont pas pu exercer leurs droits ou lorsque cela est nécessaire au bon déroulement de l'enquête ou à la sauvegarde des intérêts de l'enfant (al. 2 et 3). La limitation du nombre d'auditions concerne également une éventuelle expertise de crédibilité (ATF <ref-ruling> consid. 2.4 p. 184/185). Comme le texte de la loi le précise, il s'agit d'un principe, de sorte que des exceptions restent possibles; il n'est toutefois pas question de les systématiser. C'est au juge qu'il appartient de prendre les mesures nécessaires propres à concilier tant les droits des parties (victime et accusé) que les intérêts de la poursuite pénale (ATF <ref-ruling> consid. 2.5 p. 186).
3.3 En l'occurrence, deux auditions ont déjà eu lieu dans le cadre de la procédure pénale. La première a été menée par un enquêteur en présence d'un spécialiste. Il n'est pas contesté que cette audition satisfait aux exigences de l'art. 43 LAVI. Elle a notamment fait l'objet d'un enregistrement vidéo ainsi que d'un rapport écrit. La seconde a eu lieu devant le Tribunal des mineurs lors de l'audience du 26 octobre 2009. L'enfant a été interrogé sur la manière dont s'étaient passés les faits. Ceux-ci se seraient déroulés de juillet 2002 à juillet 2003, alors que l'enfant était âgé de trois à quatre ans. Celui-ci n'en a fait part qu'à la fin de l'année 2008, soit plus de quatre ans plus tard, alors qu'il était âgé de neuf ans. Le jeune âge de la victime au moment des faits, ainsi que le long intervalle qui s'est écoulé jusqu'à leur révélation, constitue déjà une indication suffisante pour une expertise de crédibilité. Dans un tel contexte, les circonstances et les motifs du dévoilement apparaissent comme des éléments essentiels pour juger de la crédibilité de la victime. Or, ni le rapport de la première audition, ni l'interrogatoire devant le Tribunal n'ont porté sur cette question, pas plus que sur celle d'une éventuelle suggestibilité de l'enfant. Il s'agit manifestement de questions que seul une expertise répondant aux standards professionnels reconnus par la doctrine et la jurisprudence récente (<ref-ruling> consid. 5 p. 58; <ref-ruling> consid. 2 p. 85) peut être en mesure de résoudre de manière probante.
3.4 Il y a lieu également de relever qu'à ce stade, l'accusé n'a pas encore pu exercer son droit d'être entendu conformément aux art. 6 par. 3 let. d CEDH et 32 al. 2 Cst. puisque tant la première que la seconde audition ont eu lieu hors sa présence, conformément d'ailleurs à l'art. 42 LAVI. Il n'en demeure pas moins que l'accusé devra en tout cas, après avoir pris connaissance des déclarations à charge, pouvoir faire poser des questions complémentaires à leur auteur, le cas échéant par écrit, ce d'autant plus que les déclarations de l'enfant constituent l'élément essentiel de l'accusation et pourraient dès lors apparaître décisives (<ref-ruling>; <ref-ruling>). De ce point de vue également, une nouvelle audition de l'enfant apparaît inévitable.
3.5 Les recourants estiment qu'une audition supplémentaire aura pour effet de victimiser une nouvelle fois l'enfant. Ils se contentent toutefois d'affirmations générales, sans prétendre que les deux premières auditions se seraient révélées particulièrement néfastes. La réalisation d'une expertise de crédibilité répond d'ailleurs non seulement à l'intérêt de l'enquête et à l'exercice des droits de la défense, mais aussi dans une certaine mesure à l'intérêt de la victime elle-même. En effet, les questions posées à l'expert ne se rapportent pas seulement à la crédibilité des déclarations de l'enfant, mais aussi aux effets des actes dénoncés sur sa santé et son développement, ainsi qu'aux mesures qui pourraient lui permettre de surmonter son traumatisme. Il s'agit là aussi de questions qui n'ont apparemment pas encore été abordées dans le cadre de la procédure. On ne saurait enfin perdre de vue que la renonciation à une expertise de crédibilité, dans le souci d'éviter une nouvelle audition de l'enfant, pourrait conduire à un acquittement au bénéfice du doute, ce qui engendrerait pour une victime, un traumatisme assurément supérieur à celui qui pourrait résulter d'une audition supplémentaire (ATF <ref-ruling> consid. 2.5 p. 186).
Dans ces conditions, l'arrêt attaqué n'est ni arbitraire, ni contraire aux exigences de la LAVI, et procède d'une pesée correcte des intérêts en présence.
3.6 Il convient encore de rappeler que la suite de la procédure devra être menée conformément aux exigences particulières découlant de la LAVI. Si l'expert ne peut fonder son avis sur les seules pièces du dossier (soit en particulier l'enregistrement vidéo, le rapport établi à cette occasion et le procès-verbal d'audience), il devra s'efforcer de n'entendre l'enfant qu'un minimum de fois (ATF <ref-ruling> consid. 2.6 p. 187). Le juge devra aussi veiller à ce que les droits du prévenu puissent être exercés dans un cadre approprié - le cas échéant au moyen de questions écrites (GOMM/ZEHNTER, op. cit., n° 6 ad. art. 41 LAVI) -, tenant compte du fait qu'une confrontation est en principe exclue (art. 42 al. 1 LAVI) et que l'enfant a déjà été entendu une fois par le Tribunal.
4. Sur le vu de ce qui précède, le recours est rejeté. L'art. 30 al. 1 LAVI ne prévoit pas que la gratuité s'étende aux frais relatifs à la procédure pénale. Il y a donc lieu de mettre les frais judiciaires à la charge des recourants, conformément à l'art. 66 al. 1 LTF, ainsi qu'une indemnité de dépens allouée à l'intimé qui obtient gain de cause (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 1000 fr., sont mis à la charge des recourants.
3. Une indemnité de dépens de 1000 fr., est allouée à l'intimé D._, à la charge des recourants.
4. Le présent arrêt est communiqué aux mandataires des parties, au Procureur général et au Tribunal d'accusation du Tribunal cantonal du canton de Vaud.
Lausanne, le 19 avril 2010
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Féraud Kurz