Faits: A. Le 7 février 2009, B._ a déposé plainte pénale pour actes d'ordre sexuel sur son fils A._, né en 1999. De juillet 2002 à juillet 2003, alors qu'il était placé chez une maman de jour, le fils de celle-ci, D._, né en 1990, l'aurait obligé à lui faire des fellations. Une première audition de l'enfant a été effectuée le même jour en présence d'une psychologue indépendante. Elle a fait l'objet d'un enregistrement vidéo et d'un rapport. D._ a contesté les faits. Lors de l'audience du 26 octobre 2009 devant le Tribunal des mineurs du canton de Vaud, A._ a été entendu, en l'absence de l'accusé. Il a confirmé ses déclarations. Par ordonnance du 24 novembre 2009, la Vice-présidente du Tribunal des mineurs a ordonné une expertise de crédibilité de la victime, considérant que les faits étaient contestés et que leur appréciation exigeaient des connaissances spéciales. Le Service universitaire de psychiatrie de l'enfant et de l'adolescent était chargé de déterminer notamment si les déclarations des 7 février et 26 octobre 2009 étaient crédibles et si les actes dénoncés avaient eu des conséquences sur la santé et le développement de l'expertisé. Sur recours de A._ et de ses parents, le Tribunal d'accusation du Tribunal cantonal vaudois a confirmé cette décision. En vertu de l'art. 43 al. 1 LAVI, l'enfant ne devait pas être soumis à plus de deux auditions au cours de la procédure, y compris pour l'expertise de crédibilité. En l'occurrence, le prévenu contestait les faits; ceux-ci s'étaient déroulés plus de cinq ans auparavant alors que l'enfant n'avait que trois ou quatre ans. Ce dernier n'avait pas pu donner de renseignements précis sur le déroulement des faits. Il n'était pas exclu qu'il ait pu être influencé par son entourage ou par des tiers. B. Par acte du 8 février 2010, A._, agissant par ses parents, ainsi que ces derniers agissant en leur nom, forment un recours en matière pénale assorti d'une demande d'effet suspensif. Ils demandent l'annulation de l'arrêt cantonal et le refus de toute expertise de crédibilité. Le Tribunal d'accusation se réfère à son arrêt. Le Ministère public conclut au rejet du recours. D._ conclut à l'irrecevabilité, subsidiairement au rejet du recours. La demande d'effet suspensif a été admise par ordonnance du 2 mars 2010.