Faits: A. Le 21 juillet 2004, vers 01 h 40, D._ circulait au guidon de sa moto sur la route secondaire Nyon-Trélex. Peu avant l'Asse, alors qu'il abordait une courbe, il a perdu la maîtrise de son véhicule, chuté et dévié sur la gauche. Il a alors été heurté par le taxi conduit par X._, qui venait en sens inverse, et est décédé des suites de ses blessures. B. Par ordonnance du 31 août 2004, le Juge d'instruction de l'arrondissement de la Côte a prononcé un non-lieu suite à cette mort accidentelle. Cette décision n'a fait l'objet d'aucune communication. Par lettre du 6 décembre 2004, A._, B._ et C._, respectivement veuve et enfants du défunt, ont demandé la réouverture de l'enquête. Ils ont invoqué une violation de l'art. 8 al. 1 LAVI, puisqu'ils n'ont pas pu intervenir comme parties dans la procédure pénale, ni obtenir de décision judiciaire. Par ordonnance du 3 janvier 2005, le Juge d'instruction de l'arrondissement de la Côte a refusé la réouverture de cette enquête. En bref, il a estimé que même si les requérants n'avaient pas été avisés de la décision prise, cette informalité ne pouvait justifier à elle seule la réouverture du dossier, puisque leur intervention dans la procédure n'était pas de nature à influer sur la décision rendue. Il a jugé qu'on ne pouvait reprocher une quelconque négligence au chauffeur de taxi et a nié tout lien de causalité entre le comportement de ce dernier et le décès de D._. C. Par arrêt du 25 janvier 2005, le Tribunal d'accusation vaudois a rejeté le recours de A._, B._ et C._ contre la décision précitée. Il a jugé que la procédure n'était pas viciée au motif que les victimes n'avaient pas pu y participer, faute d'avoir reçu les informations requises. Il a également relevé que l'ordonnance de non-lieu du 31 août 2004, fondée sur des motifs de droit, avait acquis l'autorité de chose jugée et s'opposait à toute poursuite ultérieure, l'action publique étant définitivement éteinte. D. A._, B._ et C._ déposent un pourvoi en nullité auprès du Tribunal fédéral contre l'arrêt susmentionné. Ils invoquent une violation des droits accordés par la LAVI, et plus particulièrement des art. 6 et 8, et se plaignent d'un déni de justice formel. Ils concluent à l'annulation de l'arrêt attaqué. Le Ministère public du canton de Vaud renonce à se déterminer et se réfère à l'arrêt attaqué. X._ conclut au rejet du recours. En substance, il soutient que les recourants n'ont pas démontré en quoi l'ordonnance de non-lieu pouvait influencer négativement l'action civile, que la législation ne prévoit aucune sanction contre la violation des devoirs imposés par la LAVI et que le droit des recourants à une décision judiciaire est épuisé, le Tribunal d'accusation s'étant prononcé sur la question de la réouverture de l'enquête.