Faits:
A. Le 4 juin 2010, X.A._ a porté plainte contre C._, son beau-père, pour actes d'ordre sexuel avec des enfants et contre D._, son épouse, pour violation du devoir d'assistance ou d'éducation. Il a exposé que sa fille X.B._, née le 6 février 2004, lui avait confié que son grand-père lui «mettait le doigt dans le cucul» et «entre les jambes» et que par ailleurs sa maman lui avait demandé de ne pas en parler car il s'agissait de mensonges. A l'appui de sa plainte, X.A._ a produit l'enregistrement d'une conversation qu'il a eue avec sa fille.
B. Le 17 juin 2010, le Juge d'instruction de l'arrondissement de Lausanne a rendu une ordonnance de refus de suivre à cette plainte.
C. Par arrêt du 21 juillet 2010, le Tribunal d'accusation du Tribunal cantonal vaudois a rejeté le recours formé par X.A._ contre cette ordonnance qu'il a confirmée.
L'autorité cantonale note qu'en date du 23 septembre 2009, le Juge d'instruction de l'arrondissement de Lausanne a prononcé un non-lieu en faveur de C._, prévenu d'actes d'ordre sexuel sur sa petite-fille. Elle précise que le juge avait considéré que les observations médicales n'avaient pas permis de corroborer les soupçons qui résultaient des déclarations du père de l'enfant, auquel celle-ci s'était confiée, et que les auditions de cette dernière par la police n'avaient pas amené d'éléments probants permettant d'étayer les accusations portées contre le prévenu, lequel les contestait catégoriquement. Elle estime que la plainte tendait à solliciter la réouverture de l'enquête classée par l'ordonnance du 23 septembre 2009 et, appliquant l'art. 309 let. a du code de procédure pénale vaudois (ci-après CPP/VD; RSV 312.01), juge que faute d'indices et de faits nouveaux, c'est à juste titre que le juge d'instruction a refusé de suivre à la plainte.
D. En son nom propre et au nom de sa fille, X.A._ forme un recours en matière pénale contre cet arrêt. Il reproche à l'autorité cantonale d'avoir fait une application arbitraire de l'art. 309 CPP/VD et conclut, avec suite de frais et dépens, principalement à la réforme de l'arrêt attaqué en ce sens que l'ordonnance du juge d'instruction est annulée et la cause renvoyée pour nouvelle instruction à un nouveau magistrat instructeur. A titre subsidiaire, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour nouvelle décision.
Le recourant sollicite en outre l'assistance judiciaire.
E. En réponse à une invitation à présenter des observations, l'autorité cantonale s'est référée aux considérants de l'arrêt attaqué et a renoncé à se déterminer; D._ s'en est remise à justice et le Ministère public n'a pas produit de réponse dans le délai qui lui était imparti. Enfin, C._ a conclu au rejet du recours au motif qu'aucun crédit ne peut être accordé aux accusations du recourant, qui n'apporte pas d'élément de preuve justifiant l'ouverture d'une nouvelle enquête.
Le 29 mai 2011, le recourant a adressé au Tribunal fédéral un courrier par lequel il entendait faire valoir son droit de réplique.
Par courriers des 9 respectivement 10 juin 2011, les intimés n° 3 et 2 ont fait parvenir au Tribunal fédéral leurs observations relatives à cette écriture.

Considérant en droit:
1. 1.1 Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 472).
1.2 Le recours a été interjeté le 14 septembre 2010 contre un arrêt rendu le 21 juillet 2010. C'est ainsi la Cour de droit pénal du Tribunal fédéral qui est compétente pour statuer (cf. art. 33 let. c de l'ancien règlement du Tribunal fédéral [RTF; RS 173.110.131] et art. 132 de la loi fédérale sur le Tribunal fédéral [LTF; RS 173.110]), le nouvel <ref-law>, entré en vigueur le 1er janvier 2011, ne s'appliquant pas.
Par ailleurs, les modifications de la LTF entrées en vigueur le 1er janvier 2011 ne sont pas non plus applicables à la présente procédure devant le Tribunal fédéral (cf. <ref-law>; arrêt 4A_584/2010 du 1er février 2011 consid. 1). Dès lors, la qualité pour recourir des recourants doit être examinée au regard de l'<ref-law>, dans sa teneur en vigueur jusqu'au 31 décembre 2010 (NIKLAUS SCHMID, Übergangsrecht der Schweizerischen Strafprozessordnung, Zurich 2010, p. 98, ch. 352).
L'<ref-law> reconnaît la qualité pour former un recours en matière pénale à toute personne ayant pris part à la procédure devant l'autorité précédente, ou ayant été privée de la possibilité de le faire, et ayant un intérêt juridique à l'annulation ou à la modification de la décision attaquée. Aux termes de la let. b ch. 5 de cette disposition, a qualité pour recourir quiconque est victime, au sens défini par la loi fédérale sur l'aide aux victimes d'infractions (LAVI; RS 312.5), à la condition que la décision attaquée puisse avoir des effets sur le jugement de ses prétentions civiles. Est une victime au sens de la LAVI, toute personne qui a subi, du fait d'une infraction, une atteinte directe à son intégrité physique, psychique ou sexuelle (<ref-law>). L'<ref-law> assimile à la victime notamment les père et mère de celle-ci pour ce qui est de ses droits dans la procédure.
1.3 Eu égard à la nature des infractions dénoncées, la qualité de victime de X.B._, et par conséquent de son père, est établie. Par ailleurs, les recourants ont participé à la procédure, dès lors qu'ils ont déposé une plainte pénale et provoqué, par leur recours, l'arrêt attaqué. On ne saurait leur reprocher de ne pas avoir pris de conclusions civiles sur le fond, puisque la procédure n'a pas été menée jusqu'à un stade qui aurait permis de le faire. Il est en outre évident que le non-lieu prononcé par l'autorité cantonale est de nature à influencer négativement le jugement des prétentions civiles qu'elles pourraient faire valoir contre l'intimé, notamment à titre de réparation du tort moral.
2. 2.1 Le recourant soutient que c'est en violation de l'art. 9 Cst. que la cour cantonale a considéré que les conditions d'application de l'art. 309 CPP/VD n'étaient pas remplies. Selon lui, cette autorité ne pouvait pas, sans arbitraire, nier que les déclarations faites par l'enfant en 2010 constituent un nouvel indice au sens de cette disposition.
L'autorité cantonale considère que l'on ignore quand auraient eu lieu les faits rapportés dans l'enregistrement produit par le recourant, de sorte qu'il n'est pas possible de conclure à l'existence de faits nouveaux. Elle juge en outre que le renouvellement de propos concernant les mêmes faits ne suffit pas pour ordonner une nouvelle enquête ou rouvrir la précédente. Elle évoque par ailleurs la possibilité qu'une part de suggestion puisse résulter des questions posées par le recourant à sa fille.
Selon le recourant, la réitération des déclarations de la fillette constitue en soi un indice nouveau et les récents dires de celle-ci apportent un éclairage différent sur la crédibilité de ses affirmations. Il allègue qu'il est insoutenable de considérer qu'une enfant puisse, à l'âge de six ans, renouveler et préciser des déclarations relatives à des attouchements déjà faites deux ans auparavant alors qu'elles seraient dénuées de tout fondement. Admettre le contraire reviendrait à décrédibiliser irrémédiablement l'enfant pour toute déclaration qu'elle pourrait faire à l'encontre de son grand-père. Le recourant note par ailleurs que la volonté de la mère de museler sa fille est un fait nouveau et que rien ne permet de douter des propos de cette dernière sur ce point.
2.2 Le recours en matière pénale n'est pas ouvert pour se plaindre d'une violation du droit cantonal (cf. art. 95 et 96 LTF, a contrario). Le Tribunal fédéral ne peut contrôler l'application de celui-ci que sous l'angle restreint de l'arbitraire (art. 9 Cst.), dans le cadre d'un moyen pris de la violation d'un droit constitutionnel du citoyen, soulevé expressément et motivé avec la précision requise par l'<ref-law> (<ref-ruling> consid. 2.3; <ref-ruling> consid. 1.4).
De jurisprudence constante, une décision est arbitraire et donc contraire à l'art. 9 Cst. lorsqu'elle viole nettement une norme ou un principe juridique clair et indiscuté ou contredit de manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si sa décision apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs ou en violation d'un droit certain. En outre, il ne suffit pas que les motifs de la décision soient insoutenables. Il faut encore que celle-ci soit arbitraire dans son résultat (<ref-ruling> consid. 1.3 p. 4 s.; <ref-ruling> consid. 5.4 p. 148 et les arrêts cités).
2.3 Aux termes de l'art. 309 let. a CPP/VD, une enquête close par une ordonnance de non-lieu peut être rouverte lorsque des indices nouveaux viennent à être découverts.
Comme le relève l'autorité cantonale, le seul renouvellement de déclarations concernant les mêmes faits ne suffit pas pour justifier une réouverture d'enquête.
L'autorité cantonale considère qu'il ne ressort pas clairement de la retranscription des propos de la fillette que celle-ci ferait allusion à d'autres faits que ceux qui ont motivé l'ouverture de la première enquête. Toutefois, selon l'adage « in dubio pro duriore », si la culpabilité du prévenu apparaît vraisemblable, ou simplement possible, un renvoi en jugement s'impose (cf. arrêts 6B_588/2007 du 11 avril 2008, consid. 3.2.3; 6B_615/2007 du 8 janvier 2008 et les références citées). A fortiori on ne peut exclure une réouverture d'enquête au seul motif qu'il n'est pas patent que les faits sont nouveaux alors qu'il n'appert pas d'emblée que tel n'est pas le cas. Il serait en effet incohérent de ne pas reprendre les investigations dans ces circonstances alors que si, à l'issue de l'enquête, les autorités disposaient des mêmes éléments de fait elles devraient renvoyer l'accusé devant un tribunal.
Par ailleurs, en l'espèce, non seulement l'enfant a répété ses accusations deux ans après les avoir émises la première fois, mais elle les a aussi quelque peu précisées. Elle a en outre mentionné pour la première fois la volonté de sa mère de l'empêcher de faire ces révélations. Or, cette circonstance est de nature à modifier la manière d'apprécier ses déclarations dans la mesure notamment où cela constituerait un obstacle supplémentaire, que l'enfant aurait eu à surmonter pour faire les révélations litigieuses.
Enfin, la cour cantonale relève que l'on n'a pas affaire à un récit spontané et qu'une part de suggestion semble émaner des questions posées par le recourant à l'enfant. La manière de procéder s'explique par le fait que le recourant voulait faire répéter à sa fille, en les enregistrant, des propos qu'elle avait tenus la veille. Il s'agit évidemment d'un élément à prendre en considération pour apprécier la crédibilité des déclarations de la fillette, mais on ne saurait en conclure d'emblée que celles-ci sont totalement dénuées de crédibilité.
Compte tenu de l'ensemble de ces circonstances, on ne se trouve pas en présence d'un simple renouvellement des accusations à l'origine d'une précédente procédure, à laquelle il a été mis fin par un non-lieu, et il est insoutenable de conclure à l'absence d'indices nouveaux au sens de l'art. 309 let. a CPP/VD.
3. Le recours doit ainsi être admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision.
L'intimé C._, qui succombe, supportera les frais (<ref-law>) et versera une indemnité de dépens aux recourants (<ref-law>), dont la demande d'assistance judiciaire devient ainsi sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. L'arrêt attaqué est annulé et la cause renvoyée à l'autorité cantonale pour qu'elle rende une nouvelle décision.
2. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge de l'intimé C._.
3. L'intimé C._ versera aux recourants une indemnité de 3000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et au Tribunal d'accusation du Tribunal cantonal vaudois.
Lausanne, le 21 juin 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Mathys Paquier-Boinay