Faits: A. Le 4 juin 2010, X.A._ a porté plainte contre C._, son beau-père, pour actes d'ordre sexuel avec des enfants et contre D._, son épouse, pour violation du devoir d'assistance ou d'éducation. Il a exposé que sa fille X.B._, née le 6 février 2004, lui avait confié que son grand-père lui «mettait le doigt dans le cucul» et «entre les jambes» et que par ailleurs sa maman lui avait demandé de ne pas en parler car il s'agissait de mensonges. A l'appui de sa plainte, X.A._ a produit l'enregistrement d'une conversation qu'il a eue avec sa fille. B. Le 17 juin 2010, le Juge d'instruction de l'arrondissement de Lausanne a rendu une ordonnance de refus de suivre à cette plainte. C. Par arrêt du 21 juillet 2010, le Tribunal d'accusation du Tribunal cantonal vaudois a rejeté le recours formé par X.A._ contre cette ordonnance qu'il a confirmée. L'autorité cantonale note qu'en date du 23 septembre 2009, le Juge d'instruction de l'arrondissement de Lausanne a prononcé un non-lieu en faveur de C._, prévenu d'actes d'ordre sexuel sur sa petite-fille. Elle précise que le juge avait considéré que les observations médicales n'avaient pas permis de corroborer les soupçons qui résultaient des déclarations du père de l'enfant, auquel celle-ci s'était confiée, et que les auditions de cette dernière par la police n'avaient pas amené d'éléments probants permettant d'étayer les accusations portées contre le prévenu, lequel les contestait catégoriquement. Elle estime que la plainte tendait à solliciter la réouverture de l'enquête classée par l'ordonnance du 23 septembre 2009 et, appliquant l'art. 309 let. a du code de procédure pénale vaudois (ci-après CPP/VD; RSV 312.01), juge que faute d'indices et de faits nouveaux, c'est à juste titre que le juge d'instruction a refusé de suivre à la plainte. D. En son nom propre et au nom de sa fille, X.A._ forme un recours en matière pénale contre cet arrêt. Il reproche à l'autorité cantonale d'avoir fait une application arbitraire de l'art. 309 CPP/VD et conclut, avec suite de frais et dépens, principalement à la réforme de l'arrêt attaqué en ce sens que l'ordonnance du juge d'instruction est annulée et la cause renvoyée pour nouvelle instruction à un nouveau magistrat instructeur. A titre subsidiaire, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour nouvelle décision. Le recourant sollicite en outre l'assistance judiciaire. E. En réponse à une invitation à présenter des observations, l'autorité cantonale s'est référée aux considérants de l'arrêt attaqué et a renoncé à se déterminer; D._ s'en est remise à justice et le Ministère public n'a pas produit de réponse dans le délai qui lui était imparti. Enfin, C._ a conclu au rejet du recours au motif qu'aucun crédit ne peut être accordé aux accusations du recourant, qui n'apporte pas d'élément de preuve justifiant l'ouverture d'une nouvelle enquête. Le 29 mai 2011, le recourant a adressé au Tribunal fédéral un courrier par lequel il entendait faire valoir son droit de réplique. Par courriers des 9 respectivement 10 juin 2011, les intimés n° 3 et 2 ont fait parvenir au Tribunal fédéral leurs observations relatives à cette écriture.