Faits:
A. Par ordonnance du 17 décembre 2010, le Juge d'instruction de l'arrondissement de Lausanne (ci-après: le Juge d'instruction) a prononcé un non-lieu au terme de l'enquête qu'il a instruite, d'office et sur plainte de A._, contre B._, C._ et D._, pour calomnie, diffamation, subsidiairement injure, faux dans les titres, accès indu à un système informatique, utilisation abusive d'une installation de télécommunication et soustraction de données personnelles.
A._ a recouru contre cette ordonnance de non-lieu auprès du Tribunal d'accusation du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal), en demandant notamment la récusation du Juge d'instruction et le renvoi de la cause au Ministère public de l'arrondissement de Lausanne (ci-après: le Ministère public) pour complément d'enquête. Par arrêt du 24 février 2011, le Tribunal cantonal a rejeté le recours et la demande de récusation. Il a en outre confirmé l'ordonnance de non-lieu, faute d'indices de culpabilité suffisants à l'encontre des prévenus.
B. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler cet arrêt et de renvoyer la cause au Ministère public pour instruction. Il requiert en outre l'octroi de l'assistance judiciaire. Il n'a pas été requis de réponses. Le Tribunal cantonal a produit le dossier de la cause.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 43; <ref-ruling> consid. 1 p. 331 et les arrêts cités).
1.1 L'arrêt attaqué a été rendu le 24 février 2011 de sorte que la qualité pour recourir doit s'examiner au regard de l'<ref-law> dans sa nouvelle teneur en vigueur depuis le 1er janvier 2011 (<ref-law>; cf. arrêts 1B_119/2011 du 20 avril 2011 consid. 1.2; 1B_37/2011 du 4 février 2011 consid. 2; NIKLAUS SCHMID, Übergangsrecht der Schweizerischen Strafprozessordnung, 2010, n. 352 p. 98).
1.2 Aux termes de l'art. 81 al. 1 let. b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Il incombe au recourant de démontrer que cette condition est réalisée, conformément aux exigences de motivation déduites de l'<ref-law> (cf. <ref-ruling> consid. 1 p. 356, 249 consid. 1.1 p. 251). En particulier, la partie plaignante qui n'a pas eu la possibilité de prendre des conclusions civiles doit indiquer quelles conclusions elle entendrait faire valoir et exposer en quoi la décision attaquée pourrait avoir une incidence négative sur le jugement de celles-ci, à moins que l'on puisse le discerner d'emblée et sans ambiguïté (<ref-ruling> consid. 1a p. 187 et les arrêts cités). Une telle démonstration fait manifestement défaut en l'espèce et l'on ne voit pas d'emblée les prétentions civiles que le recourant pourrait éventuellement faire valoir, de sorte que la qualité pour agir ne saurait lui être reconnue sur la base de l'art. 81 al. 1 let. b ch. 5 LTF. La contestation ne portant pas sur le droit de porter plainte, il n'a pas non plus la qualité pour recourir en vertu de l'art. 81 al. 1 let. b ch. 6 LTF.
1.3 Selon la jurisprudence, le plaignant qui n'a pas la qualité pour recourir sur le fond peut seulement se plaindre d'une violation de droits que la loi de procédure applicable ou le droit constitutionnel lui reconnaît comme partie à la procédure, lorsque cette violation équivaut à un déni de justice formel (<ref-ruling> consid. 1.4 p. 44, 29 consid. 1.9 p. 40; <ref-ruling> consid. 2.3.2 p. 232 s. et les références citées). Il en va notamment ainsi du principe de la célérité au sens de l'art. 29 al. 1 Cst., qui doit être considéré comme un droit procédural reconnu aux parties à la procédure (cf. arrêt 1B_134/2008 du 18 août 2008 consid. 1.2 et les références citées). Le recourant est donc fondé à faire valoir une violation de ce principe. Il ne saurait toutefois remettre en cause par ce biais la décision attaquée sur le fond, en contestant le non-lieu en vertu de la maxime in dubio pro duriore. Ces griefs relèvent en effet exclusivement du fond et non d'une éventuelle violation de ses droits de partie, de sorte qu'ils sont irrecevables dans le cadre du présent recours. Il y a donc lieu d'examiner uniquement le grief relatif au principe de la célérité.
2. Invoquant les art. 29 al. 1 Cst. et 6 CEDH, le recourant se plaint d'une violation du principe de la célérité, respectivement d'un déni de justice.
2.1 L'art. 29 al. 1 Cst. garantit notamment à toute personne, dans une procédure judiciaire ou administrative, le droit à ce que sa cause soit traitée dans un délai raisonnable. Cette disposition consacre le principe de la célérité, ou, en d'autres termes, prohibe le retard injustifié à statuer. Viole la garantie ainsi accordée, l'autorité qui ne rend pas une décision qu'il lui incombe de prendre dans le délai prescrit par la loi ou dans le délai que la nature de l'affaire et les circonstances font apparaître comme raisonnable (<ref-ruling> consid. 5.1 p. 331 s.; <ref-ruling> consid. 5 p. 323 ss et les références). Quant à l'art. 6 par. 1 CEDH, il prévoit certes un droit à ce que la cause soit entendue dans un délai raisonnable, mais il n'offre pas à cet égard une protection plus étendue que l'art. 29 al. 1 Cst. (<ref-ruling> consid. 2 p. 192; arrêt 9C_831/2008 du 12 décembre 2008, consid. 2.1 publié in Plädoyer 2009 p. 62). Pour déterminer la durée du délai raisonnable, il y a lieu de se fonder sur des éléments objectifs. Doivent notamment être pris en compte le degré de complexité de l'affaire, l'enjeu que revêt le litige pour l'intéressé ainsi que le comportement de ce dernier et des autorités compétentes. L'attitude de l'intéressé s'apprécie avec moins de rigueur en procédure pénale et administrative qu'en procédure civile; celui-ci doit néanmoins entreprendre ce qui est en son pouvoir pour que l'autorité fasse diligence. Par ailleurs, on ne saurait reprocher à l'autorité quelques temps morts, qui sont inévitables dans une procédure. Cependant, une organisation judiciaire déficiente ou une surcharge structurelle ne peuvent justifier la lenteur excessive d'une procédure, l'Etat ayant à organiser ses juridictions de manière à garantir aux citoyens une administration de la justice conforme au droit constitutionnel (<ref-ruling> consid. 5.2 p. 332 et les références citées).
2.2 En l'espèce, le recourant allègue en substance que B._ n'a été joint téléphoniquement que seize mois après une réquisition du juge d'instruction en ce sens, qu'aucune opération d'enquête n'a été effectuée entre le 30 octobre 2008 et le 7 mai 2009, que la police a rendu son rapport plus d'une année après le dépôt de la plainte et que seuls deux interrogatoires ont été effectués en plus de deux ans d'instruction. Ces affirmations ne sont que partiellement vérifiées à la lecture du dossier cantonal, duquel il ressort que le juge d'instruction a régulièrement adressé des réquisitions à la police, relancé l'inspecteur en charge de l'enquête, entendu les protagonistes de l'affaire et répondu à l'avocat du recourant. Quant à la police, elle a mis en oeuvre les mesures d'instruction requises, procédé à des auditions et rendu plusieurs rapports, les 2 février, 7 mai et 25 septembre 2009. Elle n'est donc pas restée inactive suite au dépôt de la plainte le 24 septembre 2008. De plus, le plaignant, C._ et D._ ont tous les trois été auditionnés et B._ a été contacté par téléphone. Le retard à entendre ce dernier n'apparaît en outre pas imputable aux autorités d'instruction, la police ayant tenté à plusieurs reprises de joindre cette personne vivant en France, avant de pouvoir lui parler à son retour d'un long séjour en Guadeloupe. Pour le surplus, même si l'instruction de la cause a connu certains temps morts inévitables, il y a lieu de constater qu'elle a été menée dans un délai qui peut être qualifié de raisonnable compte tenu de la nature de l'affaire. On ne saurait par conséquent reprocher au juge d'instruction des retards inadmissibles dans la conduite de son enquête, de sorte qu'il n'y a pas eu en l'espèce de violation du principe de la célérité.
3. Il s'ensuit que le recours doit être rejeté, dans la mesure de sa recevabilité. Dès lors que le recourant est dans le besoin et que l'on peut admettre que ses conclusions n'étaient pas d'emblée vouées à l'échec, l'assistance judiciaire doit lui être accordée (<ref-law>). Il y a lieu de désigner Me Philippe Kitsos en qualité d'avocat d'office et de fixer d'office ses honoraires, qui seront supportés par la caisse du Tribunal fédéral (<ref-law>). Le recourant est en outre dispensé des frais judiciaires (<ref-law>). Les intimés n'ayant pas été invités à se déterminer, il ne leur est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est admise. Me Philippe Kitsos est désigné comme défenseur d'office du recourant et ses honoraires, supportés par la caisse du Tribunal fédéral, sont fixés à 1'000 francs.
3. Il n'est pas perçu de frais judiciaires ni alloué de dépens.
4. Le présent arrêt est communiqué au mandataire du recourant, aux intimés, au Ministère public de l'arrondissement de Lausanne et au Tribunal d'accusation du Tribunal cantonal du canton de Vaud.
Lausanne, le 6 juillet 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Fonjallaz Rittener