Faits: A. A.a A._, né en 1947, et dame A._, née en 1950, se sont mariés le 11 octobre 1988. De cette union est issue un enfant, B._, née en 1989. A.b Le 19 décembre 2005, l'épouse a ouvert une action en divorce. Au cours de cette procédure, les parties ont signé une convention, ratifiée pour valoir ordonnance de mesures provisionnelles, par laquelle dame A._ s'engageait à verser à A._ une contribution d'entretien mensuelle de 2'000 fr. dès le 15 décembre 2005. Par la suite, la cause a été rayée du rôle et la convention déclarée caduque. A.c Le 29 octobre 2007, l'époux a déposé une requête de mesures protectrices de l'union conjugale. Du dossier, il ressort que le juge des mesures protectrices n'a pas établi la situation financière des parties, considérant notamment que les revenus de l'épouse pour l'année 2007 "étaient totalement inconnus". C'est pourquoi, il a statué "en équité", pour rendre une ordonnance le 25 mars 2008, par laquelle il a reconduit la pension de 2'000 fr. arrêtée conventionnellement en 2005. Les deux parties ont recouru contre cette ordonnance. En audience du 3 juin 2008, elles ont signé une convention dont les termes étaient les suivants: (I) dame A._ reconnaît devoir à A._, pour solde des prétentions d'entretien au 31 mai 2008, la somme de 18'000 fr. (...); (II) Tous droits sont expressément réservés sur la question de l'entretien provisionnel pour la période postérieure au 31 mai 2008". B. B.a Le 31 mars 2008, dame A._ a déposé une nouvelle demande unilatérale en divorce. Le 2 juin 2008, soit le jour précédant la conclusion de la convention précitée, elle a déposé une requête de mesures provisionnelles devant le Président du Tribunal d'arrondissement de Lausanne. Elle a conclu à ce qu'elle soit libérée de contribuer à l'entretien de son époux durant la procédure de divorce. A._ a conclu, en dernier lieu, à ce que son épouse soit condamnée à lui verser une contribution d'entretien de 4'000 fr. par mois, dès le 1er juin 2008. Par ordonnance du 18 novembre 2009, le Président du tribunal a libéré dame A._ du paiement de toute contribution d'entretien en faveur de son époux, dès le 1er juin 2008. En substance, il a retenu que le mariage n'avait pas eu d'impact décisif sur la vie de l'intimé, ce dernier ayant par choix consacré pendant dix ans tout son temps à l'entraînement de tennis de sa fille, tout en étant d'ailleurs rétribué pour cette tâche. B.b A._ a interjeté un recours en appel contre cette ordonnance, recours que le Tribunal d'arrondissement de Lausanne a rejeté par arrêt du 2 juin 2010 pour le même motif. C. Par mémoire posté le 5 juillet 2010, A._ exerce un recours en matière civile contre cet arrêt. Principalement, il conclut à sa réforme en ce sens que dame A._ contribue à son entretien par le versement régulier d'une pension mensuelle fixée à dire de justice, mais non inférieure à 3'500 fr., depuis le 1er juin 2008. Subsidiairement, il conclut à son annulation et au renvoi de la cause pour nouvelle décision dans le sens des considérants. Le recourant a par ailleurs requis d'être mis au bénéfice de l'assistance judiciaire. Invitée à se déterminer, l'intimée a conclu à l'irrecevabilité, subsidiairement au rejet, du recours. L'autorité cantonale n'a pas transmis d'observations. Par acte du 6 juin 2011, le recourant a spontanément déposé des observations, transmises à l'intimée par envoi du 8 juin 2011. D. A._ ayant déposé simultanément un recours en nullité auprès de la Chambre des recours du Tribunal cantonal vaudois en date du 17 mai 2010, l'instruction du recours en matière civile a été suspendue par ordonnance présidentielle du 12 juillet 2010, jusqu'à droit connu sur le recours pendant. Dans son arrêt du 9 novembre 2010, notifié aux parties le 17 novembre 2010, la Chambre des recours a rejeté le recours en nullité. A._ a interjeté un recours en matière civile devant le Tribunal fédéral contre cet arrêt, par mémoire posté le 3 janvier 2011. Par arrêt du 6 janvier 2011, ce recours a été déclaré irrecevable en raison de son dépôt tardif, le délai de 30 jours étant arrivé à échéance le 20 décembre 2010, faute de suspension des délais durant les féries dans les procédures concernant des mesures provisionnelles (arrêt 5A_6/2011 du 6 janvier 2011).