Faits: A. A.a X._, né en 1955, et dame X._, née en 1960, se sont mariés le 17 septembre 1980 à Saint-Prex. Quatre enfants, aujourd'hui majeurs, sont issus de cette union. A.b Par convention signée le 10 décembre 2008, le couple a notamment décidé qu'il vivrait séparé jusqu'au 31 janvier 2010 et que dame X._ contribuerait à l'entretien de son époux par le versement d'une contribution mensuelle de 3'600 fr., allocations familiales en sus, ce dès le 1er janvier 2009. B. B.a Le 17 mars 2009, dame X._ a déposé une requête de mesures protectrices de l'union conjugale devant le Président du Tribunal d'arrondissement de l'Est vaudois, concluant, entre autres, à ce qu'elle ne soit plus astreinte à contribuer à l'entretien de son époux dès le 1er janvier 2009. Par accord du 29 avril 2009, les époux X._ ont convenu qu'ils vivraient séparés pour une durée indéterminée et que dame X._ contribuerait à l'entretien de son époux par le versement d'une pension mensuelle de 2'000 fr. dès le 1er janvier 2009, augmentée à 2'250 fr. dès le 1er juillet 2009. B.b Le 6 mai 2009, X._ a requis une modification de la contribution d'entretien, requête qu'il a finalement retirée par courrier du 6 novembre 2009. L'audience appointée dans le cadre de cette procédure a néanmoins été maintenue, dame X._ ayant pris des conclusions tendant à ce qu'elle ne soit plus tenue de contribuer à l'entretien de son mari dès le 1er août 2009. Par prononcé du 13 novembre 2009, le Président du Tribunal d'arrondissement a autorisé les époux à vivre séparés pour une durée indéterminée et condamné l'épouse à verser à son mari une contribution d'entretien mensuelle de 1'300 fr., allocations familiales en sus, ce dès le 1er mars 2009. B.c X._ a appelé de cette dernière décision, réclamant le versement d'une contribution mensuelle de 2'670 fr. pour les mois d'août à septembre 2009 et de 2'400 fr. dès le mois d'octobre 2009. Son épouse a conclu au rejet de l'appel, subsidiairement à la suppression de toute contribution d'entretien. Par arrêt du 29 avril 2010, le Tribunal d'arrondissement a libéré dame X._ du versement de toute pension alimentaire dès le 1er novembre 2009. C. Contre cette dernière décision, X._ exerce un recours en matière civile au Tribunal fédéral. Invoquant la violation de la protection contre l'arbitraire (art. 9 Cst.), le recourant reprend les conclusions prises devant l'instance cantonale inférieure et demande à être mis au bénéfice de l'assistance judiciaire. Le Tribunal d'arrondissement s'en est remis à justice quant au sort du recours tandis que l'intimée, qui a sollicité l'assistance judiciaire, ne s'est pas déterminée dans le délai qui lui était imparti. D. La demande d'effet suspensif du recourant a été rejetée par ordonnance présidentielle du 31 mai 2010.