Faits: A. A._, ressortissant turc né en 1969, est entré en Suisse au mois d'octobre 1989. Il a déposé une demande d'asile qui a été rejetée par décision du 13 août 1991, confirmée sur recours le 28 octobre 1991. Un délai définitif au 15 janvier 1992 lui a été imparti pour quitter le territoire helvétique. Par la suite, A._ a fait l'objet d'une décision de renvoi du 14 février 1994 ainsi que d'une condamnation pénale du 24 mars 1994 pour infraction à la LSEE pour avoir travaillé en Suisse sans autorisation. En 1996, A._ a contracté mariage avec une compatriote, née en 1977, titulaire d'une autorisation d'établissement en Suisse. Par jugement du 3 février 1998, les autorités turques ont prononcé le divorce. B. Le 10 septembre 1999, A._ a épousé B._, ressortissante suisse née en 1957, mère de deux enfants nés en 1985 et 1988 d'un précédent mariage. Le 30 septembre 2002, A._ a déposé une demande de naturalisation facilitée. Dans le cadre de l'instruction de cette requête, les époux ont contresigné, le 18 septembre 2004, une déclaration aux termes de laquelle ils confirmaient vivre en communauté conjugale effective et stable, résider à la même adresse et n'envisager ni séparation ni divorce. Par décision du 3 novembre 2004, l'Office fédéral de l'immigration, de l'intégration et de l'émigration (actuellement l'Office fédéral des migrations [ODM]) a accordé la naturalisation facilitée à A._. Le 11 juillet 2005, les conjoints ont requis des mesures protectrices de l'union conjugale. Ils ont été autorisés à vivre séparément par jugement du 20 septembre 2005. C. Le 3 août 2006, l'ODM a informé A._ qu'il envisageait d'ouvrir une procédure visant à l'annulation de sa naturalisation facilitée et l'a invité à se déterminer. L'intéressé a transmis ses déterminations datées du 28 août 2006. Il a expliqué avoir signé de bonne foi la déclaration du 18 septembre 2004, la situation s'étant dégradée ultérieurement lorsque le fils cadet de son épouse avait commencé une très violente crise d'adolescence. Le couple aurait alors décidé de se séparer pour le bien de tous. B._ a été auditionnée le 9 novembre 2009. Elle a notamment déclaré que des problèmes conjugaux avaient existé dès 2004 en raison de la crise d'adolescence de son fils, et qu'ils avaient ensuite empirés. Le 13 novembre 2006, les époux ont introduit une requête commune de divorce et la dissolution du mariage a été prononcée par jugement du 19 mars 2007. Le 1er mai 2008, A._ s'est remarié à Istanbul avec une ressortissante turque, née en 1981, avec laquelle il a eu une fille en 2009. Par décision du 27 mai 2009, l'ODM a prononcé, avec l'assentiment des autorités cantonales compétentes, l'annulation de la naturalisation facilitée. D. Par arrêt du 6 décembre 2010, le Tribunal administratif fédéral (TAF) a rejeté le recours formulé le 29 juin 2009 par l'intéressé. Il a considéré que le déroulement chronologique des faits fondaient la présomption qu'au moment de la signature de la déclaration commune et a fortiori lors de la décision de naturalisation, les époux n'avaient plus la volonté de maintenir une communauté conjugale stable. Les éléments invoqués par l'intéressé n'étaient pas suffisants pour renverser cette présomption. E. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du TAF et de confirmer la décision du 3 novembre 2004 lui accordant la naturalisation facilitée. Subsidiairement, il conclut au renvoi de la cause au TAF pour nouveau jugement dans le sens des considérants. Il se plaint d'appréciation arbitraire des preuves et d'une violation de l'art. 41 de la loi fédérale du 29 septembre 1952 sur l'acquisition et la perte de la nationalité suisse (LN; RS 141.0). Il sollicite en outre l'octroi de l'effet suspensif ainsi que l'assistance judiciaire. Le Tribunal administratif fédéral ainsi que l'ODM ont renoncé à se déterminer. Par ordonnance du 15 février 2011, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif.