Faits: A. X._, ressortissant de l'ex-Yougoslavie, né en 1977, a déposé le 1er avril 1996 une demande d'asile en Suisse qui a été définitivement rejetée le 29 octobre 1997. Il a néanmoins été mis au bénéfice d'une admission provisoire qui a été levée le 11 août 1999. Un délai au 31 mai 2000 lui a été imparti pour quitter la Suisse. Suite à son mariage contracté le 3 mai 2000 avec A._, ressortissante suisse, née en 1980, X._ s'est vu octroyer une autorisation de séjour. Le 15 décembre 2004, il a déposé une demande de naturalisation facilitée fondée sur son mariage. Le 15 juin 2005, les époux ont contresigné une déclaration aux termes de laquelle ils confirmaient vivre en communauté conjugale effective et stable, résider à la même adresse et n'envisager ni séparation, ni divorce. Par décision du 26 juillet 2005, l'Office fédéral des migrations (ci-après: l'ODM) a accordé la naturalisation facilitée à X._. Les époux se sont séparés en février 2006. Ils ont introduit une requête commune de divorce le 24 mai 2006. La dissolution du mariage a été prononcée par jugement du 17 octobre 2006. Le 8 octobre 2007, X._ s'est remarié à Gjilan (Kosovo) avec une ressortissante kosovare, mère d'un enfant né en avril 2002 de père inconnu. La nouvelle épouse a déposé le 26 octobre 2007 une demande de visa auprès des autorités suisses à Pristina pour qu'elle et son fils puissent vivre en Suisse auprès de son époux. B. Le 11 février 2008, l'ODM a informé le prénommé qu'il envisageait d'ouvrir une procédure en annulation de sa naturalisation facilitée et l'a invité à se déterminer. Le 12 mars 2008, X._ a expliqué que lui et son ex-épouse n'avaient pas fait de fausses déclarations en juin 2005, qu'ils formaient une communauté stable, que son ex-épouse avait fait part de son intention de divorcer en 2006 au motif qu'elle avait un ami et, enfin, qu'il avait consenti au divorce dès lors qu'ils n'avaient pas d'enfant commun. Par courrier du 28 février 2008, A._ a accepté, à la demande des autorités, d'être auditionnée dans le cadre de la procédure d'annulation de la naturalisation et elle a en outre transmis une liste des problèmes survenus durant leur mariage. Entendue le 8 juillet 2008, A._ a notamment déclaré que la situation conjugale avait dégénéré six mois après le mariage, les ex-époux n'ayant plus de vie de couple; elle a également ajouté qu'ils avaient rencontré des problèmes conjugaux en août 2005 lorsqu'elle avait appris qu'elle souffrait d'une maladie sexuellement transmissible. X._ s'est déterminé sur les déclarations de son ex-épouse. C. Par décision du 19 juillet 2010, l'ODM a prononcé, avec l'assentiment des autorités cantonales compétentes, l'annulation de la naturalisation facilitée accordée à X._. Par arrêt du 28 avril 2011, le Tribunal administratif fédéral (ci-après: le TAF) a rejeté le recours formulé par l'intéressé contre cette décision. Il a considéré que l'examen des faits pertinents de la cause, ainsi que leur enchaînement chronologique fondaient la présomption qu'au moment de la signature de la déclaration commune, les époux n'envisageaient déjà plus une vie future partagée. Les éléments invoqués par X._ n'étaient pas suffisants pour renverser cette présomption. D. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral d'annuler l'arrêt du TAF et de renoncer à l'annulation de sa naturalisation facilitée. Il se plaint d'une application arbitraire de l'art. 41 de la loi fédérale du 29 septembre 1952 sur l'acquisition et la perte de la nationalité suisse (LN; RS 141.0). Il sollicite en outre l'octroi de l'effet suspensif. Le TAF renonce à se déterminer. L'ODM se réfère à l'arrêt attaqué. Par ordonnance du 21 juin 2011, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif.