Faits:
A. X._, ressortissant d'origine kosovare né en 1972, a déposé une demande d'asile en Suisse le 3 avril 1995. Celle-ci a été rejetée par décision 10 août 1995. Il a néanmoins été mis au bénéfice d'une admission provisoire en Suisse qui a été levée le 31 juillet 1998.
Le 24 juillet 1998, X._ a épousé A._, ressortissante suisse née en 1956 et mère d'un enfant issu d'un précédent mariage.
Le 8 juillet 2002, X._ a introduit une demande de naturalisation facilitée. Le 25 février 2005, les époux ont contresigné une déclaration aux termes de laquelle ils confirmaient vivre en communauté conjugale effective et stable, résider à la même adresse et n'envisager ni séparation, ni divorce. Par décision du 25 juillet 2005, l'Office fédéral des étrangers (actuellement l'Office fédéral des migrations [ODM]) a accordé la naturalisation facilitée à l'intéressé.
Les époux se sont séparés en mai 2006. Ils ont signé une convention de divorce le 29 mai 2007 et ont introduit une requête commune de divorce le 22 novembre 2007. La dissolution du mariage a été prononcée par jugement du 10 avril 2008.
Le 28 juillet 2008, l'intéressé s'est remarié avec une ressortissante kosovare née en 1975, avec laquelle il a eu deux enfants respectivement le *** 2009 et le *** 2010.
B. Le 5 mars 2009, l'ODM a informé X._ qu'il envisageait d'ouvrir une procédure visant à l'annulation de sa naturalisation facilitée et l'a invité à se déterminer. L'intéressé a expliqué n'avoir jamais fait de déclaration mensongère ni dissimulé des faits essentiels. Dans ses déterminations, A._ a expliqué avoir le 15 mai 2006 enjoint à son ex-époux - à son retour du Kosovo où il était parti trois semaines sans l'informer - de quitter le domicile conjugal lorsqu'elle a découvert qu'il la trompait. Elle a ajouté que leur union s'était bien déroulée jusqu'à la naturalisation de son ex-conjoint.
Par décision du 19 juillet 2010, l'ODM a prononcé, avec l'assentiment des autorités cantonales compétentes, l'annulation de la naturalisation facilitée accordée à X._.
C. Par arrêt du 25 février 2011, le Tribunal administratif fédéral (TAF) a rejeté le recours formulé par l'intéressé contre cette décision. Il a considéré que l'examen des faits pertinents de la cause, ainsi que leur déroulement chronologique fondaient la présomption qu'au moment de la signature de la déclaration commune et a fortiori lors de la décision de naturalisation, les époux n'avaient plus la volonté de maintenir une communauté conjugale stable. Les éléments invoqués par l'intéressé n'étaient pas suffisants pour renverser cette présomption.
D. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral d'annuler l'arrêt du TAF et de confirmer la décision lui accordant la naturalisation facilitée. Il se plaint en substance de constatation inexacte des faits, de l'inopportunité de la décision prise par l'autorité de première instance ainsi que d'une violation de l'art. 41 de la loi fédérale du 29 septembre 1952 sur l'acquisition et la perte de la nationalité suisse (LN; RS 141.0). Il sollicite en outre l'octroi de l'effet suspensif.
Le TAF renonce à se déterminer. L'ODM se réfère à l'arrêt attaqué. Le recourant a déposé des observations.
Par ordonnance du 9 mai 2011, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif.

Considérant en droit:
1. L'arrêt attaqué, qui émane du TAF et concerne l'annulation de la naturalisation facilitée accordée au recourant, peut faire l'objet d'un recours en matière de droit public (art. 82 let. a et 86 al. 1 let. a LTF). Le motif d'exclusion de l'<ref-law> n'entre pas en ligne de compte, dès lors qu'il s'agit en l'espèce de naturalisation facilitée et non pas de naturalisation ordinaire. Pour le surplus, le recours a été déposé dans le délai légal (<ref-law>) par une personne légitimée à agir (<ref-law>). Il est donc en principe recevable.
2. Dans son écriture, le recourant se plaint notamment d'une constatation inexacte des faits pertinents ainsi que de l'inopportunité de la décision prise par l'ODM.
2.1 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Si le recourant entend s'écarter de ces constatations de fait, il doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (cf. <ref-law>; <ref-ruling> consid. 5.2.2 p. 322 s.). A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'arrêt attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques appellatoires concernant l'établissement des faits ou l'appréciation des preuves opérés par l'autorité précédente (<ref-ruling> consid. 3 p. 105; <ref-ruling> consid. 5.2.2 p. 322 et les arrêts cités).
2.2 Dans la première partie de son écriture, le recourant présente son propre exposé des faits qui s'écarte partiellement de celui retenu par le TAF. Formulés sur un mode purement appellatoire, ces faits ne peuvent être pris en compte par le Tribunal fédéral. Le recourant fait aussi grief aux autorités précédentes de ne pas avoir tenu compte de la grossesse de son ex-épouse, interrompue pour des raisons médicales en 1998; ce fait devrait lever les doutes des autorités compétente quant à sa volonté de former une union conjugale stable. Allégué pour la première fois devant le Tribunal fédéral, cet élément de fait est nouveau et donc irrecevable (<ref-law>). Le présent arrêt sera donc fondé sur les seuls faits retenus par l'autorité précédente.
2.3 Enfin, le grief du recourant, en tant qu'il concerne l'opportunité de la décision annulant sa naturalisation facilitée, est irrecevable. Le pouvoir d'examen du Tribunal fédéral est en effet limité à la violation du droit (y compris l'excès ou l'abus du pouvoir d'appréciation) et ne s'étend pas à l'opportunité de la décision prise par l'ODM.
3. Le recourant conteste en substance avoir obtenu la naturalisation par des déclarations mensongères. Il soutient qu'il formait une communauté conjugale stable et effective au moment de la signature de la déclaration commune. Ce faisant, il se plaint d'une mauvaise application des règles sur l'annulation de la naturalisation facilitée, en particulier l'art. 41 LN.
3.1 Conformément à cette disposition, l'ODM peut, avec l'assentiment de l'autorité du canton d'origine, annuler une naturalisation facilitée obtenue par des déclarations mensongères ou par la dissimulation de faits essentiels.
3.1.1 Pour qu'une naturalisation facilitée soit annulée, il ne suffit donc pas qu'elle ait été accordée alors que l'une ou l'autre de ses conditions n'était pas remplie; il faut qu'elle ait été acquise grâce à un comportement déloyal et trompeur. S'il n'est pas besoin que ce comportement soit constitutif d'une escroquerie au sens du droit pénal, il est nécessaire que l'intéressé ait donné sciemment de fausses informations à l'autorité ou qu'il l'ait délibérément laissée dans l'erreur sur des faits qu'il savait essentiels (<ref-ruling> consid. 2 p. 165; <ref-ruling> consid. 3.1 p. 115 et les arrêts cités). Tel est notamment le cas si le requérant déclare vivre en communauté stable avec son conjoint alors qu'il envisage de se séparer une fois obtenue la naturalisation facilitée; peu importe que son mariage se soit ou non déroulé jusqu'ici de manière harmonieuse (arrêt 1C_421/2008 du 15 décembre 2008 consid. 4.2.1 et les arrêts cités).
La nature potestative de l'art. 41 al. 1 LN confère une certaine liberté d'appréciation à l'autorité compétente, qui doit toutefois s'abstenir de tout abus dans l'exercice de celle-ci. Commet un abus de son pouvoir d'appréciation l'autorité qui se fonde sur des critères inappropriés, ne tient pas compte de circonstances pertinentes ou rend une décision arbitraire, contraire au but de la loi ou au principe de la proportionnalité (<ref-ruling> consid. 3.1 p. 115; <ref-ruling> consid. 4a p. 101 et les arrêts cités).
3.1.2 La procédure administrative fédérale est régie par le principe de la libre appréciation des preuves (<ref-law> [RS 273], applicable par renvoi de l'<ref-law> [RS 172.021]). L'administration supporte le fardeau de la preuve lorsque la décision intervient, comme en l'espèce, au détriment de l'administré. Cela étant, la jurisprudence admet dans certaines circonstances que l'autorité puisse se fonder sur une présomption. C'est notamment le cas pour établir que le conjoint naturalisé a menti lorsqu'il a déclaré former une union stable, dans la mesure où il s'agit d'un fait psychique, lié à des éléments relevant de la sphère intime, souvent inconnus de l'administration et difficiles à prouver (<ref-ruling> consid. 3.2 p. 485). Partant, si l'enchaînement rapide des événements fonde la présomption de fait que la naturalisation a été obtenue frauduleusement, il incombe alors à l'administré, en raison non seulement de son devoir de collaborer à l'établissement des faits (<ref-law>; <ref-ruling> consid. 3 p. 166; <ref-ruling> consid. 3.2 p. 115 s.), mais encore dans son propre intérêt, de renverser cette présomption (<ref-ruling> consid. 3.2 p. 485 s.).
S'agissant d'une présomption de fait, qui ressortit à l'appréciation des preuves et ne modifie pas le fardeau de la preuve (<ref-ruling> consid. 3.2 p. 486), l'administré n'a pas besoin, pour la renverser, de rapporter la preuve contraire du fait présumé, à savoir faire acquérir à l'autorité la certitude qu'il n'a pas menti; il suffit qu'il parvienne à faire admettre l'existence d'une possibilité raisonnable qu'il n'ait pas menti en déclarant former une communauté stable avec son conjoint. Il peut le faire en rendant vraisemblable, soit la survenance d'un événement extraordinaire susceptible d'expliquer une détérioration rapide du lien conjugal, soit l'absence de conscience de la gravité de ses problèmes de couple et, ainsi, l'existence d'une véritable volonté de maintenir une union stable avec son conjoint lorsqu'il a signé la déclaration (<ref-ruling> consid. 3 p. 165 s; arrêt 1C_421/2008 du 15 décembre 2008 consid. 4.2.2 et les arrêts cités).
3.2 Selon la jurisprudence, une présomption de fait selon laquelle la communauté conjugale n'était pas stable lors de l'octroi de la naturalisation peut être admise si la séparation des époux intervient quelques mois plus tard (cf. <ref-ruling> consid. 4.3 p. 168; <ref-ruling> consid. 3.3 p. 486 s.). En l'occurrence, il s'est écoulé à peine dix mois entre l'octroi de la naturalisation et la séparation des époux. Aussi, contrairement à ce que soutient le recourant, la présomption précitée peut être admise compte tenu de l'enchaînement relativement rapide des événements - non contestés en l'espèce - (déclaration commune en février 2005, octroi de la naturalisation en juillet 2005, séparation des époux fin mai 2006, signature d'une convention de divorce en mai 2007, jugement de divorce en avril 2008 et remariage du recourant en juillet 2008). C'est en vain que le recourant conteste ce mécanisme de présomption, qui a été maintes fois confirmé par la jurisprudence (cf. supra consid. 3.1). Il s'agit donc uniquement de déterminer si l'in-téressé est parvenu à renverser cette présomption.
3.3 Pour l'autorité précédente, cette présomption était renforcée par divers éléments. Ainsi, outre la différence d'âge entre les ex-époux, la relation adultère entretenue par le recourant démontrait que le lien matrimonial n'était pas stable. L'autorité précédente relevait également que le recourant s'était remarié avec une compatriote de trois ans sa cadette, à peine quelques mois après le divorce; il avait eu très rapidement un enfant avec sa nouvelle épouse, puis un second, alors qu'il avait déclaré à son ex-épouse ne pas en vouloir. Le TAF soulignait également le changement de comportement adopté par l'intéressé à l'issue de sa naturalisation.
Le recourant se contente d'affirmer de façon péremptoire, photographies à l'appui, que la communauté conjugale était stable et effective au moment de la déclaration commune et de l'octroi de la naturalisation. Il soutient en outre que l'impulsion de la séparation aurait été donnée par son ex-épouse, de sorte qu'il ne serait pas seul responsable de la désunion du couple; il reproche à cet égard à son ex-épouse de ne jamais l'avoir accompagné dans son pays d'origine et de ne pas avoir développé de liens avec sa belle-famille. Ces explications ne sont pas convaincantes. Elles sont en particulier contredites pas les déclarations de l'ex-épouse selon lesquelles elle a ordonné au recourant de quitter le domicile conjugal lorsqu'elle a eu connaissance de la relation extra-conjugale entretenue par le recourant. De même, l'intéressée a précisé que leur union s'était bien déroulée jusqu'à l'obtention du passeport suisse par le recourant, mais qu'ensuite celui-ci avait de plus en plus fait sa vie de son côté et s'était souvent rendu seul dans sa famille en Suisse et au Kosovo.
3.4 En définitive, même si certains des éléments mentionnés par le TAF - ainsi la différence d'âge entre les époux - ne sont pas pertinents, les éléments avancés par le recourant ne suffisent pas à renverser la présomption établie. Il en découle que les conditions d'application de l'art. 41 LN sont réunies et que le Tribunal administratif fédéral n'a pas abusé de son pouvoir d'appréciation en confirmant l'annulation de la naturalisation facilitée qui avait été octroyée au recourant.
4. Il s'ensuit que le recours doit être rejeté dans la mesure de sa recevabilité. Le recourant, qui succombe, doit supporter les frais judiciaires (art. 65 et 66 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, à l'Office fédéral des migrations et au Tribunal administratif fédéral, Cour III.
Lausanne, le 14 juin 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Fonjallaz Arn