Faits:
A. A._, alors ressortissant du Kosovo né en 1969, a déposé une demande d'asile en Suisse au mois d'octobre 1998. Le 13 juillet 1999, il a épousé B._, ressortissante française et suisse née en 1950, dont il a acquis la nationalité française en 2000. Le 27 octobre 2003, il a requis la naturalisation facilitée, qu'il a obtenue le 30 septembre 2004 après avoir signé le 19 août 2004 une déclaration confirmant la stabilité et l'effectivité de la communauté conjugale.
Le 6 avril 2005, les époux ont déposé une requête commune en divorce assortie d'une convention du 19 mars 2005. Le divorce a été prononcé le 20 septembre 2005.
B. Le 4 décembre 2006, l'Office fédéral des migrations (ODM) a informé A._ qu'il envisageait une annulation de la naturalisation facilitée, compte tenu du divorce intervenu peu après son octroi, de la différence d'âge entre les époux et du fait que l'intéressé avait entrepris des démarches en vue de faire venir en Suisse sa fiancée en provenance de Serbie. A._ a indiqué, le 29 décembre 2006, que c'était son épouse qui avait, dans le courant de l'année 2005, exprimé le désir de divorcer. B._ s'est déterminée le 10 avril 2007 en expliquant notamment qu'elle avait voulu divorcer afin que ses avoirs reviennent à ses descendants et non à la famille de son ex-époux au Kosovo. Elle avait décidé de quitter la Suisse en décembre 2005. A._ s'est remarié au Kosovo le 1er août 2007, après la naissance de son enfant le 25 avril 2007. Le 20 mars 2009, il a notamment confirmé qu'au moment de signer la déclaration, il n'y avait pas de volonté de divorcer.
Par décision du 19 mai 2009, l'ODM a annulé la naturalisation facilitée, avec l'assentiment des autorités cantonales compétentes. L'enchainement des faits (séjour illégal en Suisse, demande d'asile, mariage avec une ressortissant suisse de 19 ans son aînée, divorce amiable moins de six mois après l'obtention de la naturalisation, naissance d'un enfant le 25 avril 2007 et mariage avec une ressortissante du Kosovo née en 1972) faisait présumer que la déclaration du 19 août 2004 n'était pas sincère. Les explications de l'intéressé ne permettaient pas de renverser cette présomption.
C. Par arrêt du 25 mars 2011, la Cour III du Tribunal administratif fédéral (TAF) a rejeté le recours formé par A._. Il n'était pas crédible que l'ex-épouse de l'intéressé ait subitement désiré divorcer en 2005, sans séparation préalable ni tentative de réconciliation. Le fait que l'ex-épouse ne voulait pas rencontrer sa belle-famille, l'existence d'un différend d'ordre financier, l'attitude du recourant durant la procédure de divorce (signature d'une convention et prise en charge des frais judiciaires), la poursuite de la cohabitation durant près d'une année après le divorce - alors même que l'ex-épouse prétendait avoir un nouveau projet de vie et que le recourant avait conçu un enfant avec une autre femme - démontraient qu'il n'y avait jamais eu d'union conjugale au sens de la loi.
D. Par acte du 31 mai 2011, A._ forme un recours en matière de droit public par lequel il demande l'annulation de l'arrêt du TAF et de la décision d'annulation de la naturalisation facilitée. Il a requis et obtenu l'effet suspensif.
Le TAF et l'ODM persistent dans leurs décisions respectives. Le recourant a déposé de nouvelles observations le 12 juillet 2011.

Considérant en droit:
1. Dirigé contre une décision du Tribunal administratif fédéral qui confirme l'annulation de la naturalisation facilitée accordée au recourant, le recours est recevable comme recours en matière de droit public (art. 82 al. 1 let. a et 86 al. 1 let. a LTF). Le motif d'exclusion de l'<ref-law> n'entre pas en ligne de compte, dès lors qu'il s'agit en l'espèce de naturalisation facilitée et non pas de naturalisation ordinaire. Pour le surplus, le recourant a la qualité pour recourir au sens de l'<ref-law> et les conditions de recevabilité sont remplies, de sorte qu'il y a lieu d'entrer en matière.
2. Le recourant estime que l'arrêt attaqué violerait l'art. 41 LN. Il affirme qu'il ignorait, au moment de signer la déclaration du 19 août 2004 et en tout cas jusqu'au début de 2005, l'intention de divorcer de son épouse. Cette dernière l'avait confirmé, en précisant que sa volonté de divorcer tenait à des motifs successoraux, et qu'elle avait dû trouver des prétextes pour convaincre le recourant à un divorce amiable. Elle avait aussi confirmé l'existence d'une communauté conjugale stable.
2.1 Conformément aux art. 41 al. 1 LN et 14 al. 1 de l'ordonnance du 17 novembre 1999 sur l'organisation du Département fédéral de justice et police (RS 172.213.1), l'ODM peut, avec l'assentiment de l'autorité du canton d'origine, annuler dans les cinq ans une naturalisation facilitée obtenue par des déclarations mensongères ou par la dissimulation de faits essentiels. Pour qu'une naturalisation facilitée soit annulée, il faut qu'elle ait été acquise grâce à un comportement déloyal et trompeur: l'intéressé doit avoir donné sciemment de fausses informations à l'autorité ou l'avoir délibérément laissée dans l'erreur sur des faits qu'il savait essentiels (<ref-ruling> consid. 2 p. 165; <ref-ruling> consid. 3.1 p. 115 et les arrêts cités). Tel est notamment le cas si le requérant déclare vivre en communauté stable avec son conjoint alors qu'il envisage de se séparer une fois obtenue la naturalisation facilitée; peu importe que son mariage se soit ou non déroulé jusqu'ici de manière harmonieuse (arrêt 1C_406/2009 du 28 octobre 2009 consid. 3.1.1 et l'arrêt cité).
La notion de communauté conjugale suppose non seulement l'existence formelle d'un mariage, mais encore une véritable communauté de vie des conjoints; tel est le cas s'il existe une volonté commune et intacte de ceux-ci de maintenir une union conjugale stable; une séparation survenue peu après l'octroi de la naturalisation constitue un indice de l'absence de cette volonté lors de l'obtention de la citoyenneté suisse (<ref-ruling> consid. 2 p. 165; <ref-ruling> consid. 2 p. 484; <ref-ruling> consid. 3a p. 98; <ref-ruling> consid. 2b p. 52). La jurisprudence admet que l'autorité puisse se fonder sur une présomption pour établir que le conjoint naturalisé a menti lorsqu'il a déclaré former une union stable, dans la mesure où il s'agit d'un fait psychique, lié à des éléments relevant de la sphère intime et difficiles à prouver (<ref-ruling> consid. 3 p. 166; <ref-ruling> consid. 3.2 p. 485). Si l'enchaînement rapide des événements fonde une telle présomption, c'est alors à l'administré qu'il incombe de la renverser (ATF <ref-ruling> consid. 3.2 p. 485 s.). Il n'a pas besoin, pour cela, de rapporter la preuve contraire: il suffit qu'il parvienne à faire admettre l'existence d'une possibilité raisonnable qu'il n'ait pas menti en déclarant former une communauté stable avec son conjoint. Il peut le faire notamment en rendant vraisemblable, soit la survenance d'un événement extraordinaire susceptible d'expliquer une détérioration rapide du lien conjugal, soit l'absence de conscience de la gravité de ses problèmes de couple et, ainsi, l'existence d'une véritable volonté de maintenir une union stable avec son conjoint lorsqu'il a signé la déclaration (<ref-ruling> consid. 3 p. 165 s. et les arrêts cités).
2.1.1 En l'espèce, le recourant a signé la déclaration le 19 août 2004. La naturalisation a été accordée le 30 septembre 2004. Une requête commune de divorce a été déposée le 6 avril 2005, accompagnée d'une convention signée le 19 mars 2005 sur les effets accessoires et la liquidation du régime matrimonial. Le divorce a été prononcé le 20 septembre 2005. Le 27 octobre 2006, une ressortissante du Kosovo a demandé une autorisation d'entrée et de séjour en Suisse afin de pouvoir se marier avec le recourant. Le 25 avril 2007, le recourant a eu un fils avec la précitée. Cet enchaînement des évènements - en particulier la signature d'une convention de divorce sept mois après la déclaration sur la sincérité de l'union conjugale - est propre à fonder la présomption que les liens conjugaux ne présentaient pas, au moment déterminant, la stabilité et l'intensité suffisantes. Le recourant ne remet d'ailleurs pas en cause cette présomption en tant que telle. Il tente diverses explications à la séparation et affirme qu'il ignorait tout des intentions de son épouse, sans toutefois évoquer aucun événement extraordinaire susceptible d'expliquer une détérioration aussi rapide du lien conjugal. L'assentiment du recourant au divorce, sans aucune tentative de réconciliation ou de résolution des problèmes existants, n'est pas compatible avec l'affirmation, quelques mois auparavant, d'une union conjugale sérieuse et stable. Les explications de son ex-épouse paraissent également sujettes à caution, car les difficultés évoquées, d'ordre financier et successoral, pouvaient tout aussi bien être résolues par d'autres moyens qu'un divorce.
2.1.2 Dans ces conditions, il y a lieu de retenir que le recourant n'a pas été à même de renverser la présomption établie par l'autorité intimée. La décision d'annulation de la naturalisation ne viole pas, dès lors, l'art. 41 LN.
2.1.3 Le recourant soutient également en vain que le délai d'annulation (cinq ans selon l'ancienne teneur de l'art. 41 LN, applicable en l'espèce) serait échu. En effet, ce délai court dès l'octroi de la naturalisation, en l'occurrence le 30 septembre 2004 et se rapporte uniquement à la décision de première instance (cf. arrêt. 1C_336/2010 du 28 septembre 2010, consid. 3). Il ne s'applique évidemment pas aux décisions ultérieures sur recours, sans quoi le délai d'annulation se trouverait fortement raccourci et dépendrait des aléas de la procédure (arrêt 5A.3/ 2002 du 29 avril 2002, consid. 3b). Cela étant, le délai n'était pas échu lorsque la décision d'annulation a été prise, le 19 mai 2009.
3. Sur le vu de ce qui précède, le recours doit être rejeté. Le recourant, qui succombe, doit supporter les frais de la présente procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué à la mandataire du recourant, à l'Office fédéral des migrations et au Tribunal administratif fédéral, Cour III.
Lausanne, le 27 septembre 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
Le Greffier: Kurz