Faits:
A. Le 24 septembre 1999, A._, ressortissant pakistanais né en 1974, dont la requête d'asile en Suisse avait été définitivement écartée le 31 juillet 1999, a épousé B._t, ressortissante suisse née en 1957. Le 5 décembre 2003, il a obtenu la naturalisation facilitée après avoir signé, le 29 octobre 2003, une déclaration sur la sincérité de son union.
Le 15 mars 2005, l'Office fédéral des migrations (ODM) s'est adressé à A._. Depuis le 14 juin 2004 en tout cas, il vivait séparé de son épouse et le divorce avait été prononcé le 21 février 2005. Compte tenu du très bref laps de temps entre la naturalisation et la séparation, une annulation de la naturalisation facilitée était envisageable. Le 8 avril 2005, A._ expliqua que les difficultés étaient apparues au début de l'année 2004, et que la séparation avait été décidée afin de lui "donner une chance de construire une véritable famille". Il produisit une dizaine de déclarations de son ex-belle-famille et de connaissances selon lesquelles il existait une communauté conjugale réelle. Lors de son audition, son ex-épouse confirma que les difficultés du couple étaient dues au fait qu'elle ne pouvait pas avoir d'enfant.
B. Par décision du 12 octobre 2007, l'ODM a annulé la naturalisation facilitée. L'enchaînement des faits faisait apparaître que le mariage ne constituait pas une communauté effective et stable. L'intéressé savait que son épouse, âgée de 42 ans au moment du mariage, ne pourrait pas avoir d'enfants.
Par arrêt du 21 novembre 2008, le Tribunal administratif fédéral (TAF) a confirmé cette décision. Les difficultés conjugales avaient commen-cé une vingtaine de jours seulement après la naturalisation. La question des enfants n'était devenue problématique qu'à ce moment, alors qu'elle était primordiale selon les explications du recourant.
C. Par acte du 13 janvier 2009, A._ forme un recours en matière de droit public tendant à l'annulation de l'arrêt du TAF et de la décision de l'ODM.
Le TAF et l'ODM ont renoncé à se déterminer. Le recourant a requis et obtenu l'effet suspensif.

Considérant en droit:
1. L'arrêt attaqué émane du Tribunal administratif fédéral et concerne l'annulation de la naturalisation facilitée accordée au recourant. Il peut faire l'objet d'un recours en matière de droit public (art. 82 al. 1 let. a et 86 al. 1 let. a LTF). Le motif d'exclusion de l'<ref-law> n'entre pas en ligne de compte, dès lors qu'il s'agit en l'espèce de naturalisation facilitée et non pas de naturalisation ordinaire. Pour le surplus, le recourant a la qualité pour recourir au sens de l'<ref-law> et les conditions formelles de recevabilité sont remplies, de sorte qu'il y a lieu d'entrer en matière.
2. Reprenant les griefs soumis au TAF, en les complétant, le recourant prétend qu'au moment de signer la déclaration du 29 octobre 2003, il n'avait pas encore pris conscience de la gravité de ses problèmes conjugaux liés à l'impossibilité pour son épouse d'avoir des enfants. Il connaissait certes la stérilité de sa femme au moment du mariage, mais ce n'est qu'après l'obtention de la nationalité suisse, sous la pression de sa famille, qu'il aurait évoqué la possibilité d'une adoption; celle-ci aurait été catégoriquement écartée par son épouse, ce qui aurait plongé le recourant dans un état dépressif dont il ne serait sorti qu'après la séparation. Le recourant reproche également au TAF d'avoir méconnu les six ans de vie commune et les témoignages produits attestant une véritable vie conjugale.
2.1 Selon la jurisprudence, la notion de communauté conjugale suppose non seulement l'existence formelle d'un mariage, mais encore une véritable communauté de vie des conjoints; tel est le cas s'il existe une volonté commune et intacte de ceux-ci de maintenir une union conjugale stable; une séparation survenue peu après l'octroi de la naturalisation constitue un indice de l'absence de cette volonté lors de l'obtention de la citoyenneté suisse (<ref-ruling> consid. 2 p. 484; <ref-ruling> consid. 3a p. 98; <ref-ruling> consid. 2b p. 52). Pour qu'une naturalisation facilitée soit annulée en application de l'art. 41 LN, il ne suffit pas qu'elle ait été accordée alors que l'une ou l'autre de ses conditions n'était pas remplie; il faut qu'elle ait été acquise grâce à un comportement déloyal et trompeur. Tel est le cas lorsque l'intéressé a donné sciemment de fausses informations à l'autorité ou qu'il l'ait délibérément laissée dans l'erreur sur des faits qu'il savait essentiels (<ref-ruling> consid. 3.1 p. 115 et les arrêts cités), en particulier s'il déclare vivre en communauté stable avec son conjoint alors qu'il envisage de se séparer une fois obtenue la naturalisation facilitée; peu importe que son mariage se soit ou non déroulé jusqu'ici de manière harmonieuse (arrêt 1C_421/2008 du 15 décembre 2008 consid. 4.2.1 et les arrêts cités).
2.2 La procédure administrative fédérale est régie par le principe de la libre appréciation des preuves (<ref-law>, applicable par renvoi de l'<ref-law>). Ce principe vaut également devant le Tribunal administratif fédéral (<ref-law>). L'administration supporte le fardeau de la preuve lorsque la décision intervient, comme en l'espèce, au détriment de l'administré. Cela étant, la jurisprudence admet dans certaines circonstances que l'autorité puisse se fonder sur une présomption. C'est notamment le cas pour établir que le conjoint naturalisé a menti lorsqu'il a déclaré former une union stable, dans la mesure où il s'agit d'un fait psychique, lié à des éléments relevant de la sphère intime, souvent inconnus de l'administration et difficiles à prouver (<ref-ruling> consid. 3.2 p. 485). Partant, si l'enchaînement rapide des événements fonde la présomption de fait que la naturalisation a été obtenue frauduleusement, il incombe alors à l'administré de renverser cette présomption, en raison, non seulement de son devoir de collaborer à l'établissement des faits (<ref-law>; cf. <ref-ruling> consid. 3.2 p. 115 s.), mais encore de son propre intérêt (<ref-ruling> consid. 3.2 p. 485 s.).
S'agissant d'une présomption de fait, qui ressortit à l'appréciation des preuves et ne modifie pas le fardeau de la preuve (cf. <ref-ruling> consid. 3.2 p. 486), l'administré n'a pas besoin, pour la renverser, de rapporter la preuve contraire du fait présumé, à savoir faire acquérir à l'autorité la certitude qu'il n'a pas menti; il suffit qu'il parvienne à faire admettre l'existence d'une possibilité raisonnable qu'il n'ait pas menti en déclarant former une communauté stable avec son conjoint. Il peut le faire en rendant vraisemblable, soit la survenance d'un événement extraordinaire susceptible d'expliquer une détérioration rapide du lien conjugal, soit l'absence de conscience de la gravité de ses problèmes de couple et, ainsi, l'existence d'une véritable volonté de maintenir une union stable avec son conjoint lorsqu'il a signé la déclaration (ATF 1C_190/2008 du 29 janvier 2009 consid. 3; arrêts 1C_97/2009 consid. 2.2.2; 1C_421/2008 du 15 décembre 2008 consid. 4.2).
2.3 En l'espèce, le TAF s'est fondé sur un faisceau d'indices résultant de l'enchaînement rapide des faits: le rejet de la demande d'asile et le prononcé d'une décision de renvoi fin juillet 1999, le mariage moins de deux mois plus tard avec une femme de dix-sept ans son aînée, la demande de naturalisation facilitée avant même l'échéance du délai de trois ans de vie commune et l'apparition des difficultés conjugales quelque vingt jours seulement après l'octroi de la naturalisation facilitée. Il a par ailleurs considéré que les explications du recourant sur les raisons de ses problèmes de couple n'étaient pas convaincantes: l'impossibilité d'avoir des enfants était connue depuis le mariage, et l'obtention d'une descendance avait toujours constitué un élément essentiel aux yeux du recourant. Celui-ci tente une nouvelle explication en prétendant que le rejet, par son épouse, de l'éventualité d'une adoption serait la cause de la détérioration rapide de la situation du couple. Il s'agit là toutefois d'un fait nouveau, que le recourant n'a allégué ni devant l'ODM ni devant le TAF; il est par conséquent irrecevable (<ref-law>). Cette explication n'est d'ailleurs pas plus crédible que les précédentes: on ne voit pas que la possibilité pour le recourant d'avoir une descendance, y compris par voie d'adoption, n'ait été sérieusement discutée qu'après quatre ans de mariage.
2.4 Le TAF n'a dès lors par abusé de son pouvoir d'appréciation en considérant qu'aucun événement particulier n'expliquait la détérioration rapide du lien conjugal et ne venait ainsi renverser la présomption résultant de l'enchaînement des faits. Les témoignages produits par le recourant attestent de sa bonne intégration dans son entourage, mais non de sa volonté de maintenir une union conjugale après l'obtention de la nationalité suisse.
3. Le recours doit par conséquent être rejeté. Conformément à l'<ref-law>, les frais judiciaires sont à la charge du recourant.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, à l'Office fédéral des migrations et au Tribunal administratif fédéral, Cour III.
Lausanne, le 26 mai 2009
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Féraud Kurz