Faits:
A. A._, ressortissant du Kosovo né le 9 mai 1958, est arrivé en Suisse au mois d'avril 1993. L'Office fédéral des réfugiés a rejeté la demande d'asile de l'intéressé et a prononcé son renvoi de Suisse au terme d'une décision prise le 25 juin 1993 et confirmée sur recours le 1er décembre 1993 par la Commission suisse de recours en matière d'asile. A._ a été signalé comme disparu le 19 janvier 1994.
Le 17 octobre 1997, A._ a divorcé de sa première épouse, établie au Kosovo avec leurs deux enfants, nés en 1988 et 1990. Le 5 décembre 1997, il a épousé B._, ressortissante suisse née le 27 mars 1951, et s'est vu délivrer une autorisation de séjour annuelle pour vivre auprès d'elle.
Le 6 juin 2002, A._ a introduit une demande visant à l'octroi de la naturalisation facilitée. Le 20 mai 2003, les époux ont signé une déclaration écrite aux termes de laquelle ils confirmaient vivre en une communauté conjugale effective et stable, résider à la même adresse et n'envisager ni séparation, ni divorce. Par décision du 28 mai 2003, l'Office fédéral de l'immigration, de l'intégration et de l'émigration, devenu par la suite l'Office fédéral des migrations, a accordé la naturalisation facilitée à A._.
En décembre 2003, ce dernier a quitté le domicile conjugal pour vivre avec ses enfants qu'il a fait venir en Suisse. Le 16 septembre 2005, les époux A._ et B._ ont adressé au Tribunal civil du district de Boudry une requête commune en divorce accompagnée d'une convention sur les effets accessoires du divorce. Leur divorce a été prononcé le 7 avril 2006. Le 9 novembre 2006, A._ a entrepris des démarches en vue de son remariage avec sa première épouse.
Le 17 janvier 2007, l'Office fédéral des migrations l'a invité à prendre position sur l'opportunité d'ouvrir une procédure en annulation de la naturalisation facilitée. L'intéressé s'est déterminé le 30 janvier 2007, puis le 12 novembre 2007 après que son ex-épouse ait été entendue. Par décision du 18 janvier 2008, l'Office fédéral des migrations a prononcé, avec l'assentiment de l'autorité cantonale compétente, l'annulation de la naturalisation facilitée accordée à A._ au motif que l'octroi de celle-ci était intervenu sur la base de déclarations mensongères, voire d'une dissimulation de faits essentiels. Le Tribunal administratif fédéral a confirmé cette décision au terme d'un arrêt rendu le 11 mars 2009 sur recours de l'intéressé.
B. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler cet arrêt.
L'Office fédéral des migrations et le Tribunal administratif fédéral ont renoncé à déposer des observations.

Considérant en droit:
1. L'arrêt entrepris émane du Tribunal administratif fédéral et concerne l'annulation de la naturalisation facilitée accordée au recourant; il peut faire l'objet d'un recours en matière de droit public devant la cour de céans (art. 82 al. 1 let. a et 86 al. 1 let. a LTF, art. 29 al. 1 let. f RTF). Le motif d'exclusion de l'art. 83 let. b LTF n'entre pas en ligne de compte, s'agissant en l'espèce de naturalisation facilitée et non pas de naturalisation ordinaire (arrêt 1C_85/2007 du 6 septembre 2007 consid. 2). Pour le surplus, le recourant a la qualité pour recourir au sens de l'art. 89 al. 1 LTF. Les autres conditions de recevabilité du recours sont réunies, de sorte qu'il y a lieu d'entrer en matière.
2. En vertu de l'art. 27 al. 1 de la loi fédérale du 29 septembre 1952 sur l'acquisition et la perte de la nationalité suisse (LN; RS 141.0), un étranger peut, ensuite de son mariage avec un ressortissant suisse, former une demande de naturalisation facilitée s'il a résidé en Suisse pendant cinq ans en tout (let. a) ou s'il y réside depuis une année (let. b) et vit depuis trois ans en communauté conjugale avec un ressortissant suisse (let. c). La naturalisation facilitée ne peut pas être accordée, en particulier, s'il n'y a pas de communauté conjugale au moment du dépôt de la requête ou à la date de la décision de naturalisation. D'après la jurisprudence, la notion de communauté conjugale suppose non seulement l'existence formelle d'un mariage, mais encore une véritable communauté de vie des conjoints; tel est le cas s'il existe une volonté commune et intacte de ceux-ci de maintenir une union conjugale stable; une séparation survenue peu après l'octroi de la naturalisation constitue un indice de l'absence de cette volonté lors de l'obtention de la citoyenneté suisse (<ref-ruling> consid. 2 p. 484; <ref-ruling> consid. 3a p. 98; <ref-ruling> consid. 2b p. 52).
Conformément aux art. 41 al. 1 LN et 14 al. 1 de l'ordonnance du 17 novembre 1999 sur l'organisation du Département fédéral de justice et police (RS 172.213.1), l'Office fédéral des migrations peut, avec l'assentiment de l'autorité du canton d'origine, annuler dans les cinq ans une naturalisation facilitée obtenue par des déclarations mensongères ou par la dissimulation de faits essentiels. Pour qu'une naturalisation facilitée soit annulée, il ne suffit donc pas qu'elle ait été accordée alors que l'une ou l'autre de ses conditions n'était pas remplie; il faut qu'elle ait été acquise grâce à un comportement déloyal et trompeur. S'il n'est pas besoin que ce comportement soit constitutif d'une escroquerie au sens du droit pénal, il est nécessaire que l'intéressé ait donné sciemment de fausses informations à l'autorité ou qu'il l'ait délibérément laissée dans l'erreur sur des faits qu'il savait essentiels (<ref-ruling> consid. 3.1 p. 115 et les arrêts cités). Tel est notamment le cas si le requérant déclare vivre en communauté stable avec son conjoint alors qu'il envisage de se séparer une fois obtenue la naturalisation facilitée; peu importe que son mariage se soit ou non déroulé jusqu'ici de manière harmonieuse (arrêt 5A.22/2006 du 13 juillet 2006 consid. 2.2).
La nature potestative de l'art. 41 al. 1 LN confère une certaine latitude à l'autorité compétente, qui doit toutefois s'abstenir de tout abus dans l'exercice de cette liberté. Commet un tel abus l'autorité qui se fonde sur des critères inappropriés, ne tient pas compte de circonstances pertinentes ou rend une décision arbitraire, contraire au but de la loi ou au principe de la proportionnalité (<ref-ruling> consid. 1.2 p. 180). L'administration supporte le fardeau de la preuve lorsque la décision intervient, comme en l'espèce, au détriment de l'administré. Cela étant, la jurisprudence admet dans certaines circonstances que l'autorité puisse se fonder sur une présomption. C'est notamment le cas pour établir que le conjoint naturalisé a menti lorsqu'il a déclaré former une union stable, dans la mesure où il s'agit d'un fait psychique, lié à des éléments relevant de la sphère intime, souvent inconnus de l'administration et difficiles à prouver (<ref-ruling> consid. 3.2 p. 485). Partant, si l'enchaînement rapide des événements fonde la présomption de fait que la naturalisation a été obtenue frauduleusement, il incombe alors à l'administré de renverser cette présomption, non seulement en raison de son devoir de collaborer à l'établissement des faits (art. 13 al. 1 let. a PA), mais également dans son propre intérêt. S'agissant d'une présomption de fait, qui ressortit à l'appréciation des preuves et ne modifie pas le fardeau de la preuve, il suffit que l'administré parvienne à faire admettre l'existence d'une possibilité raisonnable qu'il n'ait pas menti en déclarant former une communauté stable avec son conjoint (<ref-ruling> consid. 3.2 p. 486). Il peut le faire en rendant vraisemblable soit la survenance d'un événement extraordinaire susceptible d'expliquer une détérioration rapide du lien conjugal, soit l'absence de conscience de la gravité de ses problèmes de couple et, ainsi, l'existence d'une véritable volonté de maintenir une union stable avec son conjoint lorsqu'il a signé la déclaration (arrêt 1C_190/2008 du 29 janvier 2009 consid. 3 destiné à la publication).
3. Le recourant s'oppose en vain à l'annulation de sa naturalisation facilitée. Alors qu'il se trouvait sous le coup d'une décision de refus de l'asile et de renvoi de Suisse exécutoire depuis le 1er décembre 2003, il a épousé, quelques mois après l'avoir rencontrée, une femme de sept ans son aînée, divorcée et mère d'un enfant. Cette situation pouvait être qualifiée d'inhabituelle dans le milieu socioculturel dont le recourant est issu (cf. arrêt 1C_439/2008 du 6 novembre 2008 consid. 4 et arrêt 5A.15/2004 du 23 juillet 2004 consid. 3.1). Peu après l'échéance du délai de trois ans de l'art. 27 al. 1 let. c LN, il a formé une demande de naturalisation facilitée. Les époux ont signé la déclaration relative à la stabilité de leur mariage le 20 mai 2003 et le recourant s'est vu octroyer la naturalisation facilitée le 28 mai 2003. Il a quitté le domicile conjugal en décembre 1993 pour vivre avec ses enfants qu'il a fait venir en Suisse. Il a entrepris les démarches en vue de son remariage avec la mère de ceux-ci quelques mois à peine après le prononcé du divorce. Ces éléments et leur enchaînement chronologique particulièrement rapide pouvaient amener le Tribunal administratif fédéral à présumer que l'intéressé visait avant tout à obtenir une autorisation de séjour en Suisse et, ultérieurement, la naturalisation facilitée pour en faire profiter ses enfants et sa première épouse.
Les objections du recourant à cet égard ne sont pas de nature à renverser cette présomption. Son ex-épouse a certes affirmé avoir elle-même évoqué la question du mariage après avoir vécu plusieurs années seule depuis son divorce et qu'elle envisageait sérieusement la poursuite de la vie conjugale lorsqu'elle a signé la déclaration de vie commune. Elle a toutefois admis que leur couple avait connu des difficultés durant l'année 2000, liées notamment à la venue en Suisse des enfants de son conjoint et de la mère de ces derniers, mais que ce dernier était plus disponible depuis leur retour au Kosovo. Elle a précisé que son ex-mari lui avait caché se trouver en situation illégale en Suisse lorsqu'ils se sont rencontrés, qu'il passait les week-ends avec des compatriotes, qu'il ne lui a jamais présenté ses enfants, qu'il se rendait seul au Kosovo durant ses vacances et qu'ils n'avaient aucune activité commune. Il s'agit autant d'éléments que le recourant passe sous silence dans son recours et qui étaient de nature à démontrer que la relation de couple n'était que superficielle lorsqu'ils ont signé la déclaration de vie commune. Le fait qu'il ait quitté le domicile conjugal pour s'installer avec ses enfants dès leur retour en Suisse quelques mois seulement après avoir acquis la nationalité suisse tend à confirmer la fragilité des attaches qui liaient le couple. Il ne ressort au demeurant pas du dossier que le recourant aurait cherché sans succès à mener une vie commune avec sa femme et ses enfants avant de s'installer avec eux. La constitution par le recourant d'un domicile séparé pour vivre avec ses enfants ne repose donc pas sur des circonstances extraordinaires indépendantes de la volonté du couple qui permettraient exceptionnellement d'admettre l'existence d'une communauté conjugale encore intacte au sens de la jurisprudence (cf. ATF <ref-ruling> consid. 2b p. 51). Les considérations sur le caractère inopportun de l'annulation de la naturalisation facilitée pour lui-même et sa famille sont sans pertinence pour déterminer si les conditions d'application de l'art. 41 al. 1 LN sont réunies, comme le reconnaît d'ailleurs le recourant.
4. Manifestement mal fondé, le recours doit être rejeté, ce qui rend sans objet la requête d'effet suspensif présentée par le recourant. Ce dernier prendra en charge les frais judiciaires (art. 65 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, à l'Office fédéral des migrations et au Tribunal administratif fédéral, Cour III.
Lausanne, le 14 mai 2009
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Féraud Parmelin