Faits: A. A._, ressortissant du Kosovo né le 9 mai 1958, est arrivé en Suisse au mois d'avril 1993. L'Office fédéral des réfugiés a rejeté la demande d'asile de l'intéressé et a prononcé son renvoi de Suisse au terme d'une décision prise le 25 juin 1993 et confirmée sur recours le 1er décembre 1993 par la Commission suisse de recours en matière d'asile. A._ a été signalé comme disparu le 19 janvier 1994. Le 17 octobre 1997, A._ a divorcé de sa première épouse, établie au Kosovo avec leurs deux enfants, nés en 1988 et 1990. Le 5 décembre 1997, il a épousé B._, ressortissante suisse née le 27 mars 1951, et s'est vu délivrer une autorisation de séjour annuelle pour vivre auprès d'elle. Le 6 juin 2002, A._ a introduit une demande visant à l'octroi de la naturalisation facilitée. Le 20 mai 2003, les époux ont signé une déclaration écrite aux termes de laquelle ils confirmaient vivre en une communauté conjugale effective et stable, résider à la même adresse et n'envisager ni séparation, ni divorce. Par décision du 28 mai 2003, l'Office fédéral de l'immigration, de l'intégration et de l'émigration, devenu par la suite l'Office fédéral des migrations, a accordé la naturalisation facilitée à A._. En décembre 2003, ce dernier a quitté le domicile conjugal pour vivre avec ses enfants qu'il a fait venir en Suisse. Le 16 septembre 2005, les époux A._ et B._ ont adressé au Tribunal civil du district de Boudry une requête commune en divorce accompagnée d'une convention sur les effets accessoires du divorce. Leur divorce a été prononcé le 7 avril 2006. Le 9 novembre 2006, A._ a entrepris des démarches en vue de son remariage avec sa première épouse. Le 17 janvier 2007, l'Office fédéral des migrations l'a invité à prendre position sur l'opportunité d'ouvrir une procédure en annulation de la naturalisation facilitée. L'intéressé s'est déterminé le 30 janvier 2007, puis le 12 novembre 2007 après que son ex-épouse ait été entendue. Par décision du 18 janvier 2008, l'Office fédéral des migrations a prononcé, avec l'assentiment de l'autorité cantonale compétente, l'annulation de la naturalisation facilitée accordée à A._ au motif que l'octroi de celle-ci était intervenu sur la base de déclarations mensongères, voire d'une dissimulation de faits essentiels. Le Tribunal administratif fédéral a confirmé cette décision au terme d'un arrêt rendu le 11 mars 2009 sur recours de l'intéressé. B. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler cet arrêt. L'Office fédéral des migrations et le Tribunal administratif fédéral ont renoncé à déposer des observations.