Sachverhalt:
A. A.a A._, aus Kosovo stammend, hielt sich seit 1988 wiederholt als Saisonnier in der Schweiz auf, bis er Anfang 1993 wegen Zuwiderhandlungen gegen ausländerrechtliche Bestimmungen eine zweijährige Einreisesperre erwirkte. Nach Ablauf dieser Massnahme bemühte er sich im Mai 1995 erfolglos um eine Einreisebewilligung zwecks Vorbereitung der Ehe mit der Schweizer Bürgerin B._. Darauf reiste er im Juli 1995 illegal in die Schweiz ein und stellte ein Asylgesuch. Wenige Wochen später, am 25. August 1995, heiratete er B._ und zog sein Asylgesuch zurück.
In der Folge erhielt A._ eine Aufenthaltsbewilligung zum Verbleib in der Schweiz.
A.b Während eines Aufenthalts in Kosovo zeugte A._ mit seiner Landsfrau C._ den Sohn D._, der am 25. Oktober 1999 auf die Welt kam.
A.c Am 1. Mai 2001 ersuchte A._ gestützt auf die Ehe mit B._ um erleichterte Einbürgerung. Die Frage nach der Existenz ausserehelicher ausländischer Kinder unter 20 Jahren verneinte er im Formulargesuch.
Die Eheleute unterzeichneten am 24. September 2001 zuhanden der Einbürgerungsbehörde eine gemeinsame Erklärung, wonach sie in einer tatsächlichen, ungetrennten, stabilen ehelichen Gemeinschaft an derselben Adresse zusammenlebten und weder Trennungs- noch Scheidungsabsichten bestünden. Die Ehegatten nahmen ferner unterschriftlich zur Kenntnis, dass die erleichterte Einbürgerung nicht möglich ist, wenn vor oder während des Einbürgerungsverfahrens einer der Ehegatten die Trennung oder Scheidung beantragt hat oder keine tatsächliche eheliche Gemeinschaft mehr besteht, und dass die Verheimlichung dieser Umstände zur Nichtigerklärung der Einbürgerung führen kann.
Am 15. November 2001 wurde A._ erleichtert eingebürgert. Nebst dem Schweizer Bürgerrecht erwarb er die Bürgerrechte des Kantons Obwalden und der Gemeinde Lungern.
A.d Am 28. November 2002 unterzeichneten A._ und seine schweizerische Ehefrau eine Scheidungskonvention und unterbreiteten Anfang Dezember 2002 dem Bezirksgericht Obwalden ein gemeinsames Scheidungsbegehren. Am 2. April 2003 wurde die Ehe geschieden.
Im November desselben Jahres erwirkte A._, der zwischenzeitlich in den Kanton Zürich gezogen war, die Erteilung von Besuchervisa an C._ und den gemeinsamen Sohn D._. Am 29. Januar 2004 wurde D._ von seinem Vater förmlich anerkannt. Wenige Tage später, am 9. Februar 2004, ging A._ mit C._ die Ehe ein. In der Folge stellte er ein Gesuch um Familiennachzug, dem am 16. August 2006 unter Vorbehalt entsprochen wurde. Aus der Ehe mit C._ gingen zwei weitere Kinder hervor.
A.e Von der Migrationsbehörde des Kantons Zürich auf die erwähnten Sachumstände aufmerksam gemacht, teilte das Bundesamt für Migration A._ mit, dass gegen ihn ein Verfahren auf Nichtigerklärung der erleichterten Einbürgerung eröffnet werde. Am 7. November 2006 erteilte der Kanton Obwalden als Heimatkanton von A._ seine Zustimmung zur Nichtigerklärung der Einbürgerung. Mit Verfügung vom 9. November 2006 erklärte das Bundesamt für Migration die erleichterte Einbürgerung des Beschwerdeführers für nichtig. Weiter stellte die Vorinstanz fest, dass sich die Nichtigkeit auf alle Familienmitglieder erstrecke, deren Schweizer Bürgerrecht auf der nichtig erklärten Einbürgerung beruhe.
A._ focht die Verfügung des Bundesamtes für Migration an. Mit Urteil vom 5. August 2009 wies das Bundesverwaltungsgericht die Beschwerde ab, soweit es darauf eintrat.
B. A._ hat gegen das Urteil des Bundesverwaltungsgerichts beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten erhoben. Neben der Aufhebung des angefochtenen Urteils beantragt er, es sei festzustellen, dass das Verfahren betreffend Nichtigerklärung der erleichterten Einbürgerung gesamthaft nicht innert der verfassungsrechtlich gebotenen Frist abgeschlossen worden sei, was im Ergebnis zu einer Aufhebung des angefochtenen Urteils führe. Ferner ersucht der Beschwerdeführer um Erteilung der aufschiebenden Wirkung der Beschwerde.
C. Das Bundesverwaltungsgericht hat auf Vernehmlassung verzichtet. Das Bundesamt für Migration schliesst auf Beschwerdeabweisung.
D. Mit Verfügung vom 14. Oktober 2009 hat der Präsident der I. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde die aufschiebende Wirkung zuerkannt.

Erwägungen:
1. Das angefochtene Urteil, ein Endentscheid des Bundesverwaltungsgerichts (Art. 86 Abs. 1 lit. a, Art. 90 BGG), betrifft eine Nichtigerklärung einer gestützt auf Art. 27 Abs. 1 des Bundesgesetzes vom 29. September 1952 über Erwerb und Verlust des Schweizer Bürgerrechts (Bürgerrechtsgesetz, BüG; SR 141.0) gewährten erleichterten Einbürgerung, somit eine öffentlich-rechtliche Angelegenheit im Sinne von <ref-law>. Die Ausnahme der ordentlichen Einbürgerung gemäss <ref-law> erstreckt sich nicht auf die Nichtigerklärung der Einbürgerung. Der Beschwerdeführer hat sich am Verfahren vor der Vorinstanz beteiligt und ist zur Beschwerde legitimiert (<ref-law>). Die übrigen Eintretensvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde kann eingetreten werden.
2. 2.1 Als erstes rügt der Beschwerdeführer eine Verletzung des Beschleunigungsgebots und stützt sich dabei auf <ref-law> sowie auf Art. 6 EMRK. Das erstinstanzliche Verfahren vor dem Bundesamt für Migration habe 2 Jahre und 3 Monate gedauert. Das Bundesamt sei 17 Monate lang untätig geblieben. Das Bundesverwaltungsgericht habe seinerseits mehr als 21⁄2 Jahre für die Urteilsfällung in Anspruch genommen. Diese überlange Verfahrensdauer habe zu einer eigentlichen Beweisvereitelung geführt. Die Ehefrau hätte nochmals ergänzend befragt werden müssen. Diese könne sich nun aber nach so langer Zeit nicht mehr an Details ihrer ehelichen Gemeinschaft erinnern. Bereits aufgrund dieses Umstandes hätte das Bundesverwaltungsgericht nicht davon ausgehen dürfen, dass er, der Beschwerdeführer, die erleichterte Einbürgerung erschlichen habe.
2.2 Nach <ref-law> hat in Verfahren vor Gerichts- und Verwaltungsinstanzen jedermann Anspruch auf Beurteilung seiner Sache innert angemessener Frist. Die Beurteilung der Verfahrensdauer entzieht sich starren Regeln. Es ist vielmehr in jedem Einzelfall unter Würdigung aller konkreten Umstände zu prüfen, ob sich diese als angemessen erweist (Urteil des Bundesgerichts 6B_122/2007 vom 21. Juni 2007 E. 4, nicht publ. in <ref-ruling>; <ref-ruling> E. 5.1. S. 331 mit Hinweis auf die Rechtsprechung zu Art. 4 aBV).
Nicht einzutreten ist dagegen auf den Vorwurf der Verletzung von Art. 6 EMRK, denn diese Konventionsbestimmung findet nur auf zivil- und strafrechtliche Verfahren Anwendung (<ref-ruling> E. 2 S. 347). Einbürgerungsangelegenheiten gehören nicht dazu (Urteile des Bundesgerichts 5A.20/2003 vom 22. Januar 2004 E. 2.4.1; 5A.23/2001 vom 11. Februar 2002 E. 2b/bb).
2.3 Die Vorinstanz ist der Ansicht, in Anbetracht der vergleichsweise kurzen Verwirkungsfrist von fünf Jahren, innerhalb der die Behörde die Nichtigkeit der Einbürgerung erklären muss, der Komplexität des Verfahrens und der Begrenztheit der zur Verfügung stehenden Ressourcen sei die Verfahrensführung des Bundesamtes, welche 2 Jahre und drei Monate in Anspruch nahm, nicht zu beanstanden. Dies gelte trotz des Umstandes, dass zwischen der Einholung der rogatorischen Einvernahme der schweizerischen Ex-Ehefrau vom 13. Februar 2005 und der Einladung zur abschliessenden Stellungnahme des Beschwerdeführers am 18. Juli 2006 17 Monate vergangen seien, während denen die Angelegenheit nicht vorangetrieben worden sei.
Bis zur Fällung des Urteils des Bundesverwaltungsgerichts vergingen, wie gesagt, weitere 2 Jahre und 9 Monate.
2.4 Der Standpunkt des Bundesverwaltungsgerichts hält vor <ref-law> nicht stand. Für die lange Verfahrensdauer von insgesamt 5 Jahren ist kein sachlicher Grund ersichtlich. Der Fall ist weder besonders komplex noch besonders umfangreich. Es ist zwar gerichtsnotorisch, dass das Bundesverwaltungsgericht bei seiner Inbetriebnahme am 1. Januar 2007 eine grosse Zahl hängiger Verfahren zum Teil älteren Datums vom Eidgenössischen Justiz- und Polizeidepartement übernehmen musste und dementsprechend eine grosse Arbeitslast zu bewältigen hatte. Dies entbindet es jedoch nicht von der Pflicht, innert angemessener Frist zu entscheiden. Ebenso entschied das Bundesgericht in einem kürzlich eröffneten Urteil 1C_211/2009 vom 14. September 2009, welches einen ähnlichen Fall betraf. Die Beschwerde ist in diesem Punkt begründet.
2.5 Der Beschwerdeführer macht geltend, infolge der mit der übermässigen Verfahrensdauer verbundenen Beweisschwierigkeiten dürfe nicht angenommen werden, die Voraussetzungen der erleichterten Einbürgerung seien im massgeblichen Zeitpunkt der Gesuchstellung und Einbürgerung nicht vorhanden gewesen, und er habe die erleichterte Einbürgerung erschlichen. Das angefochtene Urteil müsse deshalb aufgehoben werden.
Diese Rechtsfolge ist im Gesetz nicht vorgesehen (<ref-ruling> E. 5.3. S. 333; <ref-ruling> E. 1.3-1.4 S. 417 f. und E. 3.4 S. 422). Sie wäre auch nicht gerechtfertigt, da der Beschwerdeführer im Verfahren vor dem Bundesamt nicht beantragt hatte, seiner schweizerischen Ex-Ehefrau Ergänzungsfragen zu stellen. Erst vor dem Bundesverwaltungsgericht zieht der Beschwerdeführer die in der rogatorischen Befragung gemachten Aussagen seiner Ex-Ehefrau in Zweifel und beanstandet, er habe im erstinstanzlichen Verfahren keine Ergänzungsfragen stellen können. Die Aufhebung des angefochtenen Urteils infolge Verletzung des Beschleunigungsgebots kommt demnach nicht in Frage.
Es ist aber angebracht, die Verletzung des Beschleunigungsgebots im Dispositiv des bundesgerichtlichen Urteils festzustellen und dem Beschwerdeführer auf diese Weise eine Genugtuung für die erlittene Rechtsverletzung zu verschaffen.
3. 3.1 Da die Möglichkeit zur Stellung von Ergänzungsfragen an die Schweizer Ex-Ehefrau fehlte, rügt der Beschwerdeführer auch eine Verletzung des Anspruchs auf rechtliches Gehör (<ref-law>).
3.2 Das Bundesverwaltungsgericht verweist auf die Rechtsprechung des Bundesgerichts, wonach die Rüge der Verletzung des rechtlichen Gehörs (Art. 12 i.V.m. <ref-law>) verspätet ist, wenn die Partei nach Treu und Glauben gehalten gewesen wäre, ihren Anspruch auf Teilnahme an der Befragung bereits zu einem früheren Zeitpunkt geltend zu machen (Urteile 5A.24/2003 vom 19. Mai 2004 E. 2.3 und 5A.30/2004 vom 15. Dezember 2004 E. 2.2). An dieser Rechtsprechung ist festzuhalten.
3.3 Gemäss den tatsächlichen Feststellungen der Vorinstanz, welche der Beschwerdeführer nicht bestreitet, wurde ihm das vom 13. Februar 2005 datierende Protokoll der Einvernahme der Schweizer Ex-Ehefrau zusammen mit den restlichen Verfahrensakten zugestellt. Der Beschwerdeführer nahm die Möglichkeit zur abschliessenden Stellungnahme wahr und äusserte sich mit Eingabe vom 5. September 2006 zur Sache, wobei er ausdrücklich Bezug auf einzelne protokollierte Aussagen seiner geschiedenen Ehefrau nahm. Weder beanstandete er, dass er an der Befragung nicht habe teilnehmen können, noch stellte er den Antrag, die Einvernahme sei in seiner Gegenwart zu wiederholen, oder es seien der geschiedenen Ehefrau zumindest Ergänzungsfragen zu stellen.
Unter diesen Umständen ist die Annahme der Vorinstanz, die erst im Rechtsmittelverfahren gegen den erstinstanzlichen Entscheid vorgetragene Rüge der Gehörsverletzung sei verspätet, bundesrechtskonform. Das Bundesverwaltungsgericht war demzufolge auch nicht gehalten, eine ergänzende Befragung nachzuholen.
4. 4.1 Schliesslich macht der Beschwerdeführer geltend, er habe keine wesentlichen, einer erleichterten Einbürgerung entgegenstehende Tatsachen verschwiegen. Im Moment der Einbürgerung sei die Ehe mit der Schweizer Ex-Ehefrau stabil gewesen. Er habe das Bürgerrecht somit nicht erschlichen.
4.2 Nach <ref-law> kann eine gestützt auf die Ehe mit einem Schweizer oder einer Schweizerin erfolgte erleichterte Einbürgerung vom Bundesamt mit Zustimmung der Behörde des Heimatkantons innert fünf Jahren nichtig erklärt werden, wenn sie durch falsche Angaben oder Verheimlichung erheblicher Tatsachen erschlichen, das heisst mit einem unlauteren und täuschenden Verhalten erwirkt worden ist. Dies trifft insbesondere dann zu, wenn der Gesuchsteller im Einbürgerungsverfahren über die für die Einbürgerung erforderliche Voraussetzung einer stabilen, auf Zukunft gerichteten Ehe bewusst falsche Angaben macht bzw. die Behörde bewusst in einem falschen Glauben lässt (vgl. zum Ganzen <ref-ruling> E. 2 und 3 S. 164 ff. mit Hinweisen).
Die Grundsätze der Nichtigerklärung der erleichterten Einbürgerung hat das Bundesverwaltungsgericht bundesrechtskonform dargestellt. Der Beschwerdeführer richtet sich mit seinen Vorbringen denn auch nur gegen die beweismässigen Schlussfolgerungen der Vorinstanz.
4.3 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt bzw. vom Bundesgericht von Amtes wegen berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 97 Abs. 1 bzw. <ref-law>). Eine entsprechende Rüge, welche rechtsgenüglich substantiiert vorzubringen ist (vgl. dazu <ref-ruling> E. 1.4.3 S. 254 f.), setzt zudem voraus, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>).
4.4 Das Bundesverwaltungsgericht hat (in E. 9) auf die Umstände hingewiesen, unter denen der Beschwerdeführer zu einer erleichterten Einbürgerung gelangte. Die dargestellten Eckdaten, namentlich die aussereheliche Zeugung eines Kindes, die unterlassene legung dieses Sachverhalts gegenüber der Einbürgerungsbehörde, der rasche Zerfall der Ehe mit der Schweizerin nach der erleichterten Einbürgerung, welcher bis zur Unterzeichnung der Scheidungskonvention nur zwölf Monate in Anspruch genommen habe, die fünf Monate nach der Scheidung erfolgten Bemühungen des Beschwerdeführers, seinem Kind und der von ihm als Verlobten bezeichneten Kindsmutter die Einreise in die Schweiz zu ermöglichen, sowie der zwei Monate nach der Einreise erfolgte Eheschluss würden in ihrer Gesamtheit die natürliche Vermutung begründen, dass im massgeblichen Zeitpunkt des Einbürgerungsverfahrens keine intakte eheliche Gemeinschaft mit der Schweizerin bestanden und der Beschwerdeführer diesbezüglich die Unwahrheit gesagt habe.
Weiter führt das Gericht aus, der Beschwerdeführer habe die abweichenden Aussagen seiner Schweizer Ex-Ehefrau zum Niedergang ihrer Beziehung nach zwei Jahren Ehedauer, zum Fehlen von Gemeinsamkeiten während der Ehe und zur völlig gegensätzlichen Darstellung der zentralen Frage der Familienplanung ausgeblendet. Unglaubwürdig sei ferner die Schilderung in der Entwicklung des Verhältnisses zum Kind und zur Kindesmutter, der heutigen Ehefrau des Beschwerdeführers. Die Behauptung des Beschwerdeführers, er habe bis zum Vorliegen des Ergebnisses eines Vaterschaftstests im August 2002 von der Vaterschaft nichts gewusst, treffe nicht zu. Dies ergebe sich aus einer UNMIK-Geburtsurkunde seines Kindes, in welcher seine Vaterschaft registriert sei. Eine spontane sexuelle Beziehung ausserhalb der Ehe, wie sie der Beschwerdeführer behaupte, widerspreche im Übrigen diametral den traditionellen Vorstellungen, die in der gesellschaftlichen Realität des ländlichen Kosovos, aus dem der Beschwerdeführer und die Kindsmutter stammen, nach wie vor das gegenseitige Verhältnis der Geschlechter prägen.
4.5 Vor Bundesgericht wiederholt der Beschwerdeführer seine vor der Vorinstanz vorgetragene Behauptung, er habe von der Vaterschaft frühestens im August 2002 gewusst, andernfalls kein Gutachten darüber hätte erstellt werden müssen. Die Angaben auf der Geburtsurkunde seines Sohnes stammten von der Kindsmutter. Eine weitere, während der Ehe mit der Schweizerin begonnene Fremdbeziehung habe er der Einbürgerungsbehörde nicht verschwiegen und beweise, dass er die Ehe mit der Kindsmutter nicht von Anfang an geplant habe. Die Familienplanung sei für ihn und seine Schweizer Ex-Ehefrau nie eine zentrale Frage für den Fortbestand ihrer Ehe gewesen. Zudem basiere die Ansicht der Vorinstanz, die Schilderung seines Verhältnisses zum Sohn und zur Kindsmutter seien lebensfremd, auf "Allgemeinplätzen".
4.6 Mit diesen teilweise unzulässigen, da appellatorische Kritik beinhaltenden Äusserungen gelingt es dem Beschwerdeführer nicht, die tatsächliche Annahme der Vorinstanz, dass im Zeitpunkt der Einbürgerung keine stabile Ehe zwischen ihm und der Schweizer Ex-Ehefrau mehr bestand, als offensichtlich falsch im Sinne von <ref-law> darzustellen. Der Umstand, dass der Beschwerdeführer während der Ehe zwei Fremdbeziehungen einging, ohne Begleitung durch seine Ex-Ehefrau diverse Reisen in den Kosovo unternahm sowie der zeitliche Ablauf des Geschehens (Geburt des ausserehelichen Sohnes im Oktober 1999, Einbürgerung im November 2001, Abschluss der Scheidungskonvention im November 2002, Scheidung im April 2003, Gesuch um Besuchervisa für die Kindsmutter und den Sohn im November 2003, Ehe mit der Kindsmutter im Februar 2004) lassen die Schlussfolgerung, dass seitens des Beschwerdeführers ein auf die Zukunft gerichteter Wille zur Fortführung der Ehe mit der Schweizerin im Zeitpunkt der Einbürgerung fehlte, ohne Weiteres zu. Ebenso wenig erscheint die Annahme als offensichtlich falsch, dass der Beschwerdeführer bereits vor August 2002 von seiner Vaterschaft wusste bzw. mit einer solchen rechnen musste, gibt er doch selbst zu, dass ihn die Kindsmutter darüber informiert hatte. Unter diesen Umständen nahm er zumindest in Kauf, die im Einbürgerungsverfahren gestellte Frage nach der Existenz ausserehelicher ausländischer Kinder wahrheitswidrig zu beantworten. Dieser Umstand stand einer erleichterten Einbürgerung aber wie gesagt ebenfalls entgegen.
Die Vorinstanz durfte daher davon ausgehen, dass die Ehe bereits im Einbürgerungsverfahren zerrüttet war und der Beschwerdeführer die erleichterte Einbürgerung im Sinne der Rechtsprechung erschlich.
5. Zusammenfassend ist festzustellen, dass das Verfahren betreffend Nichtigerklärung der erleichterten Einbürgerung gesamthaft nicht innert der verfassungsrechtlich gebotenen Frist abgeschlossen worden ist. Insoweit ist die Beschwerde gutzuheissen. Im Übrigen ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Dem Beschwerdeführer wird eine reduzierte Gerichtsgebühr auferlegt (<ref-law>). Die Schweizerische Eidgenossenschaft hat dem teilweise obsiegenden Beschwerdeführer für das bundesgerichtliche Verfahren eine reduzierte Parteientschädigung zu entrichten (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Es wird festgestellt, dass das Verfahren betreffend Nichtigerklärung der erleichterten Einbürgerung gesamthaft nicht innert der verfassungsrechtlich gebotenen Frist abgeschlossen worden ist.
2. Im Übrigen wird die Beschwerde abgewiesen, soweit darauf einzutreten ist.
3. Die reduzierten Gerichtskosten von Fr. 1'500.-- werden dem Beschwerdeführer auferlegt.
4. Die Schweizerische Eidgenossenschaft (Bundesamt für Migration) hat dem Beschwerdeführer für das bundesgerichtliche Verfahren eine reduzierte Parteientschädigung von Fr. 500.-- zu entrichten.
5. Dieses Urteil wird dem Beschwerdeführer, dem Bundesamt für Migration und dem Bundesverwaltungsgericht, Abteilung III, schriftlich mitgeteilt.
Lausanne, 24. November 2009
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Féraud Schoder