Sachverhalt:
A. A.a X._ aus Pakistan stammend, gelangte im Februar 1994 erstmals in die Schweiz und ersuchte um Asyl. Sein Asylgesuch wurde am 9. Mai 1995 von der Schweizerischen Asylrekurskommission (ARK) letztinstanzlich als unbegründet abgewiesen. Ebenfalls abgewiesen wurde ein Gesuch um Verlängerung der in der Folge auf den 15. Juli 1995 angesetzten Ausreisefrist. Auf ein erstes Revisionsgesuch trat die ARK mit Urteil vom 8. August 1995 nicht ein und ein zweites lehnte sie mit Urteil vom 20. Dezember 1995 ab. Am 22. Januar 1996 kehrte X._ nach Pakistan zurück.
Sieben Tage nach seiner Rückkehr nach Pakistan, am 29. Januar 1996, heiratete X._ in Pakistan die 33 Jahre ältere Schweizer Bürgerin A._ und erwirkte auf diese Weise die Regelung seines Aufenthalts im Kanton St. Gallen, wo er am 26. Juni 1996 Wohnsitz nahm.
A.b Am 15. November 2000 ersuchte X._ gestützt auf die Ehe mit A._ um erleichterte Einbürgerung. Die Eheleute unterzeichneten am 19. Dezember 2001 eine gemeinsame Erklärung, wonach sie in einer tatsächlichen, ungetrennten, stabilen ehelichen Gemeinschaft an derselben Adresse zusammenlebten und weder Trennungs- noch Scheidungsabsichten bestünden. Die Ehegatten nahmen ferner unterschriftlich zur Kenntnis, dass die erleichterte Einbürgerung nicht möglich ist, wenn vor oder während des Einbürgerungsverfahrens einer der Ehegatten die Trennung oder Scheidung beantragt hat oder keine tatsächliche eheliche Gemeinschaft mehr besteht, und dass die Verheimlichung dieser Umstände zur Nichtigerklärung der Einbürgerung führen kann.
Am 20. Februar 2002 wurde X._ erleichtert eingebürgert. Nebst dem Schweizer Bürgerrecht erwarb er die Bürgerrechte des Kantons Zürich und der Gemeinde Brütten/ZH.
A.c Am 13. Dezember 2002 wurde die Ehe von X._ und A._ rechtskräftig geschieden.
Im Verlauf des Jahres 2003 verlegte X._ seinen Wohnsitz in den Kanton Luzern und ging dort am 20. April 2004 die Ehe mit einer zehn Jahre jüngeren, aus Pakistan stammenden Staatsangehörigen der USA ein, mit der er mittlerweile zwei Kinder hat.
A.d Vom Amt für Migration des Kantons Luzern auf die erwähnten Sachumstände aufmerksam gemacht, teilte das Bundesamt für Migration (BFM) X._ am 15. Juni 2004 mit, dass gegen ihn ein Verfahren auf Nichtigerklärung der erleichterten Einbürgerung eröffnet worden sei. Am 7. April 2006 erteilte der Kanton Zürich als Heimatkanton von X._ seine Zustimmung zur Nichtigerklärung der erleichterten Einbürgerung. Mit Verfügung vom 27. April 2006 erklärte das BFM die erleichterte Einbürgerung von X._ für nichtig.
X._ beschwerte sich am 24. Mai 2006 gegen die Verfügung des BFM beim Eidgenössischen Justiz- und Polizeidepartement (EJPD). Das Bundesverwaltungsgericht, welches die am 1. Januar 2007 hängigen Beschwerden übernahm, wies das Rechtsmittel mit Urteil vom 3. April 2009 ab. Es ging von der tatsächlichen Vermutung aus, dass spätestens im Zeitpunkt der Einbürgerung keine stabile und auf die Zukunft ausgerichtete eheliche Gemeinschaft zwischen dem Beschwerdeführer und seiner schweizerischen Ehefrau mehr bestanden habe und die erleichterte Einbürgerung erschlichen worden sei, und hielt dafür, dass diese tatsächliche Vermutung nicht habe umgestossen werden können.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt X._, das Urteil des Bundesverwaltungsgerichts sei aufzuheben, "und es sei auf die Nichtigerklärung der erleichterten Einbürgerung zu verzichten." Des Weitern sei der Beschwerde die aufschiebende Wirkung zu erteilen. Mit separater Eingabe vom 27. Mai 2009 ersucht der Beschwerdeführer sinngemäss um unentgeltliche Rechtspflege im bundesgerichtlichen Verfahren.
C. Das Bundesverwaltungsgericht und das BFM verzichten auf Vernehmlassung.
D. Mit Verfügung vom 5. Juni 2009 hat der Präsident der I. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde die aufschiebende Wirkung zuerkannt.

Erwägungen:
1. Das angefochtene Urteil, ein Endentscheid des Bundesverwaltungsgerichts (Art. 86 Abs. 1 lit. a, Art. 90 BGG), betrifft eine Nichtigerklärung einer erleichterten Einbürgerung gestützt auf Art. 27 Abs. 1 des Bundesgesetzes vom 29. September 1952 über Erwerb und Verlust des Schweizer Bürgerrechts (Bürgerrechtsgesetz, BüG; SR 141.0), somit eine öffentlich-rechtliche Angelegenheit im Sinn von <ref-law>. Die Ausnahme der ordentlichen Einbürgerung gemäss <ref-law> erstreckt sich nicht auf die Nichtigerklärung der Einbürgerung. Der Beschwerdeführer hat sich am Verfahren vor der Vorinstanz beteiligt und ist zur Beschwerde legitimiert (<ref-law>). Die übrigen Eintretensvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde kann eingetreten werden.
2. Gemäss <ref-law> kann ein Ausländer nach der Eheschliessung mit einer Schweizer Bürgerin ein Gesuch um erleichterte Einbürgerung stellen, wenn er insgesamt fünf Jahre in der Schweiz gewohnt hat, seit einem Jahr hier wohnt und seit drei Jahren in ehelicher Gemeinschaft mit der Schweizer Bürgerin lebt. Das Bundesgericht geht davon aus, dass eine eheliche Gemeinschaft im Sinn von <ref-law> nicht nur das formelle Bestehen einer Ehe, sondern das Vorliegen einer tatsächlichen Lebensgemeinschaft voraussetzt. Eine solche Gemeinschaft kann nur bejaht werden, wenn der gemeinsame Wille zu einer stabilen ehelichen Gemeinschaft intakt ist (<ref-ruling> E. 2.3.1 S. 172). Gemäss konstanter Praxis muss sowohl im Zeitpunkt der Gesuchseinreichung als auch im Zeitpunkt des Einbürgerungsentscheids eine tatsächliche Lebensgemeinschaft bestehen, die Gewähr für die Stabilität der Ehe bietet. Zweifel bezüglich eines solchen Willens sind angebracht, wenn kurze Zeit nach der erleichterten Einbürgerung die Trennung erfolgt oder die Scheidung eingeleitet wird. Der Gesetzgeber wollte dem ausländischen Ehegatten einer Schweizer Bürgerin oder eines Schweizer Bürgers die erleichterte Einbürgerung ermöglichen, um die Einheit des Bürgerrechts der Ehegatten im Hinblick auf ihre gemeinsame Zukunft zu fördern (<ref-ruling> E. 2 S. 165.; <ref-ruling> E. 2 S. 484).
Nach <ref-law> kann die Einbürgerung vom Bundesamt mit Zustimmung der Behörde des Heimatkantons innert fünf Jahren nichtig erklärt werden, wenn sie durch falsche Angaben oder Verheimlichung erheblicher Tatsachen erschlichen worden ist. Das blosse Fehlen der Einbürgerungsvoraussetzungen genügt daher nicht. Die Nichtigerklärung der Einbürgerung setzt vielmehr voraus, dass diese "erschlichen", das heisst mit einem unlauteren und täuschenden Verhalten erwirkt worden ist (<ref-ruling> E. 3.1 S. 115). Arglist im Sinne des strafrechtlichen Betrugstatbestands ist nicht erforderlich. Immerhin ist notwendig, dass der Betroffene bewusst falsche Angaben macht bzw. die Behörde bewusst in einem falschen Glauben lässt und so den Vorwurf auf sich zieht, es unterlassen zu haben, die Behörde über eine erhebliche Tatsache zu informieren (<ref-ruling> E. 2 S. 165; <ref-ruling> E. 3.1 S. 115).
Bei der Nichtigerklärung einer erleichterten Einbürgerung ist deshalb von der Behörde zu untersuchen, ob die Ehe im massgeblichen Zeitpunkt der Gesuchseinreichung und der Einbürgerung tatsächlich gelebt wurde. Da es dabei im Wesentlichen um innere Vorgänge geht, die der Verwaltung oft nicht bekannt und schwierig zu beweisen sind, darf sie von bekannten Tatsachen (Vermutungsbasis) auf unbekannte (Vermutungsfolge) schliessen. Es handelt sich dabei um Wahrscheinlichkeitsfolgerungen, die aufgrund der Lebenserfahrung gezogen werden (BGE <ref-ruling> E. 3.2 S. 485 f.). Der Betroffene ist bei der Sachverhaltsabklärung mitwirkungspflichtig (<ref-ruling> E. 2 S. 166; <ref-ruling> E. 3.2 S. 486).
Die tatsächliche Vermutung betrifft die Beweiswürdigung und bewirkt keine Umkehr der Beweislast. Der Betroffene muss nicht den Beweis des Gegenteils erbringen (BGE <ref-ruling> E. 3.2 S. 486). Vielmehr genügt der Nachweis von Zweifeln an der Richtigkeit der Indizien und der daraus gezogenen Schlussfolgerung. Dem Gesagten zufolge liegt die Beweislast dafür, dass eine eheliche Gemeinschaft im Sinn von <ref-law> im massgeblichen Zeitpunkt der Gesuchseinreichung und der Einbürgerung nicht oder nicht mehr besteht, bei der Verwaltung. Es genügt deshalb, dass der Betroffene einen oder mehrere Gründe angibt, die es plausibel erscheinen lassen, dass er im Zeitpunkt seiner Erklärung mit der Schweizer Ehepartnerin in einer stabilen ehelichen Gemeinschaft lebte und er diesbezüglich nicht gelogen hat. Ein solcher Grund kann entweder ein ausserordentliches Ereignis sein, das zum raschen Zerfall des Willens zur ehelichen Gemeinschaft im Anschluss an die Einbürgerung führte, oder der Betroffene kann darlegen, aus welchem Grund er die Schwere der ehelichen Probleme nicht erkannte und im Zeitpunkt, als er die Erklärung unterzeichnete, den wirklichen Willen hatte, mit der Schweizer Ehepartnerin auch weiterhin in einer stabilen ehelichen Gemeinschaft zu leben (vgl. zum Ganzen <ref-ruling> E. 2 S. 166 mit Hinweisen).
3. 3.1 Der Beschwerdeführer bringt vor, er habe hinreichende Gründe angegeben, weshalb es zum raschen Zerfall des Ehewillens im Anschluss an die Einbürgerung und schliesslich zur Scheidung kam. Ursache sei zum einen die Bekanntschaft mit seiner zweiten Ehefrau gewesen. Die Aufnahme einer ausserehelichen Beziehung sei durchaus geeignet, eine zuvor intakte Ehe scheitern zu lassen. Zum andern habe seine an Krebs erkrankte schweizerische Ehefrau im Jahr 2002 schwere gesundheitliche Probleme bekommen und sei auch aufgrund religiöser Überlegungen zum Entschluss gekommen, sich von ihrem muslimischen Ehemann zu trennen.
3.2 Das Bundesverwaltungsgericht hat (in E. 6) auf die Umstände hingewiesen, wie der Beschwerdeführer zu einer erleichterten Einbürgerung gelangte: Einreise in die Schweiz im Alter von 19 Jahren im Jahr 1994; nach Abweisung des Asylgesuchs und dem negativen Ausgang zweier Revisionsverfahren Rückkehr nach Pakistan im Januar 1996; ebenfalls im Januar 1996 Heirat mit einer 33 Jahre älteren schweizerischen Staatsbürgerin in Pakistan; Gesuch um erleichterte Einbürgerung im November 2000; Unterzeichnung der gemeinsamen Erklärung zum Zustand der ehelichen Gemeinschaft im Dezember 2001; Einbürgerung im Februar 2002; Unterzeichnung der Scheidungskonvention und gemeinsames Scheidungsbegehren im September 2002; Scheidung der Ehe mit sofortiger Rechtskraftwirkung im Dezember 2002; Heirat mit einer US-amerikanischen Staatsbürgerin pakistanischer Herkunft im April 2004, die vier Monate zuvor ihr 18. Lebensjahr vollendet hatte, und mit welcher der Beschwerdeführer mittlerweile zwei Kinder hat.
Das Bundesverwaltungsgericht schloss aus der engen zeitlichen Abfolge der Ereignisse, dass der Wille zur Fortsetzung der mit der Schweizerin eingegangenen Ehe, die wegen des massiven Altersunterschieds der Ehegatten ohnehin starken Belastungen ausgesetzt gewesen sein müsse, mit der Zeit allmählich weggefallen sei, dass die Ehe jedoch vorerst weitergeführt worden sei, um dem Beschwerdeführer nicht die Gelegenheit zur erleichterten Einbürgerung zu nehmen.
3.3 Der Beschwerdeführer beschränkt sich über weite Strecken darauf, seine Meinung derjenigen der Vorinstanz gegenüberzustellen. Die aussereheliche Beziehung des Beschwerdeführers steht aber offenkundig im Widerspruch zu einer angeblich intakten ehelichen Gemeinschaft. Im Umstand, dass der Beschwerdeführer die aussereheliche Beziehung nach der Einbürgerung und nicht schon vorher aufgenommen hat, kann unter den gegebenen Verhältnissen kein Hinweis auf eine vorher intakte Ehe erblickt werden. Ebenso ist nicht entscheidend, dass die Ehe beinahe sieben Jahre gedauert hat, da die Einbürgerung zu einem früheren Zeitpunkt gar nicht möglich war. Von Bedeutung ist vielmehr, dass der Beschwerdeführer mit einer jüngeren Frau aus seinem angestammten Kulturkreis eine aussereheliche Beziehung einging. Er musste sich bewusst sein, dass die Aufnahme eines ausserehelichen Verhältnisses unmittelbare Konsequenzen für seine bisherige Ehe haben würde. Gleichwohl ist er die Beziehung - unter Preisgabe seiner bisherigen, als angeblich von grosser Reife, Ernsthaftigkeit und tiefer Verbundenheit gekennzeichneten Ehe - eingegangen. Danach ist die bisherige Ehe geschieden worden und hat sich der Beschwerdeführer neu verheiratet.
Aufgrund dieser Verhältnisse kann ohne Weiteres gefolgert werden, dass der Wille zur Fortsetzung der Ehe spätestens im Zeitpunkt der Einbürgerung weggefallen war. Dass das Auftreten von gesundheitlichen Problemen und religiöse Motive der Schweizer Ex-Ehefrau für die Scheidung ausschlaggebend gewesen sein sollen, ist in Anbetracht der von der Vorinstanz geschilderten Ereigniskette nicht glaubhaft. Es ist daher nicht zu beanstanden, wenn die Vorinstanz davon ausgeht, dass der Beschwerdeführer die Ehe für den Erhalt des Bürgerrechts benutzte und hernach mit seinem weiteren Verhalten und der Einreise der zweiten Ehefrau ein Anwesenheitsrecht für die Mitglieder einer neuen Familie zu sichern versuchte.
Der Schlussfolgerung des Bundesverwaltungsgerichts steht selbst der Umstand nicht entgegen, dass der Beschwerdeführer und seine schweizerische Ex-Ehefrau auch nach der Scheidung eine enge Beziehung unterhielten, diese mit der zweiten Ehefrau des Beschwerdeführers gut auskam und vor ihrem Tod zeitweise mit der Familie des Beschwerdeführers zusammenlebte. Eine solche Lebensform lässt keinen Schluss auf die frühere Ehe und die Verhältnisse zum massgeblichen Zeitpunkt von Erklärung und Einbürgerung zu. Gleich entschied das Bundesgericht im Urteil 1C_52/2009 vom 4. August 2009 (E. 3.2).
In Würdigung aller Umstände ist mit dem Bundesverwaltungsgericht davon auszugehen, dass der Beschwerdeführer die Einbürgerung im Sinne der Rechtsprechung erschlichen hat. Damit erweist sich seine Beschwerde als unbegründet.
4. Nach dem Gesagten ist die Beschwerde abzuweisen. Der Beschwerdeführer hat um unentgeltliche Rechtspflege im bundesgerichtlichen Verfahren ersucht. Diesem Begehren kann entsprochen werden (vgl. Art. 64 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird bewilligt.
2.1 Es werden keine Gerichtskosten erhoben.
2.2 Rechtsanwalt Torsten Kahlhöfer wird zum unentgeltlichen Rechtsbeistand ernannt und für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse mit einem Honorar von Fr. 1'500.-- entschädigt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Bundesamt für Migration und dem Bundesverwaltungsgericht, Abteilung III, schriftlich mitgeteilt.
Lausanne, 27. August 2009
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Féraud Schoder