Sachverhalt:
A. Der 1971 geborene, aus Gambia stammende X._ reiste in der zweiten Jahreshälfte 1997 in die Schweiz ein. Am 29. Oktober 1997 heiratete er nach ungefähr zweimonatiger Bekanntschaft die 1965 geborene Schweizer Bürgerin A._. Am 2. Juli 2002 stellte X._ ein Gesuch um erleichterte Einbürgerung. Im März 2003 teilte seine Ehefrau der kantonalen Einbürgerungsbehörde mit, X._ setze sie bezüglich seiner Einbürgerung unter Druck. Im folgenden Monat nahm sie ihre Aussagen mit dem Hinweis auf die inzwischen erfolgte Versöhnung unter den Ehegatten zurück und drängte auf eine rasche Gesuchsbehandlung. X._ und seine Ehefrau unterzeichneten am 15. Mai 2004 eine gemeinsame Erklärung, wonach sie in einer tatsächlichen, ungetrennten, stabilen ehelichen Gemeinschaft an derselben Adresse zusammenlebten und weder Trennungs- noch Scheidungsabsichten bestünden. Gleichzeitig nahmen sie unterschriftlich zur Kenntnis, dass die erleichterte Einbürgerung nicht möglich ist, wenn vor oder während des Einbürgerungsverfahrens einer der Ehegatten die Trennung oder Scheidung beantragt hat oder keine tatsächliche eheliche Gemeinschaft mehr besteht, und dass die Verheimlichung solcher Umstände zur Nichtigerklärung der Einbürgerung führen kann. X._ wurde am 1. Juni 2004 erleichtert eingebürgert und erhielt das Bürgerrecht der Gemeinde Binningen im Kanton Basel-Landschaft.
B. Am 4. Juli 2005 stellte die Ehefrau von X._ ein Eheschutzbegehren. Am 22. Juli 2005 unterrichtete sie die kantonale Einbürgerungsbehörde über das anhängig gemachte Eheschutzverfahren und schilderte die Gründe, die aus ihrer Sicht dazu geführt haben. Mit Verfügung des zuständigen Bezirksgerichts vom 14. September 2005 wurde den Ehegatten das Getrenntleben bewilligt und der Beschwerdeführer angehalten, die eheliche Wohnung bis spätestens 30. September 2005 zu verlassen. Am 23. April 2007 wurden die Eheleute rechtskräftig geschieden. Das Bundesamt für Migration (BFM) leitete in der Folge ein Verfahren betreffend Nichtigerklärung der erleichterten Einbürgerung von X._ ein. Nach entsprechender Zustimmung des Kantons Basel-Landschaft erklärte das BFM die erleichterte Einbürgerung mit Verfügung vom 29. Mai 2009 für nichtig. Eine von X._ gegen die Verfügung des BFM erhobene Beschwerde wies das Bundesverwaltungsgericht mit Urteil vom 15. März 2012 ab.
C. Dagegen hat X._ am 7. Mai 2012 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Er beantragt, das angefochtene Urteil sei aufzuheben. Die Nichtigerklärung der erleichterten Einbürgerung sei aufzuheben und es sei festzustellen, dass er weiterhin das Schweizer Bürgerrecht besitze. Eventualiter sei die Angelegenheit zur neuen Entscheidung an die Vorinstanz zurückzuweisen. Die Vorinstanz und das BFM haben auf eine Vernehmlassung verzichtet.

Erwägungen:
1. Mit dem angefochtenen Urteil hat das Bundesverwaltungsgericht eine Beschwerde gegen die Nichtigerklärung einer erleichterten Einbürgerung abgewiesen. Angefochten ist somit ein Endentscheid des Bundesverwaltungsgerichts in einer öffentlich-rechtlichen Angelegenheit (Art. 82 lit. a, Art. 86 Abs. 1 lit. a und Art. 90 BGG). Die Ausnahme der ordentlichen Einbürgerung gemäss Art. 83 lit. b BGG erstreckt sich nicht auf die Nichtigerklärung der erleichterten Einbürgerung. Der Beschwerdeführer ist nach Art. 89 Abs. 1 BGG zur Beschwerde legitimiert. Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist einzutreten.
2. Der Beschwerdeführer macht geltend, die Vorinstanz und das BFM hätten es unterlassen, seine Stieftochter und weitere Personen zu befragen und damit Art. 29 BV verletzt.
2.1 Zum Anspruch auf rechtliches Gehör (Art. 29 Abs. 2 BV) gehört das Recht des Betroffenen, sich vor Erlass eines in seine Rechtsstellung eingreifenden Entscheids zur Sache zu äussern sowie das Recht auf Abnahme der rechtzeitig und formrichtig angebotenen rechtserheblichen Beweismittel. Indes kann der Richter das Beweisverfahren schliessen, wenn die Anträge nicht erhebliche Tatsachen betreffen. Gleichermassen kann er Beweisanträge ohne Verletzung des rechtlichen Gehörs ablehnen, wenn er aufgrund bereits abgenommener Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener antizipierter Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde (<ref-ruling> E. 5.3 S. 148 mit Hinweisen).
2.2 Dem angefochtenen Entscheid bzw. den Akten ist zu entnehmen, dass das BFM im Verfahren auf Nichtigerklärung der erleichterten Einbürgerung Einsicht in die Eheschutz- und Ehescheidungsakten nahm, der früheren Ehefrau des Beschwerdeführers mehrmals schriftliche Fragen zum gemeinsamen Kennenlernen, zum Verlauf der Ehe und zu den Umständen der Trennung und Ehescheidung stellte, die Schwiegermutter des Beschwerdeführers schriftlich befragte und dem Beschwerdeführer mehrmals Gelegenheit gab, sich zum Sachverhalt zu äussern. Nicht gefolgt ist das BFM den Anträgen des Beschwerdeführers, es seien darüber hinaus seine Stieftochter sowie zwei Personen aus dem Freundeskreis zu befragen.
2.3 Wie die Vorinstanz im angefochtenen Entscheid zu Recht festgehalten hat, ist nicht ersichtlich, inwiefern das Einholen weiterer schriftlicher oder mündlicher Auskünfte durch das BFM zusätzliche entscheidwesentliche Erkenntnisse hätte liefern können. Das BFM ist nicht in Willkür verfallen, wenn es angenommen hat, angesichts der vorhandenen Akten erübrige sich das Einholen weiterer Auskünfte, da seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde. Vor der Vorinstanz hat der Beschwerdeführer nicht (mehr) ausdrücklich beantragt, es seien weitere Auskünfte einzuholen. Darauf konnte die Vorinstanz nach dem Gesagten verzichten, ohne Art. 29 Abs. 2 BV zu verletzten.
3. Der Beschwerdeführer bringt weiter vor, die Vorinstanz habe wie schon das BFM den entscheidwesentlichen Sachverhalt in willkürlicher Weise unrichtig bzw. unvollständig ermittelt. Zu wenig berücksichtigt worden sei die Stellungnahme der ehemaligen Schwiegermutter des Beschwerdeführers an das BFM. Überdies sei die Vorinstanz den in seiner Beschwerde gemachten Hinweisen zu wenig gefolgt. Damit habe sie seine verfassungsmässig gesicherten Verfahrensgarantien verletzt.
3.1 Nach Art. 105 BGG legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Abs. 2). Von der beschwerdeführenden Person kann die Feststellung des Sachverhalts wiederum nur gerügt werden, wenn sie offensichtlich unrichtig, d.h. willkürlich (Art. 9 BV) ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Eine entsprechende Rüge ist substanziiert vorzubringen (Art. 42 Abs. 2 BGG i.V.m. Art. 106 Abs. 2 BGG).
3.2 Der Beschwerdeführer schildert den Sachverhalt aus eigener Sicht. Er legt allerdings nicht substanziiert dar, inwiefern die vorinstanzliche Sachverhaltsdarstellung offensichtlich unrichtig bzw. willkürlich sein sollte. Die Vorinstanz hat die Stellungnahme der ehemaligen Schwiegermutter des Beschwerdeführers an das BFM für ihren Entscheid in genügender Weise berücksichtigt, indem sie festhielt, die Stellungnahme stehe nicht im Widerspruch zu den Aussagen der ehemaligen Ehefrau des Beschwerdeführers, zumal darin keinerlei Angaben zum Eheleben des Beschwerdeführers als solchem gemacht würden, das Verhalten der ehemaligen Ehefrau im Gegensatz zur Behauptung des Beschwerdeführers nicht als unsinnig oder unwahr bezeichnet werde und es auch nicht darum gehe, welcher Ehegatte für die Auflösung der Ehe die Hauptverantwortung trage, sondern darum, ob auf Seiten beider Partner ein authentischer Ehewille vorliege. Inwiefern die Vorinstanz in diesem Zusammenhang Art. 9 BV oder sonst Bundesrecht verletzt haben sollte, ist nicht ersichtlich. Wie bereits ausgeführt, ist es auch nicht willkürlich, dass die Vorinstanz keine weiteren Auskünfte eingeholt hat (vgl. E. 2 hiervor). In tatsächlicher Hinsicht ist somit auf die Feststellungen der Vorinstanz abzustellen.
3.3 Soweit der Beschwerdeführer sodann (sinngemäss) rügt, die Vorinstanz habe die aus Art. 29 Abs. 2 BV fliessende Begründungspflicht verletzt, indem sie den in seiner Beschwerde gemachten Hinweisen zu wenig gefolgt sei, vermag er damit ebenfalls nicht durchzudringen. Die grundsätzliche Pflicht der Behörde, ihren Entscheid zu begründen, bedeutet nicht, dass sie sich mit jeder tatbeständlichen Behauptung und jedem rechtlichen Einwand auseinandersetzen muss. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Der Bürger soll wissen, warum die Behörde entgegen seinem Antrag entschieden hat, damit er gegebenenfalls den Entscheid sachgerecht anfechten kann (<ref-ruling> E. 4.1; <ref-ruling> E. 3.1 S. 277; je mit Hinweisen). Diesen Anforderungen genügt der vorinstanzliche Entscheid.
4. 4.1 Gemäss Art. 27 Abs. 1 des Bürgerrechtsgesetzes vom 29. September 1952 (BüG; SR 141.0) kann ein Ausländer nach der Eheschliessung mit einem Schweizer Bürger ein Gesuch um erleichterte Einbürgerung stellen, wenn er insgesamt fünf Jahre in der Schweiz gewohnt hat (lit. a), seit einem Jahr hier wohnt (lit. b) und seit drei Jahren in ehelicher Gemeinschaft mit dem Schweizer Bürger lebt (lit. c). Eine eheliche Gemeinschaft im Sinne von Art. 27 BüG setzt nicht nur das formelle Bestehen einer Ehe, sondern das Vorliegen einer tatsächlichen Lebensgemeinschaft voraus. Eine solche Gemeinschaft kann nur bejaht werden, wenn der gemeinsame Wille zu einer stabilen ehelichen Gemeinschaft intakt ist. Sowohl im Zeitpunkt der Gesuchseinreichung als auch im Zeitpunkt des Einbürgerungsentscheids muss eine tatsächliche Lebensgemeinschaft bestehen, die Gewähr für die Stabilität der Ehe bietet. Zweifel bezüglich eines solchen Willens sind angebracht, wenn kurze Zeit nach der erleichterten Einbürgerung die Trennung erfolgt oder die Scheidung eingeleitet wird. Der Gesetzgeber wollte dem ausländischen Ehegatten eines Schweizer Bürgers die erleichterte Einbürgerung ermöglichen, um die Einheit des Bürgerrechts der Ehegatten im Hinblick auf ihre gemeinsame Zukunft zu fördern (<ref-ruling> E. 2 S. 164 f. mit Hinweisen).
4.2 Nach Art. 41 Abs. 1 BüG in der bis Ende Februar 2011 und damit vorliegend anwendbaren Fassung (aArt. 41 Abs. 1 BüG) kann die Einbürgerung vom Bundesamt mit Zustimmung der Behörde des Heimatkantons innert fünf Jahren nichtig erklärt werden, wenn sie durch falsche Angaben oder Verheimlichung erheblicher Tatsachen erschlichen worden ist. Das blosse Fehlen der Einbürgerungsvoraussetzungen genügt nicht für die Nichtigerklärung einer Einbürgerung. Vorausgesetzt ist vielmehr, dass diese "erschlichen", das heisst mit einem unlauteren und täuschenden Verhalten erwirkt worden ist. Arglist im Sinne des strafrechtlichen Betrugstatbestands ist nicht erforderlich. Immerhin ist notwendig, dass der Betroffene bewusst falsche Angaben macht bzw. die Behörde bewusst in einem falschen Glauben lässt und so den Vorwurf auf sich zieht, es unterlassen zu haben, die Behörde über eine erhebliche Tatsache zu informieren (<ref-ruling> E. 2 S. 165 mit Hinweisen).
4.3 Das Verfahren zur Nichtigerklärung der erleichterten Einbürgerung richtet sich nach den Bestimmungen des Bundesgesetzes vom 20. Dezember 1968 über das Verwaltungsverfahren (VwVG; SR 172.021). Danach gilt der Untersuchungsgrundsatz, wonach die Behörde den Sachverhalt von Amtes wegen festzustellen hat (Art. 12 VwVG). Bei der Nichtigerklärung einer erleichterten Einbürgerung ist deshalb von der Behörde zu untersuchen, ob die Ehe im massgeblichen Zeitpunkt der Gesuchseinreichung und der Einbürgerung tatsächlich gelebt wurde. Da es dabei im Wesentlichen um innere Vorgänge geht, die der Verwaltung oft nicht bekannt und schwierig zu beweisen sind, darf sie von bekannten Tatsachen (Vermutungsbasis) auf unbekannte (Vermutungsfolge) schliessen. Es handelt sich dabei um Wahrscheinlichkeitsfolgerungen, die aufgrund der Lebenserfahrung gezogen werden. Der Betroffene ist bei der Sachverhaltsabklärung mitwirkungspflichtig (<ref-ruling> E. 3 S. 165 f. mit Hinweisen).
4.4 Die tatsächliche Vermutung betrifft die Beweiswürdigung und bewirkt keine Umkehrung der Beweislast. Der Betroffene muss nicht den Beweis des Gegenteils erbringen. Vielmehr genügt der Nachweis von Zweifeln an der Richtigkeit der Indizien und der daraus gezogenen Schlussfolgerung. Dem Gesagten zufolge liegt die Beweislast dafür, dass eine eheliche Gemeinschaft im Sinn von Art. 27 BüG im massgeblichen Zeitpunkt der Gesuchseinreichung und der Einbürgerung nicht oder nicht mehr besteht, bei der Verwaltung. Es genügt deshalb, dass der Betroffene einen oder mehrere Gründe angibt, die es plausibel erscheinen lassen, dass er im Zeitpunkt seiner Erklärung mit dem Schweizer Ehepartner in einer stabilen ehelichen Gemeinschaft lebte und dass er diesbezüglich nicht gelogen hat. Ein solcher Grund kann entweder ein ausserordentliches Ereignis sein, das zum raschen Zerfall des Willens zur ehelichen Gemeinschaft im Anschluss an die Einbürgerung führte, oder der Betroffene kann darlegen, aus welchem Grund er die Schwere der ehelichen Probleme nicht erkannte und im Zeitpunkt, als er die Erklärung unterzeichnete, den wirklichen Willen hatte, mit dem Schweizer Ehepartner auch weiterhin in einer stabilen ehelichen Gemeinschaft zu leben (<ref-ruling> E. 3 S. 166 mit Hinweisen).
5. Zu prüfen ist, ob der Beschwerdeführer im Zeitpunkt der erleichterten Einbürgerung einen intakten Ehewillen besass und ob er auf das Fortbestehen einer stabilen ehelichen Gemeinschaft vertrauen durfte.
5.1 Lediglich dreizehn Monate nach der erleichterten Einbürgerung des Beschwerdeführers leitete seine ehemalige Ehefrau ein Eheschutzverfahren ein und nach weniger als sechzehn Monaten seit der erleichterten Einbürgerung wurde den Ehegatten vom zuständigen Bezirksgericht das Getrenntleben bewilligt. Hinzu kommt, dass die ehemaligen Ehegatten während des Einbürgerungsverfahrens unbestrittenerweise eine heftige Auseinandersetzung hatten, die dazu führte, dass die ehemalige Ehefrau des Beschwerdeführers der kantonalen Einbürgerungsbehörde mitteilte, ihr Ehemann setze sie bezüglich seiner Einbürgerung unter Druck. Unter diesen Umständen hat die Vorinstanz zu Recht vermutet, dass der Beschwerdeführer im Zeitpunkt der erleichterten Einbürgerung keinen intakten Ehewillen besass und auf das Fortbestehen einer stabilen ehelichen Gemeinschaft nicht vertrauen durfte. An dieser Einschätzung würde sich auch nichts ändern, wenn der Beschwerdeführer und seine ehemalige Ehefrau kurz nach der erleichterten Einbürgerung tatsächlich noch eine zuvor geplante gemeinsame Reise an den Gardasee angetreten hätten, wie der Beschwerdeführer vorbringt.
Soweit die Vorinstanz aufgrund einer ausführlichen Würdigung der Schilderungen des Beschwerdeführers und insbesondere der ehemaligen Ehefrau gegenüber dem BFM (angefochtener Entscheid, E. 8.2 ff.) zum Schluss kam, dass das Zusammenleben der Ehegatten schon während des Einbürgerungsverfahrens problembehaftet und schwerwiegenden Belastungen ausgesetzt gewesen sein musste, handelt es sich dabei nicht um Erkenntnisse, ohne die an der Vermutung, wonach der Beschwerdeführer im Zeitpunkt der erleichterten Einbürgerung keinen intakten Ehewillen besass und auf das Fortbestehen einer stabilen ehelichen Gemeinschaft nicht vertrauen durfte, nicht festgehalten werden könnte. Demnach ist der Einwand des Beschwerdeführers, die Schilderungen seiner ehemaligen Ehefrau seien unzutreffend, von vornherein nicht geeignet, diese Vermutung umzustossen.
5.2 Unter diesen Umständen wäre es Sache des Beschwerdeführers, plausibel darzulegen, dass ein ausserordentliches, nach der erleichterten Einbürgerung eingetretenes Ereignis zum raschen Scheitern der Ehe führte, dass er sich der bestehenden Eheprobleme im Zeitpunkt der Einbürgerung nicht bewusst war oder dass andere Gründe vorliegen, welche die Vermutungsfolge umzustossen vermögen (vgl. E. 4.4 hiervor).
Solche plausiblen Gründe werden vom Beschwerdeführer wie schon im vorinstanzlichen Verfahren nicht genannt und sind auch nicht ersichtlich. Insbesondere genügt es nicht, wenn der Beschwerdeführer vorbringt, die Schilderungen seiner ehemaligen Ehefrau zum gemeinsamen Kennenlernen, zum Verlauf der Ehe und zu den Umständen der Trennung und Ehescheidung seien unzutreffend, in der Ehe hätte es Meinungsverschiedenheiten gegeben, seine ehemalige Ehefrau sei offensichtlich emotional belastet gewesen und sie habe ihm gedroht, dafür zu sorgen, dass ihm der Schweizerpass weggenommen werde.
5.3 Zusammenfassend musste die Vorinstanz annehmen, dass der Beschwerdeführer im Zeitpunkt der erleichterten Einbürgerung keinen intakten Ehewillen besass und auf das Fortbestehen einer stabilen ehelichen Gemeinschaft nicht vertrauen durfte. Folglich kam sie zu Recht zum Schluss, der Beschwerdeführer habe die erleichterte Einbürgerung im Sinne von aArt. 41 Abs. 1 BüG durch falsche Angaben oder das Verheimlichen von erheblichen Tatsachen erschlichen.
6. Die Beschwerde ist somit abzuweisen. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer grundsätzlich kostenpflichtig (vgl. Art. 66 Abs. 1 BGG). Er ersucht indes um unentgeltliche Rechtspflege. Da die Voraussetzungen von Art. 64 Abs. 1 und 2 BGG erfüllt sind, kann dem Gesuch entsprochen werden.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
2.1 Es werden keine Kosten erhoben.
2.2 Advokat Nicolas Roulet wird aus der Gerichtskasse eine Entschädigung von Fr. 2'000.-- ausgerichtet.
3. Dieses Urteil wird dem Beschwerdeführer, dem Bundesamt für Migration und dem Bundesverwaltungsgericht, Abteilung III, schriftlich mitgeteilt.
Lausanne, 21. August 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Aemisegger
Der Gerichtsschreiber: Mattle