Sachverhalt:
A. Der jordanische Staatsangehörige X._, geboren 1977, heiratete am 21. Mai 2000 in seiner Heimatstadt Jerusalem seine heutige Ehefrau Y._, geboren 1963, welche Schweizer Bürgerin ist. Im Rahmen des Familiennachzugs gelangte er am 14. Juli 2000 in die Schweiz und erhielt eine Aufenthaltsbewilligung zum Verbleib bei seiner im Kanton Basel-Landschaft lebenden Ehefrau.
B. Am 1. Januar 2003 trennten sich die Eheleute voneinander. Mit Verfügung des Bezirksgerichts P._ vom 14. Februar 2003 wurde den Ehegatten das Getrenntleben richterlich bewilligt. Das Amt für Migration des Kantons Basel-Landschaft überprüfte in der Folge den Aufenthaltsanspruch von X._, verlängerte die Aufenthaltsbewilligung letztmals bis zum 13. Juli 2006 und unterbreitete deren weitere Verlängerung dem Bundesamt für Migration zur Zustimmung. Mit Verfügung vom 18. August 2006 verweigerte das Bundesamt die Zustimmung zur weiteren Verlängerung der Aufenthaltsbewilligung, wies X._ aus der Schweiz weg und setzte ihm eine Ausreisefrist an. Zur Begründung wurde namentlich angegeben, die eheliche Gemeinschaft sei bereits nach zwei Jahren und sieben Monaten aufgelöst worden. Die Rückkehr in sein Heimatland sei dem Gesuchsteller zuzumuten. Am 23. Juni 2008 wies das Bundesverwaltungsgericht eine gegen die Verfügung des Bundesamtes erhobene Beschwerde ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 28. Juli 2008 beantragt X._ dem Bundesgericht, den Entscheid des Bundesverwaltungsgerichts vom 23. Juni 2008 aufzuheben und das Bundesamt anzuweisen, der Verlängerung der Aufenthaltsbewilligung zuzustimmen sowie die Wegweisung aufzuheben. Sodann ersucht er um Gewährung der unentgeltlichen Rechtspflege.
D. Das Bundesamt für Migration beantragt die Abweisung der Beschwerde. Das Bundesverwaltungsgericht hat auf eine Vernehmlassung verzichtet.
E. Mit Verfügung vom 5. August 2008 erteilte der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde die aufschiebende Wirkung.

Erwägungen:
1. 1.1 Die Beschwerde richtet sich gegen einen vom Bundesverwaltungsgericht (<ref-law>) gefällten Endentscheid (<ref-law>) in einer Angelegenheit des öffentlichen Rechts (<ref-law>). Auf dem Gebiet des Ausländerrechts ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten allerdings unzulässig gegen Entscheide betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt (<ref-law>).
1.1.1 Gemäss Art. 126 Abs. 1 des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20), welches am 1. Januar 2008 in Kraft getreten ist, bleibt für Gesuche, die vor diesem Zeitpunkt gestellt worden sind, das bisherige Recht anwendbar. Damit ist im vorliegenden Fall noch das Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121) anzuwenden, da das Gesuch bereits im Jahr 2006 eingereicht worden ist.
1.1.2 Nach Art. 7 Abs. 1 ANAG (in der Fassung vom 23. März 1990, AS 1991 1034 1043) hat der ausländische Ehegatte eines Schweizer Bürgers Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung sowie nach einem ordnungsgemässen und ununterbrochenen Aufenthalt von fünf Jahren auf Erteilung der Niederlassungsbewilligung. Für die Eintretensfrage ist im Zusammenhang mit dieser Bestimmung einzig darauf abzustellen, ob eine Ehe formell besteht bzw. wie lange sie formell bestanden hat.
1.2 Im vorliegenden Fall ist der gemeinsame Haushalt zwischen dem Beschwerdeführer und seiner Ehefrau nach zwei Jahren und neun Monaten gerichtlich aufgehoben worden. Formell betrachtet besteht die Ehe nach wie vor, auch wenn die eheliche Gemeinschaft in der Zwischenzeit nicht wieder aufgenommen worden ist. Damit hat der Beschwerdeführer grundsätzlich einen Anspruch auf eine Aufenthaltsbewilligung gemäss Art. 7 ANAG, auf den er sich vor Bundesgericht berufen kann. Insoweit greift der Ausschlussgrund des <ref-law> nicht. Die Frage, ob die Bewilligung verweigert werden durfte, weil einer der in Art. 7 ANAG vorgesehenen Ausnahmetatbestände oder ein Verstoss gegen das Rechtsmissbrauchsverbot gegeben ist, betrifft nicht das Eintreten, sondern bildet Gegenstand der materiellen Beurteilung (<ref-ruling> E. 1.1.2 bis 1.1.5 S. 148 ff. mit Hinweisen).
1.3 Der Beschwerdeführer ist als direkter Adressat zur Beschwerde legitimiert (<ref-law>). Soweit er allerdings beantragt, das Bundesamt für Migration sei anzuweisen, seine Wegweisung aufzuheben, kann auf die Beschwerde nicht eingetreten werden, da gegen Entscheide über die Wegweisung die Beschwerde ausgeschlossen ist (<ref-law>).
1.4 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (Art. 105 Abs. 2 bzw. <ref-law>). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
2. Die in Art. 7 Abs. 1 ANAG genannten Bewilligungsansprüche bestehen nicht, wenn die Ehe eingegangen worden ist, um die Vorschriften über Aufenthalt und Niederlassung von Ausländern zu umgehen (Art. 7 Abs. 2 ANAG). Hierunter fällt die sog. Scheinehe oder Ausländerrechtsehe, bei der die Ehegatten von vornherein keine echte eheliche Gemeinschaft beabsichtigen. Dem Beschwerdeführer wird nicht vorgeworfen, eine derartige Ehe geschlossen zu haben. Doch auch wenn eine Ehe nicht bloss zum Schein eingegangen worden ist, heisst das nicht zwingend, dass dem ausländischen Ehepartner der Aufenthalt ungeachtet der weiteren Entwicklung gestattet werden muss. Zu prüfen ist, ob sich die Berufung auf die Ehe nicht anderweitig als rechtsmissbräuchlich erweist. Das ist namentlich dann der Fall, wenn ein Ausländer sich im fremdenpolizeilichen Verfahren auf eine Ehe beruft, welche nur noch formell besteht oder aufrechterhalten wird mit dem alleinigen Ziel, ihm eine Anwesenheitsbewilligung zu ermöglichen. Dieses Ziel wird von Art. 7 ANAG nicht geschützt (<ref-ruling> E. 4.2 S. 267; <ref-ruling> E. 4.2 S. 117; <ref-ruling> E. 2 S. 151 f.; je mit Hinweisen).
Ein solcher Rechtsmissbrauch darf aber nicht leichthin angenommen werden, namentlich nicht schon deshalb, weil die Ehegatten nicht mehr zusammenleben oder ein Eheschutz- oder Scheidungsverfahren eingeleitet worden ist. Gerade weil der ausländische Ehegatte nicht der Willkür des schweizerischen ausgeliefert sein soll, hat der Gesetzgeber darauf verzichtet, die Erteilung der in Art. 7 Abs. 1 ANAG vorgesehenen fremdenpolizeilichen Bewilligungen vom ehelichen Zusammenleben abhängig zu machen (ausführlich: <ref-ruling> E. 3 S. 149 ff.). Erforderlich sind klare Hinweise darauf, dass die Führung einer Lebensgemeinschaft nicht mehr beabsichtigt und auch aus der Sicht des betroffenen Ausländers nicht mehr zu erwarten ist; das entzieht sich in der Regel einem direkten Beweis und ist oft bloss durch Indizien zu erstellen (BGE <ref-ruling> E. 10.2 und 10.3 S. 135 f.; <ref-ruling> E. 2.2, 2.3 und 3.1 S. 151 ff.; <ref-ruling> E. 5a S. 56 f.). Ein entsprechender Sachverhalt muss schliesslich bereits vor Ablauf der Fünfjahresfrist gemäss Art. 7 Abs. 1 Satz 2 ANAG vorgelegen haben. Ob die Ehe, auf welche sich der Ausländer beruft, danach noch gelebt wurde oder Bestand hatte, ist grundsätzlich unerheblich (<ref-ruling> E. 4c S. 104 f.). Immerhin können aber nachträglich eingetretene Sachumstände Indizien bilden, welche auf das Vorliegen (oder Nichtvorliegen) eines Rechtsmissbrauchs im massgeblichen Zeitpunkt schliessen lassen (Urteile 2C_674/2007 vom 26. Februar 2008 E. 2; 2C_241/2007 vom 12. Oktober 2007 E. 3.2).
3. 3.1 Die Vorinstanz ging davon aus, dass der Beschwerdeführer die Ehe nur noch der Form halber zwecks Verlängerung seines Aufenthalts bzw. zwecks Erlangung der Niederlassungsbewilligung aufrecht erhielt. Dabei stützte sie sich auf den Umstand, dass der Beschwerdeführer die eheliche Gemeinschaft nach zweieinhalb Jahren aufkündigte und in den folgenden zweieinhalb Jahren keine Bestrebungen zu deren Wiederherstellung unternahm. Sein Festhalten an der nur noch formell bestehenden Ehe wurde demzufolge als rechtsmissbräuchlich angesehen (E. 4.6 und 4.7 des angefochtenen Entscheids). Gemäss der Vorinstanz rechtfertigte auch die persönliche Situation des Beschwerdeführers die beantragte Verlängerung der Aufenthaltsbewilligung nicht, da ihr ein überwiegendes öffentliches Interesse entgegenstand.
3.2 Der Beschwerdeführer wirft der Vorinstanz Verletzung von Bundesrecht und unrichtige Feststellung des Sachverhalts vor. Es sei ihm und seiner Ehefrau vom zuständigen Bezirksgericht lediglich das Getrenntleben (im Sinne der Aufhebung des gemeinsamen Haushalts gemäss <ref-law>) bewilligt worden. Die Ehe sei aber nie getrennt oder geschieden worden. Die Vorinstanz habe keine Unterscheidung zwischen dem Getrenntleben der Ehegatten und der Ehetrennung vorgenommen, womit die "bundesrechtliche Garantie des Schutzes der ehelichen Gemeinschaft" verletzt worden sei.
3.2.1 Dieser Einwand erweist sich als unerheblich, weil die Vorinstanz nur zu prüfen hatte, ob ein Rechtsmissbrauch vorliegt, d.h. ob sich der Beschwerdeführer auf eine Ehe beruft, welche nur noch formell besteht oder aufrechterhalten wird mit dem alleinigen Ziel, ihm eine Anwesenheitsbewilligung zu ermöglichen. Die Vorinstanz hatte somit aufgrund der vorliegenden Indizien zu beurteilen, ob die Führung einer Lebensgemeinschaft nicht mehr beabsichtigt und auch aus der Sicht des Beschwerdeführers nicht mehr zu erwarten war. Dabei spielt der formelle Status der Ehe aber nur eine untergeordnete Rolle. Die Vorinstanz stellte fest, dass die Initiative zum Verlassen der ehelichen Wohnung vom Beschwerdeführer ausgegangen sei. Zudem habe dieser keinerlei Anstrengungen zur Wiederherstellung der ehelichen Gemeinschaft mehr unternommen. Auch die von der Ehefrau erhobene Strafanzeige vom 12. Juni 2006 lasse nicht auf eine Wiederaufnahme der ehelichen Beziehung schliessen.
Dem Beschwerdeführer gelingt es nicht, diese Indizien zu widerlegen und aufzuzeigen, warum sein Verhalten nicht rechtsmissbräuchlich gewesen sein soll. Er beschränkt sich im Wesentlichen darauf, der Vorinstanz eine unrichtige Feststellung des Sachverhalts in Bezug auf die Thematik Getrenntleben/Ehetrennung vorzuwerfen. Die tatsächlichen Feststellungen des Bundesverwaltungsgerichts sind aber nicht offensichtlich unrichtig (vgl. E. 1.4). Daran ändern auch die Erwägungen zur Unterscheidung von Getrenntleben und Ehetrennung im Eheschutzverfahren nichts.
3.2.2 Das kantonale Amt für Migration bejahte ursprünglich die Verlängerung der Aufenthaltsbewilligung noch, da die Ehefrau eine Wiederaufnahme der ehelichen Gemeinschaft nicht ausgeschlossen hatte. Auch die Tatsache, dass die Ehe des Beschwerdeführers formal immerhin schon seit bald acht Jahren und acht Monaten besteht, spricht nicht für die Annahme eines Rechtsmissbrauchs. Insgesamt ergibt sich aber aus den Akten klar, dass die Ehe faktisch nur zweieinhalb Jahre lang gelebt worden ist. Nach der definitiven Aufhebung des gemeinsamen Haushaltes und der mehrjährigen Trennung war objektiv nicht mehr zu erwarten, dass die Führung einer Lebensgemeinschaft erneut dauerhaft in Frage kommen konnte.
3.2.3 Der Beschwerdeführer bringt schliesslich vor, seit dem Urteil der Vorinstanz hätten sich neue relevante Tatsachen ergeben, da die Eheleute wieder zusammen wohnten. Damit verkennt der Beschwerdeführer, dass neue Tatsachen und Beweismittel nur so weit vorgebracht werden dürfen, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Diese Voraussetzung ist hier nicht erfüllt. Zudem relativiert der Beschwerdeführer seine Aussagen gleich selbst mit einer Eingabe vom 1. Oktober 2008, wonach die Ehefrau des Beschwerdeführers nach einer Eheberatung erklärt habe, sie wolle sich scheiden lassen.
3.3 Bei dieser Sachlage ist die Schlussfolgerung der Vorinstanz nicht zu beanstanden, der Beschwerdeführer handle rechtsmissbräuchlich, indem er seine Ehe mit einer Schweizer Bürgerin dazu benütze, sich ein Aufenthaltsrecht zu sichern. Die Ehe begründet demnach keinen Rechtsanspruch des Beschwerdeführers auf einen Aufenthaltstitel gemäss Art. 7 Abs. 1 ANAG. Die Verweigerung der Verlängerung seiner Aufenthaltsbewilligung ist mithin zu Recht erfolgt.
4. Damit ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unbegründet und abzuweisen, soweit darauf eingetreten werden kann.
Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer grundsätzlich kostenpflichtig (<ref-law>). Er hat jedoch um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren ersucht. Die von ihm gestellten Rechtsbegehren können - insbesondere mit Blick auf die lange Dauer der immer noch bestehenden Ehe - nicht als von vorneherein aussichtslos bezeichnet werden. Die Bedürftigkeit des Beschwerdeführers ist gestützt auf die vorliegenden Akten ebenfalls zu bejahen. Dem Gesuch ist daher zu entsprechen. Damit sind keine Gerichtskosten zu erheben (<ref-law>).
Soweit der Beschwerdeführer ebenfalls ein Gesuch um unentgeltliche Verbeiständung (<ref-law>) stellen wollte, so ist dieses abzuweisen, da als Prozessbeistand nur ein im Register eingetragener Anwalt oder eine Anwältin bestellt werden kann. Diese Voraussetzung erfüllt der Vertreter des Beschwerdeführers nicht.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
2. Dem Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird entsprochen.
3. Es werden keine Gerichtskosten erhoben.
4. Dieses Urteil wird dem Beschwerdeführer, dem Bundesamt für Migration und dem Bundesverwaltungsgericht, Abteilung III, sowie, zur Orientierung, dem Amt für Migration Basel-Landschaft schriftlich mitgeteilt.
Lausanne, 16. Januar 2009
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Merkli Winiger