Erwägungen:
1. 1.1 Der aus dem Kosovo stammende, illegal in die Schweiz eingereiste X._ (geb. 1972) heiratete am 11. Februar 2002 die Schweizer Bürgerin A._ (geb. 1957), worauf er eine Aufenthaltsbewilligung zum Verbleib bei seiner Ehefrau erhielt. Die Ehe wurde mit Urteil vom 15. Februar 2007, das seit dem 28. März 2007 rechtskräftig ist, geschieden. Das zuständige Migrationsamt des Kantons Basel-Stadt erklärte sich in der Folge bereit, die Aufenthaltsbewilligung von X._ trotz Auflösung der Ehe zu verlängern. Es übermittelte die Angelegenheit daher dem Bundesamt für Migration mit dem Antrag auf entsprechende Zustimmung (vgl. Art. 99 AuG; SR 142.20). Dieses verweigerte am 28. August 2007 die Zustimmung. Das Bundesverwaltungsgericht wies die von X._ dagegen erhobene Beschwerde am 1. Dezember 2010 ab.
1.2 Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 24. Januar 2011 beantragt X._ dem Bundesgericht, das Urteil des Bundesverwaltungsgerichts aufzuheben und ihm die Sache zur Neubeurteilung zurückzuweisen.
Das Bundesverwaltungsgericht hat auf eine Vernehmlassung verzichtet. Das Bundesamt für Migration beantragt - mit verspäteter und daher aus dem Recht zu weisender Eingabe -, die Beschwerde abzuweisen.
2. 2.1 Der Beschwerdeführer hat sein Gesuch um Verlängerung seiner Aufenthaltsbewilligung vor dem 1. Januar 2008 gestellt. Daher ist gemäss Art. 126 AuG unstreitig noch das vor diesem Datum geltende Recht und insb. das Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121 sowie Änderungen gemäss der Fussnote zu Ziff. I Anhang 2 AuG) für die materielle Frage anwendbar, ob ein entsprechender Bewilligungsanspruch besteht (vgl. auch Urteil des Bundesgerichts 2C_869/2010 vom 19. April 2011 E. 1.2 und 2 mit Hinweisen).
2.2 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist nur zulässig, soweit das Bundesrecht oder das Völkerrecht dem Beschwerdeführer einen Anspruch auf Bewilligung einräumt (vgl. <ref-law>). Mithin wäre auf die Eingabe nicht einzutreten, soweit es um die ermessensweise Bewilligung des Aufenthaltes nach Art. 4 ANAG geht. Das hat offenbar auch der Beschwerdeführer erkannt, da er sich vor Bundesgericht allein darauf beruft, dass er infolge der über fünfjährigen Ehe einen Anspruch auf Erteilung der Niederlassungsbewilligung hat. Einen solchen Anspruch hat der ausländische Ehegatte eines Schweizers denn auch grundsätzlich nach einem ordnungsgemässen und ununterbrochenen Aufenthalt von fünf Jahren (Art. 7 Abs. 1 Satz 2 ANAG, AS 1991 1034 1043). Sollte der Beschwerdeführer diesen Anspruch noch vor der Scheidung erworben haben, könnte er sich hierauf auch nach Beendigung der Ehe berufen und es wäre auf seine Beschwerde insoweit einzutreten. Die Frage, ob die Bewilligung verweigert werden darf, weil einer der in Art. 7 ANAG vorgesehenen Ausnahmetatbestände oder ein Verstoss gegen das Rechtsmissbrauchsverbot gegeben ist, bildet erst Gegenstand der materiellen Beurteilung (<ref-ruling> E. 1.1.4 und 1.1.5 S. 149). Ob der Beschwerdeführer während der erwähnten gesamten fünf Jahre überhaupt eine Aufenthaltsbewilligung und damit einen ordnungsgemässen Aufenthalt hatte (vgl. <ref-ruling> E. 4.4 S. 13 f. mit Hinweisen), ergibt sich weder aus den vorinstanzlichen Feststellungen noch aus den dem Bundesgericht zur Verfügung stehenden Akten; aus ihnen ist nämlich nicht ersichtlich, bis wann die Aufenthaltsbewilligung letztmals verlängert worden war. Immerhin stellte die kantonale Migrationsbehörde noch vor dem fünfjährigen Bestehen der Ehe fest, dass der Beschwerdeführer hieran rechtsmissbräuchlich festhielt. Die Frage des Eintretens kann hier jedoch offen gelassen werden, da sich die Beschwerde ohnehin als unbegründet erweist.
3. 3.1 Die Vorinstanz wirft die Frage auf, ob der Beschwerdeführer eine Scheinehe eingegangen sei, wodurch sein Anspruch nach Art. 7 Abs. 1 Satz 2 ANAG von vornherein ausgeschlossen wäre (vgl. Art. 7 Abs. 2 ANAG). Sie führt dafür diverse, durchaus plausible Anhaltspunkte an, lässt die Frage des Abschlusses einer Ausländerrechtsehe aber letztlich unbeantwortet. Sie geht hingegen davon aus, dass die Ehe vor Ablauf der Fünfjahresfrist nach Art. 7 Abs. 1 Satz 2 ANAG nur noch formell bestand, weshalb dem Beschwerdeführer wegen des Rechtsmissbrauchsverbots keine Bewilligung gestützt auf diese Bestimmung zu erteilen sei. Ihrer Beurteilung legt die Vorinstanz die bundesgerichtliche Praxis zur rechtsmissbräuchlichen Berufung auf eine Ehe zutreffend zugrunde (vgl. <ref-ruling> E. 2 und 3 S. 151 ff.; <ref-ruling> E. 4.2 und 10 S. 117 und 134 ff.; je mit Hinweisen).
3.2 Der Beschwerdeführer macht allerdings eine Verletzung seines Anspruchs auf rechtliches Gehör (<ref-law>) geltend. Er habe bei der Vorinstanz die Einvernahme der Psychiaterin seiner früheren Ehefrau als Zeugin beantragt. Die Vorinstanz habe diesen Beweisantrag mit Zwischenverfügung vom 9. Oktober 2007 abgelehnt und sich mit einer schriftlichen Bestätigung der Psychiaterin begnügt. Die Befragung der Psychiaterin "zu allen relevanten Punkten im Zusammenhang mit der Glaubwürdigkeit der Ex-Ehefrau hätte darüber Klarheit geschaffen und die Vorinstanz wäre zum Schluss gekommen, dass die Trennung der Ehegatten einzig auf die massiven psychischen Probleme der Ex-Ehefrau zurückzuführen ist".
Fraglich ist bereits, ob diese Rüge überhaupt substanziiert genug ist (vgl. Art. 42 Abs. 2, 97 Abs. 1 und 106 Abs. 2 BGG; <ref-ruling> E. 1.4 S. 254 f.; <ref-ruling> E. 3 S. 104 f.). Es wird aus der Beschwerde an das Bundesgericht nicht klar, zu welchen "relevanten" Punkten die Psychiaterin hätte persönlich befragt werden sollen. Der Beschwerdeführer hatte bei der Vorinstanz erklärt, die Aussagen seiner früheren Ehefrau seien mit äusserster Zurückhaltung zu betrachten, leide sie doch an einer bipolaren Störung, derentwegen sie seit vielen Jahren in Behandlung sei. Dazu sei die erwähnte Psychiaterin anzuhören. Die Vorinstanz verzichtete auf deren Einvernahme, räumte dem Beschwerdeführer mit der besagten Zwischenverfügung aber die Möglichkeit ein, einen schriftlichen Bericht von ihr nachzureichen. Hiervon machte der Beschwerdeführer Gebrauch und legte ein ärztliches Zeugnis vom 19. Oktober 2007 vor, das sich zu all den in der Beschwerde an die Vorinstanz im Zusammenhang mit der Psychiaterin erwähnten Beweisthemen äusserte. In seinem Begleitschreiben an die Vorinstanz erklärte er denn auch, aus der Beurteilung der Psychiaterin ergebe sich "deutlich", dass die Aussagen seiner früheren Ehefrau "häufig nicht mit der objektiven Wirklichkeit übereinstimmen". Er erklärte dabei jedoch nicht, dass die Psychiaterin trotzdem noch zu weiteren Punkten mündlich anzuhören sei. Insoweit erscheint es treuwidrig, wenn er anschliessend vor Bundesgericht rügt, die Vorinstanz habe die Psychiaterin zu Unrecht nicht mehr persönlich einvernommen. Ausserdem ist weder ersichtlich noch vom Beschwerdeführer glaubhaft gemacht worden, wie ihre Einvernahme für den Ausgang des Verfahrens hätte entscheidend sein können (vgl. <ref-law>; <ref-ruling> E. 7.1 S. 398; <ref-ruling> E. 3.4 S. 61).
Zwar hatte die Ehefrau unter anderem erklärt, sie sei vom Beschwerdeführer zur Heirat gezwungen worden. Darauf hat die Vorinstanz jedoch nicht abgestellt. Sie ist vielmehr davon ausgegangen, dass der Beschwerdeführer selber im Dezember 2006 eingeräumt hatte, er lebe seit einem Jahr von seiner Ehefrau getrennt und habe seither keinen Kontakt mehr zu ihr. Der Beschwerdeführer legt unter anderem nicht dar, dass er sich damals um die Wiederaufnahme der Ehebeziehung bemüht hätte. Ausserdem wohnte seine damalige Ehefrau seit Oktober 2005 mit einem neuen Lebenspartner in einem gemeinsamen Haushalt. Zum Ehescheidungstermin nur wenige Tage nach Ablauf der erwähnten Fünfjahresfrist erschien der Beschwerdeführer nicht und legte auch kein Rechtsmittel gegen das Scheidungsurteil ein. Mit Blick darauf ist nicht zu beanstanden, dass die Vorinstanz zum Schluss gelangt, die Ehe habe nur noch formell bestanden, bevor die fünf Jahre nach Art. 7 Abs. 1 Satz 2 ANAG im Februar 2007 verstrichen waren. Das gilt auch für ihre Folgerung, der Beschwerdeführer berufe sich deshalb rechtsmissbräuchlich auf die Ehe bzw. auf einen Bewilligungsanspruch nach dieser Bestimmung. Keine Rolle spielt in diesem Zusammenhang, aus welchen Gründen es letztlich zur Trennung der Eheleute gekommen war (BGE <ref-ruling> E. 4.2 S. 117).
3.3 Der Beschwerdeführer beruft sich schliesslich auf <ref-law> und den Vertrauensschutz bzw. Treu und Glauben (Art. 5 Abs. 3 und Art. 9 BV; vgl. allgemein <ref-ruling> E. 6.1 S. 637 mit Hinweisen). Von der Erhebung der Beschwerde beim Bundesverwaltungsgericht bis zu seinem Entscheid im Dezember 2010 seien mehr als drei Jahre vergangen. Ihn treffe daran kein Verschulden. Da die kantonalen Behörden ihm noch - ermessensweise - eine Bewilligung erteilen wollten, sei bei ihm mit der Zeit das Vertrauen gewachsen, die Vorinstanz teile deren Auffassung.
Es mag zwar sein, dass das vorinstanzliche Verfahren ausserordentlich lange gedauert hat. Der damals bereits anwaltlich vertretene Beschwerdeführer hatte aber weder bei der Vorinstanz entsprechend nachgefragt noch eine Rechtsverzögerungsbeschwerde erhoben. Ausserdem begründet die blosse Erneuerung einer Aufenthaltsbewilligung für sich allein noch kein schutzwürdiges Vertrauen auf weitere Verlängerungen derselben (<ref-ruling> E. 3b S. 388). Mithin kann der Beschwerdeführer aus dem blossen Schweigen der Vorinstanz erst recht keinen Anspruch auf eine Bewilligungserteilung ableiten, zumal das Bundesamt zuvor noch einen ablehnenden Entscheid erlassen hatte.
4. Dem Dargelegten zufolge erweist sich die Beschwerde als offensichtlich unbegründet und ist daher im vereinfachten Verfahren nach <ref-law> abzuweisen, soweit auf sie überhaupt einzutreten ist. Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des Verfahrens zu tragen (Art. 65 f. BGG) Parteientschädigungen werden nicht geschuldet (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Bundesverwaltungsgericht, Abteilung III, schriftlich mitgeteilt.
Lausanne, 25. Mai 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Merz