Sachverhalt:
A. Der nigerianische Staatsangehörige X._ (geb. 1981) reiste am 30. Januar 1999 mit einem gefälschten Reisepass in die Schweiz ein. Am 17. Februar 1999 stellte er ein Asylgesuch, das vom damaligen Bundesamt für Flüchtlinge (heute Bundesamt für Migration) am 15. Juli 2002 abgelehnt wurde. Eine dagegen erhobene Beschwerde wurde von der damaligen Asylrekurskommission abgewiesen und eine Ausreisefrist bis zum 20. März 2003 gesetzt. Vor Ablauf der Ausreisefrist heiratete X._ am 14. Februar 2003 die italienische Staatsangehörige Z._ (geb. 1982), die über eine Niederlassungsbewilligung verfügt. Gestützt auf diese Ehe wurde dem Ehemann eine Aufenthaltsbewilligung befristet bis zum 13. Februar 2008 erteilt. Die eheliche Gemeinschaft wurde am 20. Januar 2006 aufgegeben und seither nicht mehr aufgenommen. Am 16. Dezember 2008 wurde die Ehe rechtskräftig geschieden.
Die Sicherheitsdirektion des Kantons Zürich (Migrationsamt) wies mit Verfügung vom 14. Juli 2008 das Gesuch von X._ um Verlängerung der Aufenthaltsbewilligung ab und setzte ihm Frist zum Verlassen der Schweiz bis zum 30. September 2008. Das Migrationsamt machte geltend, die Berufung auf die nur noch formell bestehende Ehe sei rechtsmissbräuchlich. Da die eheliche Gemeinschaft weniger als drei Jahre gedauert habe, keine wichtigen Gründe vorlägen und die Integration ungenügend sei, bestehe kein Anspruch auf Verlängerung der Aufenthaltsbewilligung.
Dagegen beschwerte sich X._ ohne Erfolg beim Regierungsrat und beim Verwaltungsgericht des Kantons Zürich.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 28. Oktober 2009 beantragt X._, der Entscheid des Verwaltungsgerichts vom 9. September 2009 sei aufzuheben und das Migrationsamt sei anzuweisen, das Gesuch um Verlängerung der Aufenthaltsbewilligung gutzuheissen; eventualiter sei die Sache zwecks zusätzlicher Abklärungen an die Vorinstanz zurückzuweisen.
C. Der Regierungsrat des Kantons Zürich - vertreten durch seine Staatskanzlei - und das Bundesamt für Migration schliessen auf Abweisung der Beschwerde, während das Verwaltungsgericht des Kantons Zürich beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Sicherheitsdirektion des Kantons Zürich hat sich nicht geäussert.
D. Mit Verfügung vom 2. November 2009 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt.

Erwägungen:
1. 1.1 <ref-law> schliesst die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen Entscheide über ausländerrechtliche Bewilligungen aus, auf deren Erteilung weder nach dem Bundes- noch dem Völkerrecht ein Rechtsanspruch besteht.
Der ausländische Ehegatte einer in der Schweiz niedergelassenen Person hat nach Auflösung der Ehe oder der Familiengemeinschaft dann weiterhin einen Anspruch auf Verlängerung der Aufenthaltsbewilligung, wenn die Ehegemeinschaft mindestens drei Jahre bestanden hat und eine erfolgreiche Integration besteht (Art. 50 Abs. 1 lit. a des auf den 1. Januar 2008 in Kraft getretenen, hier unbestrittenermassen anwendbaren Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer [AuG; SR 142.20] i.V.m. Art. 43 Abs. 1 AuG) oder wenn wichtige persönliche Gründe einen weiteren Aufenthalt in der Schweiz erforderlich machen (Art. 50 Abs. 1 lit. b AuG).
Auf diese Anspruchsgrundlage beruft sich der Beschwerdeführer und behauptet, die Voraussetzungen hierfür seien erfüllt. Diese Behauptung ist nicht offensichtlich unzutreffend und bedarf näherer Prüfung, weshalb die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig ist. In welchem Sinne Art. 50 Abs. 1 lit. a resp. lit. b AuG auszulegen ist, und ob die in dieser Bestimmung statuierten Voraussetzungen für eine Bewilligungsverlängerung erfüllt sind, bildet Gegenstand der materiellen Beurteilung (vgl. BGE 2C_304/2009 vom 9. Dezember 2009 E. 1.1).
1.2 Das angefochtene Urteil stellt einen letztinstanzlichen kantonalen Endentscheid dar. Der Beschwerdeführer ist gestützt auf <ref-law> zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert; auf das frist- und formgerecht eingereichte Rechtsmittel kann daher grundsätzlich eingetreten werden.
1.3 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist daher weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen, und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.4 S. 400).
2. 2.1 Der Beschwerdeführer macht geltend, er habe sowohl gestützt auf Art. 50 Abs. 1 lit. a wie auch lit. b AuG einen bundesrechtlichen Anspruch auf Verlängerung der Aufenthaltsbewilligung. Er habe über drei Jahre in einer intakten Ehegemeinschaft mit seiner niedergelassenen Ehefrau gelebt und sei nach bald elf Jahren ununterbrochener Anwesenheit in der Schweiz erfolgreich integriert. Weiter lägen bei ihm infolge seines engen Bezugs zur Schweiz wichtige Gründe für einen weiteren Aufenthalt vor.
Die Vorinstanz hat erwogen, ein Anspruch gestützt auf Art. 50 Abs. 1 lit. a AuG entfalle, weil die Ehegemeinschaft nur zwei Jahre und elf Monate gedauert habe und damit die gesetzlich vorgegebene Dreijahresfrist nicht eingehalten worden sei. Die Ehegemeinschaft sei dabei als eheliche Wohngemeinschaft zu verstehen. Die Vorinstanz verneinte auch das Vorliegen eines wichtigen Grundes im Sinne von Art. 50 Abs. 1 lit. b AuG und stellte fest, dem Beschwerdeführer dürfte eine Rückkehr in sein Heimatland nicht schwer fallen.
2.2 Dem Verwaltungsgericht kann insofern nicht gefolgt werden, als es ausführt, die Beurteilung der Ansprüche nach Art. 50 Abs. 1 AuG liege im Ermessen der zuständigen Behörden (angefochtener Entscheid E. 2.4). Sind die Voraussetzungen von Art. 50 Abs. 1 lit. a oder lit. b AuG erfüllt, besteht ein grundsätzlicher Rechtsanspruch auf eine Aufenthaltsbewilligung und der Entscheid darüber steht nicht im Ermessen der Behörden. Im Folgenden ist damit zu prüfen, ob die Vorinstanz zu Recht die Anwendung von Art. 50 Abs. 1 AuG auf den Beschwerdeführer verneint hat.
2.3 Wie bereits ausgeführt, besteht gemäss Art. 50 Abs. 1 AuG der Anspruch des Ehepartners auf Erteilung und Verlängerung der Aufenthaltsbewilligung weiter, wenn die Ehegemeinschaft mindestens drei Jahre bestanden hat und eine erfolgreiche Integration besteht (lit. a) oder wichtige persönliche Gründe einen weiteren Aufenthalt in der Schweiz erforderlich machen (lit. b). Wichtige persönliche Gründe können namentlich vorliegen, wenn der erwähnte Ehepartner Opfer ehelicher Gewalt wurde und die soziale Wiedereingliederung im Herkunftsland stark gefährdet erscheint (Art. 50 Abs. 2 AuG).
2.3.1 Der Beschwerdeführer meint, seine Ehegemeinschaft habe mindestens drei Jahre im Sinne von Art. 50 Abs. 1 lit. a AuG bestanden. Er übersieht dabei aber, dass nur die Zeit bis zur Aufgabe der Haushaltsgemeinschaft massgebend ist und nicht die Dauer des formellen Bestands der Ehe (BGE 2C_304/2009 vom 9. Dezember 2009 E. 3.2 in fine und 3.3; Urteil 2C_635/2009 vom 26. März 2010 E. 5.2). Das gilt jedenfalls so lange, als nicht im Sinne von Art. 49 AuG ein wichtiger Grund für eine Ausnahme vom Erfordernis des Zusammenwohnens gegeben ist. Daher zählt hier nur die ab seiner Heirat am 14. Februar 2003 bis zur Aufgabe der Haushaltsgemeinschaft mit seiner Ehefrau verbrachte Zeit. Da die Haushaltsgemeinschaft am 20. Januar 2006 aufgegeben wurde, sind die notwendigen drei Jahre im Sinne von Art. 50 Abs. 1 lit. a AuG nicht erreicht. Keine Rolle spielt dabei, dass nur wenige Wochen fehlen. Die erwähnte Grenze ist absolut, zumal es sich bei der erwähnten Bestimmung ohnehin um eine Ausnahmeregelung handelt und daher eine extensive Auslegung nicht angezeigt ist. Ob der Beschwerdeführer erfolgreich integriert ist, spielt insoweit keine Rolle mehr (vgl. BGE 2C_304/2009 E. 3.4; Urteil 2C_635/2009 vom 26. März 2010 E. 5.2).
2.3.2 Der Beschwerdeführer ist weiter der Auffassung, er sei nach insgesamt elf Jahren Anwesenheit erfolgreich in der Schweiz integriert, weshalb bei ihm wichtige persönliche Gründe vorlägen, die seinen weiteren Aufenthalt im Inland zumindest im Sinne von Art. 50 Abs. 1 lit. b AuG erforderlich machen würden.
Gemäss der Botschaft zum Ausländergesetz (BBl 2002 3753 f. Ziff. 1.3.7.5 f.) bezweckt Art. 50 AuG die Vermeidung von schwer wiegenden Härtefällen bei der Auflösung der ehelichen Gemeinschaft. Danach kann sich ein weiterer Aufenthalt in der Schweiz etwa dann als gerechtfertigt erweisen, wenn der Ehepartner verstorben ist oder wenn aufgrund der gescheiterten Ehe die familiäre und soziale Wiedereingliederung im Herkunftsland stark erschwert wird. Dies gilt auch, wenn gemeinsame Kinder vorhanden sind, zu denen eine enge Beziehung besteht und die in der Schweiz gut integriert sind. Zu berücksichtigen sind jedoch stets auch die Umstände, die zur Auflösung der Gemeinschaft geführt haben. Demgegenüber ist eine Rückkehr zumutbar, wenn der Aufenthalt in der Schweiz nur kürzere Zeit gedauert hat, keine engen Beziehungen zur Schweiz geknüpft wurden und die erneute Integration im Herkunftsland keine besonderen Probleme stellt (<ref-ruling> E. 5.1 S. 3).
Der Beschwerdeführer hielt sich im Zeitpunkt des vorinstanzlichen Entscheids zwar schon seit über zehn Jahren in der Schweiz auf. Seine berufliche und soziale Integration kann jedoch nicht als vertieft bezeichnet werden. Abgesehen von einer Verurteilung wegen Fälschung eines Ausweises kurz nach seiner Einreise hat er sich zwar strafrechtlich nichts mehr zu Schulden kommen lassen und er ist auch nicht sozialhilfebedürftig. Das genügt indes nicht, um einen schwer wiegenden Härtefall und damit einen Anspruch nach Art. 50 Abs. 1 lit. b AuG zu begründen (vgl. <ref-ruling> E. 5.4. S. 4; Urteil 2C_635/2009 vom 26. März 2010 E. 5.3). Der Beschwerdeführer ist noch relativ jung und er ist erst im Alter von 18 Jahren von seiner Heimat aus in die Schweiz gelangt. Die Ehe blieb kinderlos. Zudem durfte die Vorinstanz zu Recht aus dem längeren Heimaturlaub im Jahre 2009 den Schluss ziehen, der Beschwerdeführer könne sich im Heimatland ohne besondere Schwierigkeiten wieder integrieren.
2.3.3 Dem Beschwerdeführer steht somit weder gestützt auf Art. 50 Abs. 1 lit. a AuG (dreijährige Ehegemeinschaft und erfolgreiche Integration) noch auf Art. 50 Abs. 1 lit. b AuG (wichtige persönliche Gründe) ein Anspruch auf Verlängerung seiner Aufenthaltsbewilligung zu. Unter diesen Umständen ist der angefochtene Entscheid des Verwaltungsgerichts im Ergebnis nicht zu beanstanden.
3. Daraus ergibt sich, dass die Beschwerde in öffentlich-rechtlichen Angelegenheiten abzuweisen ist.
Bei diesem Ausgang hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Parteientschädigungen werden nicht geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 30. April 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Winiger