Sachverhalt: A. X._ (geb. 1965), Staatsangehöriger von Sri Lanka, reiste am 14. August 1996 in die Schweiz ein und stellte ein Asylgesuch. Dieses wurde am 7. März 1997 abgewiesen. Auf die dagegen erhobene Beschwerde trat die Asylrekurskommission nicht ein. Wegen fehlender Reisedokumente konnte die Wegweisung von X._ jedoch nicht vollzogen werden. Am 7. Juli 1998 heiratete X._ die aus der Republik Elfenbeinküste stammende Schweizerin Y._, welche bereits zwei Kinder hatte. Am 3. Februar 2000 wies das Bezirksgericht Bülach die auf eine unheilbare Zerrüttung der Ehe gemäss alt Art. 142 ZGB gestützte Scheidungsklage der Ehefrau ab. Am 5. Juni 2000 erteilte das Migrationsamt des Kantons Zürich X._ eine Aufenthaltsbewilligung zum Verbleib bei der Ehefrau, die es in der Folge bis zum 6. Januar 2003 verlängerte. Am 12. Februar 2004 wurde die Ehe vom Bezirksgericht Zürich rechtskräftig geschieden. Zwischen 2001 und 2003 wurde X._ in vier Strafverfahren unter anderem wegen mehrfacher Widerhandlung gegen das Betäubungsmittelgesetz, Widerhandlung gegen die Ausländergesetzgebung, grober Verkehrsregelverletzung, Hehlerei und versuchten Diebstahls zu insgesamt 205 Tagen Gefängnis und einer Busse von Fr. 4'000.-- verurteilt. B. Mit Verfügung vom 5. April 2006 wies das Migrationsamt die Gesuche von X._ vom 19. Dezember 2002 und vom 23. Dezember 2003 um Verlängerung der Aufenthaltsbewilligung bzw. um Erteilung einer Niederlassungsbewilligung ab. Es erwog im Wesentlichen, X._ berufe sich rechtsmissbräuchlich auf eine nur noch formell bestehende Ehe und habe daher keinen Anspruch auf Erteilung der Niederlassungsbewilligung bzw. Verlängerung der Aufenthaltsbewilligung. Aufgrund der nicht sehr starken Verwurzelung des Betroffenen in der Schweiz und seiner Straffälligkeit rechtfertige sich auch gestützt auf Art. 4 ANAG kein weiterer Aufenthalt. Dagegen rekurrierte X._ an den Regierungsrat des Kantons Zürich. Am 3. Februar 2009 stellte X._ ein Gesuch um Erteilung einer Härtefallbewilligung gestützt auf das neue Ausländergesetz. Mit Beschluss vom 31. März 2009 wies der Regierungsrat den Rekurs ab. X._ beschwerte sich gegen den Regierungsratsbeschluss ohne Erfolg beim Verwaltungsgericht des Kantons Zürich. C. Mit Beschwerde an das Bundesgericht vom 21. Januar 2010 beantragt X._, den Entscheid des Verwaltungsgerichts des Kantons Zürich vom 21. Oktober 2009 aufzuheben und ihm die Niederlassungsbewilligung zu erteilen, eventualiter die Aufenthaltsbewilligung zu verlängern. Subeventualiter ersucht er um Rückweisung der Sache an die Vorinstanz zur Neubeurteilung. Weiter beantragt er, es sei festzustellen, dass das Verfahren betreffend Verlängerung der Aufenthaltsbewilligung bis zur Erteilung der Niederlassungsbewilligung nicht innert der verfassungsrechtlich gebotenen Frist abgeschlossen wurde. Im Übrigen stellt er das Begehren, der Beschwerde die aufschiebende Wirkung zuzuerkennen. Die Staatskanzlei - im Auftrag des Regierungsrates - und das Verwaltungsgericht des Kantons Zürich sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde. D. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat mit Verfügung vom 26. Januar 2010 der Beschwerde aufschiebende Wirkung zuerkannt.