Sachverhalt: A. Der aus Bangladesch stammende X._, geb. 1975, reiste im Sommer 1997 als Asylbewerber in die Schweiz ein. Nach Abweisung seines Asylgesuchs galt er ab März 1998 als verschwunden. Am 4. September 2000 heiratete er in seiner Heimat die dominikanische Staatsangehörige Y._, geb. 1973, welche im Besitz der Niederlassungsbewilligung für den Kanton Zürich ist. X._ reiste im Juli 2001 in die Schweiz ein und erhielt die Aufenthaltsbewilligung zum Verbleib bei der Ehefrau. Im Mai 2003 führte die Sicherheitsdirektion (Migrationsamt) des Kantons Zürich erstmals Ermittlungen gegen X._ wegen des Verdachts auf Eingehung einer Scheinehe durch, welche jedoch keine rechtsgenügenden Anhaltspunkte erbrachten, worauf seine Aufenthaltsbewilligung bis zum 18. Juli 2004 verlängert wurde. Am 13. Oktober 2004 beantragte X._ erneut die Verlängerung der Aufenthaltsbewilligung. Dem Gesuch wurde die Kopie einer Einzugsanzeige beigelegt, wonach er, nachdem ihn seine Ehefrau am 18. August 2003 nach Unbekannt abgemeldet hatte, am 29. August 2004 wieder bei ihr eingezogen war. Gestützt auf weitere Ermittlungen und nach vorgängiger Gewährung des rechtlichen Gehörs wies die Sicherheitsdirektion das Verlängerungsgesuch mit Verfügung vom 6. Juli 2005 ab mit der Begründung, es müsse davon ausgegangen werden, dass X._ seit langer Zeit entgegen der gemachten Angaben nicht mit seiner Ehefrau zusammen wohne bzw. die Ehe eingegangen sei, um die Erteilung und Verlängerung der Aufenthaltsbewilligung erhältlich zu machen, was missbräuchlich sei und keinen Verlängerungsanspruch begründe. Gegen die erwähnte Verfügung legte X._ beim Regierungsrat des Kantons Zürich Rekurs ein. Während hängigem Rekursverfahren wurde X._ mit Strafbefehl der Staatsanwaltschaft Zürich-Sihl vom 25. November 2005 wegen Hausfriedensbruchs und geringfügigen Diebstahls, begangen am 24. November 2004 mit 21 Tagen Gefängnis bedingt bestraft, bei einer Probezeit von zwei Jahren. B. Mit Beschluss vom 1. September 2009 wies der Regierungsrat des Kantons Zürich den von X._ gegen die Verfügung der Sicherheitsdirektion vom 6. Juli 2005 erhobenen Rekurs ab. Das Verwaltungsgericht des Kantons Zürich, 4. Kammer, wies eine von X._ dagegen eingereichte Beschwerde mit Entscheid vom 16. Dezember 2009 ab. C. Mit Eingabe vom 1. Februar 2010 erhebt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, den Entscheid des Verwaltungsgerichts vom 16. Dezember 2009 aufzuheben und das Migrationsamt des Kantons Zürich anzuweisen, ihm eine Niederlassungsbewilligung zu erteilen. Das Verwaltungsgericht des Kantons Zürich, 4. Abteilung, gibt Verzicht auf Vernehmlassung bekannt. Das Bundesamt für Migration schliesst auf Abweisung der Beschwerde. D. Dem vom Beschwerdeführer gestellten Gesuch um aufschiebende Wirkung wurde mit Verfügung des Präsidenten der II. öffentlich-rechtlichen Abteilung vom 5. Februar 2010 entsprochen.