Sachverhalt:
A. Der aus Bangladesch stammende X._, geb. 1975, reiste im Sommer 1997 als Asylbewerber in die Schweiz ein. Nach Abweisung seines Asylgesuchs galt er ab März 1998 als verschwunden. Am 4. September 2000 heiratete er in seiner Heimat die dominikanische Staatsangehörige Y._, geb. 1973, welche im Besitz der Niederlassungsbewilligung für den Kanton Zürich ist. X._ reiste im Juli 2001 in die Schweiz ein und erhielt die Aufenthaltsbewilligung zum Verbleib bei der Ehefrau.
Im Mai 2003 führte die Sicherheitsdirektion (Migrationsamt) des Kantons Zürich erstmals Ermittlungen gegen X._ wegen des Verdachts auf Eingehung einer Scheinehe durch, welche jedoch keine rechtsgenügenden Anhaltspunkte erbrachten, worauf seine Aufenthaltsbewilligung bis zum 18. Juli 2004 verlängert wurde. Am 13. Oktober 2004 beantragte X._ erneut die Verlängerung der Aufenthaltsbewilligung. Dem Gesuch wurde die Kopie einer Einzugsanzeige beigelegt, wonach er, nachdem ihn seine Ehefrau am 18. August 2003 nach Unbekannt abgemeldet hatte, am 29. August 2004 wieder bei ihr eingezogen war. Gestützt auf weitere Ermittlungen und nach vorgängiger Gewährung des rechtlichen Gehörs wies die Sicherheitsdirektion das Verlängerungsgesuch mit Verfügung vom 6. Juli 2005 ab mit der Begründung, es müsse davon ausgegangen werden, dass X._ seit langer Zeit entgegen der gemachten Angaben nicht mit seiner Ehefrau zusammen wohne bzw. die Ehe eingegangen sei, um die Erteilung und Verlängerung der Aufenthaltsbewilligung erhältlich zu machen, was missbräuchlich sei und keinen Verlängerungsanspruch begründe. Gegen die erwähnte Verfügung legte X._ beim Regierungsrat des Kantons Zürich Rekurs ein.
Während hängigem Rekursverfahren wurde X._ mit Strafbefehl der Staatsanwaltschaft Zürich-Sihl vom 25. November 2005 wegen Hausfriedensbruchs und geringfügigen Diebstahls, begangen am 24. November 2004 mit 21 Tagen Gefängnis bedingt bestraft, bei einer Probezeit von zwei Jahren.
B. Mit Beschluss vom 1. September 2009 wies der Regierungsrat des Kantons Zürich den von X._ gegen die Verfügung der Sicherheitsdirektion vom 6. Juli 2005 erhobenen Rekurs ab. Das Verwaltungsgericht des Kantons Zürich, 4. Kammer, wies eine von X._ dagegen eingereichte Beschwerde mit Entscheid vom 16. Dezember 2009 ab.
C. Mit Eingabe vom 1. Februar 2010 erhebt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, den Entscheid des Verwaltungsgerichts vom 16. Dezember 2009 aufzuheben und das Migrationsamt des Kantons Zürich anzuweisen, ihm eine Niederlassungsbewilligung zu erteilen.
Das Verwaltungsgericht des Kantons Zürich, 4. Abteilung, gibt Verzicht auf Vernehmlassung bekannt. Das Bundesamt für Migration schliesst auf Abweisung der Beschwerde.
D. Dem vom Beschwerdeführer gestellten Gesuch um aufschiebende Wirkung wurde mit Verfügung des Präsidenten der II. öffentlich-rechtlichen Abteilung vom 5. Februar 2010 entsprochen.

Erwägungen:
1. 1.1 <ref-law> schliesst die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen Entscheide über ausländerrechtliche Bewilligungen aus, auf deren Erteilung weder nach dem Bundes- noch dem Völkerrecht ein Rechtsanspruch besteht.
1.2 Das streitige Gesuch um Erteilung einer Aufenthaltsbewilligung wurde vor Inkrafttreten des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) am 1. Januar 2008 eingereicht und beurteilt sich daher noch nach dem inzwischen aufgehobenen Bundesgesetz vom 26. Mai 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG) und seinen Ausführungserlassen (Art. 126 Abs. 1 AuG).
1.3 Gemäss Art. 17 Abs. 2 ANAG (in der Fassung vom 23. März 1990) hat der ausländische Ehegatte eines niedergelassenen Ausländers Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, solange die Ehegatten zusammen wohnen (Satz 1). Nach einem ordnungsgemässen und ununterbrochenen Aufenthalt von fünf Jahren hat der Ehegatte ebenfalls Anspruch auf die Niederlassungsbewilligung (Satz 2).
Der Beschwerdeführer hat sich nach eigenem Bekunden von seiner in der Schweiz niedergelassenen Ehefrau getrennt und wohnt seit Mitte Juli 2009 nicht mehr mit ihr zusammen; die Ehe besteht jedoch formell fort. Unter diesen Umständen kann er sich im Hinblick auf die Verlängerung seiner zum Verbleib beim Ehegatten ausgestellten Aufenthaltsbewilligung nicht mehr auf Art. 17 Abs. 2 Satz 1 ANAG berufen, da es zum heutigen (für die Eintretensfrage massgeblichen) Zeitpunkt an der Voraussetzung des Zusammenwohnens gebricht (vgl. zu dieser Voraussetzung: <ref-ruling> E. 4.1 S. 116 mit Hinweisen); ebenso wenig lassen sich in einer derartigen Konstellation Anwesenheitsansprüche aus Art. 8 Ziff. 1 EMRK bzw. <ref-law> (Recht auf Achtung des Familienlebens) ableiten, wenn es aktuell an einer tatsächlich gelebten, intakten ehelichen Beziehung fehlt (Urteil 2P.51/2006 vom 20. März 2006, E. 3.1 mit Hinweisen). Ein den Rechtsmittelweg ans Bundesgericht öffnender Rechtsanspruch auf die anbegehrte Bewilligungsverlängerung könnte sich einzig daraus ergeben, dass der Beschwerdeführer bereits während der Dauer des Zusammenwohnens, d.h. vor Mitte Juli 2009, gestützt auf Art. 17 Abs. 2 Satz 2 ANAG einen Anspruch auf die Niederlassungsbewilligung erworben hat, in welchem Fall er sich auch nach Beendigung der ehelichen Wohngemeinschaft noch darauf berufen könnte. Zwar stand im vorinstanzlichen Verfahren keine Niederlassungsbewilligung in Frage, womit die beantragte diesbezügliche Ausweitung des Streitgegenstandes im bundesgerichtlichen Verfahren nicht in Frage kommt, doch könnte dem Beschwerdeführer, falls ein Anspruch auf Niederlassungsbewilligung im Grundsatz zu bejahen wäre, die Aufenthaltsbewilligung a maiore minus nicht verweigert werden (vgl. <ref-ruling> E. 1.1.4 S. 149 mit Hinweisen). Auch die Entstehung des Anspruchs auf eine Niederlassungsbewilligung setzt - neben einem ordnungsgemässen und ununterbrochenen Aufenthalt von fünf Jahren - indessen voraus, dass die Ehegatten in diesem Zeitraum zusammen gelebt haben (vgl. etwa Urteil 2A.88/2005 vom 29. Juni 2005 E. 2.2 mit Hinweisen; vgl. auch <ref-ruling> E. 3). Ob dies vorliegend tatsächlich der Fall war, ist angesichts der von der Vorinstanz ins Feld geführten Indizien zweifelhaft, kann aber (für die Eintretensfrage) dahingestellt bleiben, zumal die Beschwerde ohnehin abzuweisen ist.
Die Frage, ob die Bewilligung verweigert werden durfte, weil ein Fall von Rechtsmissbrauch bzw. insbesondere eine Schein- oder Ausländerrechtsehe vorliegt, betrifft nicht das Eintreten, sondern bildet Gegenstand der materiellen Beurteilung (vgl. <ref-ruling> E. 1b S. 266 mit Hinweisen).
1.4 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt bzw. vom Bundesgericht von Amtes wegen berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law> bzw. <ref-law>). Eine entsprechende Rüge, welche rechtsgenüglich substantiiert vorzubringen ist (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; vgl. <ref-ruling> E. 1.4.3 S. 254 f.), setzt zudem voraus, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
2. 2.1 Nach Art. 7 Abs. 2 ANAG hat der ausländische Ehegatte eines Schweizer Bürgers dann keinen Anspruch auf die ihm nach Abs. 1 dieser Bestimmung grundsätzlich zustehende Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn die Ehe eingegangen worden ist, um die Vorschriften über Aufenthalt und Niederlassung von Ausländern und namentlich jene über die Begrenzung der Zahl der Ausländer zu umgehen. Als Konkretisierung des Rechtsmissbrauchsverbots im Bereich ausländerrechtlicher Bewilligungen ist diese Regel über den Geltungsbereich von Art. 7 ANAG hinaus auch in Bezug auf die Ansprüche gemäss Art. 17 Abs. 2 ANAG in gleicher Weise anwendbar (<ref-ruling> E. 3a; <ref-ruling> E. 4.2 S. 117). Art. 7 Abs. 2 ANAG bzw. der darin zum Ausdruck kommende Vorbehalt des Rechtsmissbrauchs bezieht sich auf die so genannte Scheinehe bzw. Ausländerrechtsehe, bei der die Ehegatten von vornherein keine echte eheliche Gemeinschaft beabsichtigen. Auch wenn die Ehe nicht bloss zum Schein eingegangen worden ist, heisst dies jedoch nicht zwingend, dass dem ausländischen Ehepartner der Aufenthalt ungeachtet der weiteren Entwicklung gestattet werden muss. Zu prüfen ist diesfalls, ob sich die Berufung auf die Ehe nicht anderweitig als rechtsmissbräuchlich erweist, was namentlich dann der Fall ist, wenn ein Ausländer sich im fremdenpolizeilichen Verfahren auf eine Ehe beruft, welche nur noch formell besteht oder aufrechterhalten wird mit dem alleinigen Ziel, dem Ausländer eine Anwesenheitsbewilligung zu ermöglichen. Dieses Ziel wird ausländerrechtlich nicht geschützt (<ref-ruling> E. 4.2 S. 117; <ref-ruling> E. 2 S. 151 f.; <ref-ruling> E. 4a/5a, je mit Hinweisen).
2.2 Die kantonalen Behörden sind aufgrund ihrer Sachverhaltserhebung zum Schluss gekommen, die Ehe des Beschwerdeführers mit seiner Gattin sei entweder von Anfang an nicht wirklich im Sinne einer affektiven, sexuellen, seelisch-geistigen und wirtschaftlichen Gemeinschaft gewollt oder aber lange vor Ablauf der Fünfjahresfrist gemäss Art. 17 Abs. 2 Satz 2 ANAG definitiv gescheitert gewesen. Es wird mithin auf eine Scheinehe oder jedenfalls eine rechtsmissbräuchliche Berufung auf eine nicht mehr gelebte Ehe geschlossen.
2.3 Dass eine Ehe nur (noch) formell und ohne Aussicht auf Wiederaufnahme einer ehelichen Gemeinschaft besteht, entzieht sich in der Regel einem direkten Beweis und ist oft bloss durch Indizien zu erstellen (<ref-ruling> E. 2.3 S. 152; <ref-ruling> E. 5a S. 57). Feststellungen des kantonalen Richters über das Bestehen von solchen Hinweisen können äussere Gegebenheiten, aber auch innere psychische Vorgänge betreffen (Wille der Ehegatten). In beiden Fällen handelt es sich um tatsächliche Feststellungen (<ref-ruling> E. 2a S. 6; vgl. auch <ref-ruling> E. 2c S. 248), welche für das Bundesgericht verbindlich sind. Frei zu prüfen ist dagegen die Rechtsfrage, ob die festgestellten Tatsachen (Indizien) darauf schliessen lassen, die Berufung auf die Ehe sei rechtsmissbräuchlich oder bezwecke die Umgehung fremdenpolizeilicher Vorschriften (<ref-ruling> E. 2.3 S. 152).
2.4 Es kann offenbleiben, inwieweit die von der Vorinstanz angeführten tatsächlichen Umstände des Kennenlernens und des Entschlusses zur Heirat in Verbindung mit der zeitlichen Koinzidenz von negativem Asylentscheid und Eheschluss bereits auf das Vorliegen einer Scheinehe schliessen lassen. Die von den kantonalen Behörden erhobenen Indizien lassen aber ohne Verletzung von Bundesrecht darauf erkennen, dass die Ehe jedenfalls im für die anbegehrte Bewilligungsverlängerung massgeblichen Zeitpunkt nicht (mehr) gelebt wurde. So steht fest, dass die Ehefrau bereits kurz nach Eheschliessung am 4. September 2000 eine aussereheliche Beziehung eingegangen ist, aus welcher eine Tochter hervorging. Der Beschwerdeführer weilte demgegenüber auch nach seiner Einreise in der Schweiz über längere Zeiträume ohne seine Ehefrau in Bangladesch, bisweilen ohne diese überhaupt über seine Abwesenheit zu orientieren. Sodann war der Beschwerdeführer nach unwidersprochener Darstellung der Vorinstanz von seiner Einreise an nur bis zum 1. Oktober 2001 und danach nochmals vom 3. Februar 2002 bis zum 18. August 2003 an der gemeinsamen Wohnadresse, einer von der Ehefrau gemieteten 15 m2 grossen Einzimmerwohnung, angemeldet. Vom 1. Oktober 2001 bis 3. Februar 2002 war er an einer anderen Adresse in Zürich wohnhaft. Am 18. August 2003 war er von seiner Ehefrau nach Unbekannt ab- und erst auf den 29. August 2004 wieder angemeldet worden. Der Beschwerdeführer räumt denn auch ein, von Mitte 2003 bis ca. Mitte 2004 aufgrund ehelicher Differenzen getrennt von seiner Gattin gelebt zu haben. Dass er jedoch - wenn überhaupt - frühestens ab Oktober 2004 wieder zu seiner Ehefrau gezogen sein kann, ergibt sich ohne weiteres daraus, dass sich die Ehefrau ab dem 13. September 2004 für 25 Tage in Untersuchungshaft befand, was dem Beschwerdeführer indessen nicht bekannt war. Selbst im Februar 2005 konnten anlässlich einer polizeilichen Kontrolle in der ehelichen Wohnung keine persönlichen Effekten des Beschwerdeführers vorgefunden werden. Auf den 13. Juni 2005 wurde der Beschwerdeführer von seiner Ehefrau abermals nach Unbekannt abgemeldet; die Ehefrau wurde überdies bei den Sozialbehörden ab 13. Juli 2005 als getrennt lebend registriert. Dafür, dass die erwähnten Ab- und Anmeldungen seitens der Ehefrau des Beschwerdeführers allein aus Gründen des Erhalts ihrer Sozialhilfeleistungen und damit mit betrügerischen Absichten hätten veranlasst worden sein sollen, wie der Beschwerdeführer insinuiert, bestehen keinerlei Anhaltspunkte. Vielmehr durfte die Vorinstanz unter den gegebenen Umständen ohne Verletzung von Bundesrecht den Schluss ziehen, spätestens mit der Abmeldung ihres Ehemannes im Juli 2005 habe ein eheliches Zusammenleben an der gemeinsamen Wohnadresse, an welcher der Beschwerdeführer bereits vorher nur zeitweise angemeldet war und gelebt hat, nicht mehr stattgefunden. Zu recht weist die Vorinstanz im Übrigen darauf hin, dass die Ehefrau zwischen März 2005 bis Mai 2009 behördlicherseits mehrfach aufgefordert worden war, sich zum ehelichen Zusammenleben zu äussern, indessen abgesehen von einer schriftlichen Bestätigung im März 2006, wonach der Beschwerdeführer bei ihr wohne und esse, sich nie ernsthaft um die Klärung dieses für den Ausgang des fremdenpolizeilichen Verfahrens betreffend ihren Ehemann erkennbar relevanten Umstandes bemüht hat. Damit erwies sich die - unter den gegebenen Umständen rein ausländerrechtlich motivierte - Berufung auf die nicht mehr gelebte Ehe als rechtsmissbräuchlich, soweit es im massgeblichen Zeitpunkt nicht überhaupt an der von Art. 17 Abs. 2 ANAG geforderten Voraussetzung des ehelichen Zusammenwohnens fehlte, was diesbezügliche Ansprüche zum Vornherein ausgeschlossen hätte.
3. Nach dem Gesagten ist die Beschwerde als unbegründet abzuweisen, soweit darauf einzutreten ist.
Bei diesem Ausgang sind die Kosten des bundesgerichtlichen Verfahrens vom Beschwerdeführer zu tragen (Art. 66 Abs. 1 in Verbindung mit <ref-law>). Parteientschädigungen sind keine geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Sicherheitsdirektion, dem Regierungsrat (Staatskanzlei) und dem Verwaltungsgericht (4. Kammer) des Kantons Zürich sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 21. April 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Moser