Sachverhalt:
A. Der aus Bangladesch stammende X._ (geb. 1977) hält sich seinen Angaben zufolge seit dem Frühling 1998 in der Schweiz auf. Nach einem erfolglosen Asylverfahren erhielt er am 23. März 1999 infolge Heirat mit der Schweizerin Y._ (geb. 1960) eine jährlich, letztmals bis zum 22. März 2005 erneuerte Aufenthaltsbewilligung für den Kanton Zürich. Ein von X._ im Februar 2004 gestelltes Gesuch um Erteilung einer Niederlassungsbewilligung wurde am 2. April 2004 abgewiesen mit der Begründung, er habe zu Klagen Anlass gegeben. Dabei wurde auf eine im Strafregister eingetragene Verurteilung zu sechs Monaten Gefängnis verwiesen, die das Bezirksgericht Zürich am 25. Februar 2003 ausgesprochen hatte. Die Verfügung vom 2. April 2004 blieb unangefochten.
B. Mit Entscheid vom 10. Oktober 2005 verweigerte das Migrationsamt des Kantons Zürich X._ die Bewilligung des weiteren Aufenthalts und forderte ihn zum Verlassen des Kantonsgebiets auf. Zur Begründung führte das Migrationsamt vor allem an, die eheliche Wohngemeinschaft sei bereits im Juli 1999 aufgegeben worden. X._ berufe sich in rechtsmissbräuchlicher Weise auf eine nur noch formell bestehende Ehe. Die von X._ dagegen erhobenen Rechtsmittel wiesen der Regierungsrat und anschliessend das Verwaltungsgericht des Kantons Zürich ab, soweit sie darauf eintraten.
C. X._ beantragt mit Beschwerde vom 29. Mai 2008, den in dieser Sache zuletzt ergangenen Entscheid des Verwaltungsgerichts vom 16. April 2008 aufzuheben und das kantonale Migrationsamt anzuweisen, ihm eine Niederlassungsbewilligung zu erteilen oder eventualiter die Aufenthaltsbewilligung zu erneuern.
D. Das Bundesgericht hat die kantonalen Akten beigezogen. Das Migrationsamt, der Regierungsrat sowie das Verwaltungsgericht des Kantons Zürich haben sich nicht vernehmen lassen.
E. Mit Verfügung vom 3. Juni 2008 hat das präsidierende Mitglied der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss aufschiebende Wirkung zuerkannt.

Erwägungen:
1. Da das Gesuch um weitere Bewilligung des Aufenthaltes vor dem 1. Januar 2008 gestellt wurde, ist gemäss Art. 126 Abs. 1 des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) noch das vor dem erstgenannten Datum geltende Recht anwendbar.
2. 2.1 Nach <ref-law> ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten ausgeschlossen gegen Entscheide auf dem Gebiet des Ausländerrechts betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumen. Mit Blick auf die zumindest noch formell mit der Schweizer Bürgerin bestehende Ehe des Beschwerdeführers hat dieser grundsätzlich einen Anspruch auf Bewilligung des Aufenthalts gemäss Art. 7 Abs. 1 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121, in der Fassung vom 23. März 1990, AS 1991 S. 1034). Insoweit greift der erwähnte Ausschlussgrund nicht, weshalb auf die fristgerecht eingereichte Beschwerde grundsätzlich einzutreten ist.
2.2 Das gilt allerdings nicht für die vom Beschwerdeführer mit dem Hauptantrag begehrte Erteilung einer Niederlassungsbewilligung. Nach Auffassung der Vorinstanz wurde dieser Antrag erstmals bei ihr gestellt, nicht jedoch bereits im Rekursverfahren vor dem Regierungsrat, wodurch der Beschwerdeführer den Streitgegenstand in unzulässiger Weise ausgedehnt habe; deshalb trat das Verwaltungsgericht auf das entsprechende Begehren nicht ein. Der Beschwerdeführer setzt sich mit den diesbezüglichen vorinstanzlichen Erwägungen nicht auseinander und zeigt nicht auf, inwiefern der angefochtene Entscheid auf einer verfassungswidrigen Anwendung des kantonalen Verfahrensrechts beruhen könnte. Seine Rechtsschrift erfüllt in diesem Punkt die Begründungsanforderungen gemäss Art. 42 Abs. 2 in Verbindung mit <ref-law> nicht.
3. 3.1 Wie erwähnt, hat der ausländische Ehegatte eines Schweizer Bürgers grundsätzlich Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung (Art. 7 Abs. 1 Satz 1 ANAG). Im Gegensatz zu Art. 17 Abs. 2 Satz 1 ANAG, der dem Ehepartner eines in der Schweiz niedergelassenen Ausländers einen Aufenthaltsanspruch verschafft, ist es bei Art. 7 Abs. 1 ANAG nicht notwendig, dass die Eheleute fortwährend in der gleichen Wohnung zusammenleben (vgl. <ref-ruling> E. 3 S. 149 ff.; Urteil 2C_278/2008 vom 18. Juni 2008, E. 4.3). Nach einem ordnungsgemässen und ununterbrochenem Aufenthalt von fünf Jahren hat der ausländische Ehepartner zudem Anspruch auf die Niederlassungsbewilligung (Art. 7 Abs. 1 Satz 2 ANAG). Auch wenn auf den Antrag auf Erteilung einer Niederlassungsbewilligung nicht einzutreten ist (siehe hievor E. 2.2), könnte dem Beschwerdeführer, falls ein Anspruch auf diese Bewilligung bestünde, die ein weniger gefestigtes Anwesenheitsrecht gewährende Aufenthaltsbewilligung erst recht nicht verweigert werden; das ist als Rechtsfrage von Amtes wegen zu berücksichtigen (Urteil 2A.139/2000 vom 18. Oktober 2000, E. 1c/bb mit Hinweis).
3.2 Kein Anspruch nach Art. 7 Abs. 1 ANAG besteht allerdings, wenn die Ehe eingegangen worden ist, um die Vorschriften über Aufenthalt und Niederlassung von Ausländern und namentlich jene über die Begrenzung der Zahl der Ausländer zu umgehen (Art. 7 Abs. 2 ANAG). Erfasst wird davon die sog. Ausländerrechts- bzw. Scheinehe, bei der die Ehegatten von vornherein keine echte eheliche Gemeinschaft beabsichtigen (vgl. Näheres in <ref-ruling> E. 2 S. 294 ff.; <ref-ruling> E. 3 S. 101 ff.). Auch wenn die Ehe nicht mit Umgehungsabsichten geschlossen wurde, heisst dies nicht zwingend, dass dem ausländischen Ehepartner der Aufenthalt ungeachtet der weiteren Entwicklung gestattet werden muss. Zu prüfen ist diesfalls, ob sich die Berufung auf die Ehe nicht anderweitig als rechtsmissbräuchlich erweist, was namentlich dann der Fall ist, wenn ein Ausländer sich im fremdenpolizeilichen Verfahren auf eine Ehe beruft, welche nur noch formell besteht oder aufrechterhalten wird mit dem alleinigen Ziel, dem Ausländer eine Anwesenheitsbewilligung zu ermöglichen (vgl. mit weiteren Einzelheiten <ref-ruling> E. 4.2 S. 117; <ref-ruling> E. 2 S. 151 f.; <ref-ruling> E. 5 S. 56 ff.). Ein entsprechender Sachverhalt muss grundsätzlich bereits vor Ablauf der Fünfjahresfrist gemäss Art. 7 Abs. 1 Satz 2 ANAG, d.h. vor Erlangung des Anspruchs auf die Niederlassungsbewilligung vorgelegen haben (BGE <ref-ruling> E. 4c S. 104 f.). Allerdings können auch später eingetretene Sachumstände Indizien bilden, welche auf das Vorliegen (oder Nichtvorliegen) eines Rechtsmissbrauchs im massgeblichen Zeitpunkt schliessen lassen (Urteil 2C_241/2007 vom 12. Oktober 2007, E. 3.2).
4. 4.1 Die Vorinstanzen lassen ausdrücklich offen, ob bereits eine sog. Ausländerrechts- bzw. Scheinehe im Sinne von Art. 7 Abs. 2 ANAG geschlossen worden ist, auch wenn sie hiefür einige Indizien erwähnen. Sie sind indes der Auffassung, die Berufung auf die Ehe sei bereits lange vor Ablauf der Fünfjahresfrist des Art. 7 Abs. 1 Satz 2 ANAG - mithin vor dem 23. März 2004 - rechtsmissbräuchlich gewesen. Die Ehefrau habe sich unbestrittenermassen bereits im Juli 1999 ohne den Beschwerdeführer nach Zürich abgemeldet. Entgegen den Behauptungen des Beschwerdeführers habe nicht nur die gesundheitliche Situation der Ehefrau, die mit der Drogensucht zu kämpfen hat, die Wiederaufnahme der Wohngemeinschaft verhindert. Hierfür sei ebenso das Scheitern der Ehe verantwortlich gewesen.
4.2 Der Beschwerdeführer wendet ein, die Ehefrau sei wegen ihrer Drogensucht "zeitweise" hospitalisiert gewesen. Die Instabilität der Wohnverhältnisse könne nicht als Indiz für das Scheitern der Ehe berücksichtigt werden. Insbesondere sei er nicht für die gesundheitliche Entwicklung seiner Ehefrau verantwortlich. Er habe sich "regelmässig" mit ihr getroffen und telefoniert. Ebenso sei "regelmässig" die Wiederaufnahme der ehelichen Wohngemeinschaft in Erwägung gezogen worden; wegen der Suchtkrankheit seiner Ehefrau hätten diese Pläne jedoch nicht realisiert werden können. Immerhin hätten sie von November 2003 bis Oktober 2004 wieder in einer gemeinsamen Wohnung gelebt.
5. 5.1 Wie erwähnt (hievor E. 3.1), verlangt Art. 7 Abs. 1 ANAG zwar nicht, dass die Eheleute den gleichen Wohnsitz haben. Wohnen Eheleute jedoch über Jahre hinweg nicht am selben Ort, ohne dass hierfür besondere Gründe ersichtlich sind, besteht die Vermutung, dass sich der ausländische Ehepartner rechtsmissbräuchlich auf die Ehe beruft, um in der Schweiz bleiben zu können. Insoweit obliegt es dem Ausländer, diese Vermutung zu entkräften, indem er substantiiert dartut und - soweit möglich - belegt, dass die Ehe weiterhin gelebt wird. Er darf sich nicht mit blossem Bestreiten oder pauschalen Behauptungen begnügen. Das ergibt sich nicht nur aus der den Ausländer nach Art. 3 Abs. 2 und Art. 13f ANAG bzw. Art. 90 AuG treffenden Mitwirkungspflicht, sondern bereits aus Treu und Glauben (<ref-law>), da es um Tatsachen geht, die der Ausländer naturgemäss besser kennt als die Behörden und welche diese ohne seine Mitwirkung gar nicht oder nicht mit vernünftigem Aufwand feststellen können (vgl. zur Mitwirkungspflicht: <ref-ruling> E. 3.2 S. 115; <ref-ruling> E. 2b S. 365; <ref-ruling> E. 4c/cc S. 394).
6. 6.1 Es steht fest, dass die Ehefrau die gemeinsame Wohnung im Juli 1999, mithin bereits etwa vier Monate nach Eheschliessung verliess. Der Beschwerdeführer behauptet zwar, danach hätten regelmässige Kontakte mit seiner Ehefrau stattgefunden; sie hätten auch zeitweise wieder zusammen in Dübendorf gewohnt. Näheres führt er dazu jedoch nicht aus. Inwiefern die gegenteiligen Feststellungen der Vorinstanz offensichtlich unzutreffend sein sollen, legt er nicht dar; diese sind auch nicht offensichtlich unrichtig und beruhen nicht auf einer Rechtsverletzung (vgl. zum massgebenden Sachverhalt: Art. 97 Abs. 1 und Art. 105 Abs. 1 und 2 BGG). Während der eine Ehepartner in Dübendorf registriert war, meldete sich der andere in Zürich an, und spätestens ab Anfang des Jahres 2001 wohnten beide Eheleute an getrennten Adressen in Zürich. Anlässlich einer Befragung im Mai 2005 wusste der Beschwerdeführer nicht, wo seine Ehefrau damals wohnte, ob sie arbeitete und wovon sie ihren Lebensunterhalt bestritt. Zwar wendet er ein, diese Aussage habe nur eine Momentaufnahme dargestellt und sei deshalb irrelevant. Das passt jedoch nicht zu seinem weiteren Vorbringen, er habe seiner Ehefrau hinsichtlich ihrer Suchtkrankheit "bestmöglich" beigestanden und mit ihr regelmässige Kontakte gepflegt; dieses - im Übrigen unbelegte - Vorbringen erweist sich somit als unglaubwürdig. Die im Mai 2005 gegebenen Antworten widerlegen ausserdem die ebenfalls ohne nähere Darlegungen aufgestellte Behauptung des Beschwerdeführers, es habe "stets auch eine wirtschaftliche Gemeinschaft" zwischen ihm und seiner Ehefrau bestanden.
Wie die Vorinstanz zutreffend festhält, verstrickt sich der Beschwerdeführer noch in weitere Widersprüche, wenn er behauptet, allein die gesundheitliche Situation seiner Ehefrau habe die Wiederaufnahme der Wohngemeinschaft verhindert: Obwohl er in anderem Zusammenhang vorbringt, seine Ehefrau sei im August 2005 "in keiner Weise verwahrlost oder in anderer Hinsicht eingeschränkt" gewesen, unterblieb damals und in der Folge ein Zusammenleben. Ausserdem hatte der Beschwerdeführer noch gegenüber dem Migrationsamt anlässlich der früheren Verlängerungen seiner Aufenthaltsbewilligung wiederholt erklärt, sie lebten nur deswegen getrennt, weil sie aus finanziellen Gründen noch keine günstigere gemeinsame Wohnung gefunden hätten; von Hospitalisation oder gesundheitlichen Problemen der Ehefrau war seinerzeit keine Rede.
6.2 Mit Blick darauf ist nicht zu beanstanden, wenn die Vorinstanzen dem vom Anwalt des Beschwerdeführers aufgesetzten und von der Ehefrau am 12. August 2005 unterzeichneten Schreiben keine massgebende Bedeutung zumessen. Darin erklärte die Ehefrau, sie habe ein gutes Verhältnis zum Beschwerdeführer, mit ihm sei "es immer gut"; sie beabsichtige nicht, sich von ihm scheiden zu lassen. Zwar mag sie bei der früheren Befragung vom Mai 2005, anlässlich derer sie geäussert hatte, sie wolle die Scheidung, in einer schlechten gesundheitlichen Verfassung gewesen sein. Dennoch fanden die Eheleute auch später nicht mehr zueinander, als sich der Gesundheitszustand der Ehefrau gebessert hatte. Obwohl die Eheleute damals in der gleichen Stadt wohnten, haben sie sich - ihren Angaben zufolge - nur einmal, allenfalls zweimal in der Woche getroffen. Wie bereits die Vorinstanz festgehalten hat, ergibt sich aus dem besagten Schreiben im Übrigen nicht, die Eheleute wollten die eheliche Gemeinschaft wieder aufnehmen. Darauf deuten auch keine zusätzlichen objektiven Umstände. Selbst der Beschwerdeführer hat - trotz entsprechenden Vorhalten der Vorinstanzen - nichts Substantiiertes dargelegt, wie er sich um die Rettung der Ehe bemüht haben will bzw. wie eine eheliche Beziehung geführt wurde, obgleich getrennte Unterkünfte bestanden.
6.3 Demnach haben die Vorinstanzen zutreffend festgestellt, dass seit dem Jahr 1999 keine eheliche Gemeinschaft mehr gelebt wurde und aus der Sicht des Beschwerdeführers in der Folge auch keine berechtigte Hoffnung auf eine Wiederaufnahme derselben gehegt werden konnte. Damit wurde ebenfalls zu Recht gefolgert, der Beschwerdeführer habe sich bereits vor Ablauf der Fünfjahresfrist nur noch rechtsmissbräuchlich auf die Ehe berufen, um seinen Aufenthalt in der Schweiz nach Art. 7 Abs. 1 ANAG zu ermöglichen. Eine Beziehung, die sich über Jahre - wenn überhaupt - im Wesentlichen auf ein bis zwei wöchentliche Treffen beschränkt, verdient nicht den Schutz der erwähnten Bestimmung. Daran ändert auch nichts, dass der Beschwerdeführer zumindest zeitweise einen Unterhaltsbeitrag für seine Ehefrau bezahlt hat (vgl. Urteil 2C_278/2008 vom 18. Juni 2008, E. 4).
6.4 Zwar sollen die Eheleute nach rund vierjährigem getrennten Wohnen gegen Ende 2003 - wie auch von der Amtsvormundin der Ehefrau bestätigt - die eheliche Wohngemeinschaft für höchstens ein Jahr wieder aufgenommen haben. Auf den Vorhalt der Behörden hin, das Zusammenwohnen sei mit Blick auf die im Februar 2004 beantragte Niederlassungsbewilligung inszeniert worden, um das Migrationsamt zu täuschen, begnügt sich der Beschwerdeführer mit der Erklärung, das treffe nicht zu. Nachdem sich die Eheleute aber in der Folge wieder getrennt haben und erneut seit über drei Jahren nicht mehr zusammenleben, erscheint die Annahme der Vorinstanzen als richtig. Der blosse Hinweis des Beschwerdeführers auf die Hospitalisation bzw. den gesundheitlichen Zustand der Ehefrau ist unbehelflich. Wie erwähnt, hatte sich dieser unter anderem im Sommer 2005 derart gebessert, dass er einer Fortsetzung der Wohngemeinschaft nicht entgegengestanden hätte. Zudem reiste der Beschwerdeführer im Januar 2004 - demnach während der Zeit des angeblichen Zusammenlebens - für fast einen Monat ohne seine Ehefrau in seine Heimat.
7. Der Beschwerdeführer beruft sich zusätzlich auf den Vertrauensschutz sowie Treu und Glauben (Art. 5 Abs. 3 und Art. 9 BV; vgl. allgemein <ref-ruling> E. 6.1 S. 637, mit Hinweisen). Die Behörden hätten in Kenntnis aller massgeblichen Umstände die Aufenthaltsbewilligung mehrmals verlängert und könnten ihm daher nicht nachträglich rechtsmissbräuchliches Verhalten vorwerfen. Als ihm die Niederlassungsbewilligung im Jahre 2004 verweigert worden sei, hätten ihm die Behörden nur eine im Strafregister eingetragene Verurteilung vorgehalten.
Dieses Vorbringen geht fehl: Zunächst begründet die blosse Erneuerung einer Aufenthaltsbewilligung für sich allein noch kein schutzwürdiges Vertrauen auf weitere Verlängerungen derselben (<ref-ruling> E. 3b S. 388). Sodann waren den Behörden nicht von vornherein alle Umstände bekannt, welche nunmehr die Verweigerung der beantragten Bewilligung rechtfertigen. Schliesslich ist weder erkennbar noch vom Beschwerdeführer dargelegt worden, welche Dispositionen er mit Blick auf das Verhalten der Behörden getroffen hat, die er nicht mehr ohne Schaden rückgängig machen kann.
8. Nach dem Gesagten erweist sich die Beschwerde als unbegründet und ist abzuweisen, soweit darauf einzutreten ist. Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 und 66 BGG). Parteientschädigungen werden nicht geschuldet (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt, dem Regierungsrat sowie dem Verwaltungsgericht, 2. Kammer, des Kantons Zürich und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 11. September 2008
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Merkli Merz