Sachverhalt:
A. Der kongolesische Staatsangehörige X._ (geb. 1961) heiratete am 27. September 1985 die Schweizer Bürgerin Y._. Im Rahmen des Familiennachzugs erhielt er eine Aufenthaltsbewilligung. Der Ehe entsprossen die beiden Kinder Z._ (geb. 1986) und W._ (geb. 1987). Mit Urteil vom 29. Januar 1991 wurde X._ wegen Widerhandlungen gegen das Betäubungsmittelgesetz zu fünf Jahren Zuchthaus und zu zehn Jahren Landesverweisung "bedingt vollziehbar" verurteilt. Hinzu kamen im Zeitraum zwischen 1986 und 2003 zahlreiche Bussen und Gefängnisstrafen (u. a. zu 3, 13 und 16 Monaten wegen weiteren Betäubungsmitteldelikten, Verstössen gegen das Strassenverkehrsgesetz und Vernachlässigung von Unterhaltspflichten). Seine Ehe wurde 1997 geschieden.
B. Zwischen 2001 und 2005 versuchte X._ vergeblich, für sich im Kanton Zürich eine Aufenthaltsbewilligung erhältlich zu machen. Sämtliche von ihm gegen die jeweils abschlägigen Bescheide erhobenen Rechtsmittel und Rechtsbehelfe drangen nicht durch. Ab dem Jahre 2005 versuchte er es mit demselben Anliegen ebenso erfolglos im Kanton Luzern; zuletzt trat das Bundesgericht auf eine entsprechende Beschwerde mangels Bewilligungsanspruch nicht ein (Urteil vom 20. Juli 2007 im Verfahren 2C_113/2007). Daraufhin wurde ihm eine Frist bis zum 10. September 2007 angesetzt, um den Kanton Luzern zu verlassen.
C. Unmittelbar vor Ablauf dieser Frist, am 22. August 2007, heiratete X._ die aus Kamerun stammende V._ (geborene U._), welche das Schweizer Bürgerrecht besitzt. Sechs weitere Tage später, am 28. August 2007, stellte er im Kanton Zürich erneut ein Gesuch um Aufenthaltsbewilligung. Die Sicherheitsdirektion des Kantons Zürich wies dieses Gesuch mit Verfügung vom 6. Dezember 2007 ab und wies X._ an, den Kanton Zürich bis zum 10. März 2008 zu verlassen.
Der gegen diese Verfügung erhobene Rekurs beim Regierungsrat des Kantons Zürich blieb in der Hauptsache erfolglos, und mit Urteil vom 21. Dezember 2011 wies das Verwaltungsgericht des Kantons Zürich die gegen den regierungsrätlichen Beschluss vom 14. September 2011 erhobene Beschwerde ebenfalls ab.
D. Mit Eingabe vom 23. Januar 2012 führt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den (Haupt-)Anträgen, das letztgenannte Urteil aufzuheben und das Migrationsamt des Kantons Zürich anzuweisen, ihm - dem Beschwerdeführer - eine Aufenthaltsbewilligung zum Verbleib bei der Ehefrau zu erteilen. Gleichzeitig wird um unentgeltliche Rechtspflege und Verbeiständung ersucht.
Die Staatskanzlei des Kantons Zürich beantragt - für den Regierungsrat - Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Verwaltungsgericht des Kantons Zürich verzichtet auf Vernehmlassung. Das Bundesamt für Migration schliesst auf Abweisung der Beschwerde.
Der Beschwerdeführer hat von der Möglichkeit, sich nochmals zu äussern, keinen Gebrauch gemacht.
E. Mit Verfügung vom 25. Januar 2012 hat der Abteilungspräsident der Beschwerde - antragsgemäss - aufschiebende Wirkung zuerkannt.
Erwägungen:
1. 1.1 Gemäss Art. 83 lit. c Ziff. 2 BGG ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten auf dem Gebiet des Ausländerrechts unzulässig gegen Entscheide betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt.
1.2 Zwar ist am 1. Januar 2008 das Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG, SR 142.20) in Kraft getreten, doch bestimmt dessen Art. 126 Abs. 1, dass auf Gesuche, die vor dem Inkrafttreten dieses Gesetzes eingereicht worden sind, noch das bisherige Recht anwendbar bleibt. Das streitige Gesuch um Erteilung der Aufenthaltsbewilligung wurde vor Inkrafttreten des Ausländergesetzes gestellt und beurteilt sich daher noch nach dem inzwischen aufgehobenen Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121) und seinen Ausführungserlassen.
1.3 Gemäss Art. 4 ANAG entscheidet die zuständige Behörde, im Rahmen der gesetzlichen Vorschriften und der Verträge mit dem Ausland, nach freiem Ermessen über die Bewilligung von Aufenthalt und Niederlassung. Es besteht damit grundsätzlich kein Rechtsanspruch auf Erteilung oder Verlängerung einer Aufenthaltsbewilligung, es sei denn, der Ausländer oder seine in der Schweiz lebenden Angehörigen könnten sich auf eine Sondernorm des Bundesrechts (einschliesslich Bundesverfassungsrecht) oder eines Staatsvertrages berufen (vgl. BGE 133 I 185 E. 2.3 S. 189; 130 II 281 E. 2 S. 284; 128 II 145 E. 1.1.1 S. 148, mit Hinweisen).
1.4 Gemäss Art. 7 Abs. 1 Satz 1 ANAG (in der Fassung vom 23. März 1990) hat der ausländische Ehegatte eines Schweizer Bürgers Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung; nach Satz 2 derselben Bestimmung hat er nach einem ordnungsgemässen und ununterbrochenen Aufenthalt Anspruch auf die Niederlassungsbewilligung. Der Beschwerdeführer ist mit einer Frau verheiratet, die das Schweizer Bürgerrecht besitzt. Damit steht ihm gestützt auf die erwähnte Bestimmung im Grundsatz ein Anspruch auf eine Aufenthaltsbewilligung zu. Ein analoger Anspruch besteht zudem aufgrund des in Art. 8 EMRK bzw. Art. 13 Abs. 1 BV garantierten Rechts auf Achtung des Familienlebens, wenn nahe Angehörige - wie vorliegend die Ehefrau - über ein gefestigtes Anwesenheitsrecht in der Schweiz verfügen und die familiäre Beziehung tatsächlich gelebt wird und intakt ist (vgl. BGE 130 II 281 E. 3.1 S. 285 f.; 129 II 193 E. 5.3.1 S. 211, je mit Hinweisen). Aufgrund dieses Rechtsanspruchs erweist sich die Beschwerde in öffentlich-rechtlichen Angelegenheiten als zulässig, und der Beschwerdeführer ist als Adressat des angefochtenen Entscheids ohne weiteres hierzu legitimiert (Art. 89 Abs. 1 BGG). Auf die im Übrigen form- und fristgerecht eingereichte Beschwerde ist daher einzutreten.
1.5 Mit der Beschwerde kann eine Rechtsverletzung nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es legt seinem Urteil die Sachverhaltsfeststellungen der Vorinstanz zugrunde (Art. 105 Abs. 1 BGG). In Ergänzung zu den Rügen, die sich auf Art. 95 f. BGG stützen, sind unter den engen Voraussetzungen von Art. 97 Abs. 1 BGG zwar auch Vorbringen gegen die Sachverhaltsfeststellung zulässig. Ein solcher Einwand kann nach der letztgenannten Bestimmung aber nur erhoben werden, wenn die Feststellung des Sachverhalts durch die Vorinstanz offensichtlich unrichtig, d.h. willkürlich ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (BGE 133 II 249 E. 1.2.2 S. 252; 133 III 393 E. 7.1 S. 398). Zudem ist vom Beschwerdeführer aufzuzeigen, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG).
Das Vorbringen von neuen Tatsachen oder Beweismitteln ist nur insofern möglich, als erst der Entscheid der Vorinstanz dazu Anlass gegeben hat (Art. 99 Abs. 1 BGG, vgl. BGE 135 I 143 E. 1.5 S. 146 f.). Tatsachen oder Beweismittel, welche sich auf das vorinstanzliche Prozessthema beziehen, sich jedoch erst nach dem angefochtenen Entscheid ereigneten oder entstanden sind, können von vornherein nicht durch das angefochtene Urteil veranlasst worden sein (vgl. Urteil 2C_94/2009 vom 16. Juni 2009, E. 2.2). Soweit sich der Beschwerdeführer auf solche Beweismittel beruft (es betrifft dies namentlich ein neues Zwischenzeugnis vom 10. Januar 2012 sowie einen neueren Bericht der APARECO [vgl. sogleich E. 2] vom 16. Januar 2012 ), handelt es sich um so genannte "echte Noven", welche im bundesgerichtlichen Verfahren in jedem Fall unzulässig sind (BGE 133 IV 342 E. 2.1 S. 344).
2. Der Beschwerdeführer hat mit der Begründung, er sei als Präsident der zürcherischen Sektion der "Alliance des Patriotes pour la Refondation du Congo (APARECO)" - einer kongolesischen Oppositionsbewegung - in seinem Heimatland akut gefährdet, am 23. Januar 2012 (dem Tag der Beschwerdeeinreichung beim Bundesgericht) ebenfalls ein Asylgesuch an das Bundesamt für Migration gerichtet. Er hält dafür, das Verfahren vor Bundesgericht zu sistieren, bis von den Asylbehörden rechtskräftig über die Verfolgungssituation entschieden worden sei. Ausserdem macht er geltend, seine bisherigen Vorbringen vor den kantonalen Behörden hätten von diesen als Asylgesuch entgegengenommen werden müssen.
Auch während eines hängigen Asylverfahrens kann ein Gesuch um Aufenthaltsbewilligung gestellt werden, soweit darauf ein Anspruch besteht (vgl. Art. 14 Abs. 1 AsylG). Hier liegt zwar die umgekehrte Situation vor (indem der Beschwerdeführer sein Asylgesuch während des laufenden Verfahrens um Erhalt der Aufenthaltsbewilligung gestellt hat), doch würde der ausländerrechtliche Status des Beschwerdeführers bereits geregelt, könnte ihm die Aufenthaltsbewilligung - wie anbegehrt - erteilt werden. Für eine Sistierung des vorliegenden Verfahrens besteht deshalb kein Anlass.
Ebenso wenig waren die kantonalen Behörden verpflichtet, die bisherigen Eingaben des Beschwerdeführers als Asylgesuch entgegenzunehmen: Es geht hier um einen altrechtlichen Fall (vorne E. 1.2); angeordnet ist bloss eine Wegweisung aus dem zürcherischen Kantonsgebiet und nicht eine solche aus der Schweiz (vorne lit. C). Die Frage der Gefährdung im Heimatland stellt sich daher vorliegend nicht. Sie wird gegebenenfalls im Rahmen des Wegweisungsvollzugs zu prüfen sein (vgl. Art. 83 AuG), soweit dies dannzumal nicht bereits im Rahmen des Asylverfahrens geschehen ist. Streitgegenstand im vorliegenden Verfahren bildet ausschliesslich die Verweigerung der Aufenthaltsbewilligung.
3. 3.1 Der Anspruch des ausländischen Ehegatten eines Schweizer Bürgers auf Erteilung und Verlängerung der Aufenthaltsbewilligung erlischt, wenn ein Ausweisungsgrund vorliegt (Art. 7 Abs. 1 Satz 3 ANAG), d.h. unter anderem wenn der Ausländer wegen eines Verbrechens oder Vergehens gerichtlich bestraft wurde (Art. 10 Abs. 1 lit. a ANAG). Die Nichterteilung bzw. -verlängerung der Aufenthaltsbewilligung ist indes nur dann zulässig, wenn die gebotene Interessenabwägung (Art. 11 Abs. 3 ANAG bzw. Art. 8 Ziff. 2 EMRK) die Massnahme als verhältnismässig erscheinen lässt (vgl. BGE 125 II 521 E. 2a S. 523). Dabei sind namentlich die Schwere des Verschuldens des Ausländers, die Dauer seiner Anwesenheit in der Schweiz sowie die ihm und seiner Familie drohenden Nachteile zu berücksichtigen (vgl. Art. 16 Abs. 3 der Vollziehungsverordnung vom 1. März 1949 zum Bundesgesetz über Aufenthalt und Niederlassung der Ausländer [ANAV]; BGE 129 II 215 E. 3 f. S. 216 ff.).
3.2 Das Verwaltungsgericht hält dem Beschwerdeführer, der in den letzten zwanzig Jahren wegen wiederholter schwerer Drogendelikte mit Freiheitsstrafen von insgesamt rund siebeneinhalb Jahren bestraft und auch noch wegen anderen Delikten verurteilt wurde (vgl. vorne lit. A), zunächst die Schwere seines Verschuldens (u. a. wiederholte Tatbegehung, Rückfall) vor. Weiter führt es aus, allein aus der durch die Anhebung zahlreicher Verfahren erwirkten langen Aufenthaltsdauer könne er, der die Schweiz eigentlich schon längst hätte verlassen müssen, keine Rechte ableiten. Auch sei im blossen Umstand einer langen Aufenthaltsdauer noch keine das übliche Mass übersteigende Integrationsleistung zu erblicken. Sodann lebten in der Heimat des Beschwerdeführers nach wie vor nahe Angehörige (u.a. die Mutter, ein Bruder sowie zwei Söhne), so dass er sich auch nach längerer Abwesenheit rasch wieder in der dortigen Gesellschaft zurechtfinden werde.
3.3 Der Beschwerdeführer bestreitet das Vorliegen eines Ausweisungsgrundes zu Recht nicht. Er rügt aber eine qualifiziert falsche Interessenabwägung durch die kantonalen Behörden und macht geltend, die Nichterteilung der Aufenthaltsbewilligung erweise sich nach so langer Anwesenheit und Deliktsfreiheit als unverhältnismässig: Er stehe heute als "geläuterter Mensch" da und seine heutigen Lebensumstände gäben nicht in geringster Weise Anlass, einen Rückfall zu befürchten. Die blosse Tatsache, dass er vor über zehn Jahren rückfällig geworden sei, bedeute nicht, "dass das wieder passieren" werde. Ausserdem habe er sich von anfänglichen Aushilfsjobs zum Call Center Agent und schliesslich zum Koordinator in der Abteilung Technical Competence Center im Bereich Business Costumers bei der Sunrise Communications AG hinaufgearbeitet und gelte dort als geschätzter Spezialist auf seinem Gebiet. Er sei heute beruflich bestens integriert. Auch die Ehe mit seiner neuen Frau sei sehr stabil und glücklich. Der Eingriff in das Familienleben sowie in den kombinierten Schutzbereich von Privat- und Familienleben erweise sich damit als unzulässig.
3.4 Zwar trifft zu, dass der Beschwerdeführer - mittlerweile 51-jährig - seit fast 30 Jahren in der Schweiz lebt und heute beruflich bzw. - durch die neue Ehe - auch privat gut integriert erscheint. Die massgebenden Delikte liegen zudem einige Zeit zurück, was gegen eine Bewilligungsverweigerung spricht. Dennoch sind die Vorbringen des Beschwerdeführers nicht geeignet, die vom Verwaltungsgericht getroffenen Feststellungen als offensichtlich unrichtig und die von ihm daraus getroffenen rechtlichen Schlussfolgerungen als bundesrechtswidrig erscheinen zu lassen:
Den Beschwerdeführer trifft ein schweres Verschulden (Betäubungsmitteldelikte in wiederholter Tatbegehung, Rückfall), so dass ein grosses öffentliches Interesse an seiner Fernhaltung besteht (vgl. zur strengen Praxis des Bundesgerichts bei Drogendelikten BGE 125 II 521 E. 4a/aa und E. 4a/bb S. 526 ff., kürzlich wieder bestätigt in den Urteilen 2C_768/2011 vom 4. Mai 2012 und 2C_833/2011 vom 6. Juni 2012, E. 3.2.1). Zwar ist der Beschwerdeführer wieder mit einer Schweizerin verheiratet und lebt wie ausgeführt schon lange hier (zur Anspruchsgrundlage nach ANAG vgl. daher vorne E. 1.4); besonders intensive, über eine normale Integration hinausgehende private Bindungen zur oder in der Schweiz, welche ihm allenfalls ein Anwesenheitsrecht gestützt auf die Garantie der Achtung des Privatlebens (Art. 8 EMRK) verschaffen könnten (vgl. BGE 130 II 281 E. 3.2.1) sind aber nicht dargetan (Art. 106 Abs. 2 BGG).
Sodann ist ständige Praxis, dass der Dauer des illegalen Aufenthalts kein besonderes Gewicht beigemessen wird. Das Gleiche gilt für den Aufenthalt, der aufgrund der aufschiebenden Wirkung eines Rechtsmittels lediglich toleriert wird (vgl. BGE 137 II 1 E. 4.3 S. 8 mit Hinweisen). Der lange Aufenthalt des Beschwerdeführers in der Schweiz beruht in erster Linie auf den zahlreichen fremdenpolizeilichen Gesuchs- und Rechtsmittelverfahren, die in der Regel mit aufschiebender Wirkung verbunden waren. Zwar hat der betroffene Ausländer, der sich in der Schweiz um ein Aufenthaltsrecht bemüht, durchaus das Recht, sämtliche ihm zur Verfügung stehenden Rechtsmittel zu ergreifen. Doch ist ein solcher Aufenthalt, wenn der Ausgang des Rechtsstreits zu keiner Bewilligung führt, nicht ordnungsgemäss (vgl. BGE 137 II 10 E. 4.4. S. 14 bzw. vorne E. 1.4 ), was beim Beschwerdeführer mithin seit 2001 der Fall war (vgl. vorne lit. B). Den auf einer solchen Grundlage begründeten sozialen Bindungen zur Schweiz kann aus nahe liegenden Gründen ebenfalls nur eine beschränkte Bedeutung zukommen (Urteil 2A_311/2004 vom 8. September 2004, E. 4.1).
Sodann ist dem Beschwerdeführer eine Rückkehr in den Kongo zuzumuten: Er ist als Erwachsener in die Schweiz gekommen und mit den Verhältnissen in seiner Heimat nach wie vor vertraut; dort leben im Übrigen auch noch mehrere nahe Familienangehörige (vorne E. 3.2). Ausserdem ging er nach eigenen Angaben Mitte der 90-er Jahre für ein halbes Jahr in die Heimat zurück und zeugte dort ein weiteres Kind (vgl. auch Urteil 2C_113/2007 vom 20. Juli 2007, E. 3.1), was darauf schliessen lässt, dass er sich damals in seinem Herkunftsland zurechtgefunden hat.
Was sein Verhältnis zu seinen erwachsenen Kindern in der Schweiz betrifft, ist dieses im Lichte von Art. 8 EMRK nicht mehr relevant (BGE 135 I 143 E. 1.3.2 S. 146 mit Hinweisen); ein besonderes Abhängigkeitsverhältnis ist weder dargetan noch ersichtlich (BGE 120 Ib 257 E. 1d f.). Ins Gewicht allerdings fällt das Verhältnis des Beschwerdeführers zu seiner heutigen Ehefrau; es fällt zweifellos in den Schutzbereich von Art. 8 EMRK. Zu berücksichtigen ist aber, dass die Ehefrau ebenfalls afrikanischer Herkunft ist und ihr damit die Lebensbedingungen im Heimatland des Beschwerdeführers nicht völlig fremd sein dürften. Die Eheleute haben ausserdem erst kurz vor der Einreichung des - erneut im Kanton Zürich gestellten - Gesuchs um Erteilung der Aufenthaltsbewilligung geheiratet. Sodann wusste die Ehefrau nach den Feststellungen der Vorinstanz (angefochtener Entscheid S. 9) um die Delinquenz des Beschwerdeführers und musste deshalb damit rechnen, dass sie ihre Ehe angesichts der vom Ehemann begangenen Delikte möglicherweise nicht in der Schweiz würde leben können (vgl. BGE 135 II 377 E. 4.3 S. 382). Diesfalls ist eine Ausweisung des Ausländers nur in ganz ausserordentlichen Fällen als Verletzung von Art. 8 EMRK zu betrachten (vgl. Urteil des EGMR Rodrigues da Silva gegen Niederlande vom 31. Januar 2006 [50435/99], § 39., in: EuGRZ 2006 S. 562). Ein solcher liegt hier - zumal es auch nicht um eine Ausweisung, sondern bloss um die Nichterteilung der Aufenthaltsbewilligung geht [was Besuchsaufenthalte in der Schweiz weiterhin ermöglicht] - nicht vor.
4. Dies führt zur Abweisung der Beschwerde.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Auf sein Gesuch um unentgeltliche Rechtspflege und Verbeiständung hat er, nachdem er vom Bundesgericht zu dessen Substantiierung aufgefordert worden war, konkludent verzichtet (keine entsprechende Beweismitteleingabe, rechtzeitige Zahlung des Kostenvorschusses). Es sind keine Parteientschädigungen geschuldet (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Sicherheitsdirektion, dem Regierungsrat und dem Verwaltungsgericht (4. Kammer) des Kantons Zürich sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 3. August 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Klopfenstein