Erwägungen:
1. 1.1 X._ (geb. 1973) ist nigerianischer Staatsangehöriger. Nach fünfjährigem Aufenthalt in Deutschland als Asylbewerber reiste er am 10. Juni 2000 in die Schweiz ein und stellte erfolglos ein Asylgesuch. Die Wegweisung konnte wegen fehlender Dokumente nicht vollzogen werden. Am 16. August 2002 heiratete X._ die Schweizer Bürgerin Y._ (geb. 1954), welche zwei Töchter (geb. 1986 und 1993) in die Ehe einbrachte. Das Migrationsamt des Kantons Zürich erteilte X._ eine Aufenthaltsbewilligung zum Verbleib bei der Ehefrau, die letztmals bis zum 15. August 2007 verlängert wurde.
1.2 Im Jahr 2000 wurde X._ wegen rechtswidriger Einreise in die Schweiz und im Jahr 2007 wegen Verletzung der Verkehrsregeln bestraft. Am 10. April 2008 verurteilte ihn das Bezirksgericht Zürich wegen Widerhandlung gegen das Betäubungsmittelgesetz zu 36 Monaten Freiheitsstrafe. Der Vollzug wurde im Umfang von 18 Monaten aufgeschoben (mit einer Probezeit von drei Jahren). Die restlichen 18 Monate wurden unter Anrechnung der Untersuchungs- und Sicherheitshaft vollzogen.
Mit Verfügung vom 7. April 2009 wies das Migrationsamt das Gesuch von X._ um Verlängerung der Aufenthaltsbewilligung vom 3. November 2008 ab. Es erwog, das sicherheitspolizeilich begründete öffentliche Interesse an der Nichtverlängerung der Aufenthaltsbewilligung von X._ überwiege gegenüber seinen privaten Interessen am Verbleib in der Schweiz und die Massnahme sei für den Betroffenen mit keiner unzumutbaren Härte verbunden. Die im Kanton hiergegen erhobenen Rechtsmittel blieben erfolglos.
1.3 Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 1. Februar 2010 beantragt X._ dem Bundesgericht, den kantonal zuletzt ergangenen Entscheid des Verwaltungsgerichts vom 18. November 2009 aufzuheben, das Verfahren an die Vorinstanz zurückzuweisen und ihm die Aufenthaltsbewilligung zu verlängern. Er beantragt zudem, ihm sei die unentgeltliche Rechtspflege und Verbeiständung für das Verfahren vor dem Bundesgericht zu gewähren.
1.4 Das Verwaltungsgericht des Kantons Zürich und das Bundesamt für Migration ersuchen um Abweisung der Beschwerde, während sich der Regierungsrat und die Sicherheitsdirektion nicht geäussert haben.
2. 2.1 Gemäss Art. 62 lit. b des hier unbestrittenermassen anwendbaren Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) kann die Aufenthaltsbewilligung unter anderem dann widerrufen bzw. nicht verlängert werden, wenn ein Ausländer zu einer längerfristigen Freiheitsstrafe verurteilt wurde. Von einer solchen ist nach der Rechtsprechung bei einer Freiheitsstrafe von mehr als einem Jahr auszugehen (<ref-ruling> E. 4.2 und 4.5 S. 379 ff.), und zwar unabhängig davon, ob die Strafe bedingt, teilbedingt oder unbedingt zu vollziehen ist (Urteil 2C_515/2009 vom 27. Januar 2010 E. 2.1). Die gesetzliche Voraussetzung für einen Widerruf resp. eine Nichtverlängerung ist folglich hier erfüllt. Der Beschwerdeführer macht jedoch geltend, die Nichtverlängerung der Aufenthaltsbewilligung sei wegen fehlerhafter Würdigung verschiedener Aspekte unverhältnismässig und für ihn unzumutbar.
Im Folgenden ist somit noch zu prüfen, ob die jeweils im Einzelfall vorzunehmende Interessenabwägung die angefochtene Massnahme auch als verhältnismässig erscheinen lässt. Dabei sind namentlich die Schwere des Verschuldens, der Grad der Integration bzw. die Dauer der bisherigen Anwesenheit sowie die dem Betroffenen und seiner Familie drohenden Nachteile zu berücksichtigen (vgl. Art. 96 Abs. 1 AuG bzw. Art. 8 Ziff. 2 EMRK; <ref-ruling> E. 4.3 S. 381).
2.2 Der Beschwerdeführer macht sinngemäss geltend, seine bisherige Anwesenheitsdauer in der Schweiz sei nicht genügend berücksichtigt worden. Bei einem mit einer Schweizer Bürgerin verheirateten Ausländer, der erstmals oder nach bloss kurzer Aufenthaltsdauer um die Erneuerung seiner Bewilligung ersucht, geht das Bundesgericht in ständiger, auch unter dem neuen Ausländerrecht fortgeltender Praxis davon aus, dass dem Ausländer im Falle einer Verurteilung zu einer Freiheitsstrafe von zwei Jahren in der Regel selbst dann kein Aufenthaltstitel mehr zu erteilen ist, wenn der Ehepartnerin die Ausreise nicht oder nur schwer zuzumuten ist (sog. Reneja-Praxis; <ref-ruling> E. 4.4 S. 382 mit Hinweisen). Der Beschwerdeführer hielt sich zwar im Zeitpunkt der Nichtverlängerung der Bewilligung seit rund neun Jahren in der Schweiz auf, so dass die erwähnte Praxis hier nicht unbesehen angewendet werden kann. Von den neun Jahren entfallen aber mindestens zwei Jahre - vor der Eingehung der Ehe - auf eine Zeit ohne Anspruch auf einen Anwesenheitstitel und 18 Monate auf die Straf- bzw. Untersuchungshaft. Auch hat sich der Beschwerdeführer weder beruflich noch sprachlich besonders integrieren können. Ausserdem wurde er zu einer Freiheitsstrafe von deutlich mehr als zwei Jahren verurteilt. Mithin ist die Anwesenheitsdauer des Beschwerdeführers zu relativieren; namentlich kann den Vorinstanzen nicht angelastet werden, sie hätten diesen Umstand nicht genügend berücksichtigt.
2.3 In Bezug auf das Verschulden des Beschwerdeführers kann auf die überzeugenden Erwägungen der Vorinstanz verwiesen werden, wonach sein Verschulden als "zweifellos schwer" qualifiziert worden ist. Er setzte eine erhebliche Menge Betäubungsmittel mit einem hohen Suchtpotenzial um, so dass die Grenze zum schweren Fall bei weitem überschritten wurde. Auch der Schluss, dem Beschwerdeführer könne keine gute Prognose gestellt werden, ist nicht zu beanstanden. Selbst wenn es zutrifft, dass er sich seit der Entlassung aus dem Gefängnis wohl verhalten habe, kann daraus nicht gefolgt werden, es liege keine Rückfallgefahr mehr vor. Immerhin bestand die ins Feld geführte familiäre Situation schon zum Zeitpunkt der deliktischen Tätigkeit und es ist nicht zu erwarten, dass ihn die offenbar weiterhin intakte Beziehung zu Ehefrau und Stiefkindern in entscheidender Weise von einer erneuten Straffälligkeit abhalten werde.
2.4 Soweit sich der Beschwerdeführer im Weiteren auf Art. 8 EMRK und <ref-law> (Schutz des Familienlebens) beruft, kann seiner Rüge ebenfalls nicht gefolgt werden: Zwar wird die Beziehung zu seiner heutigen Ehefrau (und deren Kindern) vom Schutzbereich der genannten Bestimmungen erfasst. Die Vorinstanz ist weiter zu Recht davon ausgegangen, dass für die Ehefrau eine Umsiedlung nach Nigeria kaum zumutbar sein dürfte. Hingegen gelten Art. 8 EMRK und <ref-law> nicht absolut: Es ergibt sich daraus weder ein Recht auf Aufenthalt in einem bestimmten Staat noch auf die Wahl des für das Familienlebens am geeignetsten erscheinenden Orts (<ref-ruling> E. 3.1 S. 285 mit Hinweisen). Angesichts der Schwere der begangenen Straftaten und der fortbestehenden Gefahr für die öffentliche Sicherheit durfte die Vorinstanz zum Schluss kommen, die geografische Trennung der Eheleute erweise sich als verhältnismässig (vgl. auch E. 2.2 hiervor.)
2.5 Die Vorinstanz hat die verschiedenen Aspekte, die zu berücksichtigen sind, mithin korrekt gewürdigt. Die Nichtverlängerung der Aufenthaltsbewilligung erweist sich deshalb als verhältnismässig im Sinne von Art. 96 Abs. 1 AuG und Art. 8 Ziff. 2 EMRK, selbst wenn der Ehefrau nicht zumutbar ist, ebenfalls auszureisen. Ergänzend wird auf die Ausführungen in den Entscheiden der Vorinstanzen verwiesen.
3. Nach dem Dargelegten erweist sich die Beschwerde als offensichtlich unbegründet; sie kann im vereinfachten Verfahren nach <ref-law> mit summarischer Begründung behandelt werden.
Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Wegen Aussichtslosigkeit seines Rechtsbegehrens steht ihm die beantragte unentgeltliche Rechtspflege und Verbeiständung nicht zu (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, der Sicherheitsdirektion des Kantons Zürich, dem Regierungsrat des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 16. Juli 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Winiger