Sachverhalt:
A. A.a X._, geboren 24. Februar 1960, Bürger von Südafrika, reiste am 11. Februar 2007 offiziell (faktisch aber bereits früher) in die Schweiz ein, wo er am 19. April 2007 die im Kanton Zürich niedergelassene kenianische Staatsangehörige A._, geboren 1975, heiratete. In der Folge erhielt er eine Aufenthaltsbewilligung zum Verbleib bei seiner Ehefrau, die ihrerseits eine Tochter aus erster Ehe hat (B._, geboren 1999, schweizerisches Bürgerrecht). Am 25. Mai 2007 kam der gemeinsame Sohn C._ zur Welt, der in die Niederlassungsbewilligung seiner Mutter einbezogen wurde.
A.b Mit rechtskräftigem Urteil des Bezirksgerichts Zürich vom 18. September 2007 wurde X._ zu einer Freiheitsstrafe von 21 Monaten und einer Busse von Fr. 300.-- verurteilt wegen des Verbrechens im Sinne von Art. 19 Ziff. 1 Abs. 4 und 5 BetmG in Verbindung mit Art. 19 Ziff. 2 lit. a BetmG (schwerer Fall des Betäubungsmittelhandels) sowie wegen mehrfacher Übertretung des Betäubungsmittelgesetzes im Sinne von Art. 19a Ziff. 1 BetmG (Betäubungsmittelkonsum).
B. Am 30. April 2008 wies das Migrationsamt des Kantons Zürich eine Verlängerung der Aufenthaltsbewilligung mit Hinweis auf das ergangene Strafurteil ab. Ein Rekurs an den Regierungsrat sowie in der Folge eine Beschwerde an das Verwaltungsgericht blieben erfolglos.
C. X._ erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht mit dem Antrag, es sei ihm der weitere Aufenthalt in der Schweiz zu bewilligen; eventuell sei die Sache zur weiteren Sachverhaltsabklärung zurückzuweisen.
D. Das Verwaltungsgericht und das Bundesamt für Migration schliessen auf Abweisung der Beschwerde.
E. Mit Verfügung des Präsidenten der II. öffentlich-rechtlichen Abteilung des Bundesgerichts vom 7. Januar 2011 wurde der Beschwerde die aufschiebende Wirkung zuerkannt.
Erwägungen:
1. 1.1 Gemäss Art. 83 lit. c Ziff. 2 BGG ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten auf dem Gebiet des Ausländerrechts unzulässig gegen Entscheide betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt. Der Beschwerdeführer ist mit einer Niedergelassenen verheiratet und hat daher einen Anspruch auf Erteilung oder Verlängerung seiner Aufenthaltsbewilligungen, der sich einerseits auf Gesetz (Art. 43 AuG bzw. Art. 17 Abs. 2 ANAG) und andererseits auf Völker- und Verfassungsrecht (Art. 8 EMRK bzw. Art. 13 BV) stützt. Auf die Beschwerde ist somit einzutreten. Ob die (einzelnen) Bewilligungsvoraussetzungen gegeben sind, ist eine Frage der materiellen Beurteilung; für das Eintreten genügt, dass ein potentieller Anspruch auf den Nachzug besteht (vgl. etwa das Urteil des Bundesgerichts 2C_154/2010 vom 8. November 2010 E. 1.a mit Hinweis).
1.2 Das Bundesgericht prüft frei, ob der angefochtene Entscheid gegen Bundesrecht unter Einschluss des Bundesverfassungsrechts oder gegen Völkerrecht verstösst (vgl. Art. 95 und 106 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von Art. 95 BGG (Art. 105 Abs. 2 bzw. Art. 97 Abs. 1 BGG). In der Beschwerdeschrift ist jedoch in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzen soll (Art. 42 Abs. 2 BGG). Eine qualifizierte Rügepflicht gilt für behauptete Verstösse gegen Grundrechte (vgl. Art. 106 Abs. 2 BGG).
2. 2.1 Bis zum 31. Dezember 2007 stand das ANAG in Kraft, seit dem 1. Januar 2008 gilt das Ausländergesetz (AuG). Gemäss Art. 126 Abs. 1 AuG bleibt auf Gesuche, die vor dem Inkrafttreten des AuG eingereicht wurden, das bisherige Recht anwendbar. Gemäss Rechtsprechung ist entgegen dem zu eng gefassten Wortlaut von Art. 126 Abs. 1 AuG das alte Recht materiell auch anwendbar auf Verfahren, die von Amtes wegen vor dem Inkrafttreten des neuen Rechts eröffnet wurden (Urteile 2C_98/2009 vom 10. Juni 2009 E. 1.4 und 2C_745/2008 vom 24. Februar 2009 E. 1.2.3). Unter Verfahrenseröffnung versteht die Rechtsprechung in der Regel die Gewährung des rechtlichen Gehörs (Urteil 2C_329/2009 vom 14. September 2009 E. 2.1).
2.2 Die Aufenthaltsbewilligung des Beschwerdeführers war bis zum 10. Februar 2008 befristet. Am 5. Dezember 2007 ersuchte das Migrationsamt die Kantonspolizei Zürich, im Hinblick auf zu treffende Entfernungs- und Fernhaltemassnahmen dem Beschwerdeführer das rechtliche Gehör zu gewähren. Die polizeiliche Befragung des Beschwerdeführers und seiner Ehefrau fand am 4. Januar 2008 statt. Aus den Akten geht nicht hervor, dass vor dem 1. Januar 2008 bereits dem Beschwerdeführer die Eröffnung des Verfahrens mitgeteilt wurde. Mit Recht hat daher das Verwaltungsgericht das neue Recht angewendet. Die Anwendung des alten Rechts würde freilich am Ergebnis nichts ändern, wie im Folgenden zu zeigen ist.
3. 3.1 Der Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung gemäss Art. 43 AuG erlischt, wenn Widerrufsgründe nach Art. 62 vorliegen (Art. 51 Abs. 2 lit. b AuG), d.h. namentlich die Verurteilung zu einer längerfristigen Freiheitsstrafe (Art. 62 lit. b AuG), worunter eine Strafe von mehr als einem Jahr zu verstehen ist (BGE 135 II 377 E. 4.2). Desgleichen erlischt der Anspruch gemäss Art. 17 Abs. 2 ANAG, wenn der Anspruchsberechtigte gegen die öffentliche Ordnung verstossen hat (Art. 17 Abs. 2 letzter Satz ANAG), was unter anderem dann zutrifft, wenn Ausweisungsgründe gemäss Art. 10 Abs. 1 lit. a ANAG (gerichtliche Bestrafung wegen eines Verbrechens oder Vergehens) vorliegen.
3.2 Die Verweigerung der Bewilligungsverlängerung muss allerdings verhältnismässig sein. Dabei sind namentlich zu berücksichtigen die Schwere des Verschuldens, wofür Ausgangspunkt und Massstab die vom Strafrichter verhängte Freiheitsstrafe ist, der Grad der Integration bzw. die Dauer der bisherigen Anwesenheit sowie die dem Betroffenen und seiner Familie drohenden Nachteile (vgl. Art. 96 Abs. 1 AuG bzw. Art. 11 Abs. 3 ANAG und Art. 16 Abs. 3 ANAV; BGE 135 II 377 E. 4.3 S. 381 f. mit Hinweisen). Analoge Anforderungen ergeben sich aus Art. 8 Ziff. 2 EMRK bzw. Art. 36 BV.
3.3 Unter dem Gesichtswinkel der Verhältnismässigkeit ist auch zu fragen, ob den nahen Familienangehörigen zugemutet werden kann, dem Ausländer ins Ausland zu folgen. Eine allfällige Unzumutbarkeit der Ausreise für die Angehörigen führt jedoch nicht notwendigerweise zur Unzulässigkeit einer Bewilligungsverweigerung. Bei einem mit einer Schweizerin verheirateten Ausländer, der erstmals um eine Bewilligung ersucht oder nach bloss kurzer Aufenthaltsdauer die Bewilligung erneuern lassen will, geht die Rechtsprechung davon aus, dass die Grenze, von der an in der Regel auch dann keine Bewilligung mehr erteilt wird, wenn der Ehefrau die Ausreise aus der Schweiz unzumutbar oder nur schwer zumutbar ist, bei zwei Jahren Freiheitsstrafe liegt. Dabei handelt es sich nicht um eine unumstössliche feste Grenze; es bedarf aber ausserordentlicher Umstände, wenn dennoch die Bewilligung erteilt werden soll (BGE 135 II 377 E. 4.4 S. 382 mit Hinweisen; sog. Reneja-Praxis nach BGE 110 Ib 201). Ist der Ehegatte nicht Schweizer Bürger, sondern - wie vorliegend - ebenfalls ausländischer Staatsangehöriger, ist diese Praxis nicht bzw. verschärft anwendbar und auch bei einer kürzeren Freiheitsstrafe eine Nichtverlängerung bzw. eine Ausweisung möglich (Urteile 2C_915/2010 vom 4. Mai 2011 E. 4; 2C_148/2009 vom 6. November 2009 E. 2.2; 2A.640/1998 vom 22. Februar 1999 E. 2b/bb; 2A.580/1996 vom 22. Januar 1997 E. 1d). Bei Drogendelikten wird eine strenge Praxis verfolgt und ist selbst ein relativ geringes Rückfallrisiko grundsätzlich nicht hinzunehmen; dabei darf auch generalpräventiven Gesichtspunkten Rechnung getragen werden (nicht publ. E. 5.3 von BGE 135 II 377; BGE 129 II 215 E. 7 S. 221 ff.; 125 II 521 E. 4a/aa S. 527; Urteil 2C_36/2009 vom 20. Oktober 2009 E. 2.1 und 3.3). Erfüllt eine Bewilligungsverweigerung diese Anforderungen, sind damit grundsätzlich auch die Voraussetzungen für eine Einschränkung des Familienlebens nach Art. 8 EMRK bzw. Art. 13 BV gegeben.
4. 4.1 Der Beschwerdeführer bestreitet zu Recht nicht, dass der Ausweisungsgrund gemäss Art. 62 lit. b AuG erfüllt ist. Er bestreitet jedoch die Verhältnismässigkeit des angefochtenen Entscheides und wirft insbesondere der Vorinstanz vor, die zeitaktuellen Umstände nicht gewürdigt zu haben.
4.2 Die Vorinstanz hat erwogen, der Verurteilung liege zugrunde, dass der Beschwerdeführer von etwa Mitte Juli 2006 bis kurz vor seiner Verhaftung am 13. Mai 2007 insgesamt 640 Gramm Kokaingemisch umgesetzt habe; er habe damit die Grenze, ab welcher ein schwerer Fall im Sinne von Art. 19 Ziff. 2 BetmG vorliege, um mehr als das Dreizehnfache überschritten. Ungeachtet der von den Strafbehörden gestellten guten Prognose sei von einem nicht geringen Rückfallrisiko auszugehen. Das öffentliche Interesse an der Wegweisung des Beschwerdeführers müsse als erheblich bezeichnet werden. Der Ehefrau und dem gemeinsamen Sohn sei die Ausreise zumutbar. Die Ehefrau sei in die hiesigen Verhältnisse nicht übermässig integriert; sie sei lange von der Arbeitslosenversicherung abhängig gewesen und selber offenbar wegen Kokainhandels vorbestraft. Das eingereichte Arbeitszeugnis, das eine gute berufliche Integration beweisen solle, habe sich als gefälscht erwiesen. Der dreijährige Sohn sei in einem anpassungsfähigen Alter. Nur schwer zumutbar sei die Ausreise für die zehnjährige Tochter der Ehefrau. Folglich erweise sich auch die Ausreise für die Ehefrau und den gemeinsamen Sohn nur als schwer zumutbar. Angesichts des schweren Verschuldens des Beschwerdeführers sei die Wegweisung aber auch verhältnismässig, wenn er dadurch von seiner Familie getrennt würde. Eine prägende Ehegemeinschaft liege nicht vor. Dem Beschwerdeführer selber sei die Ausreise ohne weiteres zumutbar. Zudem unterhalte er keine geschützte familiäre Beziehung zur Tochter seiner Ehefrau. Er habe eine Trennung von seiner Familie hinzunehmen.
4.3 Der Beschwerdeführer macht geltend, sein strafbares Verhalten sei lange vor der Ausstellung der Aufenthaltsbewilligung erfolgt und im Zusammenhang mit seinem damaligen ungesicherten Status gestanden. Das trifft offensichtlich nicht zu: Die Delinquenz dauerte bis kurz vor der Verhaftung, welche am 13. Mai 2007 erfolgte. Gemäss der Verfügung vom 30. April 2008 wurde die Aufenthaltsbewilligung am 10. Mai 2007 erteilt, mithin in einem Zeitpunkt, in dem die Verhaftung den Ausländerbehörden nicht bekannt sein konnte. Unter Hinweis auf das Schreiben des Migrationsamtes vom 11. Mai 2007, in dem der Beschwerdeführer aufgefordert worden war, einen heimatlichen Strafregisterauszug einzureichen, da ein solcher vor der Erteilung einer Aufenthaltsbewilligung erforderlich sei, rügt der Beschwerdeführer zwar, die Bewilligung könne nicht bereits am 10. Mai ausgestellt worden sein. Das besagte Schreiben schliesst allerdings nicht aus, dass die Bewilligung trotzdem irrtümlich vor der Einholung des Registerauszugs erteilt wurde. Letztlich kann das genaue Datum der Bewilligung aber offen bleiben: Jedenfalls delinquierte der Beschwerdeführer seit seiner Einreise in die Schweiz bis zu einem Zeitpunkt, da er bereits verheiratet war oder zumindest die Heirat kurz bevorstand, weshalb er mit einem Anspruch auf Aufenthaltsbewilligung rechnen konnte. Seine Frau erwartete zudem das gemeinsame Kind. Seine Delinquenz stand mithin nicht im Zusammenhang mit seinem damals ungesicherten Status. Sie erfolgte vielmehr, während er im Begriff war, eine Familie zu gründen und in der Schweiz Wohnsitz zu nehmen. Dies belegt ein erhebliches Mass an Rücksichts- und Verantwortungslosigkeit nicht nur gegenüber der Rechtsordnung, sondern auch gegenüber seiner Familie, und lässt darauf schliessen, dass trotz seinem Familienleben eine ausländerrechtlich erhebliche Rückfallgefahr besteht.
4.4 Die Ausreise aus der Schweiz ist dem Beschwerdeführer selber ohne weiteres zumutbar: Er ist erst vor nunmehr rund vier Jahren im Alter von 47 Jahren in die Schweiz eingereist, und er hat nach eigenen Angaben 15 Jahre in Südafrika gelebt und dort viele Freunde. Zudem verfügt er gemäss dem Polizeirapport vom 13. Mai 2007 auch über einen Reisepass von Gambia, wo er aufgewachsen ist und seine Geschwister leben. Dass er in der Schweiz erwerbstätig ist und hier Freunde und Bekannte hat, ändert an der Zumutbarkeit der Ausreise nichts. Zwar mag es zutreffen, dass dem Beschwerdeführer in Südafrika oder Gambia nicht die gleichen wirtschaftlichen Perspektiven offen stehen wie in der Schweiz. Diese Folge ist jedoch einzig seinem kriminellen Verhalten zuzuschreiben und deshalb hinzunehmen (nicht publ. E. 5.3 von BGE 135 II 377).
4.5 In Bezug auf seine Ehefrau rügt der Beschwerdeführer die Aussage der Vorinstanz, wonach diese vorbestraft sei. In der Tat ist diese Aussage nicht erhärtet, sondern vielmehr durch den als zulässiges Novum (vgl. Art. 99 Abs. 1 BGG) eingereichten Strafregisterauszug widerlegt. Indessen war für die Vorinstanz nicht dieser Aspekt ausschlaggebend, sondern vielmehr der Umstand, dass die Ehefrau selber ihre Bereitschaft signalisiert hat, ihrem Ehemann ins Ausland zu folgen und in Gambia oder Südafrika auch arbeiten könnte. Sie ist Staatsbürgerin von Kenia und dort aufgewachsen, so dass sie jedenfalls mit den Verhältnissen in Afrika - wenn auch nicht in Südafrika oder Gambia - vertraut ist. Dass sie allenfalls beruflich und gesellschaftlich in der Schweiz integriert ist, bedeutet nicht, dass es ihr unzumutbar wäre, ihrem Ehemann ins Ausland zu folgen. So oder so wäre aber die Nichtverlängerung der Bewilligung nach der hier verschärft anwendbaren Reneja-Praxis (vorne E. 3.3) nicht zu beanstanden, selbst wenn sie zu einer Trennung der Ehegatten führen würde, zumal die ausgesprochene Freiheitsstrafe nur knapp unterhalb der Grenze liegt, die sogar bei unveränderter Reneja-Praxis als Richtgrösse zur Anwendung käme.
4.6 Ebenso ist für den nunmehr vierjährigen gemeinsamen Sohn die Ausreise mit seinem Vater ohne weiteres zumutbar, befindet er sich doch in einem anpassungsfähigen Alter und hat er die Staatsangehörigkeit seines Vaters.
4.7 Fraglich erscheint die Verhältnismässigkeit höchstens in Bezug auf die Beziehung des Beschwerdeführers zu seiner Stieftochter, welche Schweizer Bürgerin ist.
4.7.1 Die Vorinstanz hat dazu erwogen, der Stieftochter wäre die Ausreise nur schwer zumutbar. Der Beschwerdeführer führe aber keine geschützte familiäre Beziehung zur Tochter seiner Ehefrau. Der Beschwerdeführer kritisiert diese Erwägung mit dem Hinweis, dass er durchaus Aktivitäten mit seiner Stieftochter unternehme und für diese Vaterfunktion ausübe.
4.7.2 Die beanstandete Erwägung der Vorinstanz bezieht sich auf die Rechtsprechung des Bundesgerichts, wonach ein auf Art. 8 EMRK gestützter Anspruch auf fremdenpolizeiliche Bewilligungen ausserhalb der Kernfamilie nur besteht, wenn ein besonderes Abhängigkeitsverhältnis vorliegt (BGE 129 II 11 E. 2; 120 Ib 257 E. 1d), was hier nach Auffassung der Vorinstanz zwischen dem Beschwerdeführer und seiner Stieftochter nicht zutrifft. Zwar kann über die Kernfamilie hinaus der Schutz von Art. 8 EMRK angerufen werden, wenn eine intakte, gelebte familiäre Beziehung besteht. Indessen kann nicht einzig aus einer solchen Beziehung zu Stiefkindern ein Anspruch auf Aufenthaltsberechtigung abgeleitet werden, wenn im Übrigen die Voraussetzungen für eine Bewilligungsverweigerung erfüllt sind; denn die Reneja-Praxis, die sogar eine Trennung zwischen Ehegatten als zumutbar erachtet, gilt umso mehr auch in Bezug auf das Verhältnis zwischen Stiefeltern und Stiefkindern (Urteile 2C_105/2010 vom 16. Juli 2010 E. 2.4; und 2A.522/1997 vom 26. Februar 1998 E. 5c).
5. Die Beschwerde erweist sich demnach als unbegründet und ist abzuweisen. Bei diesem Verfahrensausgang trägt der unterliegende Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens (Art. 66 Abs. 1, Art. 65 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Sicherheitsdirektion und dem Regierungsrat des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 25. Juli 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Uebersax