Sachverhalt:
A.
A.a. A.A._, geboren 1984, Staatsangehöriger von Guinea, reiste im Jahr 2000 illegal in die Schweiz ein und stellte erfolglos ein Asylgesuch. Der Ausreiseverpflichtung kam er nicht nach und ein Vollzug der Wegweisung war mangels Reisepapieren nicht möglich.
A.b. Am 5. Juli 2005 heiratete A.A._ die Schweizer Bürgerin B.B._, worauf ihm eine später wiederholt verlängerte Aufenthaltsbewilligung erteilt wurde. Die eheliche Gemeinschaft wurde am 26. Oktober 2007 aufgegeben. Mit Verfügung vom 18. März 2009 lehnte die Sicherheitsdirektion des Kantons Zürich eine weitere Verlängerung der Aufenthaltsbewilligung ab. A.A._ rekurrierte dagegen an den Regierungsrat und teilte im Rekursverfahren seine Absicht mit, nach vollzogener Scheidung die Schweizerin C.A._ zu heiraten; aus der Beziehung mit dieser sei 2009 der Sohn D.A._ hervorgegangen, den er am 30. Juni 2009 vorgeburtlich anerkannt habe. Die Ehe A.-B._ wurde am 10. Februar 2010 geschieden. Am 23. April 2010 heiratete A.A._ C.A._, worauf ihm erneut eine Aufenthaltsbewilligung erteilt und wiederholt verlängert wurde, zuletzt bis zum 22. April 2013. Der Rekurs gegen die Verfügung vom 18. März 2009 wurde abgeschrieben. Aus der Ehe mit C.A._ ging 2011 der zweite Sohn E.A._ hervor. Sowohl D.A._ als auch E.A._ besitzen die schweizerische Staatsangehörigkeit.
A.c. A.A._ wurde zwischen 2000 und 2006 sechsmal bestraft mit insgesamt sechs Tagen Haft und ca. 5 1/2 Monaten Gefängnis wegen Ungehorsams gegen amtliche Verfügungen sowie Widerhandlungen gegen das ANAG. Mit Verfügung vom 19. Juni 2006 wurde er deswegen fremdenpolizeilich verwarnt.
Er wurde weiter verurteilt
- mit Strafbefehl der Staatsanwaltschaft See/Oberland vom 29. April 2010 mit Geldstrafe von 10 Tagessätzen à Fr. 70.-- wegen Hinderung einer Amtshandlung;
- mit Urteil des Tribunal correctionel des Kantons Genf vom 8. März 2012 mit drei Jahren Freiheitsstrafe wegen Verbrechens im Sinne des Betäubungsmittelgesetzes.
A.d. Mit Verfügung vom 14. August 2013 wies das Migrationsamt des Kantons Zürich ein Gesuch von A.A._ um Verlängerung der Aufenthaltsbewilligung ab und wies diesen aus der Schweiz aus.
B.
Die dagegen erhobenen kantonalen Rechtsmittel blieben erfolglos, unter Abweisung des Gesuchs um unentgeltliche Rechtspflege (Rekursentscheid der Sicherheitsdirektion vom 21. Januar 2014; Urteil des Verwaltungsgerichts des Kantons Zürich vom 16. April 2014).
C.
A.A._ erhebt mit Eingabe vom 27. Mai 2014 beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, in Aufhebung des angefochtenen Urteils sei ihm die Aufenthaltsbewilligung zu verlängern. Zudem beantragt er Erteilung der unentgeltlichen Rechtspflege für das vorinstanzliche Rekurs- und Beschwerdeverfahren sowie für das Verfahren vor dem Bundesgericht.
Verwaltungsgericht und Sicherheitsdirektion des Kantons Zürich verzichten auf Vernehmlassung. Das Bundesamt für Migration (heute: Staatssekretariat für Migration [SEM]) beantragt Abweisung der Beschwerde.
Mit Verfügung des Präsidenten der II. öffentlich-rechtlichen Abteilung des Bundesgerichts vom 3. Juni 2014 wurde der Beschwerde - antragsgemäss - die aufschiebende Wirkung zuerkannt.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist grundsätzlich zulässig, da der Beschwerdeführer in vertretbarer Weise einen auf Art. 42 AuG sowie Art. 8 EMRK gestützten Anspruch auf Verlängerung der Bewilligung geltend macht (Art. 82 lit. a, Art. 83 lit. c Ziff. 2 [e contrario], Art. 86 Abs. 1 lit. d, Art. 89 Abs. 1 und Art. 90 BGG).
1.2. Das Bundesgericht prüft frei und von Amtes wegen die richtige Anwendung von Bundes- und Völkerrecht (Art. 95 lit. a und b, Art. 106 Abs. 1 BGG). Die Anwendung von Grundrechten und von kantonalem Recht prüft es jedoch nur auf entsprechende Rüge hin (Art. 106 Abs. 2 BGG). Der Beschwerdeführer beantragt in seinem Rechtsbegehren auch für das vor- und unterinstanzliche Verfahren die unentgeltliche Rechtspflege, legt jedoch nicht dar, dass und inwiefern das dafür massgebende Grundrecht (Art. 29 Abs. 3 BV) oder kantonales Recht verletzt worden sein soll. Insoweit kann auf die Beschwerde nicht eingetreten werden.
2.
2.1. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, wie die Vorinstanz ihn festgestellt hat (Art. 105 Abs. 1 BGG). Die Feststellung des Sachverhalts kann nur gerügt bzw. vom Bundesgericht von Amtes wegen berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 97 Abs. 1 BGG bzw. Art. 105 Abs. 2 BGG).
2.2. Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG). Echte Noven, d.h. Tatsachen, die erst nach dem angefochtenen Urteil eingetreten sind, bleiben im bundesgerichtlichen Verfahren in jedem Fall unberücksichtigt (<ref-ruling> E. 3.5 S. 397; <ref-ruling> E. 5.2.4 S. 229; <ref-ruling> E. 2.1 S. 343 f.). Die von der Sicherheitsdirektion am 11. Juni 2014 eingereichten zusätzlichen Akten, welche den Zeitraum ab Mai 2014 betreffen, sind daher unbeachtlich. Würden sie trotzdem berücksichtigt, wie dies bisweilen die Praxis des EGMR ist (vgl. z.B. Urteile des EGMR Hasanbasic gegen die Schweiz vom 11. Juni 2013 [52166/09] sowie Udeh gegen die Schweiz vom 16. April 2013 [12020/09] und dazu <ref-ruling> E. 2.4 S. 327 ff.), wäre dies nicht zum Vorteil des Beschwerdeführers.
3.
3.1. Als Ehemann einer Schweizer Bürgerin hat der Beschwerdeführer grundsätzlich Anspruch auf Verlängerung der Aufenthaltsbewilligung (Art. 42 Abs. 1 AuG). Gemäss Art. 51 Abs. 1 lit. b AuG erlischt dieser Anspruch, wenn Widerrufsgründe nach Art. 63 AuG vorliegen, u.a. wenn der Ausländer zu einer längerfristigen Freiheitsstrafe verurteilt wurde (Art. 63 Abs. 1 lit. a i.V.m. Art. 62 lit. b AuG), d.h. zu einer Freiheitsstrafe von mehr als einem Jahr (<ref-ruling> E. 4.2 S. 379 ff.). Dieser Widerrufsgrund ist unbestritten erfüllt. Umstritten ist einzig die Verhältnismässigkeit.
3.2. Der Widerruf bzw. die Nichtverlängerung der Bewilligung rechtfertigt sich nur, wenn die jeweils im Einzelfall vorzunehmende Interessenabwägung die entsprechende Massnahme als verhältnismässig erscheinen lässt (vgl. Art. 96 Abs. 1 AuG). Die Notwendigkeit einer Verhältnismässigkeitsprüfung ergibt sich auch aus Art. 8 Ziff. 2 EMRK: Danach ist ein Eingriff in das von Art. 8 Ziff. 1 EMRK geschützte Familienleben dann statthaft, wenn er gesetzlich vorgesehen ist und eine Massnahme darstellt, die in einer demokratischen Gesellschaft für die nationale Sicherheit, die öffentliche Ordnung, das wirtschaftliche Wohl des Landes, die Verteidigung der Ordnung oder zur Verhinderung von strafbaren Handlungen, zum Schutz der Gesundheit und Moral sowie der Rechte und Freiheiten anderer notwendig erscheint.
Bei der Interessenabwägung im Rahmen von Art. 8 Ziff. 2 EMRK sind die Schwere des begangenen Delikts, der seit der Tat vergangene Zeitraum, das Verhalten des Ausländers während dieser Periode, die Auswirkungen auf die primär betroffene Person sowie deren familiäre Situation zu berücksichtigen. Zudem sind die Dauer der ehelichen Beziehung und weitere Gesichtspunkte relevant, welche Rückschlüsse auf deren Intensität zulassen (Geburt und Alter allfälliger Kinder; Kenntnis der Tatsache, dass die Beziehung wegen der Straftat unter Umständen nicht in der Schweiz gelebt werden kann). Von Bedeutung sind auch die Nachteile, welche dem Ehepartner oder den Kindern erwachsen würden, müssten sie dem Betroffenen in dessen Heimat folgen (BGE 135 II 477 E. 4.3 S. 381 f.). Zu berücksichtigen ist schliesslich die mit der aufenthaltsbeendenden Massnahme verbundene Dauer der Fernhaltung (<ref-ruling> E. 2.2.2 S. 20 f., 139 I 31 E. 2.3.3 S. 34 ff.).
Bei einem mit einer Schweizer Bürgerin verheirateten Ausländer, der erstmals oder nach bloss kurzer Aufenthaltsdauer um die Erneuerung seiner Bewilligung ersucht, geht das Bundesgericht in seiner ständigen Rechtsprechung davon aus, dass dem Ausländer im Falle einer Verurteilung zu einer Freiheitsstrafe von zwei Jahren in der Regel selbst dann kein Aufenthaltstitel mehr zu erteilen ist, wenn der schweizerischen Ehepartnerin die Ausreise nicht oder nur schwer zuzumuten ist. In einer solchen Konstellation sind aussergewöhnliche Umstände vonnöten, um die Erteilung einer Aufenthaltsbewilligung dennoch zu rechtfertigen ("Reneja"-Praxis: <ref-ruling> E. 2.3 S. 148 f.; 135 II 477 E. 4.4 S. 482 f.; <ref-ruling> E. 4.1 S. 185; <ref-ruling>).
3.3. Nach der Rechtsprechung muss bei schweren Straftaten, wozu auch Drogendelikte aus rein finanziellen Motiven gehören, zum Schutz der Öffentlichkeit ausländerrechtlich selbst ein geringes Restrisiko weiterer Beeinträchtigungen der dadurch gefährdeten Rechtsgüter (Gesundheit; Leib und Leben usw.) nicht in Kauf genommen werden (BGE <ref-ruling> E. 4.2 - E. 4.4 S. 185 ff. mit Hinweisen). Das Bundesgericht stuft - in Übereinstimmung mit der in Europa vorherrschenden Auffassung (vgl. die EGMR-Urteile Dalia gegen Frankreich vom 19. Februar 1998, Recueil 1998-I, S. 92 § 54 und Koffi gegen Schweiz vom 15. November 2012[38005/07] § 65) - diesbezüglich das öffentliche Interesse an der Wegweisung bzw. an der Fernhaltung eines entsprechenden Täters hoch ein (<ref-ruling> E. 6 u. 7 S. 220 ff. ; <ref-ruling> E. 4a/aa S. 527). Der Drogenhandel ist eine der in Art. 121 Abs. 3 BV (Fassung vom 28. November 2010) genannten Anlasstaten, die nach dem Verfassungsgeber dazu führen soll, dass der entsprechende Täter aus der Schweiz ausgewiesen und mit einem Einreiseverbot belegt wird. Der entsprechenden Wertung ist im Rahmen der Interessenabwägung nach Art. 8 Ziff. 2 EMRK bzw. der Anwendung von Art. 96 AuG insoweit Rechnung zu tragen, als dies zu keinem Widerspruch zu übergeordnetem Recht bzw. zu Konflikten mit dem Beurteilungsspielraum führt, den der EGMR den einzelnen Konventionsstaaten bei der Umsetzung ihrer Migrations- und Ausländerpolitik im Rahmen des Rechts auf Schutz des Privat- und Familienlebens belässt (<ref-ruling> E. 2.3.2 S. 34; <ref-ruling> E. 2.5 S. 149 ff.), wobei auch der Inhalt der EMRK nicht ein für allemal feststeht, sondern unter Berücksichtigung der Rechtsentwicklung in den Vertragsstaaten zu interpretieren ist (<ref-ruling> E. 2.1 S. 287 f. und 2.6 S. 292 f.).
3.4. Die Vorinstanz hat erwogen, der Beschwerdeführer sei seit seiner illegalen Einreise fortgesetzt straffällig geworden. Die am 19. Juni 2006 ausgesprochene Verwarnung habe ihn nicht beeindruckt. Im Gegenteil habe er nach dieser Verwarnung die schwersten Straftaten (in den Jahren 2008 und 2011) begangen, das heisst, im Jahre 2008 Kokain aufbewahrt und abgepackt und am 7. und 11. Juni 2011 gemeinsam mit zwei weiteren Beschuldigten einen Drogentransport organisiert. Er habe aus egoistischen Motiven und habgierig gehandelt. Seine Rolle im Drogenhandel sei übergeordneter Natur gewesen. Es müsse von einer nicht unwesentlichen Rückfallgefahr ausgegangen werden; das öffentliche Interesse an einer Wegweisung erscheine auch aus generalpräventiven Überlegungen gross. Gegen die Wegweisung spreche zwar der Umstand, dass er seit seinem 15. Lebensjahr in der Schweiz weile (wovon allerdings ein Teil illegal bzw. nur aufgrund der aufschiebenden Wirkung von Rechtsmitteln). Es könne aber nicht von einer besonders guten Integration des Beschwerdeführers gesprochen werden: Er habe keine Ausbildung absolviert, arbeite als Aushilfskraft und pflege kaum ausserfamiliäre Kontakte. Die Beziehung zu Ehefrau und Kind habe ihn nicht von seiner Delinquenz abgehalten. Kultur und Gepflogenheiten seiner Heimat seien ihm durch seine Eltern, mit denen er wöchentlich Kontakt pflege, nicht gänzlich unvertraut. Für die Ehefrau und Kinder wäre eine Ausreise zweifellos mit grossen Nachteilen verbunden, doch stehe es ihnen frei, in der Schweiz zu bleiben; die Trennung der Familie sei diesfalls hinzunehmen.
3.5. Der Beschwerdeführer rügt, die Vorinstanz habe bei ihrer Interessenabwägung sein Verhalten seit der Tatbegehung und die familiären Interessen zu wenig gewürdigt. Er lebe seit 2008 mit seiner heutigen Ehefrau zusammen und habe sich bis zu seinem Strafantritt um die Kinder gekümmert. Für die Familie wäre eine Ausreise nach Afrika nicht zumutbar, so dass die Wegweisung zu einer Trennung der Familie führen und damit gegen das Kindswohl verstossen würde. Auch habe seine Ehefrau bei der Heirat und der Zeugung der Kinder nichts von seiner deliktischen Tätigkeit gewusst. Er habe sich seit seiner Verurteilung bewährt und positiv entwickelt.
3.6. Die vorinstanzliche Interessenabwägung entspricht der bundesgerichtlichen Rechtsprechung, die bei Betäubungsmitteldelikten in vergleichbaren Konstellationen (Ehefrau und Kinder mit Schweizer Bürgerrecht; für die Familie Ausreise in Heimat des Ehemanns/Vaters nicht zumutbar) den Widerruf bzw. die Nichtverlängerung der Bewilligung regelmässig bestätigt hat (z.B. Urteile 2C_983/2013 vom 20. Juni 2014 [4 1/2 Jahre Freiheitsstrafe]; 2C_1071/2013 vom 6. Juni 2014 [3 Jahre Freiheitsstrafe]; 2C_586/2013 vom 3. Dezember 2013 [3 Jahre Freiheitsstrafe]; 2C_141/2012 vom 30. Juli 2012 [3 Jahre Freiheitsstrafe]; 2C_934/2011 vom 25. Juli 2012 [insgesamt 29 1/2 Monate Freiheitsstrafe]; 2C_295/2011 vom 30. August 2011 [3 Jahre Freiheitsstrafe]).
Der Beschwerdeführer beruft sich allerdings auf <ref-ruling>, wo das Bundesgericht in einer ähnlichen Konstellation (Einreise in die Schweiz mit 15 Jahren, Ehe mit Schweizerin, Kind mit Schweizer Bürgerrecht) die Nichterneuerung der Aufenthaltsbewilligung als unverhältnismässig beurteilte: Als massgeblich erachtete das Bundesgericht dort, dass es sich um eine erstmalige Verurteilung gehandelt hatte und sich der Betroffene seither wohl verhalten hatte (a.a.O., E. 3.8). Zudem war in jenem Fall eine Verurteilung zu bloss zwei Jahren Freiheitsstrafe erfolgt und es ging um eine Ausweisung nach Afghanistan, wobei das Bundesgericht auch auf die dortige desolate humanitäre Situation und existenzbedrohende Sicherheitslage hinwies (a.a.O. E. 3.6). Demgegenüber ist hier der Beschwerdeführer wiederholt strafrechtlich verurteilt und deswegen auch fremdenpolizeilich bereits verwarnt worden. Er liess sich aber weder durch die Verurteilungen noch durch die ausgesprochene Verwarnung von einer weiteren und erheblich schwereren Delinquenz abhalten, was zu einer Verurteilung zu einer Freiheitsstrafe von drei Jahren führte. Das Strafgericht beurteilte das Verschulden des Beschwerdeführers als schwer: Er war im Jahre 2008 und dann wieder 2011 am Umschlag von insgesamt rund 900 Gramm Kokain (reines Kokain von rund 370 Gramm) beteiligt, handelte aus egoistischen Motiven und zudem in übergeordneter Stellung.
3.7. Ergänzend ist darauf hinzuweisen, dass deliktisches Verhalten die Erteilung einer neuen Aufenthaltsbewilligung für den Beschwerdeführer nicht zwingend ein für alle Mal verunmöglicht. Unter gewissen Voraussetzungen kann nach einer angemessenen Bewährungsdauer im Heimatland eine Neubeurteilung durch die zuständigen Migrationsbehörden angezeigt sein (vgl. Urteil 2C_1170/2012 vom 24. Mai 2013 E. 3 mit Hinweisen). In diesem Rahmen ist der Zeitablauf, verbunden mit Deliktsfreiheit, angemessen zu berücksichtigen. Damit wird dem Umstand Rechnung getragen, dass die seit der Tat verflossene Zeit und das seitherige Verhalten des Ausländers beim bewilligungsrechtlichen Entscheid mitzuberücksichtigen sind (<ref-ruling> E. 2.4 S. 329 f.; <ref-ruling> E. 5 S. 504; allgemein <ref-ruling> E. 5.4.2 S. 542; zu Art. 8 EMRK vgl. z.B. Urteile des EGMR Udeh gegen die Schweiz vom 16. April 2013 [Nr. 12020/09] § 46 ff.; A.W. Khan gegen das Vereinigte Königreich vom 12. Januar 2010 [Nr. 47486/06] § 41).
4.
Die Beschwerde ist aus diesen Gründen abzuweisen, soweit darauf einzutreten ist. Da der angefochtene Entscheid der ständigen bundesgerichtlichen Rechtsprechung entspricht (E. 3.6), erweist sich die Beschwerde als aussichtslos, so dass das Gesuch um unentgeltliche Rechtspflege abzuweisen ist (Art. 64 Abs. 1 BGG). Der Beschwerdeführer trägt die Kosten des bundesgerichtlichen Verfahrens (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 4. Abteilung, und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 15. Januar 2015
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Klopfenstein