Sachverhalt: A. A.a. A.A._, geboren 1984, Staatsangehöriger von Guinea, reiste im Jahr 2000 illegal in die Schweiz ein und stellte erfolglos ein Asylgesuch. Der Ausreiseverpflichtung kam er nicht nach und ein Vollzug der Wegweisung war mangels Reisepapieren nicht möglich. A.b. Am 5. Juli 2005 heiratete A.A._ die Schweizer Bürgerin B.B._, worauf ihm eine später wiederholt verlängerte Aufenthaltsbewilligung erteilt wurde. Die eheliche Gemeinschaft wurde am 26. Oktober 2007 aufgegeben. Mit Verfügung vom 18. März 2009 lehnte die Sicherheitsdirektion des Kantons Zürich eine weitere Verlängerung der Aufenthaltsbewilligung ab. A.A._ rekurrierte dagegen an den Regierungsrat und teilte im Rekursverfahren seine Absicht mit, nach vollzogener Scheidung die Schweizerin C.A._ zu heiraten; aus der Beziehung mit dieser sei 2009 der Sohn D.A._ hervorgegangen, den er am 30. Juni 2009 vorgeburtlich anerkannt habe. Die Ehe A.-B._ wurde am 10. Februar 2010 geschieden. Am 23. April 2010 heiratete A.A._ C.A._, worauf ihm erneut eine Aufenthaltsbewilligung erteilt und wiederholt verlängert wurde, zuletzt bis zum 22. April 2013. Der Rekurs gegen die Verfügung vom 18. März 2009 wurde abgeschrieben. Aus der Ehe mit C.A._ ging 2011 der zweite Sohn E.A._ hervor. Sowohl D.A._ als auch E.A._ besitzen die schweizerische Staatsangehörigkeit. A.c. A.A._ wurde zwischen 2000 und 2006 sechsmal bestraft mit insgesamt sechs Tagen Haft und ca. 5 1/2 Monaten Gefängnis wegen Ungehorsams gegen amtliche Verfügungen sowie Widerhandlungen gegen das ANAG. Mit Verfügung vom 19. Juni 2006 wurde er deswegen fremdenpolizeilich verwarnt. Er wurde weiter verurteilt - mit Strafbefehl der Staatsanwaltschaft See/Oberland vom 29. April 2010 mit Geldstrafe von 10 Tagessätzen à Fr. 70.-- wegen Hinderung einer Amtshandlung; - mit Urteil des Tribunal correctionel des Kantons Genf vom 8. März 2012 mit drei Jahren Freiheitsstrafe wegen Verbrechens im Sinne des Betäubungsmittelgesetzes. A.d. Mit Verfügung vom 14. August 2013 wies das Migrationsamt des Kantons Zürich ein Gesuch von A.A._ um Verlängerung der Aufenthaltsbewilligung ab und wies diesen aus der Schweiz aus. B. Die dagegen erhobenen kantonalen Rechtsmittel blieben erfolglos, unter Abweisung des Gesuchs um unentgeltliche Rechtspflege (Rekursentscheid der Sicherheitsdirektion vom 21. Januar 2014; Urteil des Verwaltungsgerichts des Kantons Zürich vom 16. April 2014). C. A.A._ erhebt mit Eingabe vom 27. Mai 2014 beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, in Aufhebung des angefochtenen Urteils sei ihm die Aufenthaltsbewilligung zu verlängern. Zudem beantragt er Erteilung der unentgeltlichen Rechtspflege für das vorinstanzliche Rekurs- und Beschwerdeverfahren sowie für das Verfahren vor dem Bundesgericht. Verwaltungsgericht und Sicherheitsdirektion des Kantons Zürich verzichten auf Vernehmlassung. Das Bundesamt für Migration (heute: Staatssekretariat für Migration [SEM]) beantragt Abweisung der Beschwerde. Mit Verfügung des Präsidenten der II. öffentlich-rechtlichen Abteilung des Bundesgerichts vom 3. Juni 2014 wurde der Beschwerde - antragsgemäss - die aufschiebende Wirkung zuerkannt.