Aufenthaltsbewilligung, hat sich ergeben: A.- Der nigerianische Staatsangehörige X._, geb. 1965, stellte am 17. Oktober 1989 ein Asylgesuch, welches das Bundesamt für Flüchtlinge mit Verfügung vom 4. Dezember 1991 ablehnte. Am 18. März 1992 verheiratete er sich mit der 1952 geborenen, geschiedenen Schweizerin Y._, geborene Z._, und erhielt gestützt darauf die Aufenthaltsbewilligung für den Kanton Zürich. Am 4. Juni 1992 zog er den gegen den negativen Asylentscheid erhobenen Rekurs zurück. Vom August 1994 bis Januar 1996 arbeitete X._ mit Unterbrüchen bei verschiedenen Arbeitgebern als Hilfsarbeiter in der Montage und im Gastgewerbe. Vom Februar bis Mitte August 1996 absolvierte er eine Vorlehre. Mitte August 1996 begann er eine dreijährige Lehre als Autolackierer, die er nach zwei Jahren wieder abbrach. Mit Strafbefehl vom 27. August 1996 verurteilte die Bezirksanwaltschaft Zürich X._ wegen Widerhandlungen gegen das Betäubungsmittelgesetz zu 30 Tagen Gefängnis bedingt. Am 8. Januar 1997 verwarnte ihn die Fremdenpolizei des Kantons Zürich deswegen. Mit Verfügung vom 25. April 1997 verweigerte die Fremdenpolizei ihm die Niederlassungsbewilligung, verlängerte aber seine Aufenthaltsbewilligung bis zum 17. März 1998. Gegen die Verweigerung der Niederlassungsbewilligung erhob X._ am 16. Mai 1997 Rekurs beim Regierungsrat des Kantons Zürich. Mit Strafbefehl vom 5. März 1998 verurteilte die Bezirksanwaltschaft Zürich X._ wegen Widerhandlung gegen das Betäubungsmittelgesetz zu zehn Tagen Gefängnis bedingt als Zusatzstrafe zum Strafbefehl vom 27. August 1996. Mit Schreiben vom 14. April 1998 zog X._ den beim Regierungsrat hängigen Rekurs zurück. Mit Urteil vom 8. Juni 1999 verurteilte ihn das Tribunal de Police des Kantons Genf wegen schwerer Widerhandlungen gegen das Betäubungsmittelgesetz zu zwei Jahren Gefängnis sowie zu einer bedingt aufgeschobenen Landesverweisung von zehn Jahren. Auf Appellation hin setzte die Strafkammer des Cour de Justice des Kantons Genf mit Urteil vom 17. August 1999 die Gefängnisstrafe auf 18 Monate herab, dies unter Gewährung des bedingten Strafvollzuges. Dieses Urteil ist in Rechtskraft erwachsen. B.- Mit Verfügung vom 7. Februar 2000 verweigerte die Fremdenpolizei X._ eine Verlängerung der Aufenthaltsbewilligung. Den dagegen erhobenen Rekurs wies der Regierungsrat des Kantons Zürich am 31. Januar 2001 ab. Dagegen erhob X._ am 15. März 2001 Beschwerde beim Verwaltungsgericht des Kantons Zürich. Dieses wies die Beschwerde mit Entscheid vom 29. August 2001 ab. C.- Gegen den Entscheid des Verwaltungsgerichts hat X._ mit Eingabe vom 24. Oktober 2001 beim Bundesgericht Verwaltungsgerichtsbeschwerde erhoben. Er beantragt, den angefochtenen Entscheid aufzuheben und ihm eine Aufenthaltsbewilligung zu erteilen bzw. die Vorinstanz anzuweisen, ihm eine solche zu erteilen; eventualiter den angefochtenen Entscheid aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Die Staatskanzlei des Kantons Zürich (für den Regierungsrat) schliesst auf Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Zürich beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Bundesamt für Ausländerfragen beantragt die Abweisung der Beschwerde. D.- Mit Verfügung vom 19. November 2001 hat der Abteilungspräsident der Beschwerde die aufschiebende Wirkung zuerkannt.