Aufenthaltsbewilligung, hat sich ergeben:
A.- B._, geb. 1966, türkischer Staatsangehöriger, welcher früher in der Nähe von München lebte, heiratete am 24. September 1997 in der Türkei die in der Schweiz niedergelassene türkische Staatsangehörige A._, geb. 1974. Am 23. Februar 1998 stellte B._, kurz zuvor eingereist, ein Gesuch um Erteilung der Aufenthaltsbewilligung zum Verbleib bei der Ehegattin. Am 2. März 1998 stellte die Fremdenpolizei die Aufenthaltsbewilligung aus. Der Ausländerausweis konnte B._ nicht ausgehändigt werden, da er sich zu diesem Zeitpunkt nicht mehr am Wohnort der Ehefrau aufhielt. Mit Verfügung vom 24. Juni 1998 wies die Polizeidirektion des Kantons Zürich das Gesuch vom 23. Februar 1998 ab, da mit der Auflösung der ehelichen Gemeinschaft der Zulassungsgrund entfallen sei.
B.- Mit Beschluss vom 21. April 1999 wies der Regierungsrat des Kantons Zürich einen Rekurs gegen diese Verfügung ab. Dabei liess der Regierungsrat offen, ob dem Beschwerdeführer die Aufenthaltsbewilligung bis 20. Februar 1999 erteilt worden sei. Jedenfalls wäre diese in der Zwischenzeit abgelaufen. Ein Anspruch auf Verlängerung der Bewilligung bestehe nicht mehr. Die Ehe sei mit Urteil vom 22. Oktober 1998 geschieden worden. Für den am 9. Juli 1998 geborenen Sohn stehe B._ zwar ein Besuchsrecht zu, doch sei die Beziehung zu diesem nicht derart intensiv, dass sich daraus ein Anspruch auf Aufenthaltsbewilligung ergebe.
Das Verwaltungsgericht des Kantons Zürich wies eine Beschwerde mit Urteil vom 25. August 1999 ab. Es erwog namentlich, es sei zwar von einer intakten Beziehung zum Kind auszugehen. Der Vater könne jedoch das Besuchsrecht auch ausüben, wenn er wieder in Deutschland Wohnsitz nehmen müsse. Da er bisher keine Unterhaltszahlungen geleistet habe, sodann nichts gegen die Annahme des Regierungsrates spreche, dass ein Fürsorgerisiko bestehe, und der Beschwerdeführer überdies gar wegen Drohung und Tätlichkeit gegenüber seiner Ehefrau zu einer 28-tägigen Gefängnisstrafe habe verurteilt werden müssen, sei die Verweigerung der Aufenthaltsbewilligung insgesamt nicht zu beanstanden.
C.- B._ hat mit Eingabe vom 11. Oktober 1999 Verwaltungsgerichtsbeschwerde an das Bundesgericht erhoben. Er beantragt, das angefochtene Urteil aufzuheben und die Fremdenpolizei des Kantons Zürich anzuweisen, ihm die Aufenthaltsbewilligung zu erteilen, eventuell die Sache an das Verwaltungsgericht zu neuer Entscheidung zurückzuweisen. Zudem ersucht der Beschwerdeführer um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung.
Der Regierungsrat des Kantons Zürich sowie das Bundesamt für Ausländerfragen stellen Antrag auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Verwaltungsgericht beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei.

Das Bundesgericht zieht in Erwägung:
1.- a) Nach Art. 100 Abs. 1 lit. b Ziff. 3 OG ist die Verwaltungsgerichtsbeschwerde auf dem Gebiete der Fremdenpolizei unzulässig gegen die Erteilung oder Verweigerung von Bewilligungen, auf die das Bundesrecht keinen Anspruch einräumt. Gemäss Art. 4 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; SR 142. 20) entscheiden die zuständigen Behörden, im Rahmen der gesetzlichen Vorschriften und der Verträge mit dem Ausland, nach freiem Ermessen über die Bewilligung von Aufenthalt oder Niederlassung. Es besteht damit grundsätzlich kein Anspruch auf Erteilung einer Aufenthaltsbewilligung, es sei denn, der Ausländer könne sich auf eine Sondernorm des Bundesrechts oder eines Staatsvertrags berufen (<ref-ruling> E. 2a S. 291; <ref-ruling> E. 1a S. 363 f.; <ref-ruling> E. 1b S. 147, mit Hinweisen).
b) Der Beschwerdeführer ist von seiner Ehefrau geschieden. Er kann sich daher nicht auf Art. 17 Abs. 2 ANAG berufen, wonach der Ehegatte eines Ausländers, der im Besitz der Niederlassungsbewilligung ist, Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung hat, solange die Ehegatten zusammen wohnen. Eine Gesetzesbestimmung, die einem Elternteil Anspruch auf Anwesenheit bei seinem in der Schweiz ansässigen Kind vermitteln würde, kennt das schweizerische Ausländerrecht nicht. Hingegen garantiert Art. 8 Ziff. 1 EMRK den Schutz des Familienlebens. Gestützt darauf ist die Verwaltungsgerichtsbeschwerde des um die fremdenpolizeiliche Bewilligung ersuchenden Ausländers oder seiner hier anwesenden nahen Verwandten zulässig, wenn diese über ein gefestigtes Anwesenheitsrecht (insbesondere Niederlassungsbewilligung) in der Schweiz verfügen und die familiäre Beziehung tatsächlich gelebt wird und intakt ist (<ref-ruling>; <ref-ruling> E. 1b S. 364, mit weiteren Hinweisen). Dies gilt auch, wenn es um die Beziehung eines Elternteils zu seinem Kind geht, das nicht unter seiner elterlichen Gewalt oder Obhut steht (<ref-ruling> E. 2e S. 99 f.; <ref-ruling> E. 1d S. 3).
c) Nach dem Scheidungsurteil vom 22. Oktober 1998 steht dem Beschwerdeführer ein Besuchsrecht von drei Stunden am ersten und dritten Sonntag des Monats zu, das bei einer gemeinsamen Cousine der geschiedenen Ehegatten auszuüben ist. Ab dem dritten Altersjahr des Kindes verlängert sich das Besuchsrecht auf jeweils acht Stunden. Es ist unstreitig, dass der Beschwerdeführer dieses Besuchsrecht wahrnimmt. Die Verwaltungsgerichtsbeschwerde ist damit zulässig. Ob die Verweigerung der Aufenthaltsbewilligung zu einer im Lichte von Art. 8 EMRK unzulässigen Einschränkung der Beziehung zwischen dem Beschwerdeführer und seinem Sohn führt, ist nicht Eintretensfrage, sondern Frage der materiellen Beurteilung der Beschwerde.
2.- Der Beschwerdeführer wirft Regierungsrat und Verwaltungsgericht Rechtsverweigerung vor, weil sie nicht geklärt hätten, ob die Fremdenpolizei ihm nach seiner Einreise in die Schweiz rechtsgültig eine Aufenthaltsbewilligung erteilt habe oder nicht. Indessen war die allenfalls erteilte Bewilligung im Zeitpunkt, als der Regierungsrat entschied, bereits abgelaufen, so dass unter diesem Gesichtspunkt das Verfahren hätte abgeschrieben werden können, wenn sich nicht die Frage gestellt hätte, ob die Bewilligung zu verlängern sei. Dabei durfte der Regierungsrat die zwischenzeitlich erfolgte Geburt des Sohnes des Beschwerdeführers in die Beurteilung einbeziehen. Aus der Verfassung ergibt sich nicht, dass der Regierungsrat gehalten gewesen wäre, die Beurteilung dieser Frage erstinstanzlich der Fremdenpolizei zu überlassen.
3.- a) Der in Art. 8 Ziff. 1 EMRK garantierte Anspruch auf Achtung des Familienlebens gilt nicht absolut. Vielmehr ist nach Art. 8 Ziff. 2 EMRK ein Eingriff in das durch Ziff. 1 geschützte Rechtsgut statthaft, soweit er gesetzlich vorgesehen ist und eine Massnahme darstellt, die in einer demokratischen Gesellschaft für die nationale Sicherheit, die öffentliche Ruhe und Ordnung, das wirtschaftliche Wohl des Landes, die Verteidigung der Ordnung und zur Verhinderung von strafbaren Handlungen, zum Schutz der Gesellschaft und Moral sowie der Rechte und Freiheiten anderer notwendig ist. Die Konvention verlangt insofern eine Abwägung der sich gegenüberstehenden privaten Interessen an der Bewilligungserteilung und öffentlichen Interessen an deren Verweigerung, wobei letztere in dem Sinne überwiegen müssen, dass sich der Eingriff als notwendig erweist (BGE 122 III E. 2 S. 6, mit Hinweisen).
Bei dieser Abwägung ist davon auszugehen, dass die Schweiz mit Bezug auf Niederlassung und Aufenthalt von Ausländern eine restriktive Politik betreibt, dies namentlich im Interesse eines ausgewogenen Verhältnisses zwischen schweizerischer und ausländischer Wohnbevölkerung, der Schaffung günstiger Rahmenbedingungen für die Eingliederung der in der Schweiz ansässigen Ausländer und der Verbesserung der Arbeitsmarktstruktur sowie einer möglichst ausgeglichenen Beschäftigung (vgl. Art. 16 ANAG sowie Art. 1 der Verordnung vom 6. Oktober 1986 über die Begrenzung der Zahl der Ausländer [BVO; SR 823. 21]). Das Bundesgericht hat wiederholt entschieden, dass diese gesetzgeberischen Ziele im Lichte von Art. 8 Ziff. 2 EMRK legitim sind (vgl. BGE <ref-ruling> E. 3b S. 4 f.; <ref-ruling> E. 4a S. 24 f.). Sie sind in der Abwägung zu berücksichtigen. Wesentlich ist sodann auch, ob gegen den Ausländer fremdenpolizeiliche Entfernungs- und Fernhaltegründe sprechen, insbesondere ob und inwieweit er sich massgebliches, strafrechtlich oder fremdenpolizeilich verpöntes Fehlverhalten hat zuschulden kommen lassen.
b) Der nicht sorgeberechtigte Ausländer kann die familiäre Beziehung mit seinen Kindern zum Vornherein nur in einem beschränkten Rahmen, nämlich durch Ausübung des ihm eingeräumten Besuchsrechts leben. Hierzu ist nicht unabdingbar, dass er dauernd im gleichen Land wie das Kind lebt und dort über eine Aufenthaltsbewilligung verfügt. Den Anforderungen von Art. 8 EMRK ist nach der bundesgerichtlichen Rechtsprechung regelmässig Genüge getan, wenn der Ausländer das Besuchsrecht im Rahmen von bewilligungsfreien Kurzaufenthalten vom Ausland her ausüben kann, wobei allenfalls die Modalitäten des Besuchsrechts entsprechend auszugestalten sind. Ein Anspruch auf Aufenthaltsbewilligung wird im Allgemeinen dann bejaht, wenn zwischen dem Ausländer und dessen Kindern in wirtschaftlicher und affektiver Hinsicht besonders enge Beziehungen bestehen, die sich wegen der Distanz zwischen der Schweiz und dem Land, in dem der Ausländer leben müsste, praktisch nicht aufrechterhalten liessen, und wenn gegen den Ausländer keine spezifischen Fernhaltegründe (namentlich aufgrund strafbaren Verhaltens) sprechen (vgl. BGE <ref-ruling>; <ref-ruling>).
4.- a) Das Verwaltungsgericht stützt sich in seinem Urteil teilweise auf Annahmen, die der Interessenabwägung ohne nähere Abklärung nicht zugrundegelegt werden können:
aa) Das Verwaltungsgericht hätte nicht davon ausgehen dürfen, dass der Beschwerdeführer sein Besuchsrecht ohne grössere Schwierigkeiten von Deutschland aus durch kurzfristige Aufenthalte in der Schweiz wahrnehmen könnte. Nach § 44 Abs. 1 Ziff. 3 des deutschen Gesetzes vom 9. Juli 1990 über die Einreise und den Aufenthalt von Ausländern im Bundesgebiet (AuslG; BGBl. I S. 1354) erlischt die Aufenthaltsgenehmigung, wenn der Ausländer ausgereist und nicht innerhalb von sechs Monaten oder einer von der Ausländerbehörde bestimmten längeren Frist wieder eingereist ist. Die Ausnahmebestimmung bei Militärdienst kommt nur zur Anwendung, wenn die Wiedereinreise innert dreier Monate nach der Entlassung erfolgt (§ 44 Abs. 2 AuslG). Es erscheint daher wenig wahrscheinlich, dass die Aufenthaltsgenehmigung noch als fortbestehend gelten könnte, nachdem der Beschwerdeführer der Aussage seiner Ehefrau gemäss im Jahre 1995 in die Türkei zurückgekehrt war. Das Recht auf Wiederkehr (§ 16 AuslG) ist sodann auf junge Ausländer bis zum 21. Altersjahr zugeschnitten. Nur deshalb, weil Familienangehörige in Deutschland leben, ist kaum anzunehmen, dass der Beschwerdeführer, der 34 Jahre alt ist, erneut eine Aufenthaltsgenehmigung erhalten könnte.
bb) Das Verwaltungsgericht hätte dem Beschwerdeführer auch nicht ohne nähere Abklärungen vorhalten dürfen, dass er bisher keine Unterhaltszahlungen für das Kind geleistet hat. Es besteht nämlich ein Unterschied, ob der unterhaltspflichtige Vater nur deshalb nicht an den Unterhalt seines Kindes beiträgt, weil ihm nicht gestattet wird, zu arbeiten, oder ob er sich gar nicht um Arbeit bemüht hat. Auch dazu finden sich im angefochtenen Urteil keine Feststellungen. Das Verwaltungsgericht bezieht sich darüber hinaus gar auf ein mögliches Fürsorgerisiko, versäumt es aber darzulegen, worauf sich diese Befürchtung stützt, wenn nicht darauf, dass dem Beschwerdeführer bisher nicht erlaubt war, in der Schweiz zu arbeiten.
cc) Den Akten ist ferner zu entnehmen, dass die Ehefrau des Beschwerdeführers ausgesagt hat, dieser habe 1995 Deutschland verlassen, nachdem ihm die Ausschaffung wegen Körperverletzungen und Drogendelikten angedroht worden sei. Ob dies zutrifft, ist ebenfalls nicht weiter abgeklärt worden, weder durch Befragung des Beschwerdeführers selbst noch indem dieser verhalten worden wäre, einen deutschen Strafregisterauszug beizubringen.
b) Trotz teilweise mangelhafter Beweiserhebungen erweist sich der angefochtene Entscheid aber auf Grund des feststehenden Sachverhalts als im Ergebnis richtig.
aa) Für die nach Art. 8 EMRK vorzunehmende Interessenabwägung ist vorab massgebend, dass der Beschwerdeführer mit der Schweiz in keiner Weise verbunden ist. Bis zu seiner Einreise in die Schweiz zum Verbleib bei seiner damaligen Ehefrau hat er sein Leben in Deutschland und in der Türkei verbracht.
bb) Von wesentlicher Bedeutung ist sodann, dass der Beschwerdeführer, kaum in der Schweiz, zu einer 28-tägigen Freiheitsstrafe wegen Drohung und Tätlichkeit zu Lasten seiner damaligen Ehefrau verurteilt werden musste. In seiner Beschwerde an das Verwaltungsgericht hat der Beschwerdeführer dazu ausführen lassen, nach seiner Einreise sei er unversehens damit konfrontiert worden, dass seine Ehefrau von ihm nichts mehr habe wissen und ihm auch das gemeinsame Kind habe vorenthalten wollen. Darauf seien die ihm vorgeworfenen Vorfälle zurückzuführen. Die Darstellung der Ehefrau ist allerdings eine diametral andere. Sie sei von ihrem Ehemann zur Heirat gezwungen worden, und sie soll in der Türkei von ihm gar vergewaltigt worden sein. Bei den Akten befindet sich lediglich das Protokoll der Einvernahme der Ehefrau, nicht aber dasjenige über die Befragung des Beschwerdeführers. Die tatsächlichen Feststellungen des Verwaltungsgerichts sind insofern mangelhaft. Schwer verständlich ist, dass das Verwaltungsgericht nicht einmal die naheliegendsten Abklärungen vorgenommen hat, wie beispielsweise die Akten des Strafverfahrens und allenfalls auch des Scheidungsverfahrens beizuziehen. Die Tatsache, dass sich das Verwaltungsgericht für die Verweigerung der Aufenthaltsbewilligung auf die erwähnte Freiheitsstrafe berufen hat, hätte indessen für den Beschwerdeführer Anlass bilden müssen, zur Darstellung der Vorgeschichte dieses Vorfalles bzw. des Eheschlusses durch die Ehefrau, wie sie den dem Verwaltungsgericht eingereichten Akten der Fremdenpolizei bzw. des Regierungsrates zu entnehmen ist, seinerseits Stellung zu nehmen. Es darf davon ausgegangen werden, dass diese Akten dem Anwalt des Beschwerdeführers bekannt waren. Er hat jedoch die Tätlichkeit der Ehefrau gegenüber mit einem abstrakten Hinweis auf die "schwierige Situation" des Beschwerdeführers bagatellisiert, ohne auf die gravierenden Vorwürfe der Ehefrau einzugehen. Für einen Aufenthaltsanspruch zur blossen Ausübung eines Besuchsrechts ist ein tadelloses Verhalten erforderlich. Diese Voraussetzung erfüllt der Beschwerdeführer jedenfalls nicht. Die 28-tägige Freiheitsstrafe wegen Drohung und Tätlichkeit gegen seine Ehefrau reicht aus, um dem hier nicht integrierten Beschwerdeführer die weitere Ausübung des Besuchsrechtes vom Ausland aus zuzumuten. Dies selbst für den Fall, dass er künftig in der Türkei leben muss.
5.- Damit erweist sich die Verwaltungsgerichtsbeschwerde als unbegründet und ist abzuweisen.
Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer grundsätzlich kostenpflichtig (Art. 156 Abs. 1 OG). Er hat allerdings ein Gesuch um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung (Art. 152 Abs. 1 und 2 OG) gestellt. Da der Beschwerdeführer bedürftig ist und seine Rechtsbegehren nicht zum Vornherein aussichtslos waren, ist seinem Gesuch zu entsprechen.

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird gutgeheissen. Dem Beschwerdeführer wird für das bundesgerichtliche Verfahren Rechtsanwalt Peter Nideröst als unentgeltlicher Rechtsvertreter beigegeben.
3.- Es werden keine Kosten erhoben.
4.- Dem Vertreter des Beschwerdeführers, Rechtsanwalt Peter Nideröst, wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 1'600. -- ausgerichtet.
5.- Dieses Urteil wird dem Beschwerdeführer, dem Regierungsrat und dem Verwaltungsgericht (4. Abteilung, 4. Kammer) des Kantons Zürich sowie dem Eidgenössischen Justiz- und Polizeidepartement schriftlich mitgeteilt.
_
Lausanne, 16. Februar 2000
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: