Aufenthaltsbewilligung, hat sich ergeben:
A.- Der nigerianische Staatsangehörige X._ reiste am 31. Oktober 1994 in die Schweiz ein und stellte gleichentags ein Asylgesuch, welches das Bundesamt für Flüchtlinge am 22. Februar 1996 ablehnte. Auf die dagegen erhobene Beschwerde trat die Schweizerische Asylrekurskommission mit Entscheid vom 21. Mai 1996 nicht ein, weil X._ den Kostenvorschuss nicht bezahlt hatte.
Am 26. März 1997 heiratete X._ die in der Schweiz niedergelassene italienische Staatsangehörige A._, geb. 1963, die zuvor am 20. November 1996 die gemeinsame Tochter B._ geboren hatte. Am 2. April 1997 ersuchte X._ um eine Aufenthaltsbewilligung im Rahmen des Familiennachzugs.
Im Mai 1997 trennten sich die Eheleute. Mit Urteil vom 7. Oktober 1997 sprach der Gerichtspräsident 3 des Bezirksgerichts Baden die elterliche Obhut über das gemeinsame Kind sowie über das auf Ende Oktober erwartete weitere Kind der Mutter zu, legte das Besuchsrecht X._s auf 4 Stunden pro Monat fest und verpflichtete diesen zu Unterhaltsbeiträgen von zuletzt monatlich Fr. 1'563. -- zuzüglich Kinderzulagen. Beide Parteien fochten diesen Entscheid in Bezug auf das Besuchsrecht erfolglos an. Mit Klage vom 8. Oktober 1997 beantragte die Ehefrau beim Bezirksgericht Baden die Scheidung der Ehe. Am 31. Oktober 1997 wurde der gemeinsame Sohn C._ geboren.
B.- Mit Verfügung vom 5. November 1997 verweigerte die Fremdenpolizei des Kantons Aargau X._ die nachgesuchte Aufenthaltsbewilligung. Am 6. März 1998 verurteilte das Bezirksamt Brugg X._ wegen illegaler Einreise und illegalen Aufenthalts in der Schweiz zu einer Gefängnisstrafe von sieben Tagen bedingt und einer Busse von Fr. 210. --. Eine gegen ihre Verfügung vom 5. November 1997 erhobene Einsprache wies die Fremdenpolizei des Kantons Aargau mit Entscheid vom 8. April 1998 ab. Dagegen erhob X._ Beschwerde beim Rekursgericht im Ausländerrecht des Kantons Aargau.
C.- Auf eine von der Ehefrau im Februar 1998 eingeleitete Betreibung über den Betrag von Fr. 5'919. 20 für unbezahlte Unterhaltsbeiträge war am 25. März 1998 gegen X._ eine Lohnpfändung von monatlich Fr. 596. 85.20 verfügt worden. Mit Urteil vom 23. März 1998 hatte der Gerichtspräsident 3 des Bezirksgerichts Baden die Arbeitgeberin X._s angewiesen, von dessen Lohn monatlich den Betrag von Fr. 1'563. -- zuzüglich Kinderzulagen abzuziehen und direkt der Ehefrau zu überweisen. Dieses Urteil focht X._ beim Obergericht des Kantons Aargau an. Ende Juni 1998 verlor er seine Arbeitsstelle. Weil er infolge fehlender Aufenthalts- und Arbeitsbewilligung nicht mehr vermittlungsfähig im Sinne des Arbeitslosenrechts war, erhielt er keine Leistungen der Arbeitslosenversicherung und wurde von der kommunalen Fürsorge finanziell unterstützt.
Am 18. Februar 1999 verurteilte das Bezirksgericht Baden X._ wegen Vernachlässigung von Unterstützungspflichten zu 10 Tagen Gefängnis bedingt. Dieses Urteil focht X._ an. Mit Urteil vom 22. April 1999 hob der Gerichtspräsident 3 von Baden in Abänderung des Entscheides vom 7. Oktober 1997 die Pflicht X._s zur Zahlung der damals festgelegten Unterhaltsbeiträge rückwirkend auf den 7. Oktober 1998 auf.
Nachdem das Bezirksgericht Baden die Scheidungsklage der Ehefrau am 19. Mai 1998 abgewiesen hatte, schied das Obergericht des Kantons Aargau am 20. Mai 1999 die Ehe der Parteien auf Appellation der Ehefrau. Es sprach die elterliche Gewalt über die beiden Kinder der Mutter zu und räumte X._ ein Besuchsrecht von einem Tag pro Monat sowie jährlich 14 Tagen Ferien (ab deren 7. Altersjahr) ein. Das Obergericht verpflichtete ferner X._ zur Bezahlung von Unterhaltsbeiträgen für die beiden Kinder in der Höhe von insgesamt Fr. 1'000. -- pro Monat, soweit er nicht nachweise, dass er noch keine Arbeitsbewilligung erhalten habe. Der geschiedenen Ehefrau sprach es wegen überwiegenden Verschuldens keine Unterhaltsbeiträge zu.
D.- Mit Entscheid vom 3. September 1999 wies das Rekursgericht im Ausländerrecht des Kantons Aargau (im Folgenden: das Rekursgericht) die Beschwerde gegen den Einspracheentscheid der Fremdenpolizei ab. Es begründete seinen Entscheid damit, dass zwischen X._ und dessen Kindern aufgrund seiner Zahlungsversäumnisse und -rückstände bezüglich der geschuldeten Unterhaltsbeiträge zumindest in wirtschaftlicher Hinsicht keine enge Familienbeziehung bestehe.
E.- Dagegen hat X._ am 27. Oktober 1999 beim Bundesgericht Verwaltungsgerichtsbeschwerde erhoben. Er beantragt, den angefochtenen Entscheid aufzuheben und ihm eine Aufenthaltsbewilligung zu erteilen bzw. die Fremdenpolizei des Kantons Aargau anzuweisen, ihm eine solche zu erteilen. Zudem ersucht er um unentgeltliche Rechtspflege und Verbeiständung.
Die Fremdenpolizei des Kantons Aargau hat keine Stellungnahme eingereicht. Das Rekursgericht hat auf eine Vernehmlassung verzichtet. Das Bundesamt für Ausländerfragen (für das Eidgenössische Justiz- und Polizeidepartement) beantragt, die Beschwerde abzuweisen.
F.- Mit Verfügung vom 1. Dezember 1999 hat der Abteilungspräsident der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt.

Das Bundesgericht zieht in Erwägung:
1.- a) Art. 100 Abs. 1 lit. b Ziff. 3 OG schliesst die Verwaltungsgerichtsbeschwerde aus gegen die Erteilung oder Verweigerung von fremdenpolizeilichen Bewilligungen, auf die das Bundesrecht keinen Anspruch einräumt. Gemäss Art. 4 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; SR 142. 20) entscheidet die zuständige Behörde, im Rahmen der gesetzlichen Vorschriften und der Verträge mit dem Ausland, nach freiem Ermessen über die Bewilligung von Aufenthalt und Niederlassung. Der Ausländer hat damit grundsätzlich keinen Anspruch auf Erteilung bzw. Verlängerung einer Aufenthaltsbewilligung, und die Verwaltungsgerichtsbeschwerde ist ausgeschlossen, soweit er sich nicht auf eine Norm des Bundesrechts oder eines Staatsvertrags berufen kann, die ihm einen Anspruch auf eine solche Bewilligung einräumt (<ref-ruling> E. 1a S. 363 f., mit Hinweisen).
b) Art. 8 EMRK garantiert den Schutz des Familienlebens. Gestützt darauf ist die Verwaltungsgerichtsbeschwerde des um die fremdenpolizeiliche Bewilligung ersuchenden Ausländers oder seiner hier anwesenden Verwandten zulässig, wenn diese über ein gefestigtes Anwesenheitsrecht (insbesondere Niederlassungsbewilligung) in der Schweiz verfügen und die familiäre Beziehung tatsächlich gelebt wird und intakt ist (<ref-ruling> E. 1b S. 364, mit Hinweisen).
Beide Kinder des Beschwerdeführers verfügen mit der Niederlassungsbewilligung über ein gefestigtes Aufenthaltsrecht in der Schweiz. Die Beziehung zu ihnen ist intakt und wird in gerichtlich festgelegtem Rahmen tatsächlich gelebt. Damit kann sich der Beschwerdeführer grundsätzlich auf Art. 8 EMRK berufen.
2.- a) Der Beschwerdeführer kann mit der Verwaltungsgerichtsbeschwerde die Verletzung von Bundesrecht einschliesslich Überschreitung oder Missbrauch des Ermessens sowie die unrichtige oder unvollständige Feststellung des rechtserheblichen Sachverhaltes rügen (Art. 104 lit. a und b OG). Im Fremdenpolizeirecht stellt das Bundesgericht nur dann auf die aktuellen tatsächlichen und rechtlichen Umstände ab, wenn nicht eine richterliche Behörde als Vorinstanz entschieden hat. Diesfalls gilt die Regelung von Art. 105 Abs. 2 OG, wonach das Bundesgericht an die Feststellung des Sachverhalts gebunden ist, wenn die richterliche Vorinstanz diesen nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen erhoben hat (<ref-ruling> E. 2a S. 365; <ref-ruling> E. 2 S. 390). Da im vorliegenden Fall der angefochtene Entscheid durch ein Gericht erging, gelangt Art. 105 Abs. 2 OG zur Anwendung. Damit können auch nachträgliche Veränderungen des Sachverhalts nicht berücksichtigt werden bzw. sind neue tatsächliche Vorbringen im bundesgerichtlichen Verfahren ausgeschlossen, soweit sie nicht von der Vorinstanz von Amtes wegen hätten beachtet werden müssen und ihre Nichtberücksichtigung auf eine Verletzung wesentlicher Verfahrensbestimmungen hinausläuft (<ref-ruling> E. 5d S. 310 mit Hinweisen; <ref-ruling> S. 99 E. 1c, mit Hinweisen).
b) Der Beschwerdeführer bringt vor, die Vorinstanz habe bei der Beurteilung der wirtschaftlichen Aspekte seiner Verbundenheit zu seinen Kindern auf einen Zeitraum abgestellt, dessen Ende (Juni 1998) mehr als ein Jahr zurücklag. Diese Betrachtungsweise müsse als grundsätzlich falsch bezeichnet werden. Insbesondere habe die Vorinstanz die Betreibungsabrechnung vom 13. August 1998 nicht berücksichtigt. Mit der darin festgehaltenen Zahlung von mehr als Fr. 6'000. -- an das Betreibungsamt habe der Beschwerdeführer seinen Zahlungsrückstand bis Ende Juni 1998 bis auf wenige hundert Franken reduziert. Im bundesgerichtlichen Verfahren reicht er diese Abrechnung nach mit der Rüge, die Vorinstanz hätte beim zuständigen Betreibungsamt einen Amtsbericht einholen müssen.
Dieser Einwand ist nicht gerechtfertigt. Mit den beiden Verfügungen vom 18. Mai 1999 richtete das Rekursgericht an den Beschwerdeführer sowie an dessen damalige Ehefrau verschiedene Fragen zur Erhebung des aktuellen Sachverhaltes. Das Rekursgericht fragte unter anderem danach, welche Alimentenzahlungen der Beschwerdeführer seit Juni 1998 geleistet habe. Das Rekursgericht hat damit ordnungsgemäss den Sachverhalt von Amtes wegen ermittelt. Der Beschwerdeführer verwies bei der Beantwortung der Fragen indessen lediglich auf die Zahlungen von Mai bis Juli 1998, erwähnte aber die fragliche Betreibungsabrechnung nicht. Damit erteilte er dem Rekursgericht eine unvollständige Auskunft und erfüllte seine Mitwirkungspflicht nur mangelhaft. Diese Unvollständigkeit des Sachverhaltes ist somit von ihm selber zu verantworten. Von der Verletzung einer wesentlichen Verfahrensbestimmung durch die Vorinstanz kann keine Rede sein. Die Betreibungsabrechnung kann daher im vorliegenden Verfahren nicht berücksichtigt werden.
c) Der Beschwerdeführer macht ferner geltend, dass er seit rund einem halben Jahr die gerichtlich festgelegten Unterhaltsbeiträge an seine Kinder wieder bezahle. Damit führt er eine Veränderung des Sachverhaltes an, die erst seit dem Entscheid der Vorinstanz eingetreten ist und daher nicht berücksichtigt werden kann (vgl. E. 2a oben).
d) Im weiteren wendet der Beschwerdeführer ein, das Rekursgericht habe in seinem Entscheid zwei Lohnpfändungen in der Zusammenstellung über seine Unterhaltszahlungen nicht aufgeführt; der Einbezug dieser Pfändungen führe zu einer anderen Betrachtungsweise für die Monate Mai und Juni 1998. Die vom Beschwerdeführer geleisteten Beiträge betrügen damit nicht Fr. 1'100. -- bzw. Fr. 1'000. -, sondern Fr. 1'697. -- und Fr. 1'597. --.
In Erwägung 4a (S. 8) des angefochtenen Urteils reiht die Vorinstanz die Unterhaltszahlungen auf, die der Beschwerdeführer zwischen September 1997 und 1. Juli 1998 von sich aus geleistet hat. In derselben Erwägung (S. 10) werden die Lohnpfändungen erwähnt, zusammen mit der Feststellung, dass der Beschwerdeführer angesichts dieser Pfändungen seine bisherigen - nur teilweisen - Zahlungen in den Monaten Mai und Juni 1998 entsprechend kürzte. Daraus geht hervor, dass die Vorinstanz die erwähnten Pfändungen in ihre Beurteilung einbezogen hat. Von einer unrichtigen oder unvollständigen Feststellung des rechtserheblichen Sachverhaltes kann daher keine Rede sein.
3.- a) Nach Art. 8 Ziff. 2 EMRK ist ein Eingriff in das von Ziff. 1 dieser Bestimmung geschützte Rechtsgut statthaft, insoweit er gesetzlich vorgesehen ist und eine Massnahme darstellt, die in einer demokratischen Gesellschaft für die nationale Sicherheit, die öffentliche Ruhe und Ordnung, das wirtschaftliche Wohl des Landes, die Verteidigung der Ordnung und zur Verhinderung von strafbaren Handlungen, zum Schutz der Gesundheit und Moral sowie der Rechte und Freiheiten anderer notwendig ist. Die Konvention verlangt insoweit eine Abwägung zwischen den privaten Interessen an der Bewilligungserteilung und den öffentlichen an deren Verweigerung, wobei diese in dem Sinn überwiegen müssen, dass sich der Eingriff als "notwendig" erweist (<ref-ruling> E. 2 S. 6, mit Hinweisen). Dabei ist zu berücksichtigen, dass die Schweiz in Bezug auf Niederlassung und Aufenthalt von Ausländern eine restriktive Politik betreibt, dies namentlich im Interesse eines ausgewogenen Verhältnisses zwischen schweizerischer und ausländischer Wohnbevölkerung, der Schaffung günstiger Rahmenbedingungen für die Eingliederung der in der Schweiz ansässigen Ausländer und der Verbesserung der Arbeitsmarktstruktur sowie einer möglichst ausgeglichenen Beschäftigung (vgl. Art. 16 ANAG sowie Art. 1 der Verordnung vom 6. Oktober 1986 über die Begrenzung der Zahl der Ausländer [BVO; SR 823. 21]). Diese gesetzgeberischen Ziele sind im Lichte von Art. 8 Ziff. 2 EMRK legitim (vgl. <ref-ruling> E. 3b S. 4, 22 E. 4a S. 24 f.).
b) Der nicht sorgeberechtigte Ausländer kann die familiäre Beziehung zu seinen Kindern zum Vornherein nur in einem beschränkten Rahmen, nämlich durch Ausübung des ihm eingeräumten Besuchsrechts leben. Hiezu ist nicht unabdingbar, dass er dauernd im gleichen Land wie das Kind lebt und dort über eine Aufenthaltsbewilligung verfügt. Den Anforderungen von Art. 8 EMRK ist regelmässig bereits Genüge getan, wenn der Ausländer das Besuchsrecht im Rahmen von bewilligungsfreien Kurzaufenthalten vom Ausland her ausüben kann, wobei allenfalls dessen Modalitäten entsprechend auszugestalten sind. Ein Anspruch auf Aufenthaltsbewilligung ist (bei tadellosem Verhalten des Ausländers) nur dann zu bejahen, wenn zwischen dem Ausländer und dessen Kindern in wirtschaftlicher und affektiver Hinsicht besonders enge Beziehungen bestehen, die sich zudem wegen der Distanz zwischen der Schweiz und dem Land, in dem der Ausländer leben müsste, praktisch nicht aufrechterhalten liessen (unveröffentlichtes Urteil des Bundesgerichts vom 14. Januar 2000 i.S. Oezen; vgl. <ref-ruling> E. 3c S. 5, 22 E. 4a/b S. 25 f.).
4.- Vor diesem Hintergrund ist der angefochtene Entscheid nicht zu beanstanden:
a) In wirtschaftlicher Hinsicht steht die Frage im Vordergrund, ob und wie der betreffende Elternteil seine Pflicht und Verantwortung für den Lebensunterhalt des Kindes oder der Kinder wahrnimmt.
Bereits während des ehelichen Zusammenlebens hatte der Beschwerdeführer, wie er im Scheidungsverfahren zugestand, von seinem damaligen Arbeitslohn nichts für seine Familie aufgewandt. Nach der Aufhebung des gemeinsamen Haushaltes hat er mit der Zahlung von Unterhaltsbeiträgen erst begonnen, als ein gerichtliches Urteil vorlag. Trotz dieses rechtskräftigen Urteils entrichtete er die Unterhaltsbeiträge jedoch nicht vollständig. Die Kinderzulagen, die er nach Gerichtsurteil zusätzlich zu den Unterhaltsbeiträgen hätte erstatten müssen, ist er gänzlich schuldig geblieben. Deshalb wurde er vom Bezirksgericht Baden mit Urteil vom 18. Februar 1999 wegen Vernachlässigung von Unterhaltspflichten mit einer bedingten Gefängnisstrafe von 10 Tagen Gefängnis bestraft. Der Beschwerdeführer hat dieses Urteil zwar angefochten. Dennoch steht fest - und wird von ihm auch nicht bestritten - dass er die geschuldeten Beiträge nur mangelhaft entrichtet hat. Dem Beschwerdeführer kann zwar für seine Erwerbslosigkeit ab Ende Juni 1998 - nach dem Verlust seiner Arbeitsstelle - kein Vorwurf gemacht werden. In der Zeit von Mai 1997 - d.h. seit der Aufhebung des gemeinsamen Haushaltes - bis Juni 1998 verdiente er indessen einen Monatslohn von Fr. 4'600. -- (durchschnittlich bis Ende Juli 1997) bzw. Fr. 3'770. --. Aufgrund dieser Einkommen verfügte er somit über die finanziellen Möglichkeiten, die geschuldeten Unterhaltsbeiträge ordnungsgemäss zu bezahlen. Der Beschwerdeführer legt keine plausiblen Gründe dafür dar, dass er dazu schuldlos nicht in der Lage gewesen sein sollte. Aufgrund seines Verhaltens hinsichtlich der Unterhaltspflicht, das eine mangelhafte Wahrnehmung seiner Verantwortung und ein Desinteresse am materiellen Wohlergehen seiner Kinder aufzeigt, kann sich der Beschwerdeführer nicht auf eine wahrhaft starke wirtschaftliche Verbundenheit mit seinen Kindern berufen.
b) Auch in gefühlsmässiger Hinsicht ist zwischen, dem Beschwerdeführer und seinen Kindern keine besondere Verbundenheit zu erkennen. Seit März 1998 nimmt der Beschwerdeführer zwar sein Besuchsrecht in gerichtlich festgelegtem Rahmen wahr. Es kann daher zu seinen Gunsten davon ausgegangen werden, dass er eine gefühlsmässige Beziehung zu seinen Kindern unterhält, wie sie bei einem nicht obhutsberechtigten Elternteil üblich ist. Dass zwischen ihm und seinen Kindern hingegen besonders enge affektive Beziehungen bestehen würden, ist nicht ersichtlich; die Frage kann aber offen bleiben, das die erforderliche enge Beziehung bereits in wirtschaftlicher Hinsicht zu verneinen ist.
Damit überwiegt im vorliegenden Fall das öffentliche Interesse an der Begrenzung der Zahl der Ausländer das private Interesse des Beschwerdeführers an seinem Verbleib in der Schweiz; dies auch angesichts der Tatsache, dass das Besuchsrecht infolge der räumlichen Distanz zwischen der Schweiz und Nigeria nicht ohne besonderen Aufwand und nur in beschränktem Rahmen wahrzunehmen sein wird. Der angefochtene Entscheid hält damit vor der Europäischen Menschenrechtskonvention stand.
5.- Der Beschwerdeführer beruft sich im weiteren auf die UNO-Kinderrechtekonvention. Er macht geltend, dass Art. 9 KRK mit einer Interessenabwägung im Sinne von Art. 8 Abs. 2 EMRK verletzt werde, wenn das private Interesse eines Elternteils geringer gewichtet wird als die öffentlichen Interessen.
Dem ist entgegenzuhalten, dass weder ein Kind noch dessen Eltern aus Art. 9 oder Art. 10 des Abkommens einen gerichtlich durchsetzbaren Anspruch auf Familienzusammenführung ableiten können; das Recht der Staaten, ihre Einwanderungsgesetze selbst auszugestalten, wird durch diese Bestimmungen nicht beeinträchtigt (BBl 1994 V 33 f.; <ref-ruling> E. 3b).
6.- Die Verwaltungsgerichtsbeschwerde erweist sich somit als unbegründet und ist abzuweisen, soweit darauf einzutreten ist. Demzufolge sind die Gerichtskosten grundsätzlich dem Beschwerdeführer aufzuerlegen (Art. 156 OG).
Der Beschwerdeführer hat die Spezifizierung seines Armenrechtsgesuchs einer späteren Eingabe vorbehalten. Diese Spezifizierung hat er jedoch trotz Aufforderung seitens des Bundesgerichts nicht vorgenommen, sondern vielmehr den Kostenvorschuss einbezahlt. Wie im Übrigen schon der Beschwerdeschrift zu entnehmen ist, geht der Beschwerdeführer heute wieder einer Beschäftigung nach. Damit kann das Erfordernis der Mittellosigkeit nicht als nachgewiesen gelten, und das Gesuch ist schon aus diesem Grund abzuweisen.

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Das Gesuch um unentgeltliche Prozessführung wird abgewiesen.
3.- Die Gerichtsgebühr von Fr. 2'000. -- wird dem Beschwerdeführer auferlegt.
4.- Dieses Urteil wird dem Beschwerdeführer, der Fremdenpolizei und dem Rekursgericht im Ausländerrecht des Kantons Aargau sowie dem Eidgenössischen Justiz- und Polizeidepartement schriftlich mitgeteilt.
_
Lausanne, 28. April 2000
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: