Familiennachzug, hat sich ergeben:
A.- X._ reiste am 12. Juni 1978 als Saisonnier in die Schweiz ein. Am 12. Mai 1993 folgten ihm seine Ehefrau sowie seine beiden älteren Kinder A._ und B._, geboren 1976 und 1977, im Rahmen des Familiennachzugs nach. Alle besitzen die Niederlassungsbewilligung.
Am 3. Dezember 1998 stellte X._ bei der Fremdenpolizei des Kantons Aargau ein Gesuch um Familiennachzug für seine beiden weiteren Kinder C._ (geboren ............ 1980) und D._ (geboren ............
1982). Nachdem X._ ihm von der Fremdenpolizei gestellte, ergänzende Fragen nur teilweise beantwortet und auf eine letzte diesbezügliche Aufforderung nicht reagiert hatte, betrachtete die Fremdenpolizei des Kantons Aargau sein Familiennachzugsgesuch gemäss ihrem Schreiben vom 18. Februar 1999 als gegenstandslos.
Am 19. August 1999 reichte X._ bei der Fremdenpolizei des Kantons Aargau erneut ein Gesuch um Familiennachzug ein, das sich nun zusätzlich auf seine Tochter E._ (geboren ........... 1985) erstreckte. Mit Schreiben vom 22. Oktober 1999 teilte die Fremdenpolizei des Kantons Aargau X._ mit, dass seiner Tochter C._ im Rahmen des Familiennachzugs keine Bewilligung erteilt werden könne, da die Betroffene das 18. Altersjahr bereits vollendet habe. Hinsichtlich der Kinder D._ und E._ ersuchte sie X._ um Beantwortung ergänzender Fragen.
Mit Verfügung vom 16. November 1999 lehnte die Fremdenpolizei des Kantons Aargau das Gesuch ab. Diese Verfügung erwuchs in Rechtskraft.
B.- Am 11. August 2000 reisten die Kinder C._, D._ und E._ illegal in die Schweiz ein.
X._ meldete sie am 15. August 2000 bei der Einwohnerkontrolle F._, Kanton Aargau, an und ersuchte um Erteilung einer Aufenthaltsbewilligung. Mit Verfügung vom 4. September 2000 lehnte die Fremdenpolizei des Kantons Aargau das Gesuch ab und setzte den Kindern Frist zur Ausreise bis 24. September 2000. Zur Begründung wurde auf die Verfügung vom 16. November 1999 verwiesen und erklärt, seither seien keine neuen Argumente geltend gemacht worden, die eine erneute Überprüfung oder eine Abweichung vom damaligen Entscheid rechtfertigen könnten.
C.- Gegen diese Verfügung erhob X._, nunmehr vertreten durch Rechtsanwalt Willy Bolliger, am 21. September 2000 Einsprache an den Rechtsdienst der Fremdenpolizei des Kantons Aargau und stellte erneut das Gesuch um Familiennachzug für seine beiden Kinder D._ und E._. Zur Begründung wurde geltend gemacht, X._ habe per 1. Oktober 1999 eine neue Wohnung gemietet. Ferner hätten die Geschwister B._ und A._, welche hier erwerbstätig sind, Garantien betreffend finanzielle Unterstützung ihrer Geschwister D._ und E._ abgegeben. Die Fremdenpolizei habe daher in ihrer Verfügung vom 4. September 2000 den konkreten Umständen zu wenig Rechnung getragen. Wegen der Präsidentschafts- und Parlamentswahlen seien die Kinder, welche der albanischen Minderheit in Serbien angehörten, zusätzlich gefährdet, weshalb der Einsprache die aufschiebende Wirkung zu gewähren sei.
Mit Entscheid vom 25. Oktober 2000 wies der Rechtsdienst der Fremdenpolizei die Einsprache ab, soweit sie nicht als gegenstandslos von der Kontrolle abzuschreiben war. In der Begründung wurde ausgeführt, die Einsprache sei im Hinblick auf die rechtskräftige Ablehnung des Familiennachzugsgesuchs einzig unter dem Gesichtspunkt der Wiedererwägung zu prüfen. Der Einsprecher bringe nichts vor, was für eine Neubeurteilung der rechtskräftigen Verfügung vom 16. November 1999 spreche. Die politische Lage in Jugoslawien stelle keinen Wiedererwägungsgrund dar, da die Jugendlichen im Falle tatsächlicher Verfolgung auf andere Rechtsinstitute zu verweisen wären.
D.- Gegen diesen Einspracheentscheid erhob X._ Beschwerde an das Rekursgericht im Ausländerrecht des Kantons Aargau. Mit Urteil vom 2. November 2001 wies das Rekursgericht die Beschwerde ab. Es qualifizierte die Verfügung der Fremdenpolizei vom 4. September 2000 als Nichteintretensentscheid und hielt fest, der Beschwerdeführer habe im Rahmen des Einspracheverfahrens nichts vorgebracht, was ihm als entscheidwesentliches Novum Anspruch auf Wiedererwägung oder Wiederaufnahme eingeräumt hätte.
E.- Am 6. Dezember 2001 hat X._, vertreten durch Martin Ilg, Rechtsberatung, gegen dieses Urteil beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht mit den Anträgen auf Aufhebung des angefochtenen Urteils und Rückweisung der Sache an die Fremdenpolizei des Kantons Aargau, eventualiter auf Rückweisung an die Vorinstanz. Subeventualiter wird beantragt, "dem Sohn D._ und in jedem Fall zumindest der Tochter E._ (sei) im Rahmen der Familienzusammenführung die Niederlassungsbewilligung, zumindest aber eine Aufenthaltsbewilligung, ordnungsgemäss zuzusprechen".
Ferner wird darum ersucht, im Rahmen einer vorsorglichen Massnahme dem Sohn D._ und der Tochter E._ bis zum Beschwerdeentscheid den Aufenthalt zu erlauben. Zur Begründung wird geltend gemacht, auf Grund veränderter Verhältnisse bestehe ein Anspruch auf Wiedererwägung.
Als solche werden die politischen Verhältnisse in Südserbien sowie der Umstand angeführt, dass die Grossmutter die Kinder nicht mehr betreuen könne.
Am 7. Dezember 2001 hat Rechtsanwalt Willy Bolliger beim Bundesgericht für X._ eine weitere Verwaltungsgerichtsbeschwerde gegen das Urteil des Rekursgerichts im Ausländerrecht des Kantons Aargau vom 2. November 2001 eingereicht.
Innert der hierfür gesetzten Frist hat nur Martin Ilg dem Bundesgericht eine vom 11. Dezember 2001 datierte Vollmacht von X._ eingereicht. Mit Eingabe vom 17. Dezember 2001 hat Rechtsanwalt Willy Bolliger dem Bundesgericht mitgeteilt, dass er das Mandat von X._ niederlege, und auf die Nachreichung einer Vollmacht verzichte.
F.- Die Fremdenpolizei und das Rekursgericht im Ausländerrecht des Kantons Aargau sowie das Bundesamt für Ausländerfragen beantragen Abweisung der Verwaltungsgerichtsbeschwerde, soweit darauf eingetreten werden könne.
G.- Mit Verfügung vom 8. Januar 2002 hat der Präsident der II. öffentlichrechtlichen Abteilung des Bundesgerichts D._ und E._ gestattet, bis zum Abschluss des bundesgerichtlichen Verfahrens in der Schweiz zu bleiben.

Das Bundesgericht zieht in Erwägung:
1.- Nachdem Rechtsanwalt Willy Bolliger dem Bundesgericht keine Vollmacht eingereicht hat, kann die von ihm für den Beschwerdeführer eingereichte Verwaltungsgerichtsbeschwerde nicht berücksichtigt werden. Damit kann offen gelassen werden, ob eine zweite Verwaltungsgerichtsbeschwerde gegen das Urteil des Rekursgerichts im Ausländerrecht des Kantons Aargau vom 2. November 2001 überhaupt zulässig und zu berücksichtigen wäre.
2.- a) Gemäss Art. 100 lit. b Ziff. 3 OG ist auf dem Gebiete der Fremdenpolizei die Verwaltungsgerichtsbeschwerde unzulässig gegen die Erteilung oder Verweigerung von Bewilligungen, auf die das Bundesrecht keinen Anspruch einräumt.
Die zuständigen Behörden entscheiden über die Bewilligung des Aufenthalts im Rahmen der gesetzlichen Vorschriften und der Verträge mit dem Ausland nach freiem Ermessen (Art. 4 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; SR 142. 20). Es besteht damit grundsätzlich kein Anspruch auf Erteilung einer Aufenthaltsbewilligung, es sei denn, der Ausländer oder seine in der Schweiz lebenden Angehörigen könnten sich auf eine besondere Norm des Bundesrechts oder eines Staatsvertrages berufen (<ref-ruling> E. 1a S. 164, mit Hinweisen).
b) Gemäss Art. 17 Abs. 2 ANAG haben ledige Kinder unter 18 Jahren einen Anspruch auf Einbezug in die Niederlassungsbewilligung ihrer Eltern, wenn sie mit diesen zusammen wohnen. Abzustellen ist auf das (dritte) Gesuch um Familiennachzug, das der Beschwerdeführer nach der illegalen Einreise seiner Kinder C._, D._ und E._ im August 2000 eingereicht hat. In diesem Zeitpunkt waren D._ und E._ noch nicht 18 Jahre alt, weshalb sie damals grundsätzlich Anspruch auf Einbezug in seine Niederlassungsbewilligung hatten.
c) Bei der Abweisung der Beschwerde gegen den Einspracheentscheid der Fremdenpolizei vom 25. Oktober 2000 stützte sich das Rekursgericht auf kantonales Recht. Es gelangte zum Ergebnis, der Beschwerdeführer habe nichts vorgebracht, was ihm als entscheidwesentliches (echtes oder unechtes) Novum Anspruch auf Wiedererwägung oder Wiederaufnahme einräumen würde, wofür es sich auf die Bestimmungen von § 27 lit. a und § 25 des aargauischen Gesetzes über die Verwaltungsrechtspflege vom 9. Juli 1968 (VRPG) berief.
Schützt eine kantonale Rechtsmittelinstanz gestützt auf kantonales Verfahrensrecht einen Nichteintretensentscheid einer unteren Behörde, so kann dadurch die richtige Anwendung von Bundesrecht vereitelt werden. Die Rüge einer Verletzung von Bundesrecht beziehungsweise von Bundesverfassungsrecht kann daher mit Verwaltungsgerichtsbeschwerde vorgebracht werden.
3.- Das Rekursgericht vermisste im Einspracheentscheid des Rechtsdienstes der Fremdenpolizei vom 25. Oktober 2000 eine Prüfung, ob die Fremdenpolizei mit ihrer Verfügung vom 4. September 2000 auf das Wiedererwägungsgesuch des Beschwerdeführers eingetreten war. Es gelangte zum Ergebnis, dass die Fremdenpolizei, entgegen dem Wortlaut des Dispositivs der Verfügung vom 4. September 2000, einen Nichteintretensentscheid getroffen hatte. Durch diese Klarstellung leidet das Urteil des Rekursgerichts entgegen der Auffassung des Beschwerdeführers nicht an einem inneren Widerspruch.
Seine diesbezüglich erhobene Rüge, sein rechtliches Gehör sei verletzt, geht daher fehl.
4.- Gegenstand des vorliegenden Verfahrens bildet nicht der materielle Entscheid über den Familiennachzug, sondern die verfahrensrechtliche Frage, ob das Rekursgericht im Ausländerrecht das Nichteintreten auf die diesbezüglichen Gesuche des Beschwerdeführers durch die fremdenpolizeilichen Behörden zu Recht schützte. Da es somit nicht darum geht, einen materiellen Entscheid betreffend die Verweigerung des Familiennachzugs zu überprüfen, ist die Berufung des Beschwerdeführers auf Art. 8 EMRK unbehelflich. Art. 6 Ziff. 1 EMRK wird vom Beschwerdeführer zu Unrecht angerufen, da diese Konventionsnorm auf fremdenpolizeiliche Streitigkeiten keine Anwendung findet (vgl. Entscheid des Bundesgerichts 2A.383/2001 vom 23. November 2001, mit Hinweis auf <ref-ruling>).
5.- a) Die kantonalen Behörden haben das Familiennachzugsgesuch vom August 2000 wie auch das mit der Einsprache vom 21. September 2000 erneut gestellte Gesuch im Hinblick auf die rechtskräftige Verfügung vom 16. November 1999 als Wiedererwägungsgesuche behandelt. Dies ist nicht zu beanstanden, zumal der Beschwerdeführer selbst einen Anspruch auf Wiedererwägung geltend macht.
b) Die Verwaltungsbehörden können unter bestimmten Voraussetzungen ihre Verfügungen in Wiedererwägung ziehen.
Wie das Bundesgericht in <ref-ruling> E. 2b S. 46/47 in Bestätigung seiner diesbezüglichen Praxis dargelegt hat, sind sie dazu aber nur gehalten, soweit sich eine entsprechende Pflicht aus einer gesetzlichen Regelung oder einer konstanten Verwaltungspraxis ergibt. Aus dem Verbot der formellen Rechtsverweigerung wird darüber hinaus ein bundesverfassungsrechtlicher Anspruch des Einzelnen auf Wiedererwägung abgeleitet, wenn sich die Verhältnisse seit dem ersten Entscheid erheblich geändert haben oder wenn der Gesuchsteller Tatsachen und Beweismittel anführt, die ihm im früheren Verfahren nicht bekannt waren oder die schon damals geltend zu machen für ihn rechtlich oder tatsächlich unmöglich war oder keine Veranlassung bestand (<ref-ruling> E. 3a S. 151; Kölz/Häner, Verwaltungsverfahren und Verwaltungsrechtspflege des Bundes, 2. Aufl. 1998, Rz. 438).
c) Gemäss § 27 lit. a VRPG ist ein rechtskräftig erledigtes Verfahren auf Begehren eines Beteiligten durch die letzte Instanz wieder aufzunehmen, wenn nachgewiesen wird, dass neue erhebliche Tatsachen oder Beweismittel vorliegen, die zur Zeit des Erlasses der Verfügung oder des Entscheides wohl bestanden, den Behörden aber nicht bekannt waren. Beim Vorliegen entscheidwesentlicher Umstände, die sich erst nach Rechtskraft der Verfügung oder des Entscheids ergaben, greift nach den Ausführungen des Rekursgerichts hingegen § 25 VRPG Platz, wonach auf Gesuch eines Betroffenen eine Verfügung oder ein Entscheid durch die erstinstanzlich zuständige Behörde in Wiedererwägung gezogen werden kann. Der aus Art. 4 aBV abgeleitete Anspruch auf Wiedererwägung eines rechtskräftigen Verwaltungsentscheids, wenn sich die Umstände seither wesentlich geändert haben, geht demgegenüber insofern weiter, als bei erheblicher Veränderung der Verhältnisse eine Pflicht der Behörde zur Wiedererwägung angenommen wird (120 Ib 42 E. 2b S. 46/47; <ref-ruling> E. 3a S. 150 ff. mit Hinweisen).
6.- a) Mit seiner Einsprache gegen die Verfügung der Fremdenpolizei vom 4. September 2000, mit welcher diese - inhaltlich - auf sein Familiennachzugsgesuch vom August 2000 nicht eingetreten war, machte der Beschwerdeführer geltend, er habe per 1. Oktober 1999 eine neue Wohnung gemietet.
Dabei handelte es sich um einen Umstand, der bereits vor der in der Folge in Rechtskraft erwachsenen Verfügung der Fremdenpolizei vom 16. November 1999 bestand.
Sache des Beschwerdeführers wäre es gewesen, die Fremdenpolizei damals über seinen Wohnsitzwechsel in Kenntnis zu setzen oder diesen allenfalls in einem Rechtsmittelverfahren geltend zu machen, zumal die Fremdenpolizei in ihrer Verfügung vom 16. November 1999 festgestellt hatte, die Familie wohne zur Zeit bei ihrem Sohn B._. Wer die formgerechte Anfechtung eines fremdenpolizeilichen Bewilligungsentscheids unterlässt, hat keinen Anspruch darauf, dass die zuständige Behörde über die gleiche Angelegenheit noch einmal befindet, wenn die rechtzeitige Geltendmachung von entscheidrelevanten Tatsachen unterblieben ist (vgl. Entscheid des Bundesgerichts 2A.383/2001 vom 23. November 2001). Im Weiteren machte der Beschwerdeführer mit seiner Einsprache gegen die Verfügung der Fremdenpolizei vom 4. September 1999 geltend, die älteren Kinder A._ und B._ hätten Garantien betreffend finanzielle Unterstützung ihrer jüngeren Geschwister abgegeben, wobei allerdings keinerlei diesbezügliche schriftliche Erklärungen eingereicht worden sind.
Der Beschwerdeführer beschränkte sich darauf, zum Beweis der wirtschaftlichen Leistungsfähigkeit der beiden älteren Kinder Lohnausweise für den Monat April 2000 einzureichen, ohne geltend zu machen, ihre wirtschaftliche Leistungsfähigkeit oder ihre Unterstützungsbereitschaft habe sich seit November 1999 erheblich verbessert. Auch darin musste die Fremdenpolizei keinen Umstand sehen, der sie verpflichtet hätte, ihre Verfügung vom 16. November 1999 in Wiedererwägung zu ziehen, nachdem die finanziellen Verhältnisse der Familie für die Ablehnung des Familiennachzugsgesuchs ohnehin nicht ausschlaggebend gewesen waren.
b) Zur Begründung der von ihm beantragten aufschiebenden Wirkung machte der Beschwerdeführer in seiner Einsprache vom 21. September 2000 gegen die Verfügung der Fremdenpolizei vom 4. September 2000 geltend, in Jugoslawien würden "momentan" Präsidentschafts- und Parlamentswahlen stattfinden. Die politische Stabilität sei sehr gefährdet.
Die Kinder, welche der albanischen Minderheit in Serbien angehören würden, seien deshalb zusätzlich gefährdet. Die Fremdenpolizei hat sich in ihrem Einspracheentscheid mit diesem Argument auseinander gesetzt und erklärt, die momentane politische Lage in Jugoslawien stelle keinen Wiedererwägungsgrund dar, da der Familiennachzug nicht zur Abwehr von Verfolgungen oder zum Schutz von Krisensituationen diene, für welche bei den Bundesbehörden eine Erstreckung der Ausreisefrist erwirkt werden könne.
c) Mit seiner Beschwerde an das Rekursgericht im Ausländerrecht hat der Beschwerdeführer das Argument, die politische Lage in Serbien habe sich verschlechtert, nicht aufrecht erhalten sondern sich nur auf Art. 17 Abs. 2 ANAG sowie auf die bereits vor dem Rechtsdienst der Fremdenpolizei geltend gemachte Garantie von A._ und B._ betreffend finanzielle Unterstützung ihrer jüngeren Geschwister berufen. Hingegen hat er in seiner Stellungnahme an das Rekursgericht vom 8. Februar 2001 bezüglich seiner privaten Interessen auf die äusserst unstabile Lage in Südserbien sowie auf die angeschlagene Gesundheit der Grossmutter hingewiesen.
Wie erwähnt wurde bereits in der Einspracheverfügung vom 25. Oktober 2000 zu Recht ausgeführt, dass die Zugehörigkeit der Kinder zur albanischen Minderheit in Serbien sowie die momentane politische Lage in Jugoslawien keinen Wiedererwägungsgrund darstellten und dass bei tatsächlicher Verfolgung der Jugendlichen auf andere Rechtsinstitute zu verweisen sei. Hinsichtlich des Gesundheitszustands der Grossmutter hat der Beschwerdeführer im Einspracheverfahren keine Bedenken geäussert. Mit seiner nachträglichen Behauptung, die Grossmutter habe die Kinder früher "mehr schlecht als recht" betreut, scheint der Beschwerdeführer zum Ausdruck bringen zu wollen, dass sie ihrer Betreuungsaufgabe schon früher nicht richtig nachkommen konnte. Dies hätte er bereits im Einspracheverfahren geltend machen können. Abgesehen davon, erscheint eine Betreuung durch die Grossmutter im jetzigen Zeitpunkt, in dem der Sohn und die Tochter im 20. bzw. im 17. Altersjahr stehen, ohnehin kaum mehr erforderlich.
d)Zusammenfassend ergibt sich, dass das Rekursgericht kein Bundesrecht verletzt hat, wenn es festhielt, der Beschwerdeführer habe nichts vorgebracht, was ihm als entscheidwesentliches Novum Anspruch auf Wiedererwägung der Verfügung vom 16. November 1999 oder auf Wiederaufnahme des Verfahrens einräumen würde.
7.- Die Verwaltungsgerichtsbeschwerde erweist sich somit als unbegründet und ist abzuweisen.
Bei diesem Ausgang hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 156 Abs. 1 OG). Eine Parteientschädigung ist nicht geschuldet (Art. 159 Abs. 2 OG). Nach dem eingangs Gesagten ist die zweite Verwaltungsgerichtsbeschwerde, die Rechtsanwalt Willy Bolliger für den Beschwerdeführer eingereicht und mit welcher er für diesen die unentgeltliche Prozessführung und Verbeiständung beantragt hat, nicht zu berücksichtigen.
Der Beschwerdeführer hat denn auch den von ihm verlangten Kostenvorschuss von Fr. 2'000.-- geleistet.

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beschwerdeführer auferlegt.
3.- Dieses Urteil wird dem Beschwerdeführer, der Fremdenpolizei und dem Rekursgericht im Ausländerrecht des Kantons Aargau sowie dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 15. April 2002
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: