Familiennachzug, hat sich ergeben: A.- X._ reiste am 12. Juni 1978 als Saisonnier in die Schweiz ein. Am 12. Mai 1993 folgten ihm seine Ehefrau sowie seine beiden älteren Kinder A._ und B._, geboren 1976 und 1977, im Rahmen des Familiennachzugs nach. Alle besitzen die Niederlassungsbewilligung. Am 3. Dezember 1998 stellte X._ bei der Fremdenpolizei des Kantons Aargau ein Gesuch um Familiennachzug für seine beiden weiteren Kinder C._ (geboren ............ 1980) und D._ (geboren ............ 1982). Nachdem X._ ihm von der Fremdenpolizei gestellte, ergänzende Fragen nur teilweise beantwortet und auf eine letzte diesbezügliche Aufforderung nicht reagiert hatte, betrachtete die Fremdenpolizei des Kantons Aargau sein Familiennachzugsgesuch gemäss ihrem Schreiben vom 18. Februar 1999 als gegenstandslos. Am 19. August 1999 reichte X._ bei der Fremdenpolizei des Kantons Aargau erneut ein Gesuch um Familiennachzug ein, das sich nun zusätzlich auf seine Tochter E._ (geboren ........... 1985) erstreckte. Mit Schreiben vom 22. Oktober 1999 teilte die Fremdenpolizei des Kantons Aargau X._ mit, dass seiner Tochter C._ im Rahmen des Familiennachzugs keine Bewilligung erteilt werden könne, da die Betroffene das 18. Altersjahr bereits vollendet habe. Hinsichtlich der Kinder D._ und E._ ersuchte sie X._ um Beantwortung ergänzender Fragen. Mit Verfügung vom 16. November 1999 lehnte die Fremdenpolizei des Kantons Aargau das Gesuch ab. Diese Verfügung erwuchs in Rechtskraft. B.- Am 11. August 2000 reisten die Kinder C._, D._ und E._ illegal in die Schweiz ein. X._ meldete sie am 15. August 2000 bei der Einwohnerkontrolle F._, Kanton Aargau, an und ersuchte um Erteilung einer Aufenthaltsbewilligung. Mit Verfügung vom 4. September 2000 lehnte die Fremdenpolizei des Kantons Aargau das Gesuch ab und setzte den Kindern Frist zur Ausreise bis 24. September 2000. Zur Begründung wurde auf die Verfügung vom 16. November 1999 verwiesen und erklärt, seither seien keine neuen Argumente geltend gemacht worden, die eine erneute Überprüfung oder eine Abweichung vom damaligen Entscheid rechtfertigen könnten. C.- Gegen diese Verfügung erhob X._, nunmehr vertreten durch Rechtsanwalt Willy Bolliger, am 21. September 2000 Einsprache an den Rechtsdienst der Fremdenpolizei des Kantons Aargau und stellte erneut das Gesuch um Familiennachzug für seine beiden Kinder D._ und E._. Zur Begründung wurde geltend gemacht, X._ habe per 1. Oktober 1999 eine neue Wohnung gemietet. Ferner hätten die Geschwister B._ und A._, welche hier erwerbstätig sind, Garantien betreffend finanzielle Unterstützung ihrer Geschwister D._ und E._ abgegeben. Die Fremdenpolizei habe daher in ihrer Verfügung vom 4. September 2000 den konkreten Umständen zu wenig Rechnung getragen. Wegen der Präsidentschafts- und Parlamentswahlen seien die Kinder, welche der albanischen Minderheit in Serbien angehörten, zusätzlich gefährdet, weshalb der Einsprache die aufschiebende Wirkung zu gewähren sei. Mit Entscheid vom 25. Oktober 2000 wies der Rechtsdienst der Fremdenpolizei die Einsprache ab, soweit sie nicht als gegenstandslos von der Kontrolle abzuschreiben war. In der Begründung wurde ausgeführt, die Einsprache sei im Hinblick auf die rechtskräftige Ablehnung des Familiennachzugsgesuchs einzig unter dem Gesichtspunkt der Wiedererwägung zu prüfen. Der Einsprecher bringe nichts vor, was für eine Neubeurteilung der rechtskräftigen Verfügung vom 16. November 1999 spreche. Die politische Lage in Jugoslawien stelle keinen Wiedererwägungsgrund dar, da die Jugendlichen im Falle tatsächlicher Verfolgung auf andere Rechtsinstitute zu verweisen wären. D.- Gegen diesen Einspracheentscheid erhob X._ Beschwerde an das Rekursgericht im Ausländerrecht des Kantons Aargau. Mit Urteil vom 2. November 2001 wies das Rekursgericht die Beschwerde ab. Es qualifizierte die Verfügung der Fremdenpolizei vom 4. September 2000 als Nichteintretensentscheid und hielt fest, der Beschwerdeführer habe im Rahmen des Einspracheverfahrens nichts vorgebracht, was ihm als entscheidwesentliches Novum Anspruch auf Wiedererwägung oder Wiederaufnahme eingeräumt hätte. E.- Am 6. Dezember 2001 hat X._, vertreten durch Martin Ilg, Rechtsberatung, gegen dieses Urteil beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht mit den Anträgen auf Aufhebung des angefochtenen Urteils und Rückweisung der Sache an die Fremdenpolizei des Kantons Aargau, eventualiter auf Rückweisung an die Vorinstanz. Subeventualiter wird beantragt, "dem Sohn D._ und in jedem Fall zumindest der Tochter E._ (sei) im Rahmen der Familienzusammenführung die Niederlassungsbewilligung, zumindest aber eine Aufenthaltsbewilligung, ordnungsgemäss zuzusprechen". Ferner wird darum ersucht, im Rahmen einer vorsorglichen Massnahme dem Sohn D._ und der Tochter E._ bis zum Beschwerdeentscheid den Aufenthalt zu erlauben. Zur Begründung wird geltend gemacht, auf Grund veränderter Verhältnisse bestehe ein Anspruch auf Wiedererwägung. Als solche werden die politischen Verhältnisse in Südserbien sowie der Umstand angeführt, dass die Grossmutter die Kinder nicht mehr betreuen könne. Am 7. Dezember 2001 hat Rechtsanwalt Willy Bolliger beim Bundesgericht für X._ eine weitere Verwaltungsgerichtsbeschwerde gegen das Urteil des Rekursgerichts im Ausländerrecht des Kantons Aargau vom 2. November 2001 eingereicht. Innert der hierfür gesetzten Frist hat nur Martin Ilg dem Bundesgericht eine vom 11. Dezember 2001 datierte Vollmacht von X._ eingereicht. Mit Eingabe vom 17. Dezember 2001 hat Rechtsanwalt Willy Bolliger dem Bundesgericht mitgeteilt, dass er das Mandat von X._ niederlege, und auf die Nachreichung einer Vollmacht verzichte. F.- Die Fremdenpolizei und das Rekursgericht im Ausländerrecht des Kantons Aargau sowie das Bundesamt für Ausländerfragen beantragen Abweisung der Verwaltungsgerichtsbeschwerde, soweit darauf eingetreten werden könne. G.- Mit Verfügung vom 8. Januar 2002 hat der Präsident der II. öffentlichrechtlichen Abteilung des Bundesgerichts D._ und E._ gestattet, bis zum Abschluss des bundesgerichtlichen Verfahrens in der Schweiz zu bleiben.