Sachverhalt: A. Der aus Mazedonien stammende X._ (geb. 1977) heiratete am 27. Juli 2000 in seiner Heimat die Schweizer Bürgerin Y._ (mit Wohnsitz im Kanton Luzern, geb. 1976) und erhielt gestützt auf diese Eheschliessung von der Fremdenpolizei des Kantons Luzern (heute: Migrationsamt) eine Aufenthaltsbewilligung, welche in der Folge regelmässig verlängert wurde. Nachdem X._ am 17. Mai 2005 über seinen Arbeitgeber die "Aufenthaltsbewilligung C" (recte: "Niederlassungsbewilligung") zum beabsichtigten Zusammenwohnen mit seiner Schweizer Ehegattin beantragt hatte, wurde sein Aufenthaltstitel am 19. August 2005 in eine Niederlassungsbewilligung umgewandelt. Mit Urteil des Amtsgerichts Luzern vom 7. Februar 2007 wurde die Ehe mit Y._ geschieden. Auf den 1. Mai 2007 zog X._ in den Kanton Aargau, wo er am 15. Mai 2007 ebenfalls die Niederlassungsbewilligung erhielt. B. Am 10. Oktober 2007 heiratete X._ in Mazedonien seine Landsfrau Z._ (geb. 1980), mit der er bereits zwei voreheliche Kinder hat (A._, geb. 6. Juni 2001, und B._, geb. 3. Juni 2003). Gemäss eigenen Angaben erfuhr er von deren Existenz erst im Jahre 2003, ohne sich damals aber über die Vaterschaft sicher zu sein. Nach der Heirat mit Z._ hat er die beiden Kinder dann (am 27. Oktober 2007 bzw. am 16. März 2008) anerkannt. Am 23. April 2008 stellte er für seine neue Ehefrau und die beiden Söhne im Kanton Aargau ein Familiennachzugsgesuch. C. In der Folge sistierte das Migrationsamt des Kantons Aargau (heute: Amt für Migration und Integration) dieses Verfahren, zog die Akten des Kantons Luzern bei, gewährte X._ am 13. Juli 2009 zu den gegenüber seiner Person beabsichtigten ausländerrechtlichen Massnahmen (Widerruf der Niederlassungsbewilligung/Wegweisung) das rechtliche Gehör und verfügte diese Massnahmen schliesslich am 22. Januar 2010. Zur Begründung führte das Amt im Wesentlichen aus, X._ habe vor der Erteilung der Niederlassungsbewilligung gewusst, dass er der Vater von A._ und B._ sei; diesen Umstand aber habe er den Behörden des Kantons Luzern verschwiegen und auch beim Wechsel in den Kanton Aargau nicht auf diese Vaterschaft hingewiesen. Dies rechtfertige den Widerruf der Niederlassungsbewilligung, zumal sich diese Massnahme auch als verhältnismässig erweise. Eine gegen diese Verfügung erhobene Einsprache beim Migrationsamt blieb erfolglos, und mit Urteil vom 2. Februar 2012 wies das Rekursgericht im Ausländerrecht des Kantons Aargau die gegen den Einspracheentscheid vom 8. November 2010 erhobene Beschwerde ebenfalls ab. D. Mit Eingabe vom 5. März 2012 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht mit den Anträgen, das letztgenannte Urteil aufzuheben und vom Widerruf der Niederlassungsbewilligung abzusehen. Das Amt für Migration und Integration des Kantons Aargau beantragt, die Beschwerde abzuweisen. Das Rekursgericht im Ausländerrecht des Kantons Aargau schliesst ebenfalls auf Abweisung der Beschwerde, ebenso das Bundesamt für Migration. E. Mit Eingabe vom 26. März 2012 teilte X._ dem Bundesgericht mit, er habe sich einvernehmlich von seiner Ehefrau scheiden lassen. Gleichzeitig reichte er das entsprechende Scheidungsurteil des Amtsgerichts Kumanovo vom 9. März 2012 ein.