Sachverhalt: A. X._ ist Staatsangehöriger der Bundesrepublik Nigeria. Er wurde im Jahr 1975 geboren und reiste im Februar 2004 in die Schweiz ein, um hier - unter Angabe einer unzutreffenden Identität - ein Asylgesuch zu stellen. Während des laufenden Asylverfahrens verurteilte das Strafgericht Basel-Stadt X._ am 17. März 2004 mit Strafbefehl wegen Widerhandlungen gegen das Betäubungsmittelgesetz zu einer bedingten Gefängnisstrafe von 30 Tagen und einer Busse von Fr. 500.--. Mit Entscheid vom 22. September 2004 trat das seinerzeitige Bundesamt für Flüchtlinge auf das Asylgesuch nicht ein und wies den Asylbewerber aus der Schweiz weg. Dieser Entscheid erwuchs in Rechtskraft. X._ kam der Aufforderung zum Verlassen der Schweiz nicht nach. Ab dem 1. Dezember 2004 galt er als verschwunden. Am 26. November 2007 sprach das Bezirksgericht Zürich X._ schuldig der schweren Widerhandlung gegen das Betäubungsmittelgesetz durch Aufbewahren von rund 4,7 Kilogramm Kokain. Es verurteilte ihn zu einer Freiheitsstrafe von 36 Monaten, wovon 18 Monate bedingt. Nach der Entlassung aus dem Strafvollzug vom 17. Juni 2008 heiratete X._ am 1. Juli 2008 eine aus Kenia stammende Schweizerbürgerin, die 1979 geboren wurde. Mit ihr hat er einen Sohn, geboren im März 2005, und eine Tochter, die im September 2006 zur Welt kam. X._ anerkannte die Vaterschaft gegenüber seinen beiden Kindern im Juli 2007 in einem gerichtlichen Verfahren. B. Ende Juli 2008 ersuchte die Gattin X._s für ihn um Erteilung einer Aufenthaltsbewilligung. Das Amt für Migration des Kantons Luzern trat mit Verfügung vom 12. Januar 2009 auf das Gesuch nicht ein. Es begründete dies mit der Verletzung der Mitwirkungspflicht (insbesondere Nichteinreichung eines gültigen Originalreisepasses von X._). Das Justiz- und Sicherheitsdepartement des Kantons Luzern und anschliessend das Verwaltungsgericht des Kantons Luzern, Verwaltungsrechtliche Abteilung, bestätigten die Verfügung, wogegen X._ mit Eingabe vom 26. April 2010 an das Bundesgericht gelangte. Er stellte den Antrag, es sei ihm eine Aufenthaltsbewilligung zu erteilen, eventualiter sei die Sache an das Migrationsamt zurückzuweisen mit der Weisung, auf das Gesuch des Beschwerdeführers einzutreten. Das Bundesgericht hob in seinem Urteil 2D_23/2010 vom 26. August 2010 den angefochtenen Entscheid des Verwaltungsgerichts des Kantons Luzern vom 8. März 2010 auf und wies die Angelegenheit zur materiellen Prüfung an das Amt für Migration des Kantons Luzern zurück. Es hielt fest, X._ habe seiner Mitwirkungspflicht insofern genügt, als er den Reisepass letztlich vorgelegt habe - zwar mit Verspätung, die aber nicht in erster Linie ihm anzulasten sei. Sein Vorgehen müsse nicht als insgesamt rechtsmissbräuchlich bezeichnet werden. Dementsprechend hätten sich die Behörden des Kantons Luzern überspitzt formalistisch verhalten. C. Im zweiten Rechtsgang wies das Amt für Migration des Kantons Luzern mit Verfügung vom 3. Dezember 2010 das Gesuch X._s um Erteilung einer Aufenthaltsbewilligung ab und wies ihn aus der Schweiz aus. Das Justiz- und Sicherheitsdepartement des Kantons Luzern schloss sich auf Beschwerde hin dieser Beurteilung an. X._ rief das Verwaltungsgericht des Kantons Luzern, Verwaltungsrechtliche Abteilung, an. Dieses erkannte mit Entscheid vom 3. Januar 2012 auf Abweisung der Beschwerde, soweit darauf einzutreten sei, und ordnete die Ausreise bis spätestens zum 15. Februar 2012 an. D. Mit Eingabe vom 4. Februar 2012 lässt X._ (hienach: der Beschwerdeführer) beim Bundesgericht ein als "Öffentlich-rechtliche Beschwerde - Verfassungsbeschwerde (subsidiär)" bezeichnetes Rechtsmittel erheben. Er beantragt die Aufhebung des angefochtenen Entscheides vom 3. Januar 2012, dessen Rechtswidrigkeit, Verfassungswidrigkeit, Unverhältnismässigkeit und Unzulässigkeit festzustellen sei. Zudem sei ihm eine Aufenthaltsbewilligung zu erteilen. Eventualiter sei die Sache an das Migrationsamt des Kantons Luzern zurückzuweisen zur Erteilung der Aufenthaltsbewilligung. Schliesslich beantragt der Beschwerdeführer, es sei ihm die unentgeltliche Rechtspflege zu gewähren. Etwaige Wegweisungs- und Zwangsmassnahmen seien bis zum Ende des bundesgerichtlichen Verfahrens zu sistieren. Das Verwaltungsgericht des Kantons Luzern und das Bundesamt für Migration beantragen die Abweisung der Beschwerde, unter Verzicht auf eine Vernehmlassung. Mit Verfügung vom 23. Februar 2012 erkannte der Präsident der II. öffentlichrechtlichen Abteilung des Bundesgerichts der Beschwerde die aufschiebende Wirkung zu, worauf die II. öffentlich-rechtliche Abteilung mit Verfügung vom 19. März 2012 das Gesuch um unentgeltliche Rechtspflege und Verbeiständung abwies.