Sachverhalt: A. Der nigerianische Staatsangehörige X._ (geb. 1975) reiste im Februar 2004 in die Schweiz ein und stellte ein Asylgesuch. Das Bundesamt für Flüchtlinge (heute: Bundesamt für Migration) trat mit Entscheid vom 22. September 2004 auf das Gesuch nicht ein und wies X._ aus der Schweiz weg. Dieser Entscheid erwuchs in Rechtskraft. Am 26. November 2007 verurteilte das Bezirksgericht Zürich X._ wegen schwerer Widerhandlung gegen das Betäubungsmittelgesetz zu einer Freiheitsstrafe von 36 Monaten (davon 18 Monate bedingt); am 17. Juli 2008 wurde dieser aus dem Strafvollzug entlassen. Am 1. Juli 2008 heiratete X._ die aus Kenia stammende Schweizer Bürgerin Y._ (geb. 1979), mit der er zwei Kinder (geb. 2005 und 2006) hat. B. Am 28. Juli 2008 ersuchte Y._ um Erteilung einer Aufenthaltsbewilligung für ihren Ehemann X._ im Rahmen des Familiennachzugs. Das Amt für Migration des Kantons Luzern trat mit Entscheid vom 12. Januar 2009 auf das Gesuch nicht ein und begründete dies mit der Verletzung der Mitwirkungspflicht (insbesondere Nichteinreichung eines gültigen Originalreisepasses) durch den Ehemann der Gesuchstellerin. Hiergegen wandte sich X._ an das Justiz- und Sicherheitsdepartement des Kantons Luzern, welches mit Entscheid vom 8. Mai 2009 die Verwaltungsbeschwerde abwies und den Beschwerdeführer aufforderte, die Schweiz unverzüglich zu verlassen. Das Amt für Migration wurde weiter ermächtigt, den vom Beschwerdeführer inzwischen aufgelegten Reisepass zurückzubehalten, um damit seine Ausreise zu organisieren. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Luzern mit Urteil vom 8. März 2010 ab; weiter wurde der Beschwerdeführer angewiesen, die Schweiz unverzüglich zu verlassen. C. Mit Eingabe vom 26. April 2010 führt X._ - entsprechend der Rechtsmittelbelehrung des vorinstanzlichen Entscheids - subsidiäre Verfassungsbeschwerde beim Bundesgericht. Er beantragt, es sei ihm eine Aufenthaltsbewilligung zu erteilen, eventualiter sei die Sache an das Migrationsamt zurückzuweisen mit der Weisung, auf das Gesuch des Beschwerdeführers einzutreten. D. Das Verwaltungsgericht des Kantons Luzern beantragt, die Beschwerde abzuweisen. Das Justiz- und Sicherheitsdepartement und das Amt für Migration des Kantons Luzern haben sich nicht vernehmen lassen. Am 5. Mai 2010 erkannte der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss aufschiebende Wirkung zu.