Sachverhalt: A. Die deutsche Staatsangehörige Y._ (geb. 1982) reiste im Februar 2008 zwecks Arbeitsaufnahme in die Schweiz ein. Sie erhielt eine Aufenthaltsbewilligung EG/EFTA. Nach einem kurzen Aufenthalt im Kanton Graubünden verlegte sie im März 2008 ihren Wohnsitz in den Kanton Basel-Landschaft. Am 14. April 2008 heiratete sie im Kosovo den von dort stammenden X._ (geb. 1980). Aus der Beziehung, die bereits einige Jahre zuvor bestand, stammt die Tochter T._ (geb. 2005). Im Januar 2009 ist eine zweite gemeinsame Tochter, U._, geboren. Auf Antrag der Ehefrau bewilligten die Behörden im August 2008 die Einreise von X._. Dieser gab anschliessend in seiner Anmeldung an, nicht vorbestraft zu sein. Ermittlungen ergaben indes, dass X._ zwischen 1999 und 2007 in Deutschland mehrfach wegen diverser Straftaten verurteilt worden war, und zwar am: - 20. Januar 1999 vom Amtsgericht Warburg: Verwarnung und Jugendarrest von vier Wochen wegen versuchten Diebstahls und wegen gemeinschaftlichen Diebstahls oder Hehlerei; - 28. November 1999 vom Amtsgericht Bad Arolson: Jugendarrest von zwei Wochen und 60 Stunden Arbeitsleistung wegen Urkundenfälschung sowie wegen unerlaubten Erwerbs von Betäubungsmitteln (Heroin) in 97 Fällen und wegen Beihilfe zu gewerbsmässigem Handeltreiben mit Betäubungsmitteln; - 14. Mai 2001 vom Amtsgericht Baden-Baden: Geldstrafe von 20 Tagessätzen wegen Körperverletzung; - 10. Dezember 2001 vom Amtsgericht Baden-Baden: Geldstrafe von 20 Tagessätzen wegen Fahrens ohne Fahrerlaubnis; - 5. März 2002 vom Amtsgericht Baden-Baden: Geldstrafe von 30 Tagessätzen wegen Körperverletzung und Fahrens ohne Fahrerlaubnis; - 5. Juni 2002 vom Amtsgericht Kassel: Jugendstrafe von einem Jahr und acht Monaten - unter Einbezug der Verurteilung vom 28. November 1999 - wegen gewerbsmässigen Handeltreibens mit Betäubungsmitteln in 26 Fällen davon in drei Fällen mit nicht geringen Mengen; - 1. November 2004 vom Amtsgericht Kassel: Geldstrafe von 80 Tagessätzen wegen in Tateinheit begangenen vorsätzlichen Fahrens ohne Fahrerlaubnis, Führens eines nicht haftpflichtversicherten Personenwagens sowie Urkundenfälschung; - 21. Dezember 2004 vom Amtsgericht Kassel: Geldstrafe von 50 Tagessätzen wegen Diebstahls. Die beiden zuletzt genannten Verurteilungen wurden mit Beschluss vom 31. März 2005 durch Gesamtstrafenbildung in eine Geldstrafe von 100 Tagessätzen umgewandelt; - 22. Dezember 2004 vom Amtsgericht Karlsruhe: Freiheitsstrafe von acht Monaten wegen Diebstahls; - 28. Januar 2005 vom Amtsgericht Kassel: Geldstrafe von 30 Tagessätzen wegen unerlaubten Führens einer Schusswaffe und von Munition; - 4. Juli 2005 vom Amtsgericht Kassel: Freiheitsstrafe von drei Monaten wegen Diebstahls. Am 29. Dezember 2005 wurde zusammen mit der Verurteilung vom 22. Dezember 2004 eine Gesamtstrafe von neun Monaten und zwei Wochen Freiheitsstrafe gebildet; - 23. September 2005 vom Amtsgericht Baden-Baden: Geldstrafe von 60 Tagessätzen wegen Strassenverkehrsgefährdung in Tateinheit mit Fahren ohne Fahrerlaubnis; - 8. November 2005 vom Amtsgericht Offenburg: Geldstrafe von 25 Tagessätzen wegen unerlaubtem Besitz von Betäubungsmitteln; - 18. November 2005 Amtsgericht Baden-Baden: Geldstrafe von 45 Tagessätzen wegen Fahrens ohne Fahrerlaubnis. Die drei zuletzt genannten Verurteilungen wurden mit Beschluss vom 25. April 2006 durch Gesamtstrafenbildung in eine Geldstrafe von 120 Tagessätzen umgewandelt; - 12. Dezember 2005 vom Amtsgericht Baden-Baden: Geldstrafe von 50 Tagessätzen wegen Fahrens ohne Fahrerlaubnis; - 15. Mai 2006 vom Amtsgericht Baden-Baden: Geldstrafe von 30 Tagessätzen wegen Beleidigung; - 17. Juli 2007 vom Amtsgericht Rastatt: Freiheitsstrafe von zwei Monaten wegen Fahrens ohne Fahrerlaubnis; Zudem liefen dort gegen ihn im Jahr 2008 noch mindestens drei Fahndungen wegen Strafvollstreckung bzw. Strafverfolgung. Ausserdem hatte ihn das Regierungspräsidium Karlsruhe am 3. Dezember 2002 wegen seiner Straffälligkeit aus Deutschland ausgewiesen. Deshalb verweigerte ihm das Amt für Migration des Kantons Basel-Landschaft mit Verfügung vom 6. Januar 2009 die Erteilung einer Aufenthaltsbewilligung und ordnete seine Ausreise an. Die dagegen im Kanton erhobenen Rechtsmittel wurden vom Regierungsrat am 10. März 2009 und anschliessend vom Kantonsgericht am 21. Oktober 2009 abgewiesen. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 28. Januar 2010 beantragt X._ dem Bundesgericht, das Urteil des Kantonsgerichts aufzuheben und die Behörden anzuweisen, ihm eine Aufenthaltsbewilligung zu erteilen. Eventualiter sei das Verfahren zur Vornahme weiterer Abklärungen an das kantonale Amt für Migration zurückzuweisen. Der Regierungsrat sowie das Bundesamt für Migration stellen den Antrag, die Beschwerde abzuweisen. Das Kantonsgericht hat auf eine Vernehmlassung verzichtet. Das kantonale Amt für Migration hat sich nicht geäussert. Am 3. Juni 2010 hat sich der Regierungsrat ergänzend geäussert. C. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde hinsichtlich der mit dem angefochtenen Urteil verbundenen Ausreiseverpflichtung am 2. Februar 2010 antragsgemäss die aufschiebende Wirkung zuerkannt.