Sachverhalt:
A. Der kosovarische Staatsangehörige X._, geb. 1986, heiratete am 6. Januar 2005 im Kosovo seine in der Schweiz niederlassungsberechtigte Landsfrau Y._. Gestützt auf diese Eheschliessung durfte X._ am 8. April 2005 in die Schweiz einreisen. Er erhielt hier eine Aufenthaltsbewilligung, welche letztmals bis 8. April 2008 verlängert wurde.
Am 25. Februar 2008 ersuchte X._ erneut um Verlängerung seiner Aufenthaltsbewilligung. Auf dem entsprechenden Formular deklarierte er erstmals, dass seine Ehefrau und er mittlerweile in separaten Haushalten wohnten. Aufgrund dieser Deklaration lehnte das Amt für Migration des Kantons Luzern das Verlängerungsgesuch mit Verfügung vom 3. Juli 2008 ab. Die Behörde hielt fest, dass X._ nach Aufgabe des gemeinsamen ehelichen Wohnsitzes kein Aufenthaltsrecht in der Schweiz mehr zustehe.
B. Hiergegen beschwerte sich X._ beim Justiz- und Sicherheitsdepartement des Kantons Luzern, welches die Angelegenheit zuständigkeitshalber an das kantonale Verwaltungsgericht weiterleitete. Dieses wies die Beschwerde in seinem Urteil vom 8. April 2009 ab.
C. Mit Eingabe vom 12. Mai 2009 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt, die Entscheide der Vorinstanzen seien aufzuheben und es sei seine Aufenthaltsbewilligung angemessen zu verlängern. Eventualiter sei die Angelegenheit zur Neubeurteilung ans Verwaltungsgericht des Kantons Luzern zurückzuweisen. Unabhängig vom Verfahrensausgang seien sämtliche Kosten den Vorinstanzen zu überbinden.
Das Amt für Migration und das Verwaltungsgericht des Kantons Luzern sowie das Bundesamt für Migration (BFM) schliessen auf Abweisung der Beschwerde.

Erwägungen:
1. 1.1 <ref-law> schliesst die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen Entscheide über ausländerrechtliche Bewilligungen aus, auf deren Erteilung weder nach dem Bundes- noch dem Völkerrecht ein Rechtsanspruch besteht.
Der ausländische Ehegatte einer in der Schweiz niedergelassenen Person hat nach Auflösung der Ehe oder der Familiengemeinschaft u.a. dann weiterhin einen Anspruch auf Verlängerung der Aufenthaltsbewilligung, wenn die Ehegemeinschaft mindestens drei Jahre bestanden hat und eine erfolgreiche Integration besteht (Art. 50 Abs. 1 lit. a des auf den 1. Januar 2008 in Kraft getretenen, hier anwendbaren Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer [AuG; SR 142.20] i.V.m. Art. 43 Abs. 1 AuG).
Auf diese Anspruchsgrundlage beruft sich der Beschwerdeführer und behauptet, die Voraussetzungen hierfür seien erfüllt. Diese Behauptung ist nicht offensichtlich unzutreffend (vgl. Urteil 2C_465/2009 vom 6. November 2009, E. 2.3) und bedarf näherer Prüfung, weshalb die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig ist. In welchem Sinne Art. 50 Abs. 1 lit. a AuG auszulegen ist, und ob die in dieser Bestimmung statuierten Voraussetzungen für eine Bewilligungsverlängerung erfüllt sind, bildet Gegenstand der materiellen Beurteilung.
1.2 Das angefochtene Urteil stellt einen letztinstanzlichen kantonalen Endentscheid dar. Der Beschwerdeführer ist gestützt auf <ref-law> zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert; auf das frist- und formgerecht eingereichte Rechtsmittel kann daher grundsätzlich eingetreten werden. Nicht eingetreten werden kann auf die Beschwerde, soweit die Aufhebung der Verfügung des Amtes für Migration beantragt wird. Diese ist durch das Urteil des Verwaltungsgerichts ersetzt worden (Devolutiveffekt) und gilt inhaltlich als mitangefochten (<ref-ruling> E. 1.4 S. 144).
1.3 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist daher weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen, und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.4 S. 400).
2. Der Beschwerdeführer rügt vorab, dass das Verwaltungsgericht seiner Begründungspflicht nicht nachgekommen sei: Es habe sich zu Unrecht darauf beschränkt, in pauschaler Weise festzustellen, dass den Akten "verschiedene Hinweise" zu entnehmen seien, wonach er nicht drei Jahre mit seiner Ehefrau in einer Haushaltsgemeinschaft gelebt habe. Korrekterweise hätte die Vorinstanz diese "verschiedenen Hinweise" einzeln auflisten und die daraus gezogenen Schlussfolgerungen näher erläutern müssen. Durch das Vorgehen des Verwaltungsgerichts sieht der Beschwerdeführer seinen verfassungsmässigen Anspruch auf rechtliches Gehör (<ref-law>) verletzt.
Der Rüge ist nicht zu folgen: Wie der Urteilsbegründung der Vorinstanz zu entnehmen ist, hat das Verwaltungsgericht aus dem Grund auf eine genauere Bezeichnung und Würdigung der erwähnten Hinweise verzichtet, weil es ohnehin von einem Rechtsmissbrauch seitens des Beschwerdeführers ausgegangen ist (vgl. E. 3.1 hiernach). Dies erscheint insoweit folgerichtig, als es sich tatsächlich erübrigt, das Nichtvorliegen der Anspruchsvoraussetzungen detailliert aufzuzeigen, wenn die Anrufung einer Anspruchsgrundlage von vornherein als rechtsmissbräuchlich erachtet wird. Eine Verletzung des Anspruchs auf rechtliches Gehör ist deshalb nicht zu erkennen. Ob die Argumentation des Verwaltungsgerichts inhaltlich zutrifft und der Schluss auf ein rechtsmissbräuchliches Verhalten des Beschwerdeführers zulässig war, bleibt dagegen im Folgenden zu prüfen.
3. 3.1 Unbestritten ist, dass der Beschwerdeführer einen Anspruch auf Verlängerung seiner Aufenthaltsbewilligung seit der Aufgabe des gemeinsamen Wohnsitzes nicht mehr aus Art. 43 Abs. 1 AuG herleiten kann. Diese Bestimmung setzt grundsätzlich voraus, dass der ausländische Ehegatte einer niederlassungsberechtigten Ausländerin mit dieser zusammenwohnt (hier nicht behauptete Konstellationen im Sinne von Art. 49 AuG ausgenommen). Fraglich und mithin zu prüfen ist einzig, ob dem Beschwerdeführer ein Anspruch gemäss Art. 50 Abs. 1 lit. a AuG zusteht (vgl. E. 1.1).
Wie bereits ausgeführt, hat das Verwaltungsgericht in diesem Zusammenhang erwogen, dass den Akten verschiedene Hinweise zu entnehmen seien, dass der Beschwerdeführer nicht drei Jahre seit Erhalt der Aufenthaltsbewilligung mit seiner Ehefrau in einer Haushaltsgemeinschaft gelebt habe. Letztlich könne dies indes offen bleiben, zumal der streitige Anspruch in jedem Fall unter Vorbehalt des Rechtsmissbrauchsverbotes stehe (Art. 51 Abs. 2 lit. a AuG). Ein rechtsmissbräuchliches Vorgehen des Beschwerdeführers liege hier vor: Mit dem einzigen Ziel, sich die Aufenthaltsbewilligung zu sichern, berufe er sich auf eine inhaltsleere, nur noch formell bestehende Ehe.
Der Beschwerdeführer bestreitet demgegenüber die Rechtsmissbräuchlichkeit seines Verhaltens. Er habe länger als seine Ehefrau mental an der Ehe festgehalten. Im Frühjahr 2008 habe er sich jedoch eingestehen müssen, dass man in getrennten Haushalten lebe, was er dann gegenüber dem Amt für Migration auch korrekt deklariert habe. In der Folge sei im Kosovo ein Scheidungsverfahren eingeleitet und am 24. Oktober 2008 die Scheidung ausgesprochen worden. Die Ehe habe demzufolge über dreieinhalb Jahre Bestand gehabt, weshalb das Fristerfordernis von Art. 50 Abs. 1 lit. a AuG erfüllt sei. Die Vorinstanz interpretiere das Gesetz falsch, wenn sie hierfür voraussetze, dass er, der Beschwerdeführer, drei Jahre seit Erhalt der Aufenthaltsbewilligung mit seiner Ehefrau in einer Hausgemeinschaft gelebt haben müsse.
3.2 Dem Verwaltungsgericht kann insofern nicht gefolgt werden, als es einzig unter Hinweis auf das Scheitern der Ehe bereits von Rechtsmissbrauch ausgeht: Vielmehr kommen die in Art. 50 AuG statuierten Ansprüche überhaupt erst nach Auflösung der ehelichen Gemeinschaft zum Tragen, d.h. sie setzen zumindest das faktische Ende der Beziehung notwendigerweise voraus. Im vorliegenden Fall kann demzufolge nicht ohne weiteres ein rechtsmissbräuchliches Verhalten des Beschwerdeführers angenommen werden.
Die bundesgerichtliche Praxis zur Rechtsmissbräuchlichkeit der Berufung auf eine inhaltsleere, nur noch formell bestehende Ehe hatte ihren Ursprung in der Regelung von Art. 7 Abs. 1 des bis zum 31. Dezember 2007 in Kraft gewesenen Bundesgesetzes vom 26. Mai 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG): Gemäss dieser Bestimmung war bereits der formelle Bestand der Ehe hinreichend, um dem ausländischen Ehegatten eines Schweizer Bürgers einen Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung zu vermitteln. Das neue Ausländerrecht verlangt demgegenüber bezüglich einem aus der Ehe abgeleiteten Bewilligungsanspruch grundsätzlich das Zusammenwohnen der Ehegatten (Art. 42 Abs. 1 und Art. 43 Abs. 1 AuG; vgl. E. 3.1); bei getrennten Wohnorten müssen dafür wichtige Gründe bestehen (Art. 49 AuG). Zwar stehen auch die vom AuG gewährleisteten Rechtsansprüche unter dem Vorbehalt des Rechtsmissbrauchsverbotes (vgl. Art. 51 Abs. 1 lit. a und Art. 51 Abs. 2 lit. a AuG). Jedoch beschränkt sich dessen Anwendung - aufgrund der veränderten Anspruchsvoraussetzungen - im Wesentlichen auf solche Fälle, in denen Ehepartner nur zum Schein zusammenwohnen. Fehlt es dagegen an einem Zusammenwohnen, so scheitert der Bewilligungsanspruch bereits an den gesetzlichen Voraussetzungen und die Frage des Rechtsmissbrauchs erübrigt sich.
Gleiches gilt bezüglich dem hier streitigen Fortbestehen eines Bewilligungsanspruchs trotz Auflösung der Ehegemeinschaft: Bevor ein rechtsmissbräuchliches Verhalten des Beschwerdeführers in Betracht zu ziehen ist, sind die Anspruchsvoraussetzungen von Art. 50 Abs. 1 lit. a AuG zu prüfen (vgl. E. 3.3 hiernach), d.h. es ist abzuklären, ob die eheliche Gemeinschaft zwischen der ausländischen Person und dem Niedergelassenen oder schweizerischen Staatsangehörigen rückblickend überhaupt drei Jahre Bestand gehabt hat. Nur wenn dies der Fall ist, kann sich - bei Vorliegen entsprechender Indizien - die Frage stellen, ob die Eheleute lediglich der Form halber zusammenwohnten und die Dauer der Wohngemeinschaft deshalb - in Beachtung des Rechtsmissbrauchsverbotes - nicht bzw. nicht vollumfänglich berücksichtigt werden kann.
Massgeblicher Zeitpunkt für die retrospektive Berechnung der Dauer der ehelichen Gemeinschaft ist in der Regel die Aufgabe der Haushaltsgemeinschaft: Wie bereits ausgeführt, kann sich die ausländische Person ab diesem Moment grundsätzlich nicht mehr auf ihre bisherigen Ansprüche gemäss Art. 42 Abs. 1 und Art. 43 Abs. 1 AuG stützen. Nicht relevant ist demgegenüber, bis zu welchem Zeitpunkt die Ehe nach Beendigung des ehelichen Zusammenlebens formell noch weiter bestanden hat (vgl. Urteil 2C_416/2009 vom 8. September 2009 E. 2.1.2).
3.3 Im vorliegenden Fall hat der Beschwerdeführer seine Ehefrau am 6. Januar 2005 im Kosovo geheiratet. Am 8. April 2005 konnte er in die Schweiz einreisen. Ausgehend von der Deklaration des Beschwerdeführers vom 25. Februar 2008, wonach die eheliche Gemeinschaft an diesem Tag bereits nicht mehr bestanden hat, wird ersichtlich, dass die in Art. 50 Abs. 1 lit. a AuG enthaltene Dreijahresfrist zu diesem Zeitpunkt nur dann bereits verstrichen war, wenn der Zeitraum zwischen der Eheschliessung im Kosovo und der Einreise in die Schweiz mitgerechnet wird. Es stellt sich somit die Frage, ob die genannte Gesetzesbestimmung verlangt, dass die Ehegemeinschaft während drei Jahren in der Schweiz gelebt wurde. Von der Lehre wird dies teilweise ohne nähere Begründung verneint (Marc Spescha in: Spescha/Thür/Zünd/Bolzli, Migrationsrecht, 2. Auflage 2009, S. 121, Rz. 4 zu Art. 50 AuG; Thomas Geiser/Marc Busslinger, Ausländische Personen als Ehepartner und registrierte Partnerinnen, in: Uebersax et al., Ausländerrecht, 2. Aufl. 2009, Rz. 14.55). Das Bundesgericht hat sich dazu bisher noch nicht geäussert. Wie die nachfolgenden Erwägungen zeigen, kann diesen Lehrmeinungen indes nicht gefolgt werden:
3.3.1 Die Botschaft des Bundesrates sah den heute in Art. 50 Abs. 1 lit. a AuG statuierten, schematischen Anspruch auf Verlängerung der Aufenthaltsbewilligung nach dreijähriger Ehegemeinschaft und bei guter Integration noch nicht vor. Vielmehr beschränkte sich der Gesetzesentwurf darauf, den Weiterbestand des Aufenthaltsrechts eines ausländischen Ehegatten nach Auflösung der ehelichen Gemeinschaft dann zu gewährleisten, wenn wichtige persönliche Gründe einen weiteren Aufenthalt in der Schweiz erforderlich machen (Art. 49 des Gesetzesentwurfes; entspricht Art. 50 Abs. 1 lit. b AuG).
Die beschlossene Fassung des Gesetzeswortlautes geht auf den Mehrheitsantrag der vorbereitenden parlamentarischen Kommission zurück (AB 2004 N 1060). Ob die eidgenössischen Räte bezüglich der Dreijahresfrist davon ausgingen, dass die Ehegemeinschaft während dieser Dauer in der Schweiz bestanden haben muss, lässt sich den Wortprotokollen nicht unmittelbar entnehmen. Hingegen geht daraus hervor, dass sich die getroffene Regelung an der damaligen Bewilligungspraxis vieler Kantone, namentlich jener des Kantons Zürich, orientierte (Votum Nationalrat Beck für die Kommission, AB 2004 N 1064; Votum Bundesrat Blocher, AB 2004 N 1064).
Diese (langjährige) Praxis der Zürcher Verwaltungsbehörden verlangte für die Verlängerung der Aufenthaltsbewilligung eines ausländischen Ehegatten nach Aufgabe des ehelichen Zusammenlebens das mindestens dreijährige Bestehen der ehelichen Gemeinschaft in der Schweiz (vgl. Beschluss des Regierungsrates des Kantons Zürich RRB Nr. 702/2008 vom 21. Mai 2008 E. 5.b). Dies leuchtet ein: Vor dem Inkrafttreten des AuG stand ein solcher Verlängerungsentscheid im Ermessen der kantonalen Behörden (Art. 7 Abs. 1 ANAG e contrario bzw. Art. 17 Abs. 2 ANAG e contrario, jeweils in Verbindung mit Art. 4 ANAG). Bei der Ausübung ihres Ermessens stellten die Kantone auf die Weisungen und Erläuterungen über Einreise, Aufenthalt und Arbeitsmarkt (ANAG-Weisungen; 2. Aufl. 2004) des damaligen Bundesamtes für Zuwanderung, Integration und Auswanderung (IMES) ab, welche in Ziff. 654 insbesondere die Dauer der Anwesenheit als massgeblich bezeichneten (vgl. hierzu die Urteile des Verwaltungsgerichts des Kantons St. Gallen vom 19. September 2007 E. 2.2 sowie vom 16. November 1998, in: GVP 1998 Nr. 22). Es ging mithin um den gemeinsamen Aufenthalt im Inland.
Die Entstehungsgeschichte von Art. 50 Abs. 1 lit. a AuG weist demnach darauf hin, dass ein Bewilligungsanspruch gemäss dieser Bestimmung eine dreijährige Ehegemeinschaft in der Schweiz voraussetzt.
3.3.2 Zum gleichen Schluss führt auch die systematische Auslegung von Art. 50 Abs. 1 lit. a AuG: Der Gesetzeswortlaut spricht von einem "Weiterbestehen" der Ansprüche nach Art. 42 Abs. 1 und Art. 43 Abs. 1 AuG. Diese sind im Gesetz unter dem Titel "Familiennachzug" aufgeführt und erlangen erst dann Bedeutung, wenn die nachzugsberechtigte Person mit ihrem nachzuziehenden Angehörigen in der Schweiz zusammenleben möchte. Der Bestand und die Qualität einer ehelichen Verbindung vor diesem Zeitpunkt sind im Rahmen der Prüfung dieser Ansprüche nicht zu berücksichtigen. Sinngemäss gleich verhält es sich mit dem Anspruch auf Erteilung der Niederlassungsbewilligung: Auch dort kommt es auf die Aufenthaltsdauer in der Schweiz an; ob zuvor bereits im Ausland ein eheliches bzw. familiäres Zusammenleben stattgefunden hat, ist demgegenüber nicht relevant (Art. 42 Abs. 3 und Art. 43 Abs. 2 AuG). Warum dies bei den Anspruchsvoraussetzungen von Art. 50 Abs. 1 lit. a AuG anders sein sollte, ist nicht einzusehen.
3.3.3 Die Dreijahresfrist von Art. 50 Abs. 1 lit. a AuG darf sodann nicht isoliert betrachtet werden, sondern ist stets im Zusammenhang mit der zweiten Anspruchsvoraussetzung dieser Bestimmung, d.h. dem Erfordernis einer erfolgreichen Integration, zu sehen. Beide Kriterien, Fristablauf und Integration, müssen kumulativ vorliegen, damit ein Rechtsanspruch auf Verlängerung der Aufenthaltsbewilligung besteht. Eine erfolgreiche Integration in der Schweiz setzt jedoch zwangsläufig voraus, dass sich die ausländische Person hier während einer gewissen Mindestdauer aufgehalten hat; bei einer Anwesenheit von weniger als drei Jahren lässt sich die Frage der Integration wohl zumeist nicht schlüssig beantworten, da in diesen Fällen kaum schon von gefestigten beruflichen und persönlichen Bindungen zur Schweiz die Rede sein kann. Dieser Umstand spricht ebenfalls dafür, das zeitliche Erfordernis von Art. 50 Abs. 1 lit. a AuG im Sinne einer ehelichen Gemeinschaft im Inland zu verstehen.
3.3.4 Bei der Rechtsanwendung ist schliesslich ein Auslegungsergebnis anzustreben, das praktikabel ist (<ref-ruling> E. 4 S. 605, mit Hinweisen). Zumindest darf dieses in der Praxis nicht untauglich sein. Dies bedeutet, dass im Zweifelsfall eine Lösung zu bevorzugen ist, welche den Anforderungen der Realität gerecht wird (Hans Peter Walter, "Die Praxis hat damit keine Mühe...oder worin unterscheidet sich die pragmatische Rechtsanwendung von der doktrinären Gesetzesauslegung - wenn überhaupt?" in: ZBJV, Band 144 / 2008, S. 126 ff. insb. S. 140).
Es erhellt ohne weiteres, dass sich Angaben über im Ausland gelebte Ehegemeinschaften oftmals nur unzureichend oder sogar überhaupt nicht verifizieren lassen. Wäre die gemeinsam im Ausland verbrachte Zeit im Rahmen der Dreijahresfrist von Art. 50 Abs. 1 lit. a AuG mitzuberücksichtigen, müssten die kantonalen Bewilligungsbehörden diesbezüglich oft auf die blossen Behauptungen der Gesuchsteller vertrauen. Eine solche Lösung wäre kaum praktikabel, zumal einem rechtsmissbräuchlichen Verhalten auf diese Weise nicht entgegen gewirkt werden könnte.
3.3.5 Aus den obenstehenden Erwägungen ergibt sich somit, dass Art. 50 Abs. 1 lit. a AuG (nebst einer erfolgreichen Integration) eine dreijährige Ehegemeinschaft in der Schweiz verlangt. Mit dieser Auslegung in Einklang stehen im Übrigen auch die aktuellen Weisungen des BFM (Fassung vom 1. Juli 2009; Ziff. 6.1.8 und Ziff. 6.15.1).
3.4 Selbst wenn auf die Angaben des Beschwerdeführers abgestellt wird, dauerte das eheliche Zusammenleben in der Schweiz zwischen ihm und seiner Gattin keine drei Jahre (vom 8. April 2005 bis längstens zum 25. Februar 2008), womit es bereits an der ersten Anspruchsvoraussetzung von Art. 50 Abs. 1 lit. a AuG fehlt. Ob sich der Beschwerdeführer in der Schweiz erfolgreich integriert hat, muss daher nicht mehr geprüft werden. Ebenso kann offen bleiben, ob die eheliche Gemeinschaft bereits per 1. Mai 2006 aufgelöst wurde, wie dies das Amt für Migration in seiner Verfügung vom 3. Juli 2008 festgehalten hat. So oder anders steht dem Beschwerdeführer kein Anspruch auf Verlängerung seiner Aufenthaltsbewilligung zu. Der angefochtene Entscheid des Verwaltungsgerichts ist daher im Ergebnis nicht zu beanstanden.
4. Nach dem Ausgeführten erweist sich die Beschwerde in öffentlich-rechtlichen Angelegenheiten als unbegründet und ist abzuweisen, soweit darauf einzutreten ist.
Entsprechend diesem Verfahrensausgang sind die Kosten des bundesgerichtlichen Verfahrens dem Beschwerdeführer aufzuerlegen (<ref-law>). Gründe, die Kosten anders zu verteilen, liegen entgegen der Auffassung des Beschwerdeführers nicht vor. Eine Parteientschädigung ist nicht auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Amt für Migration und dem Verwaltungsgericht des Kantons Luzern sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 9. Dezember 2009
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Müller Zähndler