Sachverhalt:
A. Der 1978 geborene kosovarische Staatsangehörige X._ reiste 1991, im Alter von 13 Jahren, im Rahmen des Familiennachzugs in die Schweiz ein. Er wurde in die Niederlassungsbewilligung seines Vaters einbezogen.
Seither wurde X._ wiederholt straffällig:
Am 6. November 1998 verurteilte ihn das Untersuchungsrichteramt I Berner Jura-Seeland wegen grober Verletzung der Verkehrsregeln zu einer bedingt vollziehbaren Gefängnisstrafe von drei Tagen sowie zu einer Busse von Fr. 300.--;
Mit Strafbefehl des Bezirksamtes Aarau vom 23. Februar 2000 wurde er wegen des Überlassens eines Personenwagens an eine Person ohne Führerausweis mit einer Busse von Fr. 400.-- bestraft;
Das Bezirksstatthalteramt Liestal sprach ihn am 30. Oktober 2000 der einfachen Verletzung von Verkehrsregeln schuldig und verurteilte ihn zu einer Busse von Fr. 400.--;
Am 19. Januar 2001 verurteilte ihn das Untersuchungsrichteramt Solothurn wegen Verletzung der Verkehrsregeln und Fahrens eines Motorfahrzeugs trotz Entzugs des Führerausweises zu einer bedingt vollziehbaren Haftstrafe von zehn Tagen sowie zu einer Busse von Fr. 300.--;
Am 14. Januar 2002 wurde er in Frankreich wegen des Besitzes von Betäubungsmitteln zu einer Gefängnisstrafe von zwei Monaten verurteilt;
Am 30. Mai 2002 wurde er in Frankreich wegen Drogenhandels zu einer Gefängnisstrafe von vier Jahren, wovon ein Jahr mit Strafaufschub, verurteilt;
Das Arrondissement judiciaire I Courtelary-Moutier-La Neuveville verurteilte ihn am 10. Dezember 2004 wegen bandenmässigem Diebstahl (teilweise Versuch hierzu) und mehrfacher Sachbeschädigung zu einer bedingt vollziehbaren Gefängnisstrafe von sechs Monaten und sprach einen bedingt vollziehbaren Landesverweis von drei Jahren aus;
Mit Urteil vom 23. Mai 2006 sprach ihn das Bezirksgericht Kulm des mehrfachen bandenmässigen Diebstahls, der mehrfachen Sachbeschädigung sowie des mehrfachen Hausfriedensbruchs schuldig und verurteilte ihn zu einer (unbedingten) Gefängnisstrafe von sechs Monaten, als Zusatzstrafe zum Urteil des Arrondissement judiciaire I Courtelary-Moutier-La Neuveville vom 10. Dezember 2004;
Die Cour d'assises Genève verurteilte ihn wegen Verbrechen gegen das Betäubungsmittelgesetz am 2. November 2006 zu einer Gefängnisstrafe von zwei Jahren, als Zusatzstrafe zum Urteil des Bezirksgerichts Kulm vom 23. Mai 2006.
B. Nachdem er bereits mit Schreiben vom 7. Dezember 1998 und vom 4. Januar 2005 wegen der von ihm begangenen Delikte verwarnt und auf die Möglichkeit von fremdenpolizeilichen Fernhaltemassnahmen hingewiesen worden war, verfügte das Departement des Innern des Kantons Solothurn, Amt für öffentliche Sicherheit, Abteilung Ausländerfragen, am 3. September 2008 den "Widerruf der Niederlassungsbewilligung" von X._ und dessen "Wegweisung" aus der Schweiz.
Hiergegen beschwerte sich X._ beim Verwaltungsgericht des Kantons Solothurn. Dieses wies die Beschwerde in seinem Urteil vom 10. Dezember 2008 vollumfänglich ab.
C. Mit Eingabe vom 30. Januar 2009 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt im Wesentlichen die Aufhebung des verwaltungsgerichtlichen Urteils sowie der Verfügung des Departementes des Innern vom 3. September 2008. Eventualiter sei die Angelegenheit zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Das Verwaltungsgericht, das Departement des Innern des Kantons Solothurn und das Bundesamt für Migration schliessen auf Abweisung der Beschwerde.
Mit Verfügung vom 6. Februar 2009 erkannte der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde aufschiebende Wirkung zu.

Erwägungen:
1. Aus den Erwägungen der Verfügung vom 3. September 2008 ergibt sich ohne weiteres, dass es sich bei der vom Departement des Innern angeordneten fremdenpolizeilichen Fernhaltemassnahme, entgegen dem Wortlaut des Dispositivs, um eine auf Art. 10 Abs. 1 lit. a des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; in Kraft gewesen bis 31. Dezember 2007) gestützte Ausweisung des Beschwerdeführers handelt. Als eine solche hat die Vorinstanz die Fernhaltemassnahme denn auch überprüft. Gegen ihren Entscheid ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig (<ref-law> e contrario). Der Beschwerdeführer ist als Adressat des angefochtenen Entscheids zur Beschwerde legitimiert (<ref-law>). Auf die im Übrigen form- und fristgerecht eingereichte Beschwerde ist daher einzutreten.
2. Am 1. Januar 2008 ist das neue Ausländerrecht in Kraft getreten. Dennoch bleibt gemäss Art. 126 Abs. 1 des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) auf Gesuche um Verlängerung der Aufenthaltsbewilligung, die vorher eingereicht worden sind, das bisherige Recht (ANAG) anwendbar. Diese Übergangsregelung gilt analog auch für die Ausweisung. Wie sich aus den Akten des Amtes für Ausländerfragen ergibt, leitete dieses noch im Jahr 2007 die Prüfung von Massnahmen gegen den Beschwerdeführer ein. Unerheblich ist, dass diese Prüfung nicht auf ein Gesuch hin, sondern von Amtes wegen initiiert wurde, und dass die entsprechende Verfügung erst nach dem Inkrafttreten des neuen Rechts ergangen ist (vgl. Urteil 2C_160/2009 vom 1. Juli 2009 E. 2; 2C_701/2008 vom 26. Februar 2009 E. 2; 2C_745/2008 vom 24. Februar 2009, E. 1.2.2 - 1.2.4 mit Hinweisen).
3. 3.1 Ein Ausländer kann gemäss Art. 10 Abs. 1 lit. a ANAG aus der Schweiz ausgewiesen werden, wenn er wegen eines Verbrechens oder Vergehens gerichtlich bestraft worden ist und die nach Art. 11 Abs. 3 ANAG gebotene Interessenabwägung diese Massnahme nicht als unverhältnismässig erscheinen lässt. Dabei sind namentlich die Schwere des Verschuldens, die Dauer der Anwesenheit sowie die dem Betroffenen und seiner Familie drohenden Nachteile zu berücksichtigen (vgl. Art. 16 Abs. 3 der Vollziehungsverordnung vom 1. März 1949 zum Bundesgesetz über Aufenthalt und Niederlassung der Ausländer [ANAV; in Kraft gewesen bis 31. Dezember 2007]; Urteil des EGMR in Sachen Boultif gegen die Schweiz vom 2. August 2001, Rz. 48, in: VPB 65/2001 Nr. 138; <ref-ruling> E. 3; <ref-ruling> ff.). Je länger ein Ausländer in der Schweiz lebt, desto strengere Anforderungen sind an die Voraussetzungen seiner Ausweisung zu stellen. Selbst bei einem Ausländer, der bereits hier geboren ist und sein ganzes bisheriges Leben in der Schweiz verbracht hat, ist eine solche bei Gewaltdelikten bzw. wiederholter schwerer Straffälligkeit aber nicht generell ausgeschlossen (<ref-ruling> E. 4.4.2 S. 190; <ref-ruling> E. 2b S. 523 f.; <ref-ruling> E. 2 und 3 S. 435 ff.). Ausschlaggebend ist die Verhältnismässigkeit der Massnahme im Einzelfall, die praxisgemäss gestützt auf die gesamten wesentlichen Umstände geprüft werden muss (BGE <ref-ruling> E. 2b S. 523 f. mit Hinweis).
3.2 Der Beschwerdeführer hat während der Dauer seines Aufenthaltes in der Schweiz sowohl im Inland als auch im Ausland wiederholt Vergehen und Verbrechen begangen. Mithin liegt ein Ausweisungsgrund gemäss Art. 10 Abs. 1 lit. a ANAG vor. Die gegen den Beschwerdeführer verfügte fremdenpolizeiliche Massnahme erweist sich daher als statthaft, wenn sie auch dem Prinzip der Verhältnismässigkeit zu genügen vermag.
3.3 Der Beschwerdeführer erachtet seine Ausweisung als unverhältnismässig:
Im Wesentlichen macht er geltend, dass die von ihm begangenen Delikte nicht direkt gegen die körperliche Integrität von Personen gerichtet gewesen seien und ihm generell weder ein aggressives noch ein brutales Vorgehen vorgehalten werden könne. Bezüglich der beiden in Frankreich erfolgten Verurteilungen sei festzuhalten, dass die dort ausgesprochenen Strafen "relativ drakonisch" gewesen seien. Generell stünden sämtliche deliktische Handlungen in Zusammenhang mit einer inzwischen überwundenen Spielsucht und der damit verbundenen Geldbeschaffung. Seither habe er sein Leben grundlegend geändert: Er sei aus der elterlichen Wohnung ausgezogen, weil er sich seinen Lebensunterhalt nun selbst finanzieren wolle. Ebenso habe er sich erfolgreich darum bemüht, seine Arbeitsstelle bei der A._ in G._ zurückzuerhalten und er arbeite dort nun zur vollsten Zufriedenheit des Arbeitgebers. Auch die Schulden habe er zwischenzeitlich - trotz des Wissens um die drohende Ausweisung - zum grössten Teil abgetragen und sei aktuell keiner Lohnpfändung mehr unterworfen. In strafrechtlicher Hinsicht habe er sich seit der Entlassung aus dem Strafvollzug wohl verhalten. Demzufolge habe er sich zu einer reifen Persönlichkeit gewandelt, die seit nunmehr zwei Jahren demonstriere, dass sie verantwortungsbewusst und sozial integriert sei. Aus diesem Grund sei lediglich ein geringes öffentliches Interesse an seiner Ausweisung anzunehmen. Dagegen sei seine Ausweisungsempfindlichkeit als sehr gross zu bezeichnen: Er halte sich seit langer Zeit in der Schweiz auf und seine gesamte Familie befinde sich in der Schweiz. Zu seinem Herkunftsland habe er keine gelebte Beziehung mehr und die wirtschaftlichen Perspektiven im Kosovo seien sehr schlecht.
3.4 Die Einwände des Beschwerdeführers vermögen nicht zu überzeugen:
Wie oben ausgeführt, hat der Beschwerdeführer durch das hartnäckige Begehen von schweren Vermögens-, Verkehrs- und vor allem Betäubungsmitteldelikten Gefängnisstrafen in Höhe von insgesamt rund sieben Jahren verwirkt. Durch sein Verhalten demonstrierte er eine besonders ausgeprägte Geringschätzung für die schweizerische Rechtsordnung, was ein Verbleiben des Ausländers in der Schweiz in aller Regel ausschliesst. Jedenfalls haben die Vorinstanzen bei dieser Sachlage zu Recht angenommen, dass ein sehr gewichtiges öffentliches Interesse an der Ausweisung des Beschwerdeführers bestehe. Soweit der Beschwerdeführer sinngemäss geltend macht, die in Frankreich ausgesprochenen Strafen seien zu hoch ausgefallen, verkennt er, dass Ausgangspunkt und Massstab für die Schwere des Verschuldens und die fremdenpolizeiliche Interessenabwägung nur die vom Strafrichter verhängte Strafe ist (<ref-ruling> E. 3.1 S. 216). Die Strafhöhe ist im Administrativverfahren nicht abermals zu überprüfen. Entgegen den Ausführungen des Beschwerdeführers waren die von ihm verübten Strassenverkehrs- und Betäubungsmitteldelikte auch sehr wohl geeignet, der körperlichen Integrität von Drittpersonen Schaden zuzufügen, selbst wenn dies nicht der eigentliche Zweck der jeweiligen Handlung gewesen sein mag. Schliesslich kann auch die Behauptung des Beschwerdeführers, seine Taten seien in Zusammenhang mit einer Spielsucht gestanden, ihm nicht mehr helfen: Wie das Departement des Innern in seiner Vernehmlassung zutreffend ausführt, wäre dem Beschwerdeführer diesfalls der Vorwurf zu machen, dass er es unterlassen hat, dieser Spielsucht durch eine entsprechende Therapie aktiv entgegenzuwirken. Die vom Beschwerdeführer ins Feld geführte positive Entwicklung bezüglich seiner Wohn- und Arbeitssituation sowie hinsichtlich seiner finanziellen Lage ist zwar zu begrüssen, doch vermag sie alleine das öffentliche Interesse an seiner Ausweisung nicht massgeblich zu entkräften.
Sodann hat das Verwaltungsgericht zu Recht darauf hingewiesen, dass der Beschwerdeführer - trotz relativ langem Aufenthalt in der Schweiz - durch die verfügte Ausweisung nicht übermässig hart getroffen wird: Er hat einen beträchtlichen Teil seiner Kindheit und Jugend im Kosovo verbracht und verfügt sowohl über berufliche Fähigkeiten als auch über die nötigen Kenntnisse der albanischen Sprache. Es müsste ihm daher ohne allzu grosse Schwierigkeiten möglich sein, sich in seinem Herkunftsland zu reintegrieren, selbst wenn er dort keine nahen Verwandten mehr haben sollte. Zwar mag es zutreffen, dass die wirtschaftlichen Perspektiven des Beschwerdeführers im Kosovo nicht gleich komfortabel sind, wie in der Schweiz. Diese Folge ist jedoch einzig seinem kriminellen Verhalten zuzuschreiben und deshalb hinzunehmen.
4. Aus den genannten Gründen ist es nicht zu beanstanden, dass das Verwaltungsgericht zum Schluss gekommen ist, das öffentliche Interesse an einer Ausweisung des Beschwerdeführers überwiege dessen private Interessen an einem Verbleiben in der Schweiz. Die Beschwerde erweist sich demzufolge als unbegründet und ist abzuweisen. Entsprechend diesem Verfahrensausgang sind die Kosten des bundesgerichtlichen Verfahrens dem Beschwerdeführer aufzuerlegen (Art. 65 f. BGG). Eine Parteientschädigung ist nicht auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 1'500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Solothurn und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 15. Juli 2009
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Müller Zähndler