Sachverhalt:
A. Der 1984 geborene kosovarische Staatsangehörige X._ reiste 1999, im Alter von 15 Jahren, im Rahmen des Familiennachzugs in die Schweiz ein. Er wurde in die Niederlassungsbewilligung der Eltern einbezogen.
X._ wurde in der Schweiz mehrfach straffällig:
Das Bezirksamt Schwyz verurteilte ihn am 2. Dezember 2004 wegen Widerhandlungen gegen das Strassenverkehrsgesetz (SR 741.01) zu einer Busse von Fr. 700.--.
Am 9. Dezember 2004 verurteilte ihn das Bezirksamt Muri (AG) ebenfalls wegen Widerhandlungen gegen das Strassenverkehrsgesetz zu einer Busse von Fr. 40.--.
Mit Strafbefehl der Staatsanwaltschaft See/Oberland (ZH) vom 22. Juni 2005 wurde er der Vergehen gegen das Bundesgesetz über Waffen, Waffenzubehör und Munition (Waffengesetz; SR 514.54) sowie der Übertretungen des Bundesgesetzes über den Wald (Waldgesetz; SR 921.0) schuldig gesprochen und mit einer Busse von Fr. 500.-- bestraft.
Am 29. August 2007 verurteilte ihn das Strafgericht des Kantons Zug wegen Vergewaltigung zu einer bedingt vollziehbaren Freiheitsstrafe von 18 Monaten, bei einer Probezeit von 2 Jahren.
Am 10. April 2007 heiratete X._ eine Landsfrau, welche im Kosovo lebt. Mit Datum vom 19. April 2007 ersuchte er für sie um Familiennachzug.
B. Am 9. April 2008 wiederrief das Amt für Arbeit und Migration des Kantons Uri die Niederlassungsbewilligung von X._ und lehnte das Nachzugsgesuch für die Ehefrau ab. Eine dagegen gerichtete Einsprache blieb erfolglos.
Hierauf beschwerte sich X._ beim Obergericht des Kantons Uri. Dieses wies in seinem Entscheid vom 6. Februar 2009 die Beschwerde ab. In seinen Erwägungen führte es aus, es handle sich beim Entscheid des Amtes für Arbeit und Migration inhaltlich nicht um einen Widerruf der Niederlassungsbewilligung, sondern um eine Ausweisung von X._.
C. Mit Eingabe vom 9. März 2009 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt im Wesentlichen, es sei der angefochtene Entscheid aufzuheben und das Amt für Arbeit und Migration anzuweisen, ihm eine Niederlassungsbewilligung mit neuer Kontrollfrist auszustellen. Ferner sei das Amt anzuweisen, den beantragten Familiennachzug zu bewilligen.
Während das Amt für Arbeit und Migration sowie das Obergericht des Kantons Uri auf eine Vernehmlassung verzichten, schliesst das Bundesamt für Migration auf Abweisung der Beschwerde.
Mit Verfügung vom 11. März 2009 erkannte der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde aufschiebende Wirkung zu.
Mit Eingabe vom 8. Mai 2009 lässt das Amt für Arbeit und Migration dem Bundesgericht einen am 16. März 2009 ergangenen Strafbefehl des Bezirksamtes Lenzburg (AG) zukommen. Aus diesem geht hervor, dass der Beschwerdeführer wegen missbräuchlicher Verwendung von Ausweisen und Kontrollschildern sowie wegen Führens eines Motorfahrzeugs ohne Fahrzeugausweis zu einer Geldstrafe von 15 Tagessätzen zu je Fr. 90.-- verurteilt wurde.

Erwägungen:
1. 1.1 Soweit sich die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen die auf Art. 10 Abs. 1 lit. a des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; in Kraft gewesen bis 31. Dezember 2007) gestützte Ausweisung des Beschwerdeführers richtet, ergibt sich die Zulässigkeit des ordentlichen Rechtsmittels aus <ref-law> (e contrario).
In dem Umfang, als sich die Beschwerde gegen die Ablehnung des Gesuches um Familiennachzug richtet, gilt es <ref-law> zu beachten. Danach ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten ausgeschlossen gegen Entscheide über ausländerrechtliche Bewilligungen, auf deren Erteilung weder nach dem Bundes- noch dem Völkerrecht ein Rechtsanspruch besteht. Ob die Ehefrau des Beschwerdeführers grundsätzlich einen Anspruch auf Erteilung einer Aufenthaltsbewilligung hat, hängt davon ab, ob dem Beschwerdeführer weiterhin die Niederlassungsbewilligung zusteht. Wie die nachfolgenden Erwägungen zeigen, ist dies nicht der Fall.
1.2 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (Art. 105 Abs. 2 bzw. <ref-law>). Neue Tatsachen und Beweismittel dürfen vor Bundesgericht nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Tatsachen oder Beweismittel, welche sich zwar auf das vorinstanzliche Prozessthema beziehen, jedoch erst nach dem angefochtenen Entscheid ereigneten oder entstanden, können von vornherein nicht durch das weitergezogene Urteil veranlasst worden sein (Urteil 2C_94/2009 vom 16. Juni 2009 E. 2.2). Die Mitteilung des Amtes für Arbeit und Migration betreffend den Strafbefehl vom 16. März 2009 wegen Widerhandlung gegen das Strassenverkehrsgesetz ist daher unbeachtlich, zumal diese Verurteilung nach dem vorinstanzlichen Urteil vom 6. Februar 2009 erfolgt ist.
2. Am 1. Januar 2008 ist das neue Ausländerrecht in Kraft getreten. Dennoch bleibt gemäss Art. 126 Abs. 1 des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) auf Gesuche um Verlängerung der Aufenthaltsbewilligung, die vorher eingereicht worden sind, das bisherige Recht (ANAG) anwendbar. Diese Übergangsregelung gilt analog auch für die Ausweisung. Wie sich aus den Akten des Amtes für Arbeit und Migration ergibt, leitete dieses noch im Jahr 2007 die Prüfung von fremdenpolizeilichen Fernhaltemassnahmen gegen den Beschwerdeführer ein. Unerheblich ist, dass diese nicht auf ein Gesuch hin, sondern von Amtes wegen initiiert wurden, und dass die entsprechende Verfügung erst nach dem Inkrafttreten des neuen Rechts ergangen ist (vgl. Urteil 2C_701/2008 vom 26. Februar 2009 E. 2; 2C_745/2008 vom 24. Februar 2009, E. 1.2.2 - 1.2.4 mit Hinweisen).
3. 3.1 Ein Ausländer kann gemäss Art. 10 Abs. 1 lit. a ANAG aus der Schweiz ausgewiesen werden, wenn er wegen eines Verbrechens oder Vergehens gerichtlich bestraft worden ist und die nach Art. 11 Abs. 3 ANAG bzw. allenfalls Art. 8 Ziff. 2 EMRK gebotene Interessenabwägung diese Massnahme nicht als unverhältnismässig erscheinen lässt. Dabei sind namentlich die Schwere des Verschuldens, die Dauer der Anwesenheit sowie die dem Betroffenen und seiner Familie drohenden Nachteile zu berücksichtigen (vgl. Art. 16 Abs. 3 ANAV [SR 142.201]; Urteil des EGMR in Sachen Boultif gegen die Schweiz vom 2. August 2001, Rz. 48, in: VPB 65/2001 Nr. 138; <ref-ruling> E. 3; <ref-ruling> ff.). Je länger ein Ausländer in der Schweiz lebt, desto strengere Anforderungen sind an die Voraussetzungen seiner Ausweisung zu stellen. Selbst bei einem Ausländer, der bereits hier geboren ist und sein ganzes bisheriges Leben in der Schweiz verbracht hat, ist eine solche bei Gewaltdelikten bzw. wiederholter schwerer Straffälligkeit aber nicht generell ausgeschlossen (<ref-ruling> E. 4.4.2 S. 190; <ref-ruling> E. 2b S. 523 f.; <ref-ruling> E. 2 und 3 S. 435 ff.). Ausschlaggebend ist die Verhältnismässigkeit der Massnahme im Einzelfall, die praxisgemäss gestützt auf die gesamten wesentlichen Umstände geprüft werden muss (BGE <ref-ruling> E. 2b S. 523 f. mit Hinweis).
3.2 Der Beschwerdeführer hat in der Schweiz Vergehen und Verbrechen begangen, wobei insbesondere die Verurteilung wegen Vergewaltigung hervorzuheben ist. Mithin liegt ein Ausweisungsgrund gemäss Art. 10 Abs. 1 lit. a ANAG vor. Die gegen den Beschwerdeführer verfügte fremdenpolizeiliche Massnahme erweist sich daher als statthaft, wenn sie auch dem Prinzip der Verhältnismässigkeit zu genügen vermag.
3.3 Der Beschwerdeführer erachtet seine Ausweisung als unverhältnismässig:
In diesem Zusammenhang führt er aus, dass die von ihm verübte Vergewaltigung zwar eine unentschuldbare "Grenzüberschreitung" gewesen sei, die er sehr bereue. Das Strafgericht des Kantons Zug habe aber immerhin festgestellt, dass er sich keiner massiven bzw. übermässigen Gewaltanwendung schuldig gemacht habe und der inkriminierte Vorfall nur kurze Zeit gedauert habe. Sein Verschulden sei im untersten Bereich des Strafrahmens angesiedelt worden. Zudem habe das Gericht keine Hinweise für eine ungünstige Prognose gefunden, weshalb der bedingte Vollzug der verhängten Strafe ohne Bedenken gewährt und die Probezeit lediglich auf zwei Jahre angesetzt worden sei. Ebenso sei aktenkundig, dass er, der Beschwerdeführer, sich während der Ermittlungen kooperativ und anständig benommen habe. Das Fehlen einer Rückfallgefahr und der Resozialisierungsgedanke des Strafrechts seien in die vorzunehmende Interessensabwägung mit einzubeziehen. Nicht ins Gewicht fielen bei der Interessensabwägung dagegen die übrigen von der Vorinstanz berücksichtigten Verurteilungen, da es sich hierbei lediglich um Vergehen und Übertretungen handle und diese jeweils nur Geldbussen zur Folge gehabt hätten. Auch seine Steuerschulden seien in diesem Zusammenhang nicht mehr massgebend, da er diese permanent in monatlichen Raten abbezahle und in den nächsten Monaten vollständig zurückbezahlt haben werde. Von Bedeutung sei dagegen, dass er im Alter von 15 Jahren in die Schweiz eingereist sei und nun schon seit über zehn Jahren hier lebe. Seit seinem 17. Alterjahr sei er beim gleichen Arbeitgeber beschäftigt. Er spreche inzwischen perfekt Schweizerdeutsch und sei in der hiesigen Arbeitswelt gut integriert. Faktisch gehöre er demzufolge zur zweiten Ausländergeneration. Seine sozialen und familiären Bindungen bestünden hier in der Schweiz. Dass er vor eineinhalb Jahren im Herkunftsland eine Landsfrau geheiratet habe, ändere daran nichts. Dies berücksichtigend, stelle die Ausweisung eine unzumutbare Härte dar; sie sei mit der Rechtsprechung des Bundesgerichtes und des Europäischen Gerichtshofes für Menschenrechte (EGMR) nicht zu vereinbaren.
3.4 Die Einwendungen des Beschwerdeführers vermögen nicht durchzudringen:
Wie bereits das Obergericht ausgeführt hat, wiegt das vom Beschwerdeführer begangene Sexualdelikt zum Nachteil einer Minderjährigen schwer. Dass das urteilende Strafgericht eine Sanktion ausgesprochen hat, die sich im unteren Bereich des möglichen Strafrahmens bewegt, vermag daran ebensowenig zu ändern wie die Tatsache, dass dem Beschwerdeführer der bedingte Strafvollzug gewährt worden ist: Letzteres ist seit Inkrafttreten des neuen Allgemeinen Teils des Strafgesetzbuches am 1. Januar 2007 der Regelfall und setzt nur noch das Fehlen einer explizit ungünstigen Prognose voraus. Soweit der Beschwerdeführer vorbringt, dass die übrigen von ihm begangenen Delikte von geringfügiger Natur und die Steuerschulden nicht von Bedeutung seien, kann dieser Auffassung nicht gefolgt werden: Das aktenkundige Vergehen gegen das Waffengesetz, konkret das Mitführen einer Schlagrute, kann nicht als Bagatelldelikt bezeichnet werden, selbst wenn deswegen lediglich eine Busse verhängt wurde. Die übrigen Straftaten sowie die Steuerschulden mögen zwar tatsächlich als weniger gewichtig erscheinen, doch untermauern sie in ihrer Gesamtheit den negativen Eindruck, dass der Beschwerdeführer Mühe bekundet, die hiesige Rechtsordnung zu respektieren und die ihm obliegenden Verpflichtungen zu erfüllen. Dem Hinweis des Beschwerdeführers auf die Dauer seines Aufenthaltes in der Schweiz sowie seine soziale und berufliche Integration ist entgegenzuhalten, dass er erst im Alter von 15 Jahren in die Schweiz eingereist ist, sämtliche Schulen in seinem Heimatstaat besucht hat und nicht über eine abgeschlossene Berufsausbildung verfügt. Zudem lebt und arbeitet auch seine Ehefrau noch immer im Kosovo.
Bei dieser Sachlage ist es nicht zu beanstanden, wenn die Vorinstanz ein gewichtiges öffentliches Interesse an einer Ausweisung des Beschwerdeführers annimmt, welches dessen persönliche Interessen an einem Verbleib in der Schweiz überwiegt. Nichts Gegenteiliges kann der Beschwerdeführer herleiten, wenn er sich auf das Urteil 2A.283/2005 vom 17. August 2005 bezieht und darauf verweist, dass in diesem Fall trotz intensiverer Delinquenz des Ausländers nur eine auf fünf Jahre befristete Ausweisung ausgesprochen wurde: Wie im vorliegenden Fall hatte das Bundesgericht auch im genannten Entscheid lediglich zu überprüfen, ob die von den kantonalen Behörden verfügte Massnahme mit dem Gebot der Verhältnismässigkeit i.S. von Art. 11 Abs. 3 ANAG vereinbar ist. Dies hat es bejaht, ohne festzustellen, dass eine unbefristete Ausweisung nicht mehr verhältnismässig gewesen wäre. Zudem wurde im genannten Entscheid festgehalten, dass selbst eine Person, die im Alter von 11 Jahren in die Schweiz kam und sich seit 12 Jahren hier aufhält, kein Ausländer der "zweiten Generation" ist, gegen den die Sanktion der Ausweisung nur bei qualifiziert schwerem Fehlverhalten verhängt werden darf (Urteil 2A.283/2005 vom 17. August 2005, E. 2.2 und 3.3). Auch unter diesem Aspekt zielen die Rügen des Beschwerdeführers mithin ins Leere.
4. 4.1 Die vom Beschwerdeführer angerufene, in Zusammenhang mit Art. 8 Ziff. 1 EMRK ergangene Rechtsprechung des EGMR steht obigem Ergebnis nicht entgegen: Es trifft zu, dass das in Art. 8 Ziff. 1 EMRK verankerte Recht auf Achtung des Privat- und Familienlebens verletzt sein kann, wenn einem Ausländer, dessen Familienangehörige hier weilen, die Anwesenheit untersagt und damit das Familienleben vereitelt wird. Das geschützte Familienleben beschränkt sich aber grundsätzlich auf die Kernfamilie, d.h. die Gemeinschaft der Ehegatten mit ihren minderjährigen Kindern (vgl. <ref-ruling> E. 2 S. 14). Demnach kann der volljährige Beschwerdeführer diesbezüglich nichts zu seinen Gunsten ableiten. Zwar hat der EGMR in verschiedenen Entscheiden festgehalten, dass auch die Beziehung von jungen Erwachsenen zu ihren Eltern vom Begriff des Familienlebens im Sinne der Konvention erfasst sein kann; Voraussetzung hierfür ist aber, dass der junge Erwachsene noch keine eigene Familie gegründet hat (Urteil in Sachen Maslov gegen Österreich vom 23. Juni 2008 Rz. 62, mit Hinweisen). Im vorliegenden Fall ist die Gründung einer eigenen Familie jedoch bereits erfolgt, zumal sich der Beschwerdeführer am 10. April 2007 mit einer Landsfrau verheiratet hat. Diese Verbindung, welche nun die Kernfamilie des Beschwerdeführers darstellt, wird von der hier strittigen fremdenpolizeilichen Fernhaltemassnahme nicht tangiert, zumal sich die Ehefrau des Beschwerdeführers noch immer im Kosovo, der gemeinsamen Heimat, aufhält.
Aus dem ebenfalls von Art. 8 Ziff. 1 EMRK gewährleisteten Anspruch auf Schutz des Privatlebens ergibt sich ein Recht auf Verbleib im Land nur unter besonderen Umständen. Eine lange Anwesenheit und die damit verbundene normale Integration genügen hierzu nicht; erforderlich sind besonders intensive Beziehungen beruflicher oder gesellschaftlicher Natur (<ref-ruling> E. 3.2.1 S. 286; <ref-ruling> E. 2c S. 384 ff.; <ref-ruling> E. 3b S. 22). Angesichts der in E. 3.4 genannten Umstände, insbesondere des Alters des Beschwerdeführers bei der Einreise und der im Herkunftsland geschlossenen Ehe, sind solche qualifizierten Bindungen zur Schweiz nicht zu erkennen. Der Beschwerdeführer kann sich demzufolge auch nicht auf den Anspruch auf Schutz des Privatlebens berufen.
4.2 Selbst wenn der Schutzbereich von Art. 8 Ziff. 1 EMRK berührt und demnach eine Verhältnismässigkeitsprüfung i.S. von Art. 8 Ziff. 2 EMRK durchzuführen wäre, könnten die Erwägungen des vom Beschwerdeführer herangezogenen Entscheids des EGMR in Sachen Maslov gegen Österreich vom 23. Juni 2008 nicht unbesehen übernommen werden: Als wesentlichen Umstand dafür, dass im genannten Fall eine Verletzung von Art. 8 Ziff. 1 EMRK zu bejahen war, erachtete der EGMR einerseits, dass Maslov bereits im Alter von sechs Jahren nach Österreich emigriert war und dort die gesamte Schulzeit absolviert hatte. Andererseits war die Gegebenheit von Bedeutung, dass er seine Straftaten noch im jugendlichen Alter, d.h. als Minderjähriger verübt hatte (Rz. 74 f.; 81 f. des erwähnten Urteils). Die Konstellation im Fall Maslov gegen Österreich unterscheidet sich daher in massgeblichen Punkten vom vorliegend zu beurteilenden Fall.
Gleiches gilt bezüglich des vom Beschwerdeführer ebenfalls ins Feld geführten Urteils des EGMR in Sachen Emre gegen die Schweiz vom 22. Mai 2008: Auch Emre ist im Unterschied zum Beschwerdeführer bereits im frühen Kindesalter in die Schweiz eingereist und hier zur Schule gegangen. Es kann mithin keine Rede davon sein, dass hinsichtlich der Verwurzelung eine vergleichbare Situation vorliege, wie dies der Beschwerdeführer glauben machen will. Zwar trifft es zu, dass dem Fall Emre gegen die Schweiz eine intensivere Delinquenz des Ausländers zu Grunde lag. Indes ist zu beachten, dass letzterer - anders als der Beschwerdeführer im vorliegenden Fall - an einer psychischen Erkrankung (Persönlichkeitsstörung mit emotionaler Labilität und Elementen von Impulsivität bzw. von einer Borderlinestörung in Kombination mit einer Angststörung) litt, welche es im Rahmen der Verhältnismässigkeitsprüfung mitzuberücksichtigen galt (Rz. 81 und 83 des erwähnten Urteils).
5. Da sich die Ausweisung des Beschwerdeführers demzufolge als rechtens erweist und er damit über kein Anwesenheitsrecht in der Schweiz mehr verfügt, ergibt sich auch ohne weiteres, dass seiner Ehefrau kein Anspruch auf Erteilung einer Aufenthaltsbewilligung im Rahmen des Familiennachzugs zusteht und auf die Beschwerde in diesem Punkt nicht eingetreten werden kann (vgl. E. 1.1).
6. Nach dem Ausgeführten ist die Beschwerde unbegründet und deshalb abzuweisen, soweit darauf einzutreten ist. Entsprechend diesem Verfahrensausgang sind die Kosten des bundesgerichtlichen Verfahrens dem Beschwerdeführer aufzuerlegen (Art. 65 f. BGG). Eine Parteientschädigung ist nicht auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Obergericht des Kantons Uri, Verwaltungsrechtliche Abteilung, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 1. Juli 2009
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Müller Zähndler