Sachverhalt: A. Der 1984 geborene kosovarische Staatsangehörige X._ reiste 1999, im Alter von 15 Jahren, im Rahmen des Familiennachzugs in die Schweiz ein. Er wurde in die Niederlassungsbewilligung der Eltern einbezogen. X._ wurde in der Schweiz mehrfach straffällig: Das Bezirksamt Schwyz verurteilte ihn am 2. Dezember 2004 wegen Widerhandlungen gegen das Strassenverkehrsgesetz (SR 741.01) zu einer Busse von Fr. 700.--. Am 9. Dezember 2004 verurteilte ihn das Bezirksamt Muri (AG) ebenfalls wegen Widerhandlungen gegen das Strassenverkehrsgesetz zu einer Busse von Fr. 40.--. Mit Strafbefehl der Staatsanwaltschaft See/Oberland (ZH) vom 22. Juni 2005 wurde er der Vergehen gegen das Bundesgesetz über Waffen, Waffenzubehör und Munition (Waffengesetz; SR 514.54) sowie der Übertretungen des Bundesgesetzes über den Wald (Waldgesetz; SR 921.0) schuldig gesprochen und mit einer Busse von Fr. 500.-- bestraft. Am 29. August 2007 verurteilte ihn das Strafgericht des Kantons Zug wegen Vergewaltigung zu einer bedingt vollziehbaren Freiheitsstrafe von 18 Monaten, bei einer Probezeit von 2 Jahren. Am 10. April 2007 heiratete X._ eine Landsfrau, welche im Kosovo lebt. Mit Datum vom 19. April 2007 ersuchte er für sie um Familiennachzug. B. Am 9. April 2008 wiederrief das Amt für Arbeit und Migration des Kantons Uri die Niederlassungsbewilligung von X._ und lehnte das Nachzugsgesuch für die Ehefrau ab. Eine dagegen gerichtete Einsprache blieb erfolglos. Hierauf beschwerte sich X._ beim Obergericht des Kantons Uri. Dieses wies in seinem Entscheid vom 6. Februar 2009 die Beschwerde ab. In seinen Erwägungen führte es aus, es handle sich beim Entscheid des Amtes für Arbeit und Migration inhaltlich nicht um einen Widerruf der Niederlassungsbewilligung, sondern um eine Ausweisung von X._. C. Mit Eingabe vom 9. März 2009 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt im Wesentlichen, es sei der angefochtene Entscheid aufzuheben und das Amt für Arbeit und Migration anzuweisen, ihm eine Niederlassungsbewilligung mit neuer Kontrollfrist auszustellen. Ferner sei das Amt anzuweisen, den beantragten Familiennachzug zu bewilligen. Während das Amt für Arbeit und Migration sowie das Obergericht des Kantons Uri auf eine Vernehmlassung verzichten, schliesst das Bundesamt für Migration auf Abweisung der Beschwerde. Mit Verfügung vom 11. März 2009 erkannte der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde aufschiebende Wirkung zu. Mit Eingabe vom 8. Mai 2009 lässt das Amt für Arbeit und Migration dem Bundesgericht einen am 16. März 2009 ergangenen Strafbefehl des Bezirksamtes Lenzburg (AG) zukommen. Aus diesem geht hervor, dass der Beschwerdeführer wegen missbräuchlicher Verwendung von Ausweisen und Kontrollschildern sowie wegen Führens eines Motorfahrzeugs ohne Fahrzeugausweis zu einer Geldstrafe von 15 Tagessätzen zu je Fr. 90.-- verurteilt wurde.