Sachverhalt:
A. Der kroatische Staatsangehörige X._ ist 1981 in Herisau/AR geboren. Seine frühe Kindheit sowie die ersten Schuljahre verbrachte er jedoch bei seiner Grossmutter in Bosnien. Am 13. Dezember 1991, d.h. im Alter von zehneinhalb Jahren, reiste er erneut in die Schweiz ein und wurde hier in die Niederlassungsbewilligung seiner Eltern einbezogen. Das Verhalten von X._ in der Schweiz gab Anlass zu schweren Klagen:
Schon als Jugendlicher wurde X._ straffällig und er musste von der Jugendanwaltschaft des Kantons Appenzell Ausserrhoden am 2. September 1996 wegen Widerhandlungen gegen das Strassenverkehrsgesetz sanktioniert werden;
Am 23. Mai 2001 musste der inzwischen volljährige X._ vom Verhöramt des Kantons Appenzell Ausserrhoden wegen grober Verletzung der Verkehrsregeln gebüsst werden;
Am 12. Dezember 2001 wurde er vom Untersuchungsamt St. Gallen ein erstes Mal wegen Widerhandlungen gegen das Betäubungsmittelgesetz (Kauf und Konsum von Kokain) verurteilt und erneut mit einer Busse bestraft;
Mit Urteil des Kreisgerichts St. Gallen vom 19. Januar 2007 wurde X._ des mehrfachen bandenmässigen Diebstahls, der Gehilfenschaft zu mehrfachem Diebstahl und des Versuchs hierzu, der mehrfachen Sachbeschädigung, des mehrfachen Hausfriedensbruchs, der Verbrechen gegen das Betäubungsmittelgesetz sowie der Gehilfenschaft hierzu, der mehrfachen Übertretung des Betäubungsmittelgesetzes, des mehrfachen Fahrens trotz Entzugs des Führerausweises sowie des Fahrens in fahrunfähigem Zustand für schuldig erklärt und zu einer Freiheitsstrafe von 26 Monaten, unter Gewährung des teilbedingten Strafvollzugs, sowie zu einer Busse von Fr. 400.-- verurteilt. Das Kantonsgericht St. Gallen bestätigte diesen Entscheid mit Urteil vom 22. Januar 2008, reduzierte die Freiheitsstrafe jedoch auf zwei Jahre, unter Gewährung des bedingten Strafvollzuges;
Am 29. Oktober 2008 wurde er vom Untersuchungsamt Gossau wegen des Fahrens in fahrunfähigem Zustand und trotz Entzugs des Führerausweises, der mehrfachen Entwendung eines Motorfahrzeugs zum Gebrauch, der Übertretung des Betäubungsmittelgesetzes sowie wegen geringfügigen Widerhandlungen gegen das Bundesgesetz über die Ausländerinnen und Ausländer zu einer Freiheitsstrafe von 180 Tagen sowie zu einer Busse von Fr. 400.-- verurteilt.
B. Mit Verfügung vom 19. September 2008 widerrief das Migrationsamt des Kantons Appenzell Ausserrhoden die Niederlassungsbewilligung von X._ unter Hinweis auf dessen Delinquenz. Hiergegen rekurrierte dieser ohne Erfolg beim kantonalen Departement für Sicherheit und Justiz. Gegen den abschlägigen Rekursentscheid beschwerte sich X._ wiederum erfolglos beim Verwaltungsgericht von Appenzell Ausserrhoden: Dieses wies die Beschwerde mit Urteil vom 1. Juli 2010 ab.
C. Mit Eingabe vom 24. März 2010 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt die Aufhebung des Urteils des Verwaltungsgerichts vom 1. Juli 2009, des Rekursentscheids des Departements Sicherheit und Justiz vom 9. Dezember 2008 und der Verfügung des Migrationsamtes vom 10. Oktober 2008 (recte: 19. September 2008) sowie den Verzicht auf den Widerruf seiner Niederlassungsbewilligung.
Während das kantonale Migrationsamt auf eine Vernehmlassung verzichtet, schliessen das Bundesamt für Migration, das Departement Sicherheit und Justiz sowie das Verwaltungsgericht von Appenzell Ausserrhoden auf Abweisung der Beschwerde.
Mit Verfügung vom 31. März 2010 erkannte der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss aufschiebende Wirkung zu.

Erwägungen:
1. 1.1 Nach <ref-law> ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten auf dem Gebiet des Ausländerrechts unzulässig gegen Entscheide betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt. Vorliegend geht es nicht um die erstmalige Erteilung oder die Verlängerung, sondern um den Widerruf einer bereits gewährten Bewilligung. Die Beschwerde bleibt in diesem Zusammenhang zulässig, soweit die Bewilligung - wäre sie nicht widerrufen worden - nach wie vor Rechtswirkungen entfalten würde. Dies ist bei der unbefristeten Niederlassungsbewilligung der Fall (vgl. <ref-ruling> E. 1.2.1 S. 4). Die Zulässigkeit des Rechtsmittels beruht auf dem schutzwürdigen Vertrauen, dass eine einmal erteilte Bewilligung für die Dauer ihrer Gültigkeit fortbesteht und grundsätzlich nicht in die entsprechende Rechtsposition eingegriffen wird (vgl. Urteile 2C_515/2009 vom 27. Januar 2010 E. 1.1; 2C_21/2007 vom 16. April 2007 E. 1.2). Als Adressat des angefochtenen, kantonal letztinstanzlichen Urteils (<ref-law>) ist der Beschwerdeführer ohne weiteres zur Beschwerdeführung legitimiert (<ref-law>). Soweit sich die Beschwerde gegen das Urteil des Verwaltungsgerichts von Appenzell Ausserrhoden vom 1. Juli 2009 richtet, kann darauf grundsätzlich eingetreten werden (unter Vorbehalt von E. 1.2 und E. 1.3 hiernach).
1.2 Nicht zulässig ist die Beschwerde dagegen in dem Umfang, als sie sich auch gegen den Rekursentscheid des Departements Sicherheit und Justiz des Kantons Appenzell Ausserrhoden vom 9. Dezember 2008 sowie die Verfügung des kantonalen Migrationsamtes vom 19. September 2008 richtet: Nach dem Prinzip des Devolutiveffekts wurden diese prozessual durch das Urteil des Verwaltungsgerichts von Appenzell Ausserrhoden vom 1. Juli 2009 ersetzt; Letzteres bildet alleiniger Anfechtungsgegenstand für den nachfolgenden Instanzenzug (vgl. Häfelin/Müller/Uhlmann, Allgemeines Verwaltungsrecht, 6. Aufl. 2010, Rz. 1807).
1.3 Gemäss <ref-law> hat die Rechtsschrift die Begehren und deren Begründung zu enthalten; im Rahmen der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt (<ref-law>). Dies setzt voraus, dass sich der Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheides auseinandersetzt (<ref-ruling> E. 2.1 S. 245 f.). Eine qualifizierte Rügepflicht gilt insbesondere hinsichtlich der Verletzung von Grundrechten. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>; <ref-ruling> E. 1.4.2 S. 254).
2. Gemäss Art. 63 Abs. 1 lit. a in Verbindung mit Art. 62 lit. b des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) kann die Niederlassungsbewilligung widerrufen werden, wenn ein Ausländer zu einer längerfristigen Freiheitsstrafe verurteilt wurde. Als "längerfristig" gilt eine Freiheitsstrafe, wenn ihre Dauer ein Jahr überschreitet (<ref-ruling> E. 4.2 und E. 4.5 S. 379 ff.). Ein auf die genannten Bestimmungen gestützter Widerruf der Niederlassungsbewilligung kann auch dann erfolgen, wenn sich ein Ausländer - wie vorliegend der Beschwerdeführer - seit mehr als 15 Jahren ununterbrochen und ordnungsgemäss in der Schweiz aufgehalten hat (Art. 63 Abs. 2 AuG). Der Beschwerdeführer wurde u.a. zu einer Freiheitsstrafe von zwei Jahren verurteilt und hat somit einen Widerrufsgrund gesetzt, was er zu Recht nicht bestreitet.
3. 3.1 Ein Widerruf der Niederlassungsbewilligung setzt voraus, dass diese Massnahme auch als verhältnismässig erscheint (<ref-ruling> E. 4.3 S. 381). Das Verwaltungsgericht hat die diesbezügliche Praxis des Bundesgerichts zutreffend wiedergegeben; auf die entsprechenden Erwägungen im angefochtenen Entscheid kann daher verwiesen werden.
3.2 Der Beschwerdeführer erachtet den Widerruf als unverhältnismässig:
Zwar möge es zutreffen, dass die vom Kantonsgericht St. Gallen am 22. Januar 2008 ausgesprochene, bedingt vollziehbare Freiheitsstrafe bei ihm wenig Eindruck hinterlassen habe. Jedoch seien die seither verübten Straftaten nicht mehr als schwer zu qualifizieren. Zudem habe er aufgrund des Strafbescheids vom 29. Oktober 2008 eine Freiheitsstrafe in Halbgefangenschaft verbüssen müssen, was für ihn ein sehr einschneidendes Ereignis gewesen sei und ihm die Augen geöffnet habe. Seit nunmehr bald zwei Jahren habe er sich wohl verhalten. Ein Widerruf der Niederlassungsbewilligung sei nicht nötig, zumal er keine besondere Gefährlichkeit offenbart habe und die Bevölkerung vor ihm nicht geschützt werden müsse; eine Verwarnung erziele die notwendige abschreckende Wirkung ebenfalls.
Auch im Hinblick auf seine persönlichen Lebensumstände erweise sich ein Widerruf der Niederlassungsbewilligung als übermässige Härte: Er sei in Herisau geboren und habe bereits seine ersten beiden Lebensjahre in der Schweiz verbracht. Abzüglich seines zwischenzeitlichen Aufenthaltes in Bosnien halte er sich nun seit 21 Jahren in der Schweiz auf. Hier sei er gut integriert: Er habe erfolgreich eine Lehre als Sanitärmonteur absolviert und beherrsche Schweizerdeutsch bzw. Deutsch in Wort und Schrift. Seine Freundin sei schweizerisch-kroatische Doppelbürgerin. Er sei heute erwerbstätig und habe noch nie vom Sozialamt gelebt. Zudem spiele er beim FC Uzwil bzw. zuvor beim FC Herisau Fussball und habe dadurch nachweislich auch mit Schweizerbürgern Kontakt. Kroatien sei für ihn dagegen ein fremdes Land. Ausser zu seiner 80-jährigen Grossmutter pflege er dort keine Kontakte mehr; seine gesamte Verwandtschaft wohne in der Schweiz. Eine Rückkehr werde zudem dadurch erschwert, dass er nicht kroatisch schreiben könne.
Angesichts seiner fortlaufenden Schuldentilgung mittels der nach wie vor bestehenden Lohnpfändung sei es zudem im Interesse seiner Gläubiger, dass er weiterhin in der Schweiz bleiben dürfe: Müsse er die Schweiz verlassen, gingen die Gläubiger leer aus.
3.3 Die Einwendungen des Beschwerdeführers vermögen nicht zu überzeugen:
Die zahlreichen von ihm begangenen Straftaten und seine Verurteilungen zu Freiheitsstrafen von gesamthaft zweieinhalb Jahren lassen auf ein schweres Verschulden und auf eine erhebliche kriminelle Energie schliessen. Den Begründungen der Strafurteile ist überdies zu entnehmen, dass der Beschwerdeführer ohne echte Not delinquiert hat, zumal Mutter und Freundin für seinen Lebensunterhalt aufkamen, wenn er aufgrund seiner regelmässigen Arbeitslosigkeit finanzieller Unterstützung bedurfte. Weiter geht aus den Urteilen hervor, dass er jeweils bereitwillig seine Mithilfe bei der Begehung von Straftaten anbot, wenn sich eine Gelegenheit hierzu ergab. Dass sich diese kriminelle Grundhaltung des Beschwerdeführers nachhaltig verändert hätte, ergibt sich - entgegen der Ansicht des Beschwerdeführers - jedenfalls nicht bereits aus dem Umstand, dass seit dem Erlass des Strafbescheids des Untersuchungsamtes Gossau vom 29. Oktober 2008 keine weiteren Delikte aktenkundig wurden: Zum einen erscheint dieser knapp zweijährige Zeitraum des Wohlverhaltens im Vergleich mit der langanhaltenden, hartnäckigen Delinquenz des Beschwerdeführers relativ kurz und zum andern war der Bewegungsspielraum des Beschwerdeführers in dieser Zeit auch durch die Verbüssung der Freiheitsstrafe von 180 Tagen eingeschränkt. Durch sein Verhalten in der Vergangenheit stellte der Beschwerdeführer dagegen unter Beweis, dass er sich von Strafuntersuchungen, Verurteilungen und gegen ihn verhängten Sanktionen nicht beeindrucken lässt. So wurde er zu einer bedingt vollziehbaren Freiheitsstrafe und zu anderen Strafen von warnendem Charakter (Jugendstrafen, Geldbussen) verurteilt, ohne dass ihn dies von der Begehung weiterer Straftaten abgehalten hätte. Bedenklich ist insbesondere, dass der Beschwerdeführer nur zweieinhalb Monate nach dem Strafurteil des Kantonsgerichts St. Gallen erneut einschlägig delinquierte. Bei dieser Sachlage entsteht vom Beschwerdeführer das Bild eines unbelehrbaren Gewohnheitsdelinquenten, der die ihm gewährten Chancen nicht zu nutzen vermochte und durch sein Verhalten eine ausgeprägte Geringschätzung der Rechtsordnung demonstrierte. Dies schliesst ein Verbleiben in der Schweiz grundsätzlich aus. In jedem Fall durften die Vorinstanzen aber von einem erheblichen öffentlichen Interesse an der verfügten Massnahme ausgehen.
Es ist ohne weiteres nachzuvollziehen, dass der Widerruf seiner Niederlassungsbewilligung vom Beschwerdeführer subjektiv als gravierender Eingriff empfunden wird. Soweit er allerdings eine erfolgreiche berufliche Integration in der Schweiz behauptet, kann ihm nicht gefolgt werden: Obwohl er über eine abgeschlossene Berufsausbildung verfügt und nur für sich alleine sorgen muss, ist es ihm in der Vergangenheit offensichtlich nicht gelungen, ein Erwerbseinkommen zu erwirtschaften, welches seinen Konsum deckt; die im vorinstanzlichen Verfahren eingereichten Betreibungsregisterauszüge weisen per Januar 2009 offene Verlustscheine von über Fr. 20'000.-- aus. In den Jahren 2007 und 2008 wurden gegen den Beschwerdeführer Betreibungen von über Fr. 26'000.-- bzw. über Fr. 18'000.-- eingeleitet, was Lohnpfändungen in nahezu entsprechender Höhe zur Folge hatte. Soweit der Beschwerdeführer ferner behauptet, sich in Kroatien nicht zurecht zu finden, sind seine Ausführungen gleichermassen nicht plausibel: Es ist davon auszugehen, dass dem Beschwerdeführer die dortige Kultur und die lokalen Gepflogenheiten durch sein Elternhaus bzw. durch seine Grossmutter vermittelt wurden und ihm diese nicht gänzlich unvertraut sind. Der Hinweis auf seinen ungenügenden schriftlichen Ausdruck der kroatischen Sprache vermag schliesslich ebensowenig zu überzeugen: Vielmehr darf erwartet werden, dass sich dieses Defizit bei ernsthafter Bemühung innert kurzer Zeit beheben lässt. Im Übrigen wird ihm seine in der Schweiz absolvierte Ausbildung dabei helfen, sich bei einer Rückkehr nach Kroatien in den dortigen Arbeitsmarkt einzugliedern.
Es mag allenfalls zutreffen, dass die Gläubiger des Beschwerdeführers im Falle seiner Ausreise nicht mehr in den Genuss der gepfändeten Lohnanteile kommen werden. Jedoch kommt diesem Umstand in der vorliegenden Interessenabwägung keine entscheidende Bedeutung zu.
3.4 Dass die Vorinstanz bei dieser Sachlage den öffentlichen Interessen an einem Bewilligungswiderruf mehr Gewicht beimass als den Interessen des Beschwerdeführers an einem Verbleib in der Schweiz, ist nicht zu beanstanden. Ohne Bundesrecht zu verletzen, durfte sie daher seine Niederlassungsbewilligung widerrufen und sie musste sich insbesondere nicht auf eine Verwarnung des Beschwerdeführers beschränken.
4. Soweit sich der Beschwerdeführer auch auf Art. 8 EMRK resp. auf den durch diese Bestimmung gewährleisteten Anspruch auf Achtung des Familienlebens beruft, ist er darauf hinzuweisen, dass die Vorinstanz im angefochtenen Entscheid diesbezüglich ausgeführt hat, er könne nichts aus Art. 8 EMRK ableiten, zumal diese Norm lediglich die Kernfamilie (Elternteile mit minderjährigen Kindern) besonders schütze, wogegen der Beziehung zu Personen ausserhalb der Kernfamilie (Elternteile des volljährigen Beschwerdeführers sowie dessen Freundin und dessen Tante) grundsätzlich kein entsprechender Schutz zukomme. Mit dieser Begründung des Verwaltungsgerichts bzw. der darin formulierten Anforderung setzt sich der Beschwerdeführer nicht einmal ansatzweise auseinander, und es ist auch nicht ersichtlich, weshalb sie hier nicht greifen sollte. Soweit darauf überhaupt eingetreten werden kann (vgl. E. 1.3 hiervor), geht diese Rüge somit ebenfalls ins Leere.
5. Nach dem Ausgeführten erweist sich die Beschwerde in öffentlich-rechtlichen Angelegenheiten als unbegründet. Sie ist abzuweisen, soweit darauf einzutreten ist.
Entsprechend diesem Verfahrensausgang sind die Kosten des bundesgerichtlichen Verfahrens dem Beschwerdeführer aufzuerlegen (Art. 65 f. BGG). Eine Parteientschädigung ist nicht auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf eingetreten werden kann.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt und dem Departement Sicherheit und Justiz des Kantons Appenzell Ausserrhoden, dem Verwaltungsgericht von Appenzell Ausserrhoden, 2. Abteilung, sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 24. September 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Zähndler