Sachverhalt:
A. Der aus dem Kosovo stammende X._ (geb. 1977) reiste am 21. März 1991 im Rahmen des Familiennachzugs zu seinen Eltern in die Schweiz ein. Am 14. Juni 1995 erhielt er die Niederlassungsbewilligung.
Bereits 1998 erging gegen ihn eine erste strafrechtliche Verurteilung wegen versuchten Erschleichens eines Ausweises (Strafe: 14 Tage Gefängnis bedingt und Busse von Fr. 800.--). X._ wurde in den folgenden Jahren weiter straffällig; es kamen u.a. Verurteilungen wegen mehrfacher Veruntreuung, Verstössen gegen das Strassenverkehrsgesetz und wegen Betreibungsdelikten hinzu. Am 29. Juni 2006 schliesslich verurteilte ihn das Obergericht des Kantons Aargau in zweiter Instanz u.a. wegen Brandstiftung, Sachbeschädigung, Nötigung und mehrfacher Urkundenfälschung zu einer Zuchthausstrafe von 2 3/4 Jahren.
Gegen X._ liefen sodann mehrere Betreibungen, und es bestanden im Jahre 2006 Verlustscheine in der Höhe von Fr. 7'240.60.
B. Nachdem das Migrationsamt des Kantons Aargau X._ das rechtliche Gehör gewährt hatte, wies es ihn mit Verfügung vom 15. Januar 2007 auf unbestimmte Dauer aus der Schweiz aus. Das Migrationsamt erwog im Wesentlichen, X._ habe sich von den ersten strafrechtlichen Verurteilungen nicht beeindrucken lassen und weiter delinquiert. Auch habe er seine finanziellen Verpflichtungen nicht restlos erfüllt. Aus seinem bisherigen Verhalten könne nicht geschlossen werden, dass er in der Schweiz besonders integriert wäre. Das öffentliche Interesse an einer Ausweisung überwiege daher seine privaten Interessen an einem weiteren Verbleib in der Schweiz.
Eine gegen diese Verfügung erhobene Einsprache beim Migrationsamt blieb erfolglos, und am 14. September 2007 wies das Rekursgericht im Ausländerrecht des Kantons Aargau eine gegen den Einspracheentscheid vom 27. Juni 2007 gerichtete Beschwerde ebenfalls ab.
C. Mit Eingabe vom 17. Oktober 2007 führt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, das Urteil des Rekursgerichts im Ausländerrecht des Kantons Aargau vom 14. September 2007 aufzuheben. Sodann sei von einer Ausweisung abzusehen und eine solche - verbunden mit einer Verwarnung - lediglich anzudrohen.
Das Migrationsamt des Kantons Aargau hat auf Vernehmlassung verzichtet. Das Rekursgericht im Ausländerrecht des Kantons Aargau beantragt, die Beschwerde abzuweisen. Das Bundesamt für Migration stellt denselben Antrag.
D. Mit unaufgefordert eingereichter Eingabe vom 5. November 2007 hat sich X._ noch einmal geäussert und das Bundesgericht darum gebeten, ihm "eine Chance zu geben".
Erwägungen:
1. 1.1 Angefochten ist ein letztinstanzlicher kantonaler Entscheid über eine gestützt auf Art. 10 Abs. 1 lit. a ANAG verfügte Ausweisung, wogegen das ordentliche Rechtsmittel der Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig ist (Art. 83 lit. c BGG e contrario). Der Beschwerdeführer ist hierzu legitimiert (Art. 89 Abs. 1 BGG).
1.2 Zwar ist am 1. Januar 2008 das Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG, SR 142.20) in Kraft getreten. Massgebend für die materielle Beurteilung bleibt vorliegend aber, in analoger Anwendung von Art. 126 Abs. 1 AuG, grundsätzlich das bisherige Recht.
1.3 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von Art. 95 BGG (Art. 105 Abs. 2 bzw. Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
2. 2.1 Gemäss Art. 10 Abs. 1 lit. a ANAG kann ein Ausländer aus der Schweiz oder aus einem Kanton ausgewiesen werden, wenn er wegen eines Verbrechens oder Vergehens gerichtlich bestraft wurde. Der Beschwerdeführer wurde u.a. zu einer Zuchthausstrafe von 2 3/4 Jahren verurteilt. Er erfüllt damit den genannten Ausweisungsgrund (der sich inhaltlich mit der entsprechenden neuen Regelung in Art. 62 und Art. 63 AuG deckt, welche anstelle der Ausweisung den Widerruf der Niederlassungsbewilligung vorsieht).
2.2 Die Ausweisung soll aber nur verfügt werden, wenn die nach Art. 11 Abs. 3 ANAG gebotene Interessenabwägung diese Massnahme als angemessen, d.h. als verhältnismässig (vgl. BGE 125 II 521 E. 2a S. 523) erscheinen lässt. Dabei sind namentlich die Schwere des Verschuldens des Ausländers, die Dauer der Anwesenheit sowie die dem Betroffenen und seiner Familie drohenden Nachteile zu berücksichtigen (vgl. Art. 16 Abs. 3 der Vollziehungsverordnung vom 1. März 1949 zum Bundesgesetz über Aufenthalt und Niederlassung der Ausländer [ANAV] sowie BGE 129 II 215 E. 3 und 4 S. 216 ff.; 125 II 105 ff.). Ob die Ausweisung im Sinne von Art. 11 Abs. 3 ANAG und Art. 16 Abs. 3 ANAV verhältnismässig ist, stellt eine Rechtsfrage dar und kann damit vom Bundesgericht frei überprüft werden (BGE 125 II 105 E. 2a S. 107, 521 E. 2a S. 523, mit Hinweisen).
3. 3.1 Ausgangspunkt für die Interessenabwägung gemäss Art. 11 Abs. 3 ANAG ist das Verschulden des Ausländers. Dieses findet vorab im vom Strafrichter verhängten Strafmass seinen Ausdruck. Dabei sind umso strengere Anforderungen an die Schwere des strafrechtlichen Verschuldens zu stellen, je länger ein Ausländer in der Schweiz gelebt hat. Aber selbst bei in der Schweiz geborenen Ausländern der "zweiten Generation" ist die Ausweisung zulässig, wenn der Ausländer besonders schwere Gewalt-, Sexual- oder Betäubungsmitteldelikte begangen oder wiederholt schwer delinquiert hat (vgl. dazu BGE 130 II 176 E. 4.2-4.4 S. 185 ff.; 129 II 215 E. 3.2 S. 216 f.; 125 II 105 E. 2c S. 109 f., 521 E. 2b S. 523 f. und E. 4a/bb S. 527 f.; 122 II 433 E. 2b und c und E. 3 S. 436 ff.).
3.2 Der Beschwerdeführer erachtet die Ausweisung "aufgrund der Umstände" als unangemessen. Er macht geltend, es bestehe eine überdurchschnittliche Bindung zu seiner ebenfalls in der Schweiz lebenden Mutter, welch letztere er in den verschiedensten Bereichen des alltäglichen Lebens unterstütze. Sodann müsse energisch bestritten werden, dass von einer gelungenen Integration in die Arbeitswelt keine Rede sein könne. Während der Dauer des Strafvollzugs habe er zwangsläufig keine Stelle gehabt und später eine Stelle als Lagermitarbeiter gefunden, die er wegen eines Bandscheibenvorfalls habe aufgeben müssen. Neu lässt der Beschwerdeführer vortragen, er könne im Januar 2008 eine Festanstellung in einem Reisebüro antreten und damit einer Erwerbstätigkeit nachgehen, welche seinen gesundheitlichen Problemen nicht entgegenstehe. Neu macht er ebenfalls geltend, im Falle der für ihn unzumutbaren Rückkehr in den Kosovo sähe er sich mit massiven Drohungen gegen Leib und Leben konfrontiert, weil er in früheren Strafverfahren gegen Tatmitbeteiligte belastende Aussagen gemacht habe.
3.3 Das Rekursgericht erwog, der Beschwerdeführer habe über Jahre hinweg wiederholt gegen das Gesetz verstossen und deswegen bestraft werden müssen. Er sei ledig und habe keine Kinder. Wohl werde die Ausweisung den Beschwerdeführer und seine Mutter hart treffen, von einem besonderen Abhängigkeitsverhältnis sei aber nicht auszugehen. Auch werde der Beschwerdeführer nicht aus einem stabilen beruflichen Umfeld herausgerissen; er - der keine eigentliche Berufslehre absolviert habe - könne seine in der Schweiz erworbenen beruflichen Erfahrungen auch in seinem Heimatland verwerten. Dort könne er neu beginnen und "zumindest ebenso gut Fuss fassen" wie in der Schweiz. Die Ausweisung erweise sich nach den gesamten Umständen als angemessen.
3.4 Diese tatsächlichen Feststellungen und die von der Vorinstanz daraus gezogenen rechtlichen Schlussfolgerungen lassen sich nicht beanstanden: Der Beschwerdeführer kam erst im Alter von 14 Jahren in die Schweiz und ist damit kein "Ausländer der zweiten Generation", für den eine Ausweisung nur bei besonders gravierender Delinquenz angeordnet werden dürfte (vgl. E. 3.1). Der Beschwerdeführer weilt zwar schon seit 16 Jahren in der Schweiz, wo er wiederholt und "durch seine skrupellose Handlungsweise" mit grosser krimineller Energie delinquiert hat (Urteil des Obergerichts des Kantons Aargau vom 29. Juni 2006, E. 5.3.1 S. 32). Entsprechend gross ist daher das öffentliche Interesse, ihn von der Schweiz fernzuhalten. Seine gegenteiligen privaten Interessen an einem weiteren Verbleib im Lande fallen durchaus ins Gewicht, sie sind aber vom Rekursgericht angemessen berücksicht worden. Hierzu ist zu bemerken, dass der Beschwerdeführer trotz langer Anwesenheit in der Schweiz beruflich nicht als integriert gelten kann. Er vermochte, wie seine Straffälligkeit und die aufgelaufenen Schulden zeigen, auch gesellschaftlich hier nicht Fuss zu fassen. Dass er nun auf Januar 2008 offenbar eine neue Stelle gefunden hat, ändert daran nichts, soweit dieses Vorbringen nicht ohnehin als unzulässiges Novum im Sinne von Art. 99 BGG einzustufen ist. Eine spezielle Abhängigkeit von seiner Mutter bzw. seinen Eltern, welche ihm allenfalls einen Anspruch auf ein Anwesenheitsrecht gestützt auf Art. 8 EMRK verschaffen könnte (vgl. dazu BGE 120 Ib 257 E. 1d S. 261 sowie Urteil 2C_451/2007 vom 22. Januar 2008, E. 2.2), liegt nicht vor. Die Pflicht zur Ausreise in den Kosovo trifft den Beschwerdeführer sicher hart, ist aber bei Abwägung der gesamten Umstände nicht unverhältnismässig und bundesrechtswidrig. Der allgemeine und unbelegte Einwand, der Beschwerdeführer sei im Falle einer Rückkehr ins Heimatland an Leib und Leben gefährdet, kann als unzulässige neue Sachverhaltsbehauptung nicht gehört werden.
4. Nach dem Gesagten ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten abzuweisen.
Bei diesem Verfahrensausgang sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Parteientschädigungen sind nicht geschuldet (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtsgebühr von Fr. 1'500.-- wird dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt und dem Rekursgericht im Ausländerrecht des Kantons Aargau sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 28. Januar 2008
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Merkli Klopfenstein