Erwägungen:
1. 1.1 Der aus dem Kosovo stammende X._ (geb. 1983) reiste im Jahr 1991 im Rahmen des Familiennachzugs in die Schweiz ein. Im Jahr 1998 erhielt er eine Niederlassungsbewilligung für den Kanton St. Gallen. Im September 2003 heiratete er in seinem Heimatland eine Landsfrau (geb. 1987). Im Februar 2005 meldete er sich nach Zürich ab, wo ihm ebenfalls eine Niederlassungsbewilligung erteilt wurde. Im November 2005 erhielt seine Ehefrau dort eine Aufenthaltsbewilligung für den Kanton Zürich. Die im gleichen Monat geborene Tochter Y._ wurde in die Niederlassungsbewilligung ihres Vaters einbezogen.
Ab Oktober 2006 wohnte X._ mit seiner Ehefrau und Tochter bei seinen Eltern im Kanton St. Gallen, ohne sich dort fremdenpolizeilich anzumelden. Deshalb wies das Kantonale Ausländeramt St. Gallen ihn und seine Familie am 20. Dezember 2006 aus dem Kanton weg. Am 11. Januar bzw. 2. Februar 2007 ersuchte er um Bewilligung des Kantonswechsels. Das erwähnte Ausländeramt lehnte sein Gesuch am 18. Dezember 2007 ab. Zur Begründung führte es an, X._ habe in strafrechtlicher und finanzieller Hinsicht zu Klagen Anlass gegeben und damit Ausweisungsgründe gesetzt. Die hiegegen im Kanton beim Sicherheits- und Justizdepartement sowie anschliessend beim Verwaltungsgericht erhobenen Rechtsmittel blieben erfolglos.
1.2 X._ beantragt dem Bundesgericht mit subsidiärer Verfassungsbeschwerde vom 14. September 2009, das in dieser Sache ergangene Urteil des Verwaltungsgerichts vom 9. Juli 2009 aufzuheben, sein Gesuch um Kantonswechsel zu bewilligen und die Behörden anzuweisen, ihm die Niederlassungsbewilligung für den Kanton St. Gallen zu erteilen.
Das Sicherheits- und Justizdepartement sowie das Verwaltungsgericht ersuchen um Abweisung der Beschwerde, soweit auf diese einzutreten sei. Das Bundesamt für Migration stellt den Antrag, die Beschwerde abzuweisen. Das Kantonale Ausländeramt St. Gallen hat sich nicht vernehmen lassen.
Am 25. November 2009 hat der Verfahrensbevollmächtigte von X._ die fehlende Vollmachtsurkunde nachgereicht.
2. 2.1 Gegen Entscheide über den Kantonswechsel ist gemäss Art. 83 lit. c Ziff. 6 BGG die Beschwerde in öffentlich-rechtlichen Angelegenheiten ausgeschlossen (vgl. Urteil des Bundesgerichts 2C_886/2008 vom 4. Mai 2009 E. 2). Daher hat der Beschwerdeführer seine Eingabe beim Bundesgericht zurecht als subsidiäre Verfassungsbeschwerde bezeichnet. Diese ist gegen den kantonal letztinstanzlichen Entscheid des Verwaltungsgerichts zulässig (Art. 113 BGG).
2.2 Mit ihr kann allerdings nur die Verletzung von verfassungsmässigen Rechten gerügt werden (Art. 116 BGG). Das hat der Beschwerdeführer zudem substantiiert darzulegen; appellatorische Kritik und die blosse Gegenüberstellung der eigenen Sichtweise genügen nicht (vgl. BGE 134 II 349 E. 3 S. 352; 133 II 249 E. 1.4.2 S. 254; 133 III 439 E. 3.2 S. 444 f.). Das Bundesgericht überprüft die Anwendung von Bundesrecht demnach nicht wie bei der Beschwerde in öffentlich-rechtlichen Angelegenheiten nach Art. 106 Abs. 1 BGG grundsätzlich von Amtes wegen (vgl. auch Art. 117 BGG). Dass die Vorinstanz in ihrer Rechtsmittelbelehrung fälschlicherweise noch auf die letztgenannte Beschwerde hingewiesen hat, rechtfertigt nicht, davon abzuweichen (vgl. erwähntes Urteil 2C_886/2008 E. 3). Ausserdem legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 118 BGG). Es kann die Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie auf einer Verletzung eines verfassungsmässigen Rechts beruht (Art. 118 Abs. 2 und Art. 116 BGG), was der Beschwerdeführer ebenfalls präzise geltend zu machen hat (Art. 117 i.V.m. Art. 106 Abs. 2 BGG; BGE 133 III 439 E. 3.2 S. 445).
3. Fraglich ist, ob der Beschwerdeführer legitimiert ist, beim Bundesgericht die Verweigerung der Bewilligung des Kantonswechsels in materieller Hinsicht anzufechten. Das ist nicht der Fall, wenn er keinen Anspruch auf Kantonswechsel hat (vgl. Art. 115 lit. b BGG und erwähntes Urteil 2C_886/2008 E. 3 mit Hinweisen). Da der Beschwerdeführer den Kantonswechsel vor dem Inkrafttreten des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) beantragt hat, ist materiell noch auf das bis zum 31. Dezember 2007 geltende nationale Ausländerrecht abzustellen (Art. 126 AuG). Das insoweit anzuwendende Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121) vermittelt - im Gegensatz zum neuen Art. 37 Abs. 3 AuG - keinen Anspruch auf Kantonswechsel. Mithin kann sich ein Anspruch nur aus einem zwischenstaatlichen Übereinkommen ergeben. Der Beschwerdeführer ist Staatsangehöriger des Kosovo, dessen Unabhängigkeit die Schweiz Anfang 2008 anerkannt hat; sie hat mit diesem Staat aber noch keinen Niederlassungsvertrag abgeschlossen. Ob der Beschwerdeführer aus dem mit Serbien abgeschlossenen Niederlassungsvertrag vom 16. Februar 1888 (SR 0.142.118.181) einen Rechtsanspruch ableiten kann, braucht hier mit Blick auf nachfolgende Ausführungen nicht definitiv beantwortet zu werden (vgl. im Übrigen das zwischen dem Bundesrat und der Regierung des Kosovo ausgearbeitete "Memorandum of Understanding establishing a migration partnership" vom 3. Februar 2010).
4. 4.1 Nach Art. 8 ANAG gilt die Niederlassungsbewilligung nur für den Kanton, der sie ausgestellt hat. Gemäss Art. 14 Abs. 4 der Vollziehungsverordnung vom 1. März 1949 zum ANAG (ANAV; AS 1949 I 228) kann einem Ausländer mit Niederlassung, der heimatliche Ausweispapiere eines Staates besitzt, mit dem ein Niederlassungsvertrag besteht, bei Wechsel des Kantons die neue Bewilligung nur aus Gründen von Art. 9 Abs. 3 und 4 ANAG verweigert werden. Die Vorinstanz stützt sich insoweit auf Art. 9 Abs. 3 lit. b in Verbindung mit Art. 10 ANAG (in der Fassung vom 8. Oktober 1948 gemäss AS 1949 I 221 227), wonach die Niederlassungsbewilligung durch Ausweisung oder Heimschaffung erlischt. Gemäss Art. 10 Abs. 1 ANAG kann ein Ausländer ausgewiesen werden, wenn er wegen eines Verbrechens oder Vergehens gerichtlich bestraft wurde (lit. a) oder wenn sein Verhalten im allgemeinen und seine Handlungen darauf schliessen lassen, dass er nicht gewillt oder fähig ist, sich in die im Gaststaat geltende Ordnung einzufügen (lit. b). Die Vorinstanzen berufen sich auf die letztgenannte Litera (vgl. dazu auch Art. 16 Abs. 2 ANAV).
4.2 Der Beschwerdeführer macht geltend, das Verwaltungsgericht habe gegen das Willkürverbot (Art. 9 BV; dazu allg. BGE 134 I 140 E. 5.4 S. 148 mit Hinweisen) verstossen. Wenn es erkläre, er sei noch während des vorinstanzlichen Verfahrens und danach wieder straffällig geworden, so stütze es sich offensichtlich auf einen falschen Sachverhalt und handle damit willkürlich.
Dieser Vorwurf ist unberechtigt. Der Beschwerdeführer war zuletzt mit Strafbescheid vom 11. Februar 2009 wegen Beschäftigung von Ausländern ohne Bewilligung zu einer Geldstrafe von Fr. 7'200.-- verurteilt worden. Der der Verurteilung zugrundeliegende Tatzeitraum dauerte vom 27. August bis 24. Oktober 2008, mithin während und nach Ablauf des beim Sicherheits- und Justizdepartement in der hiesigen Angelegenheit durchgeführten Rekursverfahrens. Der Beschwerdeführer hatte bei ihm nämlich am 31. Dezember 2007 seinen Rekurs eingereicht, über den das Departement am 26. September 2008 entschied.
Wohl handelt es sich dabei nicht um eine Verurteilung, die für sich allein den Schluss rechtfertigt, dass ein Ausländer nicht gewillt oder nicht fähig ist, sich in die in der Schweiz geltende Rechtsordnung einzufügen. Entgegen der Behauptung des Beschwerdeführers ist die Vorinstanz aber auch nicht derart vorgegangen. Vielmehr hatte dieser immer wieder behauptet, er habe sich seit den vielfachen früheren Delikten, derentwegen er vor allem in den Jahren 2000 und 2004 verurteilt worden war, geläutert und bei ihm sei durch die Gründung einer eigenen Familie eine Verhaltensänderung eingetreten. Die Vorinstanz durfte demnach den erwähnten Strafbescheid sowie einen weiteren vom 14. August 2008 mit einer Verurteilung zu einer bedingten Freiheitsstrafe von sechs Monaten - u.a wegen Raufhandel, Sachbeschädigung und Veruntreuung - durchaus derart interpretieren, dass beim Beschwerdeführer kein wirklicher Sinneswandel stattgefunden hat. Zwar lagen dem letztgenannten Strafbescheid noch in den Jahren 2004 bis 2006 begangene Delikte zugrunde. Damals war der Beschwerdeführer aber bereits verheiratet, zudem hielt sich seine Ehefrau seit dem Sommer 2005 bei ihm auf und die erste Tochter wurde im November 2005 geboren. Die Familiengründung hielt ihn somit nicht von weiteren Straftaten ab. Entgegen der Meinung des Beschwerdeführers spielt auch keine Rolle, dass das ausländerrechtliche Verfahren zur Bewilligung des Kantonswechsels erst später eingeleitet wurde.
4.3 Der Beschwerdeführer rügt ausserdem, das Verwaltungsgericht verkenne willkürlich, dass es sich bei seinen Schulden um "Altlasten" handle. Laut Registerauszug des Betreibungsamtes St. Gallen sind dort per 30. Juli 2008 Forderungen von insgesamt Fr. 460'969.85 ausstehend und wurden Verlustscheine über Fr. 150'284.10 ausgestellt. Der Beschwerdeführer erklärt, er habe immer wieder Zahlungen zur Tilgung seiner Schulden geleistet und "alles Mögliche" unternommen, um keine neuen Schulden aufzubauen und die bestehenden zu reduzieren. Aus seinen nicht weiter substantiierten Ausführungen ergibt sich indes nicht, dass die Feststellungen der Vorinstanz, er habe keine aktive Schuldensanierung betrieben und unter anderem auch neuere Forderungen der Krankenkasse nicht beglichen, unzutreffend seien. Das Verwaltungsgericht hält namentlich fest, eine einzige Zahlung des Beschwerdeführers an das Betreibungsamt belege noch keine Abzahlungsvereinbarung. Zudem wurde er im Jahre 2008 wegen Pfändungsvollzug polizeilich gesucht, weil er beim Betreibungsamt trotz mehrerer telefonischer Zusagen nicht vorgesprochen hatte. Darauf geht er nicht ein. Ob er vom Kanton Zürich oder von seiner Heimat aus die Schulden wird begleichen können, ist hier schon deshalb unerheblich, weil er nach dem Dargelegten auch bisher keine ernsthaften Anstrengungen in diese Richtung unternommen hat.
4.4 Der Beschwerdeführer beanstandet schliesslich, die Vorinstanz habe nicht beachtet, dass er seit 17 Jahren in der Schweiz wohne, mit seiner Ehefrau eine Familie (mit inzwischen drei Kindern, geb. 2005, 2006 und 2008) gegründet habe, Inhaber einer GmbH sei und dass das Verfahren vor dem Ausländeramt "viel zu lange gedauert" habe. Dadurch habe sie ihr Ermessen willkürlich ausgeübt. Auch diese Rüge stösst ins Leere. Die Vorinstanz hat die erwähnten Umstände allesamt berücksichtigt. Sie hat namentlich nicht verkannt, dass der Grundsatz der Verhältnismässigkeit zu beachten ist (vgl. Art. 11 Abs. 3 ANAG und Art. 16 Abs. 3 ANAV). Die lange Verfahrensdauer beim Ausländeramt war auch darauf zurückzuführen, dass unter anderem Urteile betreffend den Beschwerdeführer erwartet wurden. Angesichts des ihm vorgeworfenen Verhaltens konnte dieser nicht ernsthaft damit rechnen, dass die Bewilligung des Kantonswechsels eine blosse Formsache sei. Das Ausländeramt teilte ihm nach einem knappen halben Jahr denn auch mit, dass die Prüfung seines Gesuchs noch nicht abgeschlossen sei. Deshalb kann der Beschwerdeführer aus der Verfahrensdauer nichts Entscheidendes zu seinen Gunsten ableiten.
5. Nach dem Gesagten erweist sich die Beschwerde als offensichtlich unbegründet, soweit auf sie überhaupt einzutreten ist. Sie kann daher im vereinfachten Verfahren nach Art. 109 BGG unter ergänzendem Verweis auf den angefochtenen Entscheid behandelt werden. Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Parteientschädigungen werden nicht geschuldet (vgl. Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit auf sie einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons St. Gallen und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 5. März 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Müller Merz