Sachverhalt:
A. A.a X._ (geb. 1987, kosovarischer Staatsangehöriger) heiratete am 1. Februar 2008 im Kosovo seine seit 1996 in der Schweiz niedergelassene Landsfrau Y._ (geb. 1988). Im Rahmen des Familiennachzuges zu seiner Ehefrau reiste X._ am 14. Mai 2008 in die Schweiz ein und erhielt eine einjährige Aufenthaltsbewilligung. Am 7. November 2009 kam der gemeinsame Sohn Z._ zur Welt, welcher wie seine Mutter die Niederlassungsbewilligung erhielt.
In der Zeit vom 12. Januar 2009 bis zum 18. August 2009 erfolgten gegen X._ rund 20 Bussenverfügungen wegen Verletzungen diverser Vorschriften (u.a. des SVG [SR 741.01], des Transportgesetzes vom 4. Oktober 1985 [aTG; AS 1986 1974] sowie über strafbare Handlung gegen das Vermögen nach StGB [SR 311.0]).
A.b Am 9. Oktober 2009 zeigte das Ausländeramt (heute: Migrationsamt) des Kantons St. Gallen X._ die Absicht an, sein Gesuch vom 8. Juni 2009 um Verlängerung der Aufenthaltsbewilligung abzulehnen. Zu diesem Schluss sei es aufgrund der bis dahin ergangenen Strafurteile, der offenen Betreibungen im Umfang von Fr. 8'844.85, einem Schuldsaldo aus sozialhilferechtlicher Unterstützung von Fr. 3'745.95 sowie der zu seinen Ungunsten ausfallenden Interessenabwägung gekommen. Nach Stellungnahme durch X._ gewährte das Ausländeramt diesem am 27. Oktober 2009 eine sechsmonatige, als "letzte Chance" bezeichnete Frist zur Begleichung der Geldstrafen sowie der Bussen und Kosten der Strafverfolgungsbehörden, zur Erfüllung sämtlicher Betreibungsforderungen und um die Sozialhilfeleistungen zurückzuzahlen oder zumindest das entsprechende Vorgehen zu vereinbaren. Zudem wurde die Erwartung geäussert, dass er sich inskünftig absolut klaglos verhalte.
Am 23. Oktober 2009 und 27. November 2009 erfolgten gegen X._ drei weitere Bussenverfügungen. Am 7. März 2011 erfolgte sodann ein Strafbefehl wegen Vergehens (Einführen, Besitz und Tragen eines Teleskop-Schlagstockes) gegen das Waffengesetz (SR 514.54) zu einer unbedingten Geldstrafe von 20 Tagessätzen zu je Fr. 70.--.
A.c Am 14. Juni 2010 verfügte das Ausländeramt des Kantons St. Gallen, die Aufenthaltsbewilligung von X._ werde nicht verlängert. Es stützte seinen Entscheid im Wesentlichen auf die bis dahin ergangenen, fremdenpolizeilich als schwerwiegend betrachteten 23 Bussenverfügungen sowie auf den innert der sechsmonatigen Frist auf Fr. 21'441.20 gestiegenen Saldo der Betreibungen. Den dagegen erhobenen Rekurs wies das Sicherheits- und Justizdepartement des Kantons St. Gallen ab. Das Verwaltungsgericht bestätigte diesen Entscheid.
B. Mit Eingabe vom 31. Januar 2012 führt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, das Urteil des Verwaltungsgerichts des Kantons St. Gallen vom 15. Dezember 2011 aufzuheben und das Migrationsamt anzuweisen, ihm die Aufenthaltsbewilligung zu erteilen, eventuell die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen.
C. Das Verwaltungsgericht sowie das Sicherheits- und Justizdepartement des Kantons St. Gallen und das Bundesamt für Migration schliessen auf Abweisung der Beschwerde.
D. Mit Verfügung vom 2. Februar 2012 hat der Abteilungspräsident der Beschwerde - antragsgemäss - aufschiebende Wirkung zuerkannt.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist auf dem Gebiet des Ausländerrechts gegen Entscheide betreffend Bewilligungen ausgeschlossen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumen (<ref-law>). Für das Eintreten genügt allerdings, wenn die ausländische Person dartut, dass potentiell ein Anspruch auf die beantragte Bewilligung besteht; ob die jeweiligen Voraussetzungen erfüllt sind, bildet Gegenstand der materiellen Beurteilung (<ref-ruling> E. 1.1 S. 179 f., 497 E. 3.3 S. 500 f.). Der Beschwerdeführer beruft sich in vertretbarer Weise auf einen Rechtsanspruch zur Verlängerung seiner ausländerrechtlichen Aufenthaltsbewilligung. Er stützt sich dabei auf Art. 43 AuG (SR 142.20) einerseits sowie auf die Achtung des Familienlebens im Sinne von Art. 8 Ziff. 1 EMRK bzw. <ref-law> andererseits. Auf seine Eingabe ist einzutreten.
1.2 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet dabei das Recht von Amtes wegen an (<ref-law>). Dessen ungeachtet prüft es unter Berücksichtigung der allgemeinen Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) an sich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 2.2.1 S. 389; <ref-ruling> E. 1.1 S. 104; <ref-ruling> E. 1.4.1 S. 254).
1.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, wie die Vorinstanz ihn festgestellt hat (<ref-law>). Es kann diesen bloss berichtigen oder ergänzen, falls er offensichtlich unrichtig oder in Verletzung wesentlicher Verfahrensrechte ermittelt worden ist (<ref-law>). Der Betroffene muss dartun, dass und inwiefern der festgestellte Sachverhalt in einem entscheidwesentlichen Punkt klar und eindeutig mangelhaft erscheint (vgl. Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; BGE <ref-ruling> E. 1.4.3 S. 255). Auf rein appellatorische Kritik an der Sachverhaltsermittlung oder der Beweiswürdigung tritt das Bundesgericht nicht ein (<ref-ruling> E. 3 S. 104 f.).
2. 2.1 Der ausländische Ehegatte einer Person mit Niederlassungsbewilligung hat nach Art. 43 AuG Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn er mit dieser zusammenwohnt. Dabei liegt eine (relevante) Ehegemeinschaft nur dann vor, wenn die eheliche Beziehung tatsächlich gelebt wird und ein gegenseitiger Ehewille besteht. Der Anspruch nach Art. 43 AuG erlischt allerdings (Art. 51 Abs. 2 AuG), wenn er rechtsmissbräuchlich geltend gemacht wird, namentlich um Vorschriften dieses Gesetzes und seiner Ausführungsbestimmungen über die Zulassung und den Aufenthalt zu umgehen (lit. a) oder wenn Widerrufsgründe nach Art. 62 AuG vorliegen (lit. b). Art. 62 lit. c AuG sieht vor, dass die zuständige Behörde die Aufenthaltsbewilligung widerrufen kann, wenn der Ausländer erheblich oder wiederholt gegen die öffentliche Sicherheit und Ordnung in der Schweiz oder im Ausland verstossen hat oder diese gefährdet oder die innere oder die äussere Sicherheit gefährdet. <ref-law> (SR 142.201) konkretisiert diese Bestimmung und bestimmt in einer nicht abschliessenden Aufzählung Handlungen, die einen Verstoss gegen die öffentliche Sicherheit und Ordnung darstellen. Dies ist u.a. der Fall bei einer Missachtung von gesetzlichen Vorschriften und behördlichen Verfügungen (lit. a) und bei mutwilliger Nichterfüllung der öffentlich-rechtlichen oder privatrechtlichen Verpflichtungen (lit. b). Doch selbst bei Vorliegen solcher Handlungen erlöschen die Ansprüche nach Art. 43 AuG nicht automatisch, sondern nur dann, wenn der Widerruf aufgrund einer Interessenabwägung verhältnismässig erscheint (<ref-ruling> E. 4.3 S. 381 f.; siehe auch MARC SPESCHA, in: Spescha/Thür/Zünd/Bolzli, Migrationsrecht, 3. Aufl. 2012, Rz. 9 i.V.m. Rz. 4 zu Art. 51 AuG). Dabei sind namentlich die Schwere des Verschuldens, der Grad der Integration bzw. die Dauer der bisherigen Anwesenheit sowie die dem Betroffenen und seiner Familie drohenden Nachteile zu berücksichtigen (vgl. Art. 96 AuG; <ref-ruling> E. 4.3 S. 381 f.). Insofern erlischt nach Art. 51 Abs. 2 AuG der Anspruch auf Verlängerung der Aufenthaltsbewilligung (Art. 43 AuG), wenn der Widerruf gemäss Art. 62 AuG verhältnismässig ist.
Die Notwendigkeit einer Verhältnismässigkeitsprüfung ergibt sich auch aus Art. 8 Ziff. 2 EMRK: Danach ist ein Eingriff in das von Art. 8 Ziff. 1 EMRK geschützte und im vorliegenden Fall gegebene Familienleben dann statthaft, wenn er gesetzlich vorgesehen ist und eine Massnahme darstellt, die in einer demokratischen Gesellschaft für die nationale Sicherheit, die öffentliche Ordnung, das wirtschaftliche Wohl des Landes, die Verteidigung der Ordnung oder zur Verhinderung von strafbaren Handlungen, zum Schutz der Gesundheit und Moral sowie der Rechte und Freiheiten anderer notwendig erscheint. Bei der Interessenabwägung im Rahmen von Art. 8 Ziff. 2 EMRK sind die Schwere des begangenen Delikts, der seit der Tat vergangene Zeitraum, das Verhalten des Ausländers während dieser Periode, die Auswirkungen auf die primär betroffene Person sowie deren familiäre Situation zu berücksichtigen. Zudem sind die Dauer der ehelichen Beziehung und weitere Gesichtspunkte relevant, welche Rückschlüsse auf deren Intensität zulassen (Geburt und Alter allfälliger Kinder; Kenntnis der Tatsache, dass die Beziehung wegen der Straftat unter Umständen nicht in der Schweiz gelebt werden kann). Von Bedeutung sind auch die Nachteile, welche dem Ehepartner oder den Kindern erwachsen würden, müssten sie dem Betroffenen in dessen Heimat folgen (zum Ganzen <ref-ruling> E. 4.3 S. 381 f.; Urteil 2C_679/2011 vom 21. Februar 2012 E. 3.2 mit weiteren Hinweisen). Zu beachten ist auch die Qualität der sozialen, kulturellen und familiären Beziehungen zum Gast- bzw. zum Heimatland (Urteil 2C_711/2011 vom 27. März 2012 E. 4.2 mit Hinweisen; siehe zum Ganzen auch Urteil des EGMR i.S. Boultif v. Switzerland vom 2. August 2001 [Nr. 54273/00]). Insofern stimmen die Kriterien nach dem AuG mit denjenigen nach Art. 8 Abs. 2 EMRK überein (vgl. Urteil 2C_117/2012 vom 11. Juni 2012 E. 4.5.1 i.f.) und ergibt sich aus Art. 8 EMRK nichts anderes.
2.2 Der Beschwerdeführer rügt verschiedentlich die vorinstanzlichen Feststellungen des Sachverhalts: So seien Mehrfachbetreibungen und Betreibungen für Schulden, die frühere Verpflichtungen der Ehefrau beträfen, in die Würdigung der betreibungsrechtlichen Situation einbezogen worden. Diesbezüglich unterlässt der Beschwerdeführer es allerdings, diese Ausführungen im Detail zu belegen, weshalb ihm der Nachweis nicht gelingt, dass die vorinstanzlichen Sachverhaltsfeststellungen offensichtlich unrichtig wären. Auch die Rügen, dass die Vorinstanz von einem falschen Schuldenbetrag im Umfange von ca. Fr. 30'000.-- ausgegangen sei und wonach der Beschwerdeführer sämtliche Verstösse gegen das SVG mit einem ihm gehörenden Oberklassewagen begangen haben soll, vermögen nicht durchzudringen; er zeigt weder belegmässig auf bzw. legt dar, inwiefern die vorinstanzlichen Feststellungen aktenwidrig wären, noch letztlich entscheidrelevant sind. Was die weiteren Ausführungen des Beschwerdeführers bezüglich seiner finanziellen Situation anbelangt, wiederholt er, was er bereits vor den Vorinstanzen vorgetragen hat und setzt sich dabei weder mit den diesbezüglichen Erwägungen im angefochtenen Urteil auseinander noch zeigt er auf, inwiefern diese unrichtig wären. Was das strafrechtlich relevante Verhalten betrifft, erschöpfen sich seine Vorbringen in appellatorischer Kritik an der von der Vorinstanz vorgenommenen Würdigung.
Die Vorbringen des Beschwerdeführers vermögen daher die vorinstanzliche Sachverhaltsfeststellung nicht als offensichtlich unrichtig erscheinen lassen, weshalb diese für das Bundesgericht verbindlich ist (<ref-law>).
2.3 Die rechtliche Würdigung der Vorinstanz in Bezug auf die Widerrufsgründe ist - auch unter Berücksichtigung der dem Beschwerdeführer eingeräumten Bewährungszeit - nicht zu beanstanden: Die Vorinstanz kommt deshalb zu Recht in Bezug auf die finanzielle Situation des Beschwerdeführers zum Schluss, dass sein Verhalten zumindest von Leichtfertigkeit getragen gewesen und seine Verschuldung mutwillig herbeigeführt worden ist. Es besteht ferner keine Aussicht auf Besserung. Auch im strafrechtlich relevanten Verhalten des Beschwerdeführers erblickte die Vorinstanz zu Recht einen Widerrufsgrund, da es insgesamt einen Verstoss gegen die öffentliche Sicherheit darstellt. Auch wenn der Unrechtsgehalt der einzelnen Verstösse als nicht besonders hoch einzuschätzen ist, so ergibt sich in der Gesamtbetrachtung aufgrund der Vielzahl der Beanstandungen, der nur aufgrund des ausländerrechtlichen Verfahrens ausgelösten Zahlungen sowie der gerade während der Bewährungszeit begangenen schlimmsten Missachtung der gesetzlichen Vorschriften ein ungünstiges Bild. Aus der Gesamtbetrachtung ergibt sich eine bedenkliche Gleichgültigkeit gegenüber der schweizerischen Rechtsordnung. Insofern ist der Schluss der Vorinstanz keineswegs zu beanstanden, es sei damit zu rechnen, dass sich der Beschwerdeführer auch in Zukunft strafrechtlich nicht einwandfrei verhalten werde, noch ihre Folgerung, er habe zu keinem Zeitpunkt ernsthaft über eine Sanierung seiner finanziellen Situation nachgedacht und sein Verhalten sei zumindest von Leichtfertigkeit getragen sowie die Verschuldung mutwillig herbeigeführt. Insofern sind die öffentlichen Interessen von einigem Gewicht.
2.4 Sind Widerrufsgründe gegeben, so ist - wie dargelegt (oben E. 2.1) - der Widerruf der Bewilligung nur dann rechtens, wenn die jeweils im Einzelfall vorzunehmende Interessenabwägung diese Massnahme als verhältnismässig erscheinen lässt, wobei einerseits die - bereits herausgearbeiteten - öffentlichen Interessen, andererseits die persönlichen Verhältnisse und der Grad der Integration der ausländischen Person zu berücksichtigen sind (vgl. Art. 96 AuG).
Dabei steht zunächst fest, dass der Beschwerdeführer mit seiner Ehefrau in einer gefestigten Ehebeziehung mit einem gemeinsamen Sohn von drei Jahren lebt. Die Ehefrau, welche seit dem Kindergartenalter in der Schweiz lebt, die hiesige Sprache beherrscht und über eine sichere unbefristete Arbeitsstelle verfügt, ist - wie der gemeinsame Sohn - im Besitz einer Niederlassungsbewilligung. Daneben leben ihre Eltern und Geschwister ebenfalls in St. Gallen und die entscheidenden familiären Beziehungen der Ehefrau bestehen zu Personen, welche Wohnsitz in der Schweiz haben. Angesichts dieses Umstandes rügt der Beschwerdeführer zu Recht, dass seine privaten Interessen an einem Verbleib in der Schweiz stärker zu gewichten wären.
Die Nichtverlängerung der Aufenthaltsbewilligung mit der daran anknüpfenden Pflicht, die Schweiz zu verlassen und den Kontakt über gegenseitige Besuche und Telephonate aufrechtzuerhalten, hätte offensichtlich äusserst einschneidende Konsequenzen für das rechtlich geschützte Familienleben. Dementsprechend bräuchte es ein sehr grosses öffentliches Interesse an der Fernhaltung des Beschwerdeführers von der Schweiz.
Zwar sind die öffentlichen Interessen, welche für den Widerruf bzw. für die Nichtverlängerung der Aufenthaltsbewilligung sprechen, von einigem Gewicht. So bestehen gegenwärtig erhebliche Zweifel am künftigen Wohlverhalten des Beschwerdeführers, handelt es sich beim strafbaren Verhalten um Gesetzesverstösse und muss ihm mangelnder Wille in Bezug auf die Rückzahlung bereits bestehender Schulden angelastet werden. Doch all dies genügt nicht, um feststellen zu können, die Fernhaltung sei für die nationale oder öffentliche Sicherheit, für das wirtschaftliche Wohl des Landes, zur Aufrechterhaltung der Ordnung, zur Verhütung von Straftaten, zum Schutz der Gesundheit oder der Moral oder zum Schutz der Rechte und Freiheiten anderer, zum jetzigen Zeitpunkt unabdingbar notwendig. Insofern überwiegen die öffentlichen die privaten Interessen im gegenwärtigen Zeitpunkt noch nicht.
Unbehelflich sind diesbezüglich auch die Argumente der Vorinstanz, wonach es der Ehefrau des Beschwerdeführers zuzumuten sei an dessen Seite in ihr Heimatland zurückzukehren. Angesichts des Umstandes, dass der Ehefrau des Beschwerdeführers persönlich nichts vorgeworfen wird, und insbesondere mit Blick auf ihren langjährigen Aufenthalt in der Schweiz seit Kindesalter sowie ihr familiäres Umfeld hier, hat die Vorinstanz die Lebenssituation der Ehefrau ungenügend gewichtet, weshalb es unverhältnismässig ist, von ihr die Rückkehr in den Kosovo zu erwarten.
Insgesamt führt die Interessenabwägung im heutigen Zeitpunkt dazu, dass die öffentlichen Interessen die privaten Interessen nicht zu überwiegen vermögen. Anders wäre dies in Zukunft zu beurteilen, wenn der Beschwerdeführer sich trotz des vorliegenden Verfahrens nicht veranlasst sähe, sich ernsthaft um die Schuldensanierung zu bemühen oder weiterhin straffällig würde, brächte er doch damit letztlich zum Ausdruck, dass ihn auch die familiären Interessen nicht zu einem ordnungsgemässen Verhalten zu motivieren vermögen. Zusammenfassend ist damit festzuhalten, dass die Verweigerung der Aufenthaltsbewilligung im jetzigen Zeitpunkt als unverhältnismässig erscheint.
3. 3.1 Nach dem Ausgeführten ist die Beschwerde gutzuheissen und das angefochtene Urteil des Verwaltungsgerichts des Kantons St. Gallen aufzuheben. Das Migrationsamt des Kantons St. Gallen ist anzuweisen, die Aufenthaltsbewilligung des Beschwerdeführers zu verlängern.
3.2 Dem Verfahrensausgang entsprechend sind keine Kosten zu erheben (vgl. Art. 66 Abs. 1 und 4 BGG). Der Kanton St. Gallen hat den Beschwerdeführer für das bundesgerichtliche Verfahren angemessen zu entschädigen (vgl. <ref-law>). Das Gesuch um unentgeltliche Rechtspflege wird gegenstandslos. Das Verwaltungsgericht des Kantons St. Gallen wird über die kantonale Kosten- und Entschädigungsregelung neu zu befinden haben (Art. 67 e contrario und 68 Abs. 5 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der angefochtene Entscheid wird aufgehoben. Das Migrationsamt des Kantons St. Gallen wird angewiesen, die Aufenthaltsbewilligung des Beschwerdeführers zu verlängern.
2. Es werden keine Kosten erhoben.
3. Der Kanton St. Gallen hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4. Zur Regelung der Kosten- und Entschädigungsfolgen des kantonalen Verfahrens wird die Sache an die Vorinstanz zurückgewiesen.
5. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons St. Gallen und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 14. Dezember 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Errass