Erwägungen:
1. Der serbische Staatsangehörige X._ ist am 13. Oktober 1976 im Kosovo geboren und dort aufgewachsen. Am 4. Februar 1991 reiste er im Alter von 14 Jahren im Rahmen des Familiennachzugs in die Schweiz ein und erhielt hier eine Aufenthaltsbewilligung. Mit der aus dem Kosovo stammenden schweizerischen Staatsangehörigen A._ hat er zwei Kinder (geb. 1998 und 2002). Im Jahr 2000 schloss er mit A._ offenbar die Ehe. Während seines Aufenthalts in der Schweiz wurde X._ immer wieder straffällig. Zwischen 1995 und 2007 wurde er wegen mehrfacher Widerhandlung gegen das Betäubungsmittelgesetz, mehrfacher grober Verletzung von Verkehrsregeln, Widerhandlung gegen das Waffengesetz und gegen die Verordnung über das Waffentragen und den Waffenbesitz, mehrfachem Diebstahl, mehrfacher Sachbeschädigung, mehrfachem Hausfriedensbruch, Hehlerei sowie wegen Widerhandlung gegen das Ausländerrecht insgesamt zehnmal strafrechtlich verurteilt. Nebst zahlreicher Bussen wurden hierfür Freiheitsstrafen von insgesamt rund zwölfeinhalb Monaten ausgesprochen. Am 19. Januar 2001 und am 16. November 2004 wurde er deswegen fremdenpolizeilich verwarnt und es wurde ihm für den Fall weiterer Straftaten die Nichtverlängerung der Aufenthaltsbewilligung angedroht.
Am 22. Januar 2009 wurde X._ vom Bezirksgericht Dielsdorf wegen qualifizierter Widerhandlung gegen das Betäubungsmittelgesetz zu einer bedingt vollziehbaren Freiheitsstrafe von 14 Monaten verurteilt. X._ hatte gestanden, sich zusammen mit anderen am organisierten Kokainhandel beteiligt und insgesamt 150 Gramm Kokain umgesetzt zu haben.
In der Folge lehnte es das Ausländeramt des Kantons St. Gallen ab, die Aufenthaltsbewilligung von X._ zu verlängern und begründete dies im Wesentlichen mit dessen Delinquenz. Das kantonale Sicherheits- und Justizdepartement wies einen hiergegen erhobenen Rekurs ab und auch das Verwaltungsgericht des Kantons St. Gallen bestätigte mit seinem Urteil vom 16. Dezember 2010 die Nichtverlängerung der Aufenthaltsbewilligung.
2. Die von X._ beim Bundesgericht eingereichte Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen das Urteil des Verwaltungsgerichts vom 16. Dezember 2010 ist offensichtlich unbegründet, weshalb sie im vereinfachten Verfahren nach <ref-law> mit summarischer Begründung erledigt werden kann.
2.1 Gemäss Art. 42 Abs. 1 AuG haben ausländische Ehegatten von Schweizerinnen Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn sie mit diesen zusammenwohnen. Nach eigenen Angaben in der Beschwerde ist der Beschwerdeführer seit August 2000 mit A._ verheiratet und wohnt mit ihr zusammen. Demgegenüber hat die Vorinstanz in Zweifel gezogen, ob sich der Beschwerdeführer überhaupt auf Art. 42 AuG berufen könne, da er mehrfach auch nach dem Jahre 2000 noch angegeben habe, ledig bzw. nur verlobt zu sein und von seiner angeblichen Ehefrau getrennt zu leben. Diese Feststellungen werden vom Beschwerdeführer nicht substantiiert bestritten. Letztlich kann aber offen bleiben, ob der Beschwerdeführer mit A._ verheiratet ist und mit ihr zusammen wohnt, da der angefochtene Entscheid auch dann nicht zu beanstanden ist, wenn grundsätzlich ein Anspruch gemäss Art. 42 Abs. 1 AuG bestehen sollte.
2.2 Gemäss Art. 51 Abs. 1 lit. b AuG erlischt der Anspruch des ausländischen Ehegatten eines Schweizers auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn Widerrufsgründe nach Art. 63 AuG vorliegen. Gemäss Art. 63 Abs. 1 lit. a in Verbindung mit Art. 62 lit. b AuG liegt ein Widerrufsgrund u.a. dann vor, wenn die ausländische Person zu einer längerfristigen Freiheitsstrafe verurteilt wurde. Als "längerfristig" gilt jede Freiheitsstrafe, deren Dauer ein Jahr überschreitet (<ref-ruling> E. 4.2 und E. 4.5 S. 379 ff.). Dieses Erfordernis ist hier erfüllt.
2.3 Der Beschwerdeführer bestreitet denn auch nicht, dass er durch sein Verhalten einen Widerrufsgrund i.S.v. Art. 63 AuG gesetzt hat. Er beruft sich einzig darauf, dass ihm die Verlängerung seiner Aufenthaltsbewilligung nicht zwingend verweigert werden müsse und die angeordnete Massnahme unverhältnismässig sei. In diesem Zusammenhang macht er im Wesentlichen geltend, dass von ihm mittlerweile keine gegenwärtige Gefährdung mehr ausgehe und er in der Schweiz persönlich und familiär stark verwurzelt sei.
2.4 Die Rüge ist unbegründet: Richtig ist wohl, dass eine Nichtverlängerung der Bewilligung nicht zwingend ist und aufgrund der gesamten Umstände des Einzelfalls verhältnismässig sein muss. Dies hat das Verwaltungsgericht aber nicht verkannt, sondern es hat die hier massgeblichen öffentlichen Interessen an einer Ausreise des Beschwerdeführers und dessen private Interessen an einem Verbleib in der Schweiz in sachgerechter Weise gewürdigt und es für zumutbar erachtet, dass der Beschwerdeführer in seine Heimat zurückkehrt. Massgeblich war dabei in erster Linie, dass der Beschwerdeführer trotz zahlreicher Bestrafungen und zwei fremdenpolizeilichen Verwarnungen immer weiter delinquiert hat und das schwerwiegendste Delikt - der qualifizierte Betäubungsmittelhandel - erst vor kurzer Zeit (von Februar 2008 bis zu seiner Verhaftung am 8. Mai 2008) begangen wurde. Angesichts der Schwere der begangenen Straftaten durfte das Verwaltungsgericht auch zum Schluss gelangen, dass den familiären Interessen des Beschwerdeführers und seiner Angehörigen keine entscheidende Bedeutung zukommt. Soweit sich der Beschwerdeführer vor Bundesgericht in diesem Zusammenhang auf die sog. "Reneja"-Praxis (<ref-ruling> E. 4.4 S. 382 f.; <ref-ruling> E. 4.1 S. 185) beruft und geltend macht, dass die bundesgerichtliche Rechtsprechung eine Nichtverlängerung der Aufenthaltsbewilligung in der Regel erst bei einer Verurteilung zu einer Freiheitsstrafe von zwei Jahren als verhältnismässig erachte, gehen seine Einwendungen ins Leere: Einerseits übersieht der Beschwerdeführer, dass er insgesamt zu Freiheitsstrafen von rund 26 1/2 Monaten verurteilt wurde. Andererseits ist ihm entgegenzuhalten, dass es sich bei dieser "Zweijahresregel" keinesfalls um eine feste Grenze handelt, die nicht über- oder unterschritten werden dürfte, sondern dass sich vielmehr die Abwägung der widerstreitenden öffentlichen und privaten Interessen im Einzelfall als entscheidend erweist (<ref-ruling> E. 4.4 S. 383; <ref-ruling> E. 4b S. 14).
2.5 Nach dem Ausgeführten ist die Beschwerde abzuweisen, und es kann ergänzend auf die zutreffenden Ausführungen der Vorinstanz verwiesen werden (<ref-law>).
3. Entsprechend diesem Verfahrensausgang hat der Beschwerdeführer die bundesgerichtlichen Kosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt und dem Sicherheits- und Justizdepartement des Kantons St. Gallen, dem Verwaltungsgericht des Kantons St. Gallen sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 26. Juli 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Zähndler