Sachverhalt:
A. Der 1964 geborene kosovarische Staatsangehörige X._ reiste am 27. September 1990 gemeinsam mit seiner damaligen Freundin, der 1974 geborenen Y._, illegal in die Schweiz ein und ersuchte hier ohne Erfolg um Asyl. Während Y._ wieder in ihre Heimat zurückkehrte, heiratete X._ am 11. April 1994 - vier Tage vor Ablauf der ihm angesetzten Ausreisefrist - die ursprünglich aus Bosnien-Herzegowina stammende Schweizerin Z._. Daraufhin erhielt er eine Aufenthaltsbewilligung zum Verbleib bei der Ehefrau. Die Ehe zwischen X._ und Z._ wurde am 16. Dezember 1999 geschieden. Die Aufenthaltsbewilligung von X._ wurde indes weiterhin verlängert, letztmals bis Dezember 2008. Am 30. Juni 2008 ersuchte X._ um Erteilung der Niederlassungsbewilligung. Im Rahmen der darauffolgenden Abklärungen stellte sich heraus, dass X._ bereits am 10. Januar 2001 Y._ geheiratet und gemeinsam mit ihr - teilweise noch während seiner Ehe mit Z._ - im Kosovo vier Kinder gezeugt hatte (geb. 1992, 1996, 1998 und 2000). Aufgrund dieser Informationen erachtete es das Ausländeramt des Kantons St. Gallen als erstellt, dass X._ den Behörden Tatsachen verschwiegen habe, welche für den Entscheid über Erteilung und Verlängerung der Aufenthaltsbewilligung wesentlich gewesen wären, und dass die Ehe von X._ mit Z._ als Scheinehe zu bezeichnen sei. Am 19. November 2008 verfügte das Ausländeramt deshalb die Nichtverlängerung der Aufenthaltsbewilligung von X._ und lehnte dessen Gesuch um Erteilung der Niederlassungsbewilligung ab.
B. Ein von X._ gegen diese Verfügung eingereichter Rekurs an das Sicherheits- und Justizdepartement des Kantons St. Gallen blieb erfolglos. Daraufhin beschwerte sich X._ beim Verwaltungsgericht des Kantons St. Gallen. Dieses wies die Beschwerde mit Urteil vom 17. Dezember 2009 ab.
C. Mit Eingabe vom 1. Februar 2010 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt die Aufhebung des vorinstanzlichen Entscheids und die Erteilung der Niederlassungsbewilligung. Eventualiter sei seine Aufenthaltsbewilligung zu verlängern. Subeventualiter sei die Angelegenheit zur Sachverhaltsergänzung bzw. zur Abnahme weiterer Beweise an die Vorinstanz zurückzuweisen.
Das Verwaltungsgericht und das Sicherheits- und Justizdepartement des Kantons St. Gallen sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde.

Erwägungen:
1. Nach <ref-law> ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten auf dem Gebiet des Ausländerrechts unzulässig gegen Entscheide betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt. Der Beschwerdeführer war während mehr als fünf Jahren mit einer Schweizerin verheiratet und lebte mit dieser zusammen. Er kann sich daher grundsätzlich auf die in Art. 42 Abs. 1 und Abs. 3 des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (Ausländergesetz, AuG; SR 142.20) statuierten Rechtsansprüche berufen (vgl. E. 2 hiernach) und das von ihm erhobene Rechtsmittel ist mithin zulässig. Ob die übrigen Eintretensvoraussetzungen erfüllt sind, kann offen bleiben, zumal sich die Beschwerde in jedem Fall als unbegründet erweist, wie die nachfolgenden Erwägungen zeigen.
2. Nach Art. 42 Abs. 1 und Abs. 3 AuG haben ausländische Ehegatten von Schweizerinnen Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn sie mit diesen zusammenwohnen, und nach einem ordnungsgemässen und ununterbrochenen Aufenthalt von fünf Jahren steht den Ehegatten ein Anspruch auf Erteilung der Niederlassungsbewilligung zu. Indessen ist zu beachten, dass diese Ansprüche nicht voraussetzungslos gelten; vielmehr erlöschen sie, wenn Widerrufsgründe nach Art. 63 AuG vorliegen (Art. 51 Abs. 1 lit. b AuG).
Der Widerrufsgrund von Art. 63 Abs. 1 lit. a AuG i.V.m. Art. 62 lit. a AuG ist erfüllt, wenn der Ausländer im Bewilligungsverfahren falsche Angaben macht oder wesentliche Tatsachen verschweigt. Nach Art. 90 lit. a AuG ist der Ausländer verpflichtet, der Behörde über alles, was für den Bewilligungsentscheid massgebend sein kann, wahrheitsgetreu Auskunft zu geben. Wie die Vorinstanz zutreffend ausgeführt hat, sind gemäss der ständigen bundesgerichtlichen Rechtsprechung nicht nur jene Umstände wesentlich, nach denen die Fremdenpolizei ausdrücklich fragt, sondern auch solche, von denen der Gesuchsteller wissen muss, dass sie für den Bewilligungsentscheid massgeblich sind (vgl. <ref-ruling> E. 4.1 S. 9).
Es ist unbestritten, dass der Beschwerdeführer das Einwohneramt Rorschach erst im Jahr 2008 von seiner erneuten Eheschliessung und den vier Kindern in Kenntnis setzte, welche er gemeinsam mit Y._ gezeugt hatte. Den Akten des Ausländeramtes ist zudem zu entnehmen, dass der Beschwerdeführer beim Ausfüllen der Gesuche um Verlängerung seiner Aufenthaltsbewilligung - teilweise trotz ausdrücklicher Fragestellung - die Existenz seiner im Ausland wohnhaften Kinder wahrheitswidrig verschwiegen hat. Ebenso hat der Beschwerdeführer auf diesen Formularen insgesamt achtmal nach seiner Wiederverheiratung im Jahre 2001 unrichtigerweise weiterhin "geschieden" als Zivilstand angegeben.
Entgegen der Ansicht des Beschwerdeführers muss es selbst einer gänzlich rechtsunkundigen Person ohne weiteres klar sein, dass das Vorhandensein einer ausserehelichen Beziehung und von während der Ehe geborenen ausserehelichen Kindern in fremdenpolizeilicher Hinsicht von Relevanz ist (vgl. Urteile 2C_72/2009 vom 5. März 2009 E. 3.2; 2A.423/2006 vom 26. Oktober 2006 E. 2.1, mit Hinweisen). Gleiches gilt bezüglich der Heirat des Beschwerdeführers mit der Kindsmutter kurze Zeit nach der Scheidung von seiner schweizerischen Ehefrau. Nicht überzeugend ist sodann sein Einwand, er sei im Umgang mit Formularen unbeholfen und lasse sich dabei von Kollegen helfen: Es obliegt vielmehr der alleinigen Verantwortung des Beschwerdeführers, sicherzustellen dass die Angaben auf dem von ihm unterzeichneten Gesuch vollständig sind und der Wahrheit entsprechen.
Aufgrund der oben aufgezeigten Umstände kann der Beschwerdeführer das Bestehen einer Täuschungsabsicht nicht mit Erfolg bestreiten. Er hat im Bewilligungsverfahren vorsätzlich falsche Angaben gemacht, wesentliche Tatsachen bewusst verschwiegen und durch sein Verhalten demzufolge den Widerrufsgrund von Art. 63 Abs. 1 lit. a AuG i.V.m. Art. 62 lit. a AuG erfüllt, weshalb ihm kein Anspruch auf Verlängerung der Aufenthaltsbewilligung bzw. Erteilung der Niederlassungsbewilligung mehr zusteht.
3. Wie das Verwaltungsgericht richtigerweise festgehalten hat, ist der Beschwerdeführer erst im Alter von 26 Jahren in die Schweiz eingereist und hat seine prägenden Jahre mithin im Kosovo verbracht. Auch nach seiner Einreise in die Schweiz und der Heirat mit einer schweizerischen Staatsangehörigen hat er sich häufig im Kosovo aufgehalten und dort - wie aufgezeigt - eine eheähnliche Beziehung geführt bzw. eine Familie gegründet. Die daraus hervorgegangenen Kinder und die Kindsmutter, seine heutige Ehefrau, leben noch immer im Kosovo. Es kann daher ohne weiteres davon ausgegangen werden, dass er sich bei einer Rückkehr rasch wieder in die dortige Gesellschaft zu integrieren vermag.
Eine enge Beziehung des Beschwerdeführers zur Schweiz ist dagegen nicht ersichtlich: Sein langer Aufenthalt von inzwischen rund 20 Jahren wurde nur durch seine bewusste Täuschung der schweizerischen Behörden ermöglicht. In der Schweiz wurde er zudem in erheblichem Ausmass straffällig: Von Bedeutung ist in diesem Zusammenhang insbesondere die am 19. Dezember 1995 durch das Bezirksgericht Arbon erfolgte Verurteilung zu einer bedingt vollziehbaren Gefängnisstrafe von zwölf Monaten wegen mehrfacher Widerhandlung gegen das Betäubungsmittelgesetz. Gegen den Beschwerdeführer bestehen sodann Verlustscheine in beträchtlicher Höhe.
Bei dieser Sachlage erweisen sich die Nichtverlängerung der Aufenthaltsbewilligung des Beschwerdeführers und die Verweigerung der Niederlassungsbewilligung auch als verhältnismässig (vgl. Art. 96 Abs. 1 AuG).
4. Da sich die gegen den Beschwerdeführer angeordneten Massnahmen bereits aufgrund des bisher Ausgeführten als zulässig erweisen, kann offen bleiben, ob die Verbindung zwischen dem Beschwerdeführer und Z._ als Scheinehe zu bezeichnen ist. Auf die diesbezüglichen Ausführungen des Beschwerdeführers muss daher nicht mehr eingegangen werden, und es stossen aus demselben Grund auch die in diesem Zusammenhang erhobenen Rügen einer Verletzung des rechtlichen Gehörs ins Leere.
5. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf überhaupt eingetreten werden kann. Dem Ausgang des Verfahrens entsprechend, wird der Beschwerdeführer kostenpflichtig (Art. 65 f. BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Kantonalen Ausländeramt St. Gallen, dem Sicherheits- und Justizdepartement sowie dem Verwaltungsgericht des Kantons St. Gallen und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 23. Juni 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Zähndler