Erwägungen:
1. Mit Verfügung vom 18. Oktober 2010 widerrief das Ausländeramt des Kantons St. Gallen die Niederlassungsbewilligung des serbischen Staatsangehörigen X._ (geb. 1966) und hielt ihn an, die Schweiz bis zum 4. Januar 2011 zu verlassen. X._ gelangte hiergegen erfolglos an das kantonale Justiz- und Sicherheitsdepartement und das Verwaltungsgericht des Kantons St. Gallen. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt er dem Bundesgericht, dessen Urteil vom 31. Mai 2011 aufzuheben, festzustellen, dass die Voraussetzungen für einen Widerruf der Niederlassungsbewilligung nicht gegeben seien, und den Kanton St. Gallen anzuweisen, die Bewilligung nicht zu widerrufen. Seinem Gesuch um aufschiebende Wirkung wurde mit Präsidialverfügung vom 12. Juli 2011 entsprochen. Die beteiligten Vorinstanzen und das Bundesamt für Migration schliessen auf Abweisung der Beschwerde.
2. Die Beschwerde erweist sich als offensichtlich unbegründet und kann im vereinfachten Verfahren nach <ref-law> mit summarischer Begründung erledigt werden:
2.1 Gegen letztinstanzliche Entscheide über den Widerruf der Niederlassungsbewilligung ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig (<ref-ruling> E. 1.2.1 S. 4). Nicht einzutreten ist jedoch auf das Feststellungsbegehren, welchem neben den rechtsgestaltenden Anträgen keine selbständige Bedeutung zukommt, womit es an einem schutzwürdigen Interesse an dessen Beurteilung fehlt (<ref-law>; <ref-ruling> E. 2c S. 303 mit Hinweisen).
2.2 Die Niederlassungsbewilligung kann widerrufen werden, wenn die ausländische Person im Bewilligungsverfahren falsche Angaben gemacht oder wesentliche Tatsachen verschwiegen hat (Art. 63 Abs. 1 lit. a in Verbindung mit Art. 62 lit. a AuG). Dies muss in der Absicht geschehen sein, den Aufenthalt oder die Niederlassung bewilligt zu erhalten. Der Ausländer ist verpflichtet, den Behörden wahrheitsgetreu über alles Auskunft zu geben, was für den Bewilligungsentscheid wichtig sein könnte (Art. 90 AuG). Wesentlich sind dabei nicht nur Umstände, nach denen der Betroffene ausdrücklich gefragt wird, sondern auch Aspekte, von denen der Gesuchsteller wissen muss, dass sie für den Bewilligungsentscheid massgeblich sein dürften. Es ist nicht erforderlich, dass die Bewilligung bei richtigen und vollständigen Angaben notwendigerweise zu verweigern gewesen wäre (Urteil 2C_837/2009 vom 27. Mai 2010 E. 2 mit Hinweisen).
2.3 Der Beschwerdeführer heiratete am 6. August 2002 in seiner Heimat eine Landsfrau (geb. 1952), welche über die Niederlassungsbewilligung in der Schweiz verfügt, und reiste am 23. März 2004 im Familiennachzug in die Schweiz ein, wo ihm die Aufenthaltsbewilligung zum Verbleib bei seiner Ehefrau erteilt wurde. Am 19. August 2008 liess sich das Ehepaar vom Kreisgericht Gjilan, Kosovo, auf gemeinsames Begehren hin scheiden. Im März 2009 beantragte der Beschwerdeführer die Erteilung der Niederlassungsbewilligung. Gestützt auf seine Angabe, (nach wie vor) verheiratet zu sein, erteilte ihm das Ausländeramt des Kantons St. Gallen am 23. März 2009 die nachgesuchte Bewilligung. Durch das Verheimlichen der bereits im Vorjahr erfolgten Scheidung hat der Beschwerdeführer - unabhängig davon, ob der Anspruch auf die Niederlassungsbewilligung gemäss Art. 43 Abs. 2 AuG zu jenem Zeitpunkt bereits entstanden war - eine für die Bewilligungserteilung erkennbar zentrale Tatsache den zuständigen Behörden gegenüber verschwiegen. Bereits damit wäre der genannte Widerrufsgrund an sich erfüllt.
2.4 Die Vorinstanz ist ausserdem gestützt auf eine Reihe von Indizien zum Ergebnis gekommen, dass die Ehe des Beschwerdeführers nur zum Schein eingegangen wurde, was er den Ausländerbehörden durch falsche Angaben habe vorenthalten wollen. Das Vorliegen einer Scheinehe, bei welcher die Ehegatten von vornherein keine echte eheliche Gemeinschaft beabsichtigen, sondern einzig bezwecken, dem anderen Ehegatten zu einer Bewilligung zu verhelfen, lässt die betreffenden Bewilligungsansprüche (mitsamt allfälligen Ansprüchen nach Auflösung der Ehe) erlöschen (Art. 51 Abs. 2 lit. a in Verbindung mit Art. 43 und 50 AuG). Bei den Indizien handelt es sich um tatsächliche Feststellungen (<ref-ruling> E. 2.3 S. 152), welche für das Bundesgericht verbindlich sind, es sei denn, sie seien offensichtlich unrichtig, d.h. willkürlich, erhoben worden, was vom Beschwerdeführer darzulegen ist (<ref-law>). Solches ist vorliegend nicht ersichtlich. Die Vorinstanz hat festgestellt, dass der Beschwerdeführer und seine damalige Ehefrau bereits komplett widersprüchliche Angaben in Bezug auf die Hochzeit gemacht haben. Im Weiteren war den Eheleuten das Vorleben der Partner nicht bekannt; so wusste der Beschwerdeführer etwa nicht, dass seine (vormalige) Ehefrau vorher bereits einmal verheiratet war. Dieser wiederum war weder bekannt, was der Beschwerdeführer vor der Einreise noch während der Ehe genau gearbeitet hat. Sodann bestand auch kein gemeinsamer Freundeskreis und die Ehegatten finanzierten ihren Lebensunterhalt getrennt. Ins Gewicht fällt im Weiteren insbesondere, dass die Eheleute die meiste Zeit nicht in der ehelichen Wohnung in St. Gallen zusammengelebt haben, da der Beschwerdeführer im November 2004 erst eine Stelle in Lengnau/AG und später in Zürich angenommen hat, wobei er sich ab Anfang 2007 in Regensdorf/ZH als Wochenaufenthalter angemeldet hatte, bereits zuvor aber den weiten Weg kaum täglich zurückgelegt haben dürfte. Mit der Vorinstanz ist davon auszugehen, dass die Ehegatten - der Beschwerdeführer als ungelernter Bauarbeiter, seine Ehefrau als im Gastgewerbe Beschäftigte - während der fünfjährigen Ehedauer auch an einem gemeinsamen Ort eine Anstellung hätten finden können, wenn sie tatsächlich hätten zusammenleben wollen. Eine Ausnahme vom Erfordernis des Zusammenwohnens (Art. 49 AuG) lag damit nicht vor. Schliesslich stellte sich laut vorinstanzlicher Feststellung heraus, dass die Ehefrau des Beschwerdeführers in der (angeblichen) ehelichen Wohnung in St. Gallen tatsächlich nicht mit ihm, sondern mit dessen Vater zusammenwohnte. Entsprechendes ergab sich aus den Daten des Einwohneramts, der gemeinsamen Anschrift des Briefkastens/der Hausklingel und wurde der Polizei gegenüber seitens Hauswartehepaar bestätigt; letzteres gab zudem an, diese würden schon lange zusammenleben und seien soeben, wie jedes Jahr, zusammen für einen Monat in ihre Heimat gefahren. Dem Beschwerdeführer gelingt es mit seinen Ausführungen nicht, diese tatsächlichen Feststellungen als offensichtlich unrichtig erscheinen zu lassen. Ebenso wenig zu beanstanden ist der von der Vorinstanz aus diesen Indizien gezogene Schluss, wonach es sich bei der Ehe zwischen dem Beschwerdeführer und seiner Exfrau um eine blosse Scheinehe handelt.
2.5 Entgegen den Ausführungen des Beschwerdeführers ist der Widerruf seiner Niederlassungsbewilligung nicht unverhältnismässig: Er ist erst im Alter von 38 Jahren in die Schweiz gekommen und ist mit den Verhältnissen seines Heimatlandes, wo er zuvor ununterbrochen gewohnt hat, nach wie vor vertraut. Zwar hat sich der Beschwerdeführer in einem gewissen Mass integriert, indem er berufstätig ist, keine Schulden hat und für seinen Lebensunterhalt selber aufkommt. Von einer gelungenen Integration in sprachlicher Hinsicht kann jedoch nach den Feststellungen der Vorinstanz nicht gesprochen werden. Auch steht sein Alter einer Rückkehr ins Heimatland nicht entgegen. Für alles Weitere kann auf den angefochtenen Entscheid verwiesen werden (<ref-law>). Der Beschwerdeführer bringt, soweit sich seine Ausführungen nicht in unbeachtlicher appellatorischer Kritik erschöpfen (vgl. <ref-law>; <ref-ruling> E. 2.1 und 2.2 S. 245 f. mit Hinweisen), nichts vor, was die Darlegungen der Vorinstanz als bundesrechtswidrig erscheinen liesse.
3. Dem Verfahrensausgang entsprechend hat der unterliegende Beschwerdeführer die Kosten für das bundesgerichtliche Verfahren zu tragen (<ref-law>). Es sind keine Parteientschädigungen geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 1'500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt des Kantons St. Gallen, dem Sicherheits- und Justizdepartement des Kantons St. Gallen, dem Verwaltungsgericht des Kantons St. Gallen und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 15. Dezember 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Moser