Erwägungen:
1. 1.1 Der aus dem Kosovo stammende X._, geb. 1974, versuchte verschiedentlich erfolglos, in der Schweiz zu einem Anwesenheitsstatus zu gelangen, etwa 1992 zwecks Zusammenlebens mit seinem hier mit einer Aufenthaltsbewilligung weilenden Vater oder 1998 im Rahmen eines Asylverfahrens. Nachdem er im April 2002 die in der Schweiz niedergelassene Landsfrau Y._ geheiratet hatte, erhielt er am 12. Juli 2002 im Rahmen des Familiennachzugs die Aufenthalts- und am 13. August 2007 die Niederlassungsbewilligung. Nach der Scheidung von Y._ am 14. Dezember 2007 heiratete X._ am 19. August 2008 seine Landsfrau Z._ und anerkannte gleichzeitig deren am 23. September 2005 geborenen Sohn S._ als sein Kind.
1.2 Mit Verfügung vom 26. Mai 2009 widerrief das Ausländeramt des Kantons St. Gallen die Niederlassungsbewilligung von X._. Das Sicherheits- und Justizdepartement des Kantons St. Gallen wies am 25. August 2009 einen dagegen gerichteten Rekurs ab. Mit Urteil vom 28. Januar 2010 wies das Verwaltungsgericht des Kantons St. Gallen eine dagegen erhobene Beschwerde ab.
1.3 Mit als Beschwerde bezeichneter Eingabe vom 8. März 2010 an das Bundesgericht beantragt X._ im Wesentlichen, das Urteil des Verwaltungsgerichts sei aufzuheben. Das Sicherheits- und Justizdepartement sowie das Verwaltungsgericht des Kantons St. Gallen und das Bundesamt für Migration schliessen auf Abweisung der Beschwerde.
1.4 Mit Verfügung vom 30. März 2010 erteilte der Präsident der II. öffentlich-rechtlichen Abteilung der Beschwerde die aufschiebende Wirkung.
2. Gegen den kantonal letztinstanzlichen Entscheid über den Widerruf einer Niederlassungsbewilligung steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht nach <ref-law> offen (<ref-ruling> E. 1.2.1 S. 4). Nicht eingetreten werden kann jedoch auf die vorliegende Beschwerde, soweit der Beschwerdeführer damit einen schwerwiegenden persönlichen Härtefall geltend macht, ist insofern die Beschwerde an das Bundesgericht doch ausgeschlossen (vgl. <ref-law>).
3. 3.1 Nach Art. 63 Abs. 1 lit. a in Verbindung mit Art. 62 lit. a AuG kann die Niederlassungsbewilligung widerrufen werden, wenn der Ausländer oder sein Vertreter im Bewilligungsverfahren falsche Angaben macht oder wesentliche Tatsachen verschwiegen hat. Dies gilt unter anderem für den Fall, dass sich nachträglich Indizien ergeben, welche die mittlerweile aufgelöste Ehe, auf die sich der Ausländer für den Erhalt der Niederlassungsbewilligung berufen hat, als Scheinehe oder als bloss aus fremdenpolizeilichen Gründen aufrechterhaltene Ehe erscheinen lassen. Der entsprechende Rechtsmissbrauch führt zum Erlöschen des Bewilligungsanspruchs (vgl. Art. 51 Abs. 2 AuG). Gemäss Art. 90 AuG ist der Ausländer verpflichtet, der Behörde wahrheitsgetreu über alles Auskunft zu geben, was für den Bewilligungsentscheid massgebend sein kann. Wesentlich sind dabei nicht nur Umstände, nach denen die Fremdenpolizei ausdrücklich fragt, sondern auch solche, von denen der Gesuchsteller wissen muss, dass sie für den Bewilligungsentscheid massgeblich sind. Dazu gehört insbesondere auch die Tatsache, dass der Betroffene aussereheliche Kinder hat (vgl. die Urteile des Bundesgerichts 2C_651/2009 vom 1. März 2010 E. 4 und 2C_243/2008 vom 18. Juni 2008 E. 2.3).
3.2 Wie das Verwaltungsgericht ausführlich und überzeugend darlegt, gibt es im vorliegenden Fall etliche Anhaltspunkte für eine Scheinehe. Dazu zählen verschiedene Diskrepanzen in den Aussagen des Beschwerdeführers und seiner früheren Ehefrau, die mangelnden Kenntnisse derselben über die persönlichen Verhältnisse des Beschwerdeführers, der Umstand, dass der Beschwerdeführer früher mehrmals erfolglos versucht hatte, zu einem Anwesenheitsstatus in der Schweiz zu gelangen, der weitere zeitliche Ablauf, insbesondere die Scheidung kurz nach Erreichen der fünfjährigen Frist für den Erwerb des Anspruchs auf Niederlassungsbewilligung, sowie die Anerkennung eines während der ersten Ehe geborenen ausserehelichen Sohnes, dessen Mutter der Beschwerdeführer kurze Zeit später heiratete, obwohl es sich angeblich lediglich um eine Ferienbeziehung gehandelt haben soll. Insgesamt rechtfertigen diese Umstände die Annahme, dass der Beschwerdeführer rechtsmissbräuchlich zu einer Niederlassungsbewilligung gelangt ist.
3.3 Ist das Vorliegen einer Scheinehe erstellt, muss auch davon ausgegangen werden, dass der Beschwerdeführer die Ausländerbehörden im Verfahren der Erteilung der Niederlassungsbewilligung über die massgeblichen Umstände getäuscht hat. Nicht nur hat er die wahren Verhältnisse über seine "eheliche" Beziehung verschleiert, sondern auch die Existenz eines ausserehelich gezeugten Kindes verschwiegen, obwohl offensichtlich war und ihm klar sein musste, dass es sich dabei um wesentliche Tatsachen handelte.
3.4 Der Widerruf der Niederlassungsbewilligung ist sodann verhältnismässig. Der Beschwerdeführer verbrachte den Grossteil seines Lebens und insbesondere seine Kindheit in der Heimat und lebt noch nicht allzu lange in der Schweiz. Seine jetzige Frau und sein Sohn sowie weitere Angehörige wie seine Mutter und sein Bruder befinden sich im Kosovo. Eine besonders intensive und erfolgreiche Integration in der Schweiz ist nicht ersichtlich. Eine Rückkehr in seine Heimat ist dem Beschwerdeführer ohne weiteres zumutbar. Dem steht auch sein Gesundheitszustand nicht entgegen.
3.5 Was der Beschwerdeführer sonst noch vorbringt, vermag an dieser Einschätzung nichts zu ändern. Der angefochtene Entscheid verletzt mithin Bundesrecht nicht.
4. 4.1 Die Beschwerde erweist sich als offensichtlich unbegründet und ist im vereinfachten Verfahren nach <ref-law> abzuweisen, soweit darauf eingetreten werden kann. Ergänzend wird auf die Erwägungen im angefochtenen Entscheid verwiesen (<ref-law>).
4.2 Der unterliegende Beschwerdeführer stellt ein Gesuch um unentgeltliche Rechtspflege. Dieses ist indessen wegen Aussichtslosigkeit seiner Begehren abzuweisen (vgl. <ref-law>). Angesichts des Verfahrensausgangs sind die Kosten des bundesgerichtlichen Verfahrens damit dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1, Art. 65 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Verfahrensbeteiligten sowie dem Verwaltungsgericht des Kantons St. Gallen und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 16. Juli 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Uebersax