Erwägungen:
1. Der aus Mazedonien stammende, 1976 geborene X._ schloss am 1. Oktober 2000 in seiner Heimat eine sogenannte traditionelle (informelle) Ehe mit einer Landsfrau; er hat mit ihr zusammen eine gemeinsame, am 22. August 2002 geborene Tochter Y._.
Am 28. Mai 2003 reiste X._ in die Schweiz ein und heiratete gleichentags eine Schweizer Bürgerin, worauf er eine Aufenthaltsbewilligung für den Kanton Schwyz erhielt. Die Ehe wurde am 11. September 2007 geschieden. In der Folge widerrief die Ausländerrechtsbehörde des Kantons Schwyz die Aufenthaltsbewilligung; der Entscheid erwuchs in Rechtskraft. X._ konnte indessen weitere Aufenthaltsbewilligungen erhältlich machen. 2010 erhielt er von den Glarner Behörden mit Zustimmung des Bundesamtes für Migration eine bis 20. Juni 2015 gültige Arbeitsbewilligung; auf dem Hintergrund dieses arbeitsmarktlichen Vorentscheids erteile ihm der Kanton Glarus am 21. Mai 2010 eine bis 21. Juni 2011 befristete Aufenthaltsbewilligung.
Am 29. Oktober 2010 ersuchte X._ bei der Fachstelle Migration des Kantons Glarus um Nachzug für seine Tochter Y._ und deren Mutter, die er am 12. März 2009 nun noch zivilrechtlich geheiratet hatte. Die Fachbehörde schloss aus den gesamten Umständen, dass schon die seinerzeitige, auf die Ehe mit einer Schweizerin gestützte Bewilligung im Kanton Schwyz bzw. deren Verlängerung erschlichen worden war; nur auf dieser Grundlage und durch Verschweigen von wesentlichen Tatsachen sei X._ auch nach der Scheidung zu einer Bewilligung im Kanton Glarus gekommen. Mit Verfügung vom 18. März 2011 widerrief sie daher die Aufenthaltsbewilligung gestützt auf Art. 62 lit. a AuG. Die gegen diese Verfügung erhobene Beschwerde an das Departement für Sicherheit und Justiz des Kantons Glarus blieb erfolglos (Entscheid vom 13. September 2011). Am 28. März 2012 wies das Verwaltungsgericht des Kantons Glarus die gegen den Entscheid des Departements erhobene Beschwerde ab.
Mit subsidiärer Verfassungsbeschwerde vom 14. Mai 2012 beantragt X._ dem Bundesgericht, der Entscheid des Verwaltungsgerichts sei aufzuheben.
Es ist weder ein Schriftenwechsel noch sind andere Instruktionsmassnahmen angeordnet worden.
Das Gesuch um aufschiebende Wirkung wird mit dem vorliegenden instanzabschliessenden Urteil gegenstandslos.
2. 2.1 Ausgangspunkt des vorliegenden Verfahrens bildet die Verfügung der Fachstelle Migration des Kantons Glarus vom 18. März 2011, womit die Aufenthaltsbewilligung des Beschwerdeführers widerrufen worden ist. Diese war bis 21. Juni 2011 befristet und ist seit diesem Datum erloschen (Art. 61 Abs. 1 lit. c AuG). Insofern ist das Verfahren gegenstandslos. Bereits der Entscheid des Departements für Sicherheit und Justiz vom 13. September 2011 und mithin der Entscheid der Vorinstanz erweist sich im Ergebnis als solcher über die Nichtverlängerung der Aufenthaltsbewilligung: Erachtet die Behörde den Widerruf einer Bewilligung als gerechtfertigt, schützte sie erst recht eine Bewilligungsverweigerung. Wie der Beschwerdeführer selber einräumt, steht ihm kein Rechtsanspruch auf Bewilligungserteilung bzw. -verlängerung zu. Damit ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unzulässig (vgl. Art. 83 lit. c Ziff. 2 BGG) und bloss die subsidiäre Verfassungsbeschwerde gegeben. Zu diesem Rechtsmittel ist berechtigt, wer ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids hat (Art. 115 lit. b BGG). Fehlt es an einem Rechtsanspruch auf eine ausländerrechtliche Bewilligung, ist der Ausländer, dem eine solche verweigert wird, nicht in rechtlich geschützten Interessen betroffen, und er ist zur Verfassungsbeschwerde in der Sache selbst (materielle Bewilligungsfrage) nicht legitimiert; insbesondere ist er mit der Willkürbeschwerde nicht zu hören (grundlegend BGE 133 I 185). Kein mit Verfassungsbeschwerde anrufbares verfassungsmässiges Recht (vgl. Art. 116 BGG) ist das in der Beschwerde erwähnte Verhältnismässigkeitsgebot (BGE 134 I 153 E. 4.1 S. 156 f.).
Die Verfassungsbeschwerde erweist sich als offensichtlich unzulässig (Art. 108 Abs. 1 lit. a BGG), und es ist darauf mit Entscheid des Einzelrichters im vereinfachten Verfahren nach Art. 108 BGG nicht einzutreten.
2.2 Sollte mit dem Antrag, die Kosten seien auf die Gerichtskasse zu nehmen, um unentgeltliche Rechtspflege ersucht werden, wäre dem Begehren wegen Aussichtslosigkeit der Beschwerde und mangels Nachweises oder auch nur Geltendmachung der Bedürftigkeit nicht zu entsprechen (Art. 64 BGG).
Die Gerichtskosten (Art. 65 BGG) werden dem Beschwerdeführer auferlegt (Art. 66 Abs. 1 zweiter Satz BGG).
Demnach erkennt der Präsident:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons Glarus, I. Kammer, schriftlich mitgeteilt.
Lausanne, 18. Mai 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Feller