Erwägungen:
1. X._ gelangte gegen drei Notenverfügungen mit Rekurs an die Rekurskommission der Universität St. Gallen. Das Gesuch um unentgeltliche Rechtspflege für das Rekursverfahren wies das Sicherheits- und Justizdepartement des Kantons St. Gallen mit Verfügung vom 20. November 2012 ab. Gegen die ihm am 22. November 2012 eröffnete Verfügung gelangte X._ am 8. Dezember 2012 - bei einer Beschwerdefrist von 14 Tagen - verspätet mit Beschwerde an das Verwaltungsgericht des Kantons St. Gallen. Er wurde mit Schreiben vom 11. Dezember 2012 auf die Fristversäumnis aufmerksam gemacht, wobei ihm Gelegenheit eingeräumt wurde, zur Verspätung bis zum 3. Januar 2013 Stellung zu nehmen, unter Hinweis auf die Möglichkeit eines kostenlosen Rückzugs der Beschwerde. Mit Entscheid vom 21. Januar 2013 trat das Verwaltungsgericht auf die Beschwerde nicht ein (Ziffer 1 des Entscheiddispositivs). Die amtlichen Kosten auferlegte es X._ (Ziffer 2 des Entscheiddispositivs). Die Kostenauflage stützte es auf Art. 95 Abs. 1 des St. Galler Gesetzes vom 16. Mai 1965 über die Verwaltungsrechtspflege (VRP) sowie auf Art. 7 Ziff. 211 der Gerichtskostenverordnung vom 9. Dezember 2010; zudem wies es darauf hin, dass vor Verwaltungsgericht kein Gesuch um unentgeltliche Rechtspflege gestellt worden sei und einem solchen zufolge verspäteter Beschwerdeeingabe ohnehin nicht hätte entsprochen werden können.
Mit Rechtsschrift vom 22. Februar 2013 beantragt X._ dem Bundesgericht, Ziffer 2 des Dispositivs (Kostenauflage) des angefochtenen Entscheids sei aufzuheben.
Es ist weder ein Schriftenwechsel noch sind andere Instruktionsmassnahmen angeordnet worden.
2. 2.1 Streitig ist ein Nichteintretensentscheid im einem Verfahren betreffend die Verweigerung der unentgeltlichen Rechtspflege. Dem Verfahren liegt ein Rekurs zugrunde, der Notenverfügungen und mithin Entscheide über das Ergebnis von Prüfungen zum Gegenstand hat; die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist somit vorliegend gestützt auf Art. 83 lit. t BGG unzulässig. Offen steht allein die subsidiäre Verfassungsbeschwerde (<ref-law>). Mit diesem Rechtsmittel kann (nur) die Verletzung von verfassungsmässigen Rechten gerügt werden. Solche Rügen bedürfen spezifischer Geltendmachung und Begründung: Das Bundesgericht prüft sie nur insofern, als sie in der Beschwerde vorgebracht und begründet werden (<ref-law>).
2.2 Gemäss <ref-law> klärt das Gericht die nicht anwaltlich vertretene Partei über die mutmassliche Höhe der Prozesskosten sowie über die unentgeltliche Rechtspflege auf. Der Beschwerdeführer macht einzig geltend, diese Norm sei in seinem Fall nicht angewendet worden.
In E. 1.2 des angefochtenen Entscheids hat das Verwaltungsgericht festgehalten, dass für den Beginn, die Berechnung und Einhaltung der Beschwerdefrist von 14 Tagen (Art. 64 Abs. 1 in Verbindung mit Art. 47 Abs. 1 VRP) sinngemäss die Vorschriften der ZPO gelten. Dies ergibt sich aus Art. 64 Abs. 1 in Verbindung mit Art. 30 Abs. 1 VRP. Für die Frage der Prozesskosten enthält das VRP keinen Verweis auf die ZPO, anders als für die ausseramtlichen Kosten und die unentgeltliche Rechtspflege, wofür gemäss Art. 98ter VRP bzw. Art. 99 Abs. 2 VRP die Vorschriften dieses Bundeserlasses "sachgemässe" Anwendung finden. Der Rüge stösst schon darum ins Leere. Ohnehin aber zeigt der Beschwerdeführer nicht auf, welches verfassungsmässige Recht und inwiefern es durch den angefochtenen Entscheid verletzt worden sein soll. Er kommt damit der bei der subsidiären Verfassungsbeschwerde geltenden strengen Begründungspflicht von <ref-law> nicht nach. Selbst wenn aber das ordentliche Rechtsmittel, die Beschwerde in öffentlich-rechtlichen Angelegenheiten, offenstehen würde, fehlte es an einer hinreichenden Beschwerdebegründung:
Vorausgesetzt, das kantonale Gesetz über die Verwaltungsrechtspflege verwiese auch hinsichtlich der Kostenerhebung auf die ZPO, könnte nicht unmittelbar die Verletzung von <ref-law> als bundesrechtliche Norm gerügt werden; durch einen solchen Verweis im kantonalen Recht würde die ZPO nämlich bloss zu ergänzendem kantonalem Recht (vgl. <ref-ruling> E. 1a S.80 mit Hinweisen, Urteile 8C_699/2012 vom 19. November 2012 E. 2 und 4A_278/2011 vom 25. August 2011 E. 2.1), dessen Verletzung - selbst mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten - nicht direkt gerügt werden kann (<ref-law>). Vielmehr müsste auch in diesem Fall dargelegt werden, inwiefern <ref-law> als kantonales Recht in einer gegen verfassungsmässige Rechte verstossenden Weise, namentlich willkürlich, angewendet worden sein soll (<ref-ruling> E. 1.4.1 S. 53, 65 E. 1.3.1 S. 68; <ref-ruling> E. 4.3 S. 521 f.; <ref-ruling> E. 4.2.2 S. 158; <ref-ruling> E. 3 S. 351 f.; <ref-ruling> E. 2.3 S. 466); an einer solchen Rüge fehlt es. Inwiefern bezüglich der Festsetzung der Höhe der Gerichtskosten mit Fr. 500.-- und der Anwendung der diesbezüglich einschlägigen Norm, Art. 7 Ziff. 221 der Gebührenverordnung, der einen Gebührenrahmen von Fr. 300 bis 3'000 vorsieht, verfassungsmässige Rechte verletzt worden sein könnten, wird nicht dargetan und ist nicht ersichtlich. Ergänzend ist darauf hinzuweisen, dass das Verwaltungsgericht dem Beschwerdeführer, unter Hinweis auf die vermutliche Unzulässigkeit der Beschwerde, die Möglichkeit eingeräumt hatte, diese ohne Kostenfolge zurückzuziehen, wovon er keinen Gebrauch gemacht hat.
2.3 Die Beschwerde enthält offensichtlich keine hinreichende Begründung (<ref-law>), sodass darauf mit Entscheid des Einzelrichters im vereinfachten Verfahren nach <ref-law> nicht einzutreten ist.
2.4 Dem auch für das bundesgerichtliche Verfahren gestellten Gesuch um unentgeltliche Rechtspflege kann schon darum nicht entsprochen werden, weil die Beschwerde von vornherein aussichtslos erschien (vgl. <ref-law>). Damit sind die Gerichtskosten dem Beschwerdeführer als unterliegende Partei aufzuerlegen (Art. 66 Abs. 1 erster Satz BGG), wobei die in <ref-law> vorgesehene Minimalgebühr zu erheben ist.

Demnach erkennt der Präsident:
1. Auf die Beschwerde wird nicht eingetreten.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 200.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 25. Februar 2013
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Feller