Sachverhalt: A. A.a. Mit Verfügung vom 20. April 2009 widerrief das Ausländeramt des Kantons St. Gallen (heute: Migrationsamt) die Niederlassungsbewilligung von A._ und wies diesen an, die Schweiz am Tag der Beendigung der am 9. November 2006 durch das Bezirksgericht Dielsdorf angeordneten ambulanten Massnahme zu verlassen. Die hiegegen erhobenen Rechtsmittel blieben erfolglos. Bei der genannten Verfügung blieb es auch, nachdem das Migrationsamt zwischenzeitlich eine frühere Wegweisung angeordnet, das kantonale Verwaltungsgericht aber die alten Verhältnisse wieder hergestellt hatte. Am 4. November 2011 teilte das Migrationsamt A._ mit, die ambulante Massnahme sei am 19. Dezember 2011 beendet und er habe deshalb die Schweiz an diesem Tag zu verlassen. A.b. Mit Eingabe vom 1. Dezember 2011 ersuchte A._ um Wiedererwägung der Verfügung vom 20. April 2009 betreffend Widerruf der Niederlassungsbewilligung. Am 5. Dezember 2011 trat das Migrationsamt auf das Gesuch nicht ein, wurde aber rechtsmittelweise verpflichet, dies zu tun (Entscheid des Justiz- und Sicherheitsdepartements vom 21. März 2012). Daraufhin wies das Migrationsamt das Gesuch am 29. Juni 2012 ab. Den hiegegen erhobenen Rekurs wies das Justiz- und Sicherheitsdepartement am 16. April 2013 ebenfalls ab, soweit es darauf eintrat. A.c. A._ führte gegen diesen Entscheid mit Eingabe vom 1. Mai 2013 über seinen generalbevollmächtigten Rechtsvertreter Beschwerde beim Verwaltungsgericht. Dessen Präsident forderte diesen mit verfahrensleitender Verfügung vom 6. Mai 2013 auf, bis zum 23. Mai 2013 einen Kostenvorschuss von Fr. 2'000.-- zu leisten, ansonsten das Verfahren am Protokoll abgeschrieben werde. Der Kostenvorschuss wurde nicht bezahlt. Mit Entscheid vom 3. Juni 2013 schrieb der Präsident des Verwaltungsgerichts die Beschwerde deshalb wegen Nichtleistung des Kostenvorschusses ab. B. Mit Eingabe vom 7. Juni 2013 stellte A._ über seinen Rechtsvertreter beim Verwaltungsgericht ein Fristwiederherstellungsgesuch. Er machte im Wesentlichen geltend, seine Ehefrau habe am 8. Mai 2013 die Kanzlei seines Rechtsvertreters aufgesucht, um verschiedene Unterlagen vorbeizubringen. Dort sei ihr eine Kopie der Kostenvorschussverfügung vom 6. Mai 2013 zusammen mit dem Originaleinzahlungsschein ausgehändigt worden und der Rechtsvertreter habe ihr dargelegt, dass der Vorschuss bis zur genannten Frist bezahlt werden müsse. In grosser Not und Sorge, dass ihr der Ehemann bei einem negativen Ausgang des Verfahrens entrissen werde, habe sie offenbar auf der Heimfahrt alle diese Papiere verlegt und sich auch nicht mehr an den Inhalt der Besprechung mit dem Rechtsvertreter zu erinnern vermocht. So habe er - der Ehemann - vorerst nichts von der ihm auferlegten Vorschusspflicht erfahren und davon erst am 4. Juni 2013 - unmittelbar nach Eintreffen des Abschreibungsentscheides - davon vernommen. Wie zwei ärztliche Atteste vom 5. Juni 2013 jedoch belegten, sei seine Ehefrau wegen einer mittelgradigen Depression in Behandlung, wobei diese Störungen Konzentrationsprobleme, Vergesslichkeit und Müdigkeit verursachen könnten. Seine Partnerin stehe auch unter dem Einfluss von starken Psychopharmaka. Der hier zu beklagende Säumnisgrund liege daher in einer gegen aussen kaum wahrnehmbaren psychischen Störung seiner Ehefrau. Daher wäre es unannehmbar und stossend, ihn daran zu hindern, sein seit Jahren pendentes Gesuch um Wiedererwägung eines Widerrufs der Niederlassungsbewilligung materiell prüfen zu lassen, ausgerechnet einzig und allein deshalb, weil seiner Ehefrau ein schweres Missgeschick unterlaufen sei. Mit Entscheid vom 25. Juni 2013 wies das Verwaltungsgericht des Kantons St. Gallen das Fristwiederherstellungsgesuch ab. C. Mit Eingabe vom 27. August 2013 führt A._ "Beschwerde / Verfassungsbeschwerde" beim Bundesgericht mit den Anträgen, den letztgenannten Entscheid aufzuheben und ihm eine neue angemessene Frist zur Leistung des Kostenvorschusses anzusetzen, nach dessen Zahlung das Verfahren vor Verwaltungsgericht wieder aufzunehmen und fortzuführen sei. Eventuell sei die Angelegenheit zur Neubeurteilung im Sinne der Erwägungen an die Vorinstanz zurückzuweisen. Das Sicherheits- und Justizdepartement des Kantons St. Gallen sowie das Verwaltungsgericht des Kantons St. Gallen beantragen Abweisung der Beschwerde.