Sachverhalt:
A.
A._ (geb. 1978) verfügte wie seine Frau und seine beiden Kinder über eine Aufenthaltsbewilligung. Am 24. September 2013 wies das Migrationsamt des Kantons St. Gallen die Gesuche um Verlängerung der Bewilligungen ab. Die dagegen erhobenen Rekurse wurden vom Sicherheits- und Justizdepartement des Kantons St. Gallen antragsgemäss vereinigt. Während des Rekursverfahrens, am 26. November 2013, teilte der Rechtsvertreter dem Sicherheits- und Justizdepartement mit, das Mandat sei erloschen. Die Frist zur Ergänzung der Rekurseingabe und zur Bezahlung des Kostenvorschusses wurde bis zum 11. Dezember 2013 erstreckt, wobei die Verfügung an A._ adressiert und eingeschrieben versandt wurde. Die Sendung wurde nicht abgeholt, weshalb sie A._ am 20. Dezember 2013 nochmals mit A-Post zugestellt wurde. Infolge unbenutzten Ablaufs der Frist schrieb das Sicherheits- und Justizdepartement die Rekursverfahren am 15. Januar 2014 ab. Nachdem auch diese eingeschrieben versendete Verfügung nicht abgeholt worden war, wurde sie A._ am 29. Januar 2014 nochmals mit A-Post zugestellt.
B.
Am 8. Mai 2014 beantragte A._ durch seinen erneut mandatierten Rechtsvertreter beim Sicherheits- und Justizdepartement die Wiederherstellung der Frist zur Ergänzung der Rekurseingabe und zur Leistung des Kostenvorschusses. Er teilte mit, seine Ehefrau und die Kinder würden durch einen anderen Rechtsanwalt vertreten. Das Sicherheits- und Justizdepartement wies das Gesuch am 5. Juni 2014 ab. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons St. Gallen am 16. September 2014 ab.
C.
A._ erhebt am 27. Oktober 2014 Beschwerde beim Bundesgericht mit den Anträgen, das angefochtene Urteil aufzuheben und die Frist zur Ergänzung der Rekurseingabe und zur Leistung des Kostenvorschusses wiederherzustellen.
Das Verwaltungsgericht und das Sicherheits- und Justizdepartement schliessen auf Abweisung der Beschwerde.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist gegen Entscheide auf dem Gebiet des Ausländerrechts unzulässig betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt (<ref-law>). Ist die Beschwerde in der Hauptsache unzulässig, ist sie es auch gegen in diesem Zusammenhang ergangene Nichteintretens- oder Abschreibungsentscheide (<ref-ruling> E. 1.1 S. 373). Zunächst ist zu prüfen, ob der Beschwerdeführer einen Anspruch auf Verlängerung seiner Bewilligung hat.
1.2. Da die Aufenthaltsbewilligungen der Ehefrau und der Kinder des Beschwerdeführers ebenfalls nicht verlängert worden sind, scheidet eine Berufung auf das Recht auf Achtung des Familienlebens gemäss Art. 8 Ziff. 1 EMRK aus.
1.3. Unter besonderen Umständen kann sich aus dem in Art. 8 Ziff. 1 EMRK verankerten Anspruch auf Schutz des Privatlebens ein Recht auf Verbleib im Land ergeben (Urteil 2C_838/2013 vom 23. September 2013 E. 2.2.3; vgl. auch Urteile des EGMR Vasquez gegen Schweiz vom 26. November 2013 [1785/08] § 37 sowie Gezginci gegen Schweiz vom 9. Dezember 2010 [16327/05] § 56 ff.). Eine lange Anwesenheit und die damit verbundene normale Integration genügen hierzu jedoch nicht. Nach der Rechtsprechung erfordert der Schutzbereich des Rechts auf Privatleben besonders intensive, über eine normale Integration hinausgehende private Bindungen gesellschaftlicher oder beruflicher Natur bzw. entsprechende vertiefte soziale Beziehungen zum ausserfamiliären Bereich (<ref-ruling> E. 3.2.1 S. 286; Urteile 2C_517/2014 vom 15. Februar 2015 E. 1.3; 2C_654/2013 vom 12. Februar 2014 E. 2.1).
Der Beschwerdeführer macht nichts geltend, was auf eine besonders vertiefte Integration im Sinn der zitierten Rechtsprechung deuten würde. Aus der Verfügung des Migrationsamtes vom 24. September 2013 ergibt sich vielmehr, dass der Beschwerdeführer verschuldet war, beruflich nicht Fuss fassen konnte und mehrere Verurteilungen wegen Strassenverkehrsdelikten, Veruntreuung und Betrugs erwirkt hatte. Bei dieser Sachlage ist eine Berufung auf die Garantie des Privatlebens gemäss Art. 8 Ziff. 1 EMRK trotz der relativ langen Anwesenheitsdauer (im Zeitpunkt des angefochtenen Entscheids 20 Jahre) ausgeschlossen.
1.4. Nach dem Gesagten kann der Beschwerdeführer aus Art. 8 Ziff. 1 EMRK keinen Rechtsanspruch auf Verlängerung seiner Aufenthaltsbewilligung ableiten. Da er sich auch auf keine andere Norm des Bundesrechts berufen kann, die ihm einen Bewilligungsanspruch einräumen würde, ist auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten nicht einzutreten.
2.
Es bleibt zu prüfen, ob die Eingabe als subsidiäre Verfassungsbeschwerde nach <ref-law> entgegengenommen werden kann.
2.1. Zur Verfassungsbeschwerde ist gemäss <ref-law> berechtigt, wer ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids hat. Mit der Verfassungsbeschwerde kann die Verletzung verfassungsmässiger Rechte gerügt werden (<ref-law>); entsprechende Rügen bedürfen spezifischer Geltendmachung und Begründung (<ref-law> in Verbindung mit <ref-law>; <ref-ruling> E. 3.2 S. 444 f.). Rechtsprechungsgemäss ergibt sich das rechtlich geschützte Interesse nicht bereits aus dem Verhältnismässigkeitsgebot oder dem verfassungsrechtlichen Willkürverbot (<ref-ruling> E. 4 S. 156 ff). Da der Beschwerdeführer über keinen Bewilligungsanspruch verfügt, wird er durch die Bewilligungsverweigerung nicht in rechtlich geschützten Interessen betroffen, so dass die Legitimation zu verneinen ist.
Trotz fehlender Legitimation in der Sache selbst ist die beschwerdeführende Partei berechtigt vorzubringen, ihr zustehende Verfahrensgarantien, namentlich der Anspruch auf rechtliches Gehör, seien verletzt worden (sog. "Star"-Praxis; <ref-ruling> E. 2 S. 308; <ref-ruling> E. 3.2 S. 436 f.; <ref-ruling> E. 3 S. 388 f.; <ref-ruling> E. 1.3.2 S. 253; <ref-ruling> E. 6.2 S. 198 f.). Diese beschränkte Beschwerdeberechtigung schliesst jedoch Rügen aus, die auf eine direkte oder mittelbare inhaltliche Kontrolle des angefochtenen Entscheids hinauslaufen (Urteile 1C_700/2013 vom 11. März 2014 E. 3; 1C_633/2012 vom 26. Juni 2013 E. 2.2; 1C_367/2009 vom 27. Oktober 2009 E. 3). Dazu gehört das Vorbringen, die Begründung sei unvollständig oder zu wenig differenziert bzw. die Vorinstanz habe sich nicht oder in willkürlicher Weise mit den Argumenten der Partei auseinandergesetzt und Beweisanträge in offensichtlich unhaltbarer antizipierter Beweiswürdigung abgelehnt (<ref-ruling> E. 2 S. 308; Urteil 2C_327/2013 vom 23. Oktober 2013 E. 3.2).
2.2. Der Beschwerdeführer macht eine Verletzung des rechtlichen Gehörs aufgrund abgelehnten Beweisantrags geltend. Die Vorinstanz hätte nicht auf die von ihm eingereichten Arztberichte abstellen, sondern ein medizinisches Gutachten einholen müssen, um seine Urteilsunfähigkeit im fraglichen Zeitraum festzustellen.
Die Rüge betrifft die Beweiswürdigung und den Verzicht auf weitere Beweiserhebungen bzw. -anordnungen durch die Vorinstanz. Damit zielt der Beschwerdeführer auf die materielle Überprüfung des angefochtenen Entscheids, was im Rahmen der "Star"-Praxis nicht statthaft ist: Diese Praxis will sicherstellen, dass die beschwerdeführende Partei ein faires Verfahren erhält. Deswegen kann die Verletzung von Parteirechten gerügt werden, deren Missachtung einer formellen Rechtsverweigerung gleichkommt (vgl. <ref-ruling> E. 2 S. 308). Dies ist nicht der Fall, wenn die Vorinstanz - wie hier - aufgrund der vorgelegten Arztberichte zum Schluss gekommen ist, der Beschwerdeführer habe nicht darzulegen vermocht, dass er aus gesundheitlichen Gründen verhindert gewesen sei, die Rechtshandlung fristgemäss vorzunehmen. Die geltend gemachte Gehörsverletzung betrifft nicht die Verfahrensfairness, sondern die Sachaufklärung, wie der Beschwerdeführer selbst einräumt. Auf die subsidiäre Verfassungsbeschwerde ist nicht einzutreten.
3.
Der unterliegende Beschwerdeführer trägt die (umständehalber reduzierten) Gerichtskosten (<ref-law>). Ausgangsgemäss ist keine Parteientschädigung zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird nicht eingetreten.
2.
Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
3.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 18. März 2015
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Genner