Sachverhalt:
A.
A.a. Der 1971 geborene A._ war seit dem 1. Juli 2004 beim Kanton Schwyz angestellt. Mit Schreiben vom 28. März 2017 kündigte der Regierungsrat des Kantons Schwyz das Arbeitsverhältnis per 30. September 2017. Am 13. Juli 2017 erhob A._ Klage gegen den Kanton Schwyz und beantragte im Hauptbegehren, die Kündigung vom 28. März 2017 sei nichtig zu erklären. Mit Entscheid vom 24. November 2017 (III 2017 134) stellte das Verwaltungsgericht des Kantons Schwyz fest, die Kündigung sei nicht nichtig gewesen und das Arbeitsverhältnis habe per 30. September 2017 geendet. Insoweit wies das kantonale Gericht die Klage ab. Die weiteren Begehren des Klägers würden im Sinne der Erwägungen im neu eröffneten Verfahren "III 2017 218" behandelt. Auf die hiegegen erhobene Beschwerde in öffentlich-rechtlichen Angelegenheiten ist das Bundesgericht mit Urteil vom 27. April 2018 nicht eingetreten.
A.b. Am 2. August 2018 liess A._ beim Regierungsrat des Kantons Schwyz um Gewährung von personalrechtlichem Rechtsschutz für das am xxx 2018 eröffnete Strafverfahren (yyy) ersuchen. Der Regierungsrat wies das Begehren am 11. September 2018 ab.
B.
A._ liess am 6. November 2018 verwaltungsrechtliche Klage mit dem Rechtsbegehren um Gewährung von personalrechtlichem Rechtsschutz für das erwähnte Strafverfahren einreichen. Mit Entscheid vom 25. März 2019 (III 2018 189) wies das Verwaltungsgericht des Kantons Schwyz die Klage ab. Es hielt fest, A._ stehe im Falle einer Nichtigerklärung der Kündigung durch das Bundesgericht in einem künftigen Verfahren ein Anspruch zu, dass der Regierungsrat über das Begehren um Rechtsschutz im Strafverfahren nochmals wiedererwägungsweise befinde.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, es sei ihm in Aufhebung des angefochtenen Entscheids vom 25. März 2019 der personalrechtliche Rechtsschutz für das Strafverfahren yyy zu gewähren, soweit die Sache nicht zur Neubeurteilung an die Vorinstanz zurückzuweisen sei.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1.
1.1. Das Bundesgericht prüft seine Zuständigkeit und die (weiteren) Eintretensvoraussetzungen von Amtes wegen und mit freier Kognition (<ref-ruling> E. 1.1 S. 208 mit Hinweisen).
1.2. Die Sachurteilsvoraussetzungen sind erfüllt, sofern die Beschwerde in öffentlich-rechtlichen Angelegenheiten unter Einhaltung der gesetzlichen Frist (<ref-law>) und Form (<ref-law>) von einer durch die Entscheidung besonders berührten Partei mit einem schutzwürdigen Interesse an deren Aufhebung oder Änderung (<ref-law>) eingereicht wurde und sich das Rechtsmittel gegen einen von einer letzten kantonalen Instanz (<ref-law>) gefällten Endentscheid (<ref-law>) in einer Angelegenheit des öffentlichen Rechts (<ref-law>) richtet und keine der in <ref-law> erwähnten Ausnahmen greift.
1.3. Entgegen der als fraglich erachteten Qualifikation als Endentscheid durch das Verwaltungsgericht ist diese Sachurteilsvoraussetzung erfüllt. Der vorinstanzliche Entscheid hat das Verfahren unter Vorbehalt des Weiterzugs an die nächst höhere Instanz im Sinne von <ref-law> abgeschlossen. Gleich wie die Möglichkeit der Erhebung einer Beschwerde ändert auch diejenige der Einreichung eines Revi-sionsgesuchs oder eines Gesuchs um Erläuterung bzw. Berichtigung nichts an der Qualifikation als Endentscheid (vgl. FELIX UHLMANN, in: Basler Kommentar, Bundesgerichtsgesetz, 3. Aufl. 2018, N. 4 zu <ref-law>; BERNARD CORBOZ, in: Commentaire de la LTF, 2. Aufl. 2014, N. 10b zu <ref-law>). Soweit die Vorinstanz darauf hinweist, der Entscheid stehe letztlich unter dem Vorbehalt, dass das Bundesgericht in einem künftigen Verfahren keine Nichtigkeit der Kündigung annehme, da andernfalls dem Beschwerdeführer der Anspruch zustehe, dass der Regierungsrat nochmals wiedererwägungsweise über die Gewährung des Rechtsschutzes im Strafverfahren befinde, ändert dies nach Gesagtem nichts am Vorliegen eines Endentscheids.
1.4. Bei vermögensrechtlichen Angelegenheiten auf dem Gebiet der öffentlich-rechtlichen Arbeitsverhältnisse ist zudem ein Streitwert von mindestens Fr. 15'000.- erforderlich (<ref-law>); erreicht der Streitwert nicht den massgebenden Betrag, so ist die Beschwerde dennoch zulässig, wenn sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt (<ref-law>). Wenn das Begehren nicht auf Bezahlung einer bestimmten Geldsumme lautet, setzt das Bundesgericht den Streitwert nach Ermessen fest (<ref-law>). Die Frage der Gewährung von Rechtsschutz für Mitarbeitende in gerichtlichen Verfahren kann als Streitigkeit vermögensrechtlicher Natur (vgl. THOMAS HÄBERLI, in: Basler Kommentar, Bundesgerichtsgesetz, 3. Aufl. 2018, N. 169-171 zu <ref-law> und N. 22 zu <ref-law>) qualifiziert werden. Mit dem Beschwerdeführer ist nämlich davon auszugehen, dass aus dem am xxx 2018 auf ihn erweiterten Strafverfahren, für welches er um personalrechtlichen Rechtsschutz ersuchte, voraussichtlich Kosten von mehr als Fr. 15'000.- erwachsen werden, nachdem bereits diverse Einvernahmen/Verhandlungen stattgefunden haben, mehrere Eingaben der Verteidigung eingereicht wurden und die Untersuchung noch nicht abgeschlossen ist.
1.5. Da auch die übrigen Sachurteilsvoraussetzungen gegeben sind, kann auf die Beschwerde eingetreten werden.
2.
2.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Offensichtlich unrichtig bedeutet dabei willkürlich (<ref-ruling> E. 1.2.2 S. 252).
2.2. Das Bundesgericht wendet das Recht grundsätzlich von Amtes wegen an (<ref-law>). Für die Verletzung von Grundrechten und von kantonalem sowie kommunalem Recht gilt demgegenüber eine qualifizierte Rügepflicht (<ref-law>). Das Bundesgericht untersucht nicht von sich aus, ob der angefochtene kantonale Entscheid die Grundrechte oder kantonales und kommunales Recht verletzt, sondern prüft nur rechtsgenügend vorgebrachte, klar erhobene und, soweit möglich, belegte Rügen.
Da keine gesetzliche Ausnahme besteht (Art. 95 lit. c-e BGG), ist die Prüfungsbefugnis des Bundesgerichts gegenüber kantonalem Recht im vorliegenden Sachzusammenhang, wo sich keine bundesrechtlichen Vorgaben finden, auf die Verletzung verfassungsmässiger Rechte, insbesondere auf Willkür, beschränkt (<ref-law>).
2.3. Eine willkürliche Anwendung kantonalen Rechts liegt vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch dessen Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar als zutreffender erscheinen mag, genügt nicht (<ref-ruling> E. 2.2 S. 72 mit Hinweisen).
3.
3.1. Streitig und zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzt hat, indem es die Ablehnung des Begehrens um Gewährung von personalrechtlichem Rechtsschutz für das am xxx 2018 eingeleitete Strafverfahren schützte.
3.2. Der vorinstanzliche Entscheid stützt sich namentlich auf die Bestimmungen und Grundsätze des Personal- und Besoldungsgesetzes vom 26. Juni 1991 des Kantons Schwyz (Personalgesetz, PG; SRSZ 145.110) und der Personal- und Besoldungsverordnung vom 4. Dezember 2007 des Kantons Schwyz (Personalverordnung, PV; SRSZ 145.111), mithin auf kantonales Recht.
3.3. So können Mitarbeiter des Kantons Schwyz, gegen die im Zusammenhang mit ihrer Aufgabenerfüllung ein gerichtliches Verfahren angehoben wird, gemäss § 27 Abs. 1 PG um Rechtsschutz nachsuchen. Der Regierungsrat entscheidet über Gewährung, Art und Umfang des Schutzes (§ 27 Abs. 2 PG; § 5 Abs. 2 lit. e PV).
4.
4.1. Die Vorinstanz hat erkannt, die Abweisung des Begehrens um Gewährung von Rechtsschutz für das am xxx 2018 eröffnete Strafverfahren mit der Begründung, im Zeitpunkt der Eröffnung habe zwischen dem Beschwerdeführer und dem Kanton Schwyz kein Arbeitsverhältnis mehr bestanden, sei rechtens. Die Regelung von § 27 PG beinhalte einen erheblichen Entscheidungsspielraum für den Regierungsrat, wobei er bei dessen Handhabung die Verfassungsgrundsätze namentlich der Gleichbehandlung und der Verhältnismässigkeit, aber auch die generell bestehende Fürsorgepflicht zu beachten habe. Es liesse sich mit der ratio legis nicht vereinbaren - so das kantonale Gericht -, dass es dem Regierungsrat verwehrt sein sollte, bei nachträglichen Begehren um Rechtsschutz zwischen aktuellen und ehemaligen bzw. entlassenen Mitarbeitern zu unterscheiden. Dies gelte erst recht, wenn der entlassene Mitarbeiter in einem Rechtsstreit mit dem Kanton stehe und in diesem Rechtsstreit das betreffende Strafverfahren eine Rolle spielen könnte. Dass in einem solchen nachträglichen Strafverfahren anderen Mitarbeitern, welche weiterhin für den Kanton tätig seien, Rechtsschutz gewährt werde, stelle keine Verletzung des Rechtsgleichheitsgebotes dar.
4.2. Die Vorbringen in der Beschwerde lassen die vorinstanzliche Beurteilung nicht als willkürlich oder sonstwie bundesrechtswidrig erscheinen:
4.2.1. Der Beschwerdeführer rügt zunächst, die Vorinstanz habe seinen Anspruch auf rechtliches Gehör verletzt, weil ihr Entscheid nicht den Begründungsanforderungen genüge. Diesem Einwand kann nicht gefolgt werden. Der Anspruch auf rechtliches Gehör nach <ref-law> verlangt, dass die Behörde die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Dabei ist es nicht erforderlich, dass sie sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (<ref-ruling> E. 9.2 S. 65 mit Hinweisen). Die Vorinstanz hat im angefochtenen Entscheid hinreichend dargelegt, von welchen Überlegungen sie sich hat leiten lassen und worauf sie ihren Entscheid stützt. Dies gilt namentlich in Bezug auf die Differenzierung zwischen aktuellen und ehemaligen bzw. entlassenen Mitarbeiterinnen und Mitarbeitern.
4.2.2. Soweit der Beschwerdeführer - wie bereits im vorinstanzlichen Verfahren - die Unterscheidung zwischen aktuellen und ehemaligen bzw. entlassenen Mitarbeitern als willkürlich und den Grundsatz der Rechtsgleichheit verletzend kritisiert, beschränkt er sich im Wesentlichen darauf, erneut seine Sicht der Dinge darzulegen. Dies stellt eine unzulässige appellatorische Kritik dar, auf die nicht näher einzugehen ist. Wie das kantonale Gericht für das Bundesgericht grundsätzlich verbindlich festgestellt hat, war das Arbeitsverhältnis zwischen dem Kanton Schwyz und dem Beschwerdeführer per 30. September 2017 beendet worden und Letzterer daher im Zeitpunkt der Eröffnung des Strafverfahrens am xxx 2018 und der Einreichung des Begehrens um Gewährung von Rechtsschutz am 2. August 2018 nicht mehr Mitarbeiter des Kantons. Die Vorinstanz hat sich sodann mit der ratio legis von § 27 PG auseinandergesetzt und hat, wie bereits der Regierungsrat, mit der Unterscheidung in aktuelle und ehemalige bzw. entlassene Mitarbeiter ein sachliches Kriterium für die Gewährung von Rechtsschutz angewendet. Dass allenfalls auch eine andere Lösung vertretbar oder gar zutreffender erscheinen würde, genügt wie dargelegt nicht, um Willkür zu begründen.
5.
Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 1'000.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Schwyz schriftlich mitgeteilt.
Luzern, 6. August 2019
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Kopp Käch