Sachverhalt:
A.
A._, geboren 1957, war seit 1991 als Reallehrer für den Bezirk X._ tätig. Nachdem es bereits in den Jahren 2004 und 2005 zu Massnahmen seitens des Arbeitgebers gekommen war, wurde A._ am 30. April 2012 ermahnt und ihm am 30. November 2012 eine Bewährungsfrist auferlegt. Letztere wurde am 26. März 2013 aufgehoben. Anlässlich eines Konflikttrainings vom 16. Dezember 2013 erfuhr die zuständige Instruktorin von diversen Problemen der Schüler mit A._, die sie am 20. Dezember 2013 der Schulleiterin mitteilte, welche diese umgehend dem Rektor weiterleitete. Am 13. Januar 2014 informierte der Rektor A._ über die eingegangenen Schüleraussagen, kündigte eine Schülerumfrage an und wies A._ an, dies nicht in der Klasse zu thematisieren; nach Auswertung der Umfrage werde ein weiteres Gespräch mit ihm stattfinden. Als A._ am 17. Januar 2014 per E-Mail von der Auswertung Kenntnis erhielt, diskutierte er diese gleichentags mit seiner Klasse. Obwohl er am 20. Januar 2014 die vormittäglichen Unterrichtsstunden noch wahrnahm, blieb er der auf 11.30 Uhr angesetzten Besprechung mit dem Rektor fern. Tags darauf stellte er der Schule das Arztzeugnis vom 21. Januar 2014 zu, gemäss welchem er von 20. Januar bis 4. Februar 2014 arbeitsunfähig sei. Am 22. Januar 2014 informierte der Rektor die Eltern über die Stellvertretung, die erfolgte Umfrage sowie die Probleme mit A._. Dessen Rechtsvertreter erhob im Schreiben vom 23. Januar 2014 Kritik am Vorgehen des Rektors, drohte mit der Einreichung einer Strafanzeige gegen diesen (was am 17. April 2014 auch geschah) und bot ein Gespräch zur gütlichen Regelung an. Letzteres wurde vom Schulpräsidenten am 29. Januar 2014 angenommen. In der Folge kam jedoch keine Aussprache mit A._ zustande, da er sich weigerte, in Anwesenheit des Rektors daran teilzunehmen. Zudem legte er ein Arztzeugnis vom 4. Februar 2014 vor, gemäss welchem er für sechs bis acht Wochen voll arbeitsunfähig sei. Am Gespräch vom 6. März 2014, an welchem A._ selbst nicht teilnahm, wohl aber sein Rechtsvertreter, wurde er zur Einhaltung seiner Treuepflicht ermahnt, nachdem bekannt geworden war, dass er verschiedene Tätigkeiten in Zusammenhang mit der Schule erledigt hatte. Als der Schulrat von der E-Mail von A._ vom 14. März 2014 Kenntnis erhielt, in welcher er dem Vertreter der Lehrpersonen im Schulrat für deren Einsatz im "Kampf gegen Rektor B._" dankte, gewährte ihm der Schulrat am 20. März 2014 das rechtliche Gehör zur beabsichtigten fristlosen Kündigung. Die beantragte Fristerstreckung wurde abgelehnt; mit Schreiben vom 25. März 2014 äusserte sich A._. Der Schulrat sprach am 26. März 2014 die fristlose Kündigung aus. Am 13. April 2014 unterbreitete der Bezirk A._ ein Vergleichsangebot, wonach ihm per Ende Schuljahr 2013/14 unter sofortiger Freistellung und bei vollem Lohn gekündigt werde, was dieser aber ablehnte.
B.
Die von A._ gegen die Kündigung am 21. November 2014 erhobene Klage wies das Verwaltungsgericht des Kantons Schwyz am 30. März 2016 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es sei der kantonale Entscheid aufzuheben und ihm eine Abfindung in der Höhe von Fr. 67'548.- ( 1 /2 Jahreslohn) nebst Zins von 5 % seit 27. März 2014 sowie eine Pönalentschädigung in der Höhe von Fr. 67'548.- nebst Zins von 5 % seit 27. März 2014 infolge ungerechtfertigter fristloser Entlassung zu zahlen.
Der Bezirk schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Eventualiter sei von der Zusprechung einer Pönalentschädigung abzusehen; subeventualiter sei diese auf einen Monatslohn festzusetzen.

Erwägungen:
1.
Die Sachurteilsvoraussetzungen sind erfüllt, da die Beschwerde unter Einhaltung der gesetzlichen Frist (<ref-law>) und Form (<ref-law>) von einer durch die Entscheidung besonders berührten Partei mit einem schutzwürdigen Interesse an deren Aufhebung oder Änderung (<ref-law>) eingereicht wurde und sich das Rechtsmittel gegen einen von einer letzten kantonalen Instanz (<ref-law>) gefällten Endentscheid (<ref-law>) in einer Angelegenheit des öffentlichen Rechts (<ref-law>) richtet, keine der in <ref-law> erwähnten Ausnahmen greift und die Streitwertgrenze von <ref-law> überschritten ist.
2.
Streitig ist die Rechtmässigkeit der fristlosen Kündigung vom 26. März 2014.
3.
Der Beschwerdeführer rügt einerseits eine unrichtige Feststellung der Ereignisse, welche angeblich seine Kündigung rechtfertigen würden; andererseits macht er geltend, die vom Bezirk angeführten Vorkommnisse vermöchten keine fristlose Kündigung im Sinne von <ref-law> zu rechtfertigen.
4.
4.1. Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Abs. 2). Die Voraussetzungen für eine Sachverhaltsrüge nach <ref-law> und für eine Berichtigung des Sachverhalts von Amtes wegen nach <ref-law> stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Entsprechende Beanstandungen sind vergleichbar mit den in <ref-law> genannten Rügen. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden. Vorbehalten bleiben offensichtliche Sachverhaltsmängel im Sinne von <ref-law>, die dem Richter geradezu in die Augen springen (<ref-ruling> E. 6.2 S. 288; <ref-ruling> E. 1.4.3 S. 255).
4.2. Soweit der Beschwerdeführer geltend macht, die Vorinstanz habe den Sachverhalt unzutreffend ermittelt, indem sie Mutmassungen angestellt habe, er habe anlässlich der Diskussion der Umfrage von Januar 2014 die Schüler unter Druck gesetzt, kann ihm nicht gefolgt werden. Fakt ist, dass der Beschwerdeführer entgegen der ausdrücklichen Weisung des Rektors vom 13. Januar 2014 die Umfrage mit den Schülern thematisiert hat; dies bestreitet er denn auch nicht und mehr wird ihm von der Vorinstanz auch nicht zur Last gelegt.
Ebenso wenig ist eine offensichtlich unzutreffende Sachverhaltsfeststellung bezüglich der Vorkommnisse vom 20. Januar 2014 ersichtlich. Dass die Erkrankung des Beschwerdeführers schwer sein soll, war weder am Morgen des 20. Januar 2014 noch am nächsten Tag ersichtlich, als die Schulleiterin sich über die voraussichtliche Dauer der Abwesenheit erkundigte, um die Stellvertretung organisieren zu können. Der Hausarzt des Beschwerdeführers hat denn auch anfänglich eine nur zwei Wochen dauernde Arbeitsunfähigkeit attestiert, notabene ohne Einschränkung auf eine blosse Unfähigkeit zum Unterrichten zu machen. Daraus ergibt sich kein Leiden im nun geltend gemachten Schweregrad. Nicht ausser Acht zu lassen ist in diesem Zusammenhang, dass der Beschwerdeführer trotz seiner Krankheit in der Lage war, nach seinem Gutdünken Tätigkeiten in Zusammenhang mit der Schule auszuführen. Unter diesen Umständen ist es nicht willkürlich, wenn die Vorinstanz davon ausgegangen ist, dass ihm eine Teilnahme oder zumindest eine ordentliche Entschuldigung für das anberaumte Gespräch mit Vereinbarung eines neuen Termins zumutbar gewesen wäre. Aus den genannten Gründen ist auch die Ermahnung des Beschwerdeführers mit Schreiben des Schulpräsidenten vom 10. März 2014 nicht zu beanstanden.
Weiter rügt der Beschwerdeführer einen offensichtlich unrichtigen Sachverhalt, weil die Vorinstanz die Information der Eltern und Schüler vom 22. Januar 2014 durch den Rektor als rechtens erachtete. Dabei handelt es sich aber nicht um eine Sachverhaltsfeststellung, sondern um eine rechtliche Würdigung eines an sich unbestrittenen Sachverhalts. Dasselbe gilt für den Vorwurf, die Vorinstanz sei zu Unrecht von einer Verletzung der Pflichten als Arbeitnehmer wegen der Strafanzeige gegen den Rektor resp. wegen der E-Mail vom 14. März 2014 ausgegangen.
Die Feststellung der Vorinstanz, der Beschwerdeführer habe sich geweigert, an einem Gespräch mit dem Rektor teilzunehmen, ergibt sich zweifellos aus dem Schreiben seines Rechtsvertreters vom 24. März 2014, so dass keine willkürliche Sachverhaltsfeststellung vorliegt. Daran ändert auch die Berufung des Beschwerdeführers auf seine angeblich schwere Krankheit nichts.
Schliesslich vermögen auch die übrigen Vorbringen keine offensichtlich unrichtige, d.h. willkürliche Sachverhaltsfeststellung durch die Vorinstanz zu belegen.
5.
5.1. Rechtsgrundlage des Arbeitsverhältnisses zwischen dem Beschwerdeführer und dem Bezirk ist das kantonale öffentliche Personalrecht. Zum kantonalen Recht zählt auch der gestützt auf das massgebende kantonale Recht subsidiär anwendbare <ref-law> (<ref-ruling> E. 3.3 S. 322 mit weiteren Hinweisen). Das Bundesgericht überprüft die Anwendung des kantonalen Rechts - von den hier nicht gegebenen Fällen gemäss Art. 95 lit. c-e BGG abgesehen - nur insofern, als diese eine Verletzung von Bundesrecht im Sinne von <ref-law> oder von Völkerrecht im Sinne von <ref-law> darstellt (<ref-ruling> E. 3.1 S. 321; <ref-ruling> E. 1.2.1 S. 251; vgl. auch <ref-ruling> E. 2.4 S. 249). Dabei steht die willkürliche Anwendung von kantonalem Recht (<ref-law>) im Vordergrund.
Eine willkürliche Anwendung kantonalen Rechts liegt vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch dessen Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar als zutreffender erscheinen mag, genügt nicht (<ref-ruling> E. 2.2 S. 72 mit Hinweisen).
5.2. Entgegen der Ansicht des Beschwerdeführers gelangt <ref-law> nicht als Bundesrecht, sondern lediglich als subsidiäres kantonales Recht zur Anwendung. Somit ist die Überprüfungsbefugnis des Bundesgerichts eine beschränkte (E. 5.1). Der Beschwerdeführer macht geltend, die fristlose Kündigung sei gestützt auf <ref-law> nicht gerechtfertigt; er legt jedoch nicht dar, inwiefern das kantonale Gericht diese Norm geradezu willkürlich angewandt hätte.
5.3. Soweit er wegen der angesetzten kurzen Frist zur Stellungnahme eine Verletzung des rechtlichen Gehörs (<ref-law>) rügt, ist diese mit der Vorinstanz nicht zu beanstanden, zumal nach der Rechtsprechung im öffentlichen Dienstrecht auch relativ informelle Äusserungsgelegenheiten vor einer (fristlosen) Kündigung dem verfassungsmässigen Gehörsanspruch genügen, sofern der betroffenen Person klar war, dass sie mit einer solchen Massnahme zu rechnen hatte und ihr die zur Last gelegten Tatsachen bekannt sind (Urteile 8C_559/2015 vom 9. Dezember 2015 E. 4.2.3.2, 8C_258/2014 vom 15. Dezember 2014 E. 7.2.4 und 8C_728/2013 vom 22. August 2014 E. 3.1.3). Im hier zu beurteilenden Fall waren dem Rechtsvertreter die genauen Umstände (dem Beschwerdeführer zur Last gelegtes Verhalten; Ermahnungen vom 28. Februar 2014 und vom 10. März 2014, wonach keine weiteren Verstösse akzeptiert würden; Androhung von Sanktionen bei erneuten Verstössen) bereits vor dieser Fristansetzung bekannt, hat er doch den Beschwerdeführer an der Besprechung vom 6. März 2014 vertreten und sich mit Schreiben vom 23. Januar 2014 zur Sache geäussert. So war es ihm denn auch möglich, innert der gesetzten Frist, welche nebst dem Wochenende - entgegen seinen Angaben - drei Arbeitstage betrug, einlässlich Stellung zu nehmen. Unter diesen Umständen stellt die gesetzte Frist keine Verletzung des rechtlichen Gehörs dar (vgl. auch Urteile 8C_258/2014 vom 15. Dezember 2014 E. 7.2.6 und 8C_728/2013 vom 22. August 2014 E. 3.2.2). Demnach hat es beim kantonalen Entscheid sein Bewenden.
6.
Das Verfahren ist kostenpflichtig. Dem Verfahrensausgang entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).
Der Bezirk hat keinen Anspruch auf eine Parteientschädigung, da er im Rahmen seines amtlichen Wirkungskreises tätig war und keine Ausnahme vorliegt, die ein Abweichen von diesem Grundsatz rechtfertigen würde (<ref-law>; vgl. die Urteile 8C_151/2010 vom 31. August 2010 E. 6.2 und 8C_771/2015 vom 29. Februar 2016 E. 5).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 3'000.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Schwyz schriftlich mitgeteilt.
Luzern, 2. September 2016
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Riedi Hunold