Sachverhalt:
A.
A._, geboren 1957, war ab 1. Februar 1992 für die Gesundheitsdirektion des Kantons Zug tätig, ab 1999 als stellvertretender B._ bzw. ab 2009 als stellvertretender Abteilungsleiter. Kurz nachdem die neue Abteilungsleiterin ihre Stelle angetreten hatte, kam es zu Differenzen zwischen ihr und A._. In der Folge fanden verschiedene Gespräche statt. Im März 2014 machte die Abteilungsleiterin für eine weitere Zusammenarbeit zur Voraussetzung, dass er entweder seine stellvertretende Funktion abgebe und keinen Mitarbeitern mehr vorstehe oder aber mit einem reduzierten Arbeitspensum tätig sei; A._ lehnte dies ab. Am 28. April 2014 gewährte ihm die Abteilungsleiterin das rechtliche Gehör betreffend Funktionsänderung mit reduziertem Beschäftigungsgrad oder allfälliger Auflösung des Anstellungsverhältnisses. A._ lehnte beides in seiner Stellungnahme vom 28. Mai 2014 ab. Am 18. Juni 2014 fand eine Besprechung von A._ mit dem Amtsleiter und dem Leiter des Personalamtes statt, an der A._ Mobbingvorwürfe gegenüber seiner Vorgesetzten erhob. Die externe Abklärung ergab ein zerrüttetes Verhältnis zwischen den beiden, konnte aber das Mobbing nicht bestätigen (Bericht vom 13. November 2014). Am 2. Dezember 2014 wurde A._ der Vorschlag einer einvernehmlichen Auflösung des Arbeitsverhältnisses in Form einer vorzeitigen Pensionierung unterbreitet, was er ablehnte. Nach Gewährung des rechtlichen Gehörs löste die Gesundheitsdirektion das Arbeitsverhältnis per 31. Oktober 2015 auf und stellte ihn ab 1. April 2015 frei; die Ausrichtung einer Abgangsentschädigung lehnte sie ab (Verfügung vom 18. März 2015). A._ erhob Verwaltungsbeschwerde, die der Regierungsrat am 22. September 2015 abwies.
B.
Das Verwaltungsgericht des Kantons Zug wies die dagegen erhobene Beschwerde am 20. Juni 2016 ab.
C.
A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, es sei der vorinstanzliche Entscheid aufzuheben und festzustellen, dass die Kündigung vom 18. März 2015 rechtswidrig und missbräuchlich erfolgt sei, so dass ihm eine Entschädigung von 9 Monatsgehältern (Fr. 123'074.25) einschliesslich verschiedener Zulagen zuzusprechen sei. Festzustellen sei zudem, dass seinerseits kein schuldhaftes Verhalten vorgelegen habe, welches Anlass zur Kündigung habe geben können, so dass ihm auch bei fehlender Rechtsmissbräuchlichkeit der Kündigung eine Entschädigung von 6 Monatsgehältern (Fr. 82'049.50) einschliesslich verschiedener Zulagen zuzusprechen sei. Schliesslich sei festzustellen, dass beim vorinstanzlichen Gerichtsschreiber und Generalsekretär der Anschein der Befangenheit bestanden habe. Eventualiter sei der vorinstanzliche Entscheid aufzuheben und die Sache zur Sachverhaltsergänzung und neuem Entscheid an die Vorinstanz zurückzuweisen. Schliesslich stellt er den Antrag auf Durchführung einer öffentlichen Beratung.

Erwägungen:
1.
Die Sachurteilsvoraussetzungen sind erfüllt, da die Beschwerde unter Einhaltung der gesetzlichen Frist (<ref-law>) und Form (<ref-law>) von einer durch die Entscheidung besonders berührten Partei mit einem schutzwürdigen Interesse an deren Aufhebung oder Änderung (<ref-law>) eingereicht wurde und sich das Rechtsmittel gegen einen von einer letzten kantonalen Instanz (<ref-law>) gefällten Endentscheid (<ref-law>) in einer Angelegenheit des öffentlichen Rechts (<ref-law>) richtet, keine der in <ref-law> erwähnten Ausnahmen greift und die Streitwertgrenze von <ref-law> erfüllt ist.
2.
Der Beschwerdeführer stellt den Antrag, es sei eine öffentliche Beratung durchzuführen.
Nach <ref-law> berät das Bundesgericht sein Urteil mündlich, wenn das Abteilungspräsidium dies anordnet oder ein Richter resp. eine Richterin es verlangt (lit. a) oder wenn sich keine Einstimmigkeit ergibt (lit. b). In den übrigen Fällen entscheidet das Bundesgericht auf dem Weg der Aktenzirkulation (<ref-law>).
Vorliegend besteht für das Bundesgericht kein Anlass, eine mündliche Beratung durchzuführen, da der Entscheid einstimmig ergeht und niemand aus dem Richtergremium verlangt, die zu entscheidenden Rechtsfragen öffentlich zu erörtern.
3.
3.1. Nach <ref-law> ist zur Beschwerde nur berechtigt, wer ein schutzwürdiges Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids hat. Soweit in einer Beschwerde in öffentlich-rechtlichen Angelegenheiten Feststellungen verlangt werden, muss die beschwerdeführende Person ein schutzwürdiges Interesse an der gewünschten Feststellung nachweisen. Dieses bestimmt sich gleich wie jenes nach <ref-law> (vgl. Urteil 8C_949/2015 vom 7. September 2016 E. 5 mit Hinweisen). Es ist rechtsprechungsgemäss als ein rechtliches oder tatsächliches und aktuelles Interesse an der sofortigen Feststellung des Bestehens oder Nichtbestehens eines Rechtsverhältnisses zu verstehen, dem keine erheblichen öffentlichen oder privaten Interessen entgegenstehen und welches nicht durch eine rechtsgestaltende Verfügung gewahrt werden kann (<ref-ruling> E. 1 S. 259; vgl. auch <ref-ruling> E. 1.1 S. 4; <ref-ruling> E. 6.5 Ingress S. 218 f. mit Hinweisen). Dem Begehren um eine Feststellung ist ferner nur zu entsprechen, wenn die gesuchstellende Person ansonsten Gefahr laufen würde, für sie nachteilige Massnahmen zu treffen oder zu unterlassen. Zu verneinen ist das schutzwürdige Interesse namentlich dann, wenn ein rechtsgestaltender Entscheid erwirkt werden kann (vgl. statt vieler Urteil 8C_949/2015 vom 7. September 2016 E. 4 mit Hinweisen).
3.2. Der Beschwerdeführer verlangt die Feststellung, dass die erfolgte Kündigung rechtswidrig und missbräuchlich sei sowie dass ihm kein schuldhaftes Verhalten vorzuwerfen sei, welches Anlass zur Auflösung des Arbeitsverhältnisses gegeben habe. Zudem sei die Befangenheit des Gerichtsschreibers festzustellen.
Soweit es sich bei diesen Anträgen um selbstständige Feststellungsbegehren im Sinne von E. 3.1 handelt, ist darauf nicht einzutreten. Denn den damit verfolgten Anliegen kann mit einem Aufhebungs- und Rückweisungsentscheid (Befangenheit) oder einem rechtsgestaltenden Entscheid (Entschädigungsfolge) vollumfänglich Rechnung getragen werden, wie dies alles vom Beschwerdeführer denn auch ausdrücklich beantragt wird.
4.
4.1. Der Beschwerdeführer wirft dem im vorinstanzlichen Verfahren beteiligten Gerichtsschreiber vor, dieser habe es unterlassen, dafür zu sorgen, dass trotz seiner Kandidatur für das Amt eines Verwaltungsrichters der Anschein der Unbefangenheit gewahrt werde. Er hätte den Fall an einen anderen Gerichtsschreiber abtreten und jedenfalls die verlangten Akten über C._ einholen müssen, was er aber alles unterlassen habe, um keine Regierungspartei zu verärgern und seine Wahlchancen nicht zu gefährden. Auch habe er einseitig aus dem Bericht über die Prüfung der Mobbingvorwürfe zitiert.
4.2. Die Tatsache, dass ein Gerichtsschreiber für eine freigewordene Stelle an demselben Gericht kandidiert, vermag keinen Anschein von Befangenheit im Sinne von <ref-law> zu begründen (vgl. etwa Urteil 1C_79/2009 vom 24. September 2009 E. 2, wonach keine Befangenheit besteht, wenn der Gerichtsschreiber gleichzeitig eine Nebentätigkeit bei der am Recht stehenden Universität ausübt). Auch die weiteren geltend gemachten Umstände vermögen keine objektiven Zweifel an der Unabhängigkeit des mit beratender Stimme (§ 13 Abs. 2 der Geschäftsordnung des Verwaltungsgerichts des Kantons Zug vom 14. Januar 1977, BGS 162.11) am Entscheid beteiligten Gerichtsschreibers zu wecken; dass sie gemäss dem subjektiven Empfinden des Beschwerdeführers einen Verstoss gegen <ref-law> seien, genügt nach der Rechtsprechung nicht (<ref-ruling> E. 3.1 S. 210). So liegen namentlich keine Anhaltspunkte dafür vor, dass der Gerichtsschreiber sich bereits in einer Weise festgelegt hatte, dass er einem anderen Verfahrensausgang nicht mehr zugänglich und der Prozessausgang nicht mehr offen gewesen wäre (Urteil 2C_466/2010 vom 25. Oktober 2010 E. 2.3.2). Was schliesslich den Einwand des einseitigen Abstützens auf den Bericht zu den Mobbingvorwürfen betrifft, ist dieser offensichtlich unzutreffend. Die Vorinstanz hielt - soweit sie sich auf den Inhalt dieses Berichts bezog - dessen Schlussfolgerungen korrekt fest.
5.
5.1. Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Abs. 2). Die Voraussetzungen für eine Sachverhaltsrüge nach <ref-law> und für eine Berichtigung des Sachverhalts von Amtes wegen nach <ref-law> stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Entsprechende Beanstandungen sind vergleichbar mit den in <ref-law> genannten Rügen. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden. Vorbehalten bleiben offensichtliche Sachverhaltsmängel im Sinne von <ref-law>, die dem Richter geradezu in die Augen springen (<ref-ruling> E. 6.2 S. 288; <ref-ruling> E. 1.4.3 S. 255).
5.2. Rechtsgrundlage des Arbeitsverhältnisses zwischen dem Kanton Zug und dem Beschwerdeführer ist das kantonale öffentliche Personalrecht. Zum kantonalen Recht zählen auch die gestützt auf das massgebende kantonale Recht subsidiär anwendbaren Bestimmungen des OR (<ref-ruling> E. 3.3 S. 322 mit weiteren Hinweisen). Das Bundesgericht überprüft die Anwendung des kantonalen Rechts - von den hier nicht gegebenen Fällen gemäss Art. 95 lit. c-e BGG abgesehen - nur insofern, als diese eine Verletzung von Bundesrecht im Sinne von <ref-law> oder von Völkerrecht im Sinne von <ref-law> darstellt (<ref-ruling> E. 3.1 S. 321; <ref-ruling> E. 1.2.1 S. 251; vgl. auch <ref-ruling> E. 2.4 S. 249). Dabei steht die willkürliche Anwendung von kantonalem Recht (<ref-law>) sowie die Verletzung anderer Grundrechte (<ref-law>) im Vordergrund.
5.3. Eine willkürliche Anwendung kantonalen Rechts liegt vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch dessen Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar als zutreffender erscheinen mag, genügt nicht (<ref-ruling> E. 2.2 S. 72 mit Hinweisen).
5.4. Das Bundesgericht wendet das Recht grundsätzlich von Amtes wegen an (<ref-law>). Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht prüft es aber nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). In der Beschwerde ist klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen, inwiefern die angerufenen Rechte verletzt worden sein sollen (<ref-ruling> E. 1.3 S. 41 mit Hinweisen).
6.
Der Beschwerdeführer rügt unter Berufung auf verschiedene Verfassungsnormen insbesondere, dass die Akten bezüglich der ihm damals unterstellten und von seiner Vorgesetzten während seiner Ferien gekündigten Untergebenen C._ beizuziehen seien. Die Vorinstanzen haben jedoch zu Recht auf einen Beizug dieser Akten verzichtet, da sie keine Rolle spielen für die Beurteilung der Auflösung des Arbeitsverhältnisses mit dem Beschwerdeführer. Weiter verkennt er in diesem Zusammenhang, dass es in der Kompetenz seiner Vorgesetzten lag, über die (weitere) Beschäftigung der ihr unterstellten Personen zu befinden. Insofern muss auch für die hier zu entscheidende Streitsache nicht beurteilt werden, unter welchen Umständen die Auflösung des Arbeitsverhältnisses mit C._ erfolgte. Zudem bedeutet die Beendigung der eigenen Anstellung weder eine Brandmarkung seiner Persönlichkeit noch eine unehrenhafte Entlassung, zumal dies im Rahmen einer ordentlichen Kündigung geschah; eine Verletzung der Menschenwürde ist darin jedenfalls nicht zu sehen. Weiter war der Arbeitgeber auch nicht gehalten, den Vorschlägen des Beschwerdeführers zur Entschärfung des Konflikts zwischen ihm und seiner Vorgesetzten zu folgen, zumal er in Erfüllung seiner Pflicht zur Prüfung weniger weitreichender Massnahmen als der Kündigung seinerseits verschiedene Vorschläge einbrachte, für die der Beschwerdeführer jedoch in keiner Weise zugänglich war. Soweit er schliesslich rügt, die Vorinstanz habe sich nicht dazu geäussert, wer die Auflösung des Arbeitsverhältnisses zu vertreten habe, zielt dies auf die Frage der Abgangsentschädigung ab. Diesbezüglich hat die Vorinstanz aber ausführlich dargelegt, weshalb er keinen Anspruch darauf hat. Ein willkürliches Verhalten der Vorinstanz ist jedenfalls nicht dargetan.
Zusammenfassend stellen der fehlende Beizug der Personalakten von C._ und die erfolgte Auflösung des Arbeitsverhältnisses mit dem Beschwerdeführer weder eine Verletzung der Menschenwürde nach <ref-law> noch des Grundsatzes von Treu und Glauben gemäss <ref-law> oder des rechtlichen Gehörs von <ref-law> dar.
7.
Das Verfahren ist kostenpflichtig. Der unterliegende Beschwerdeführer hat die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 3'000.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zug schriftlich mitgeteilt.
Luzern, 30. November 2016
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Riedi Hunold