Sachverhalt:
A.
A._ war von 1997 bis 2009 beim UniversitätsSpital Zürich (USZ) angestellt, zuletzt als Oberarzt. Zudem war er ab 2007 als Titularprofessor an der Universität Zürich (UZH) tätig. In den letzten Jahren vor seinem Ausscheiden arbeitete er vollzeitig am USZ im Rahmen seiner wissenschaftlichen Tätigkeit als Leiter von Projekten, welche unter anderem vom Schweizerischen Nationalfonds (SNF) finanziert wurden.
Nachdem A._ seine Anstellung am USZ per Ende November 2009 gekündigt hatte, gelangte er mit Schreiben vom 11. Januar 2011 an die Spitaldirektion des USZ und verlangte Schadenersatz und Genugtuung in der Höhe von über Fr. 6.2 Mio. Dieses Verfahren zwischen den beiden Parteien ist nach wie vor rechtshängig (vgl. auch Urteil 8C_925/2013 vom 28. Juni 2014). Mit Entscheid vom 29. Juni 2009 hatte das Obergericht des Kantons Zürich das Gesuch um superprovisorische Massnahmen von A._ in Zusammenhang mit urheberrechtlichen Fragen abgewiesen. Am 11. April 2012 liess A._ eine Klage nach § 19 Abs. 1 des Zürcher Haftungsgesetzes vom 14. September 1969 (LS 170.1) gegen das USZ und die UZH beim Bezirksgericht Zürich hängig machen (vgl. dazu die Urteile 2C_692/2012 vom 10. Februar 2013 und 2C_344/2013 vom 10. Dezember 2013).
Am 19. Dezember 2011 ersuchte A._ um Einsicht in sämtliche ihn oder die von ihm geleiteten, vom Schweizerischen Nationalfonds (SNF) unterstützten Projekte betreffenden Akten des Universitätsspitals. Am 14. Februar 2012 wurde ihm Einsicht in sein Personaldossier gewährt. Nachdem A._ am 16. März 2012 bei der Spitaldirektion und dem Spitalrat geltend machte, es sei ihm nicht Zugang zu allen ihn betreffenden Akten gewährt worden, verweigerte der Spitalrat mit Beschluss vom 17. April 2013 die Einsicht in das Dossier "Haftungsverfahren".
B.
Nachdem das Verwaltungsgericht des Kantons Zürich am 8. November 2013 den Spitalrat zur Einreichung des strittigen Dossiers aufgefordert hatte, welches die Spitaldirektion dem kantonalen Gericht am 15. November 2013 zukommen liess, wies es die gegen den Beschluss vom 17. April 2013 erhobene Beschwerde mit Entscheid vom 4. Dezember 2013 ab.
C.
A._ lässt Beschwerde in öffentlich rechtlichen Angelegenheiten sowie subsidiäre Verfassungsbeschwerde führen mit dem Antrag, es seien der vorinstanzliche Entscheid aufzuheben, die Unzuständigkeit des Spitalrats zum Erlass des Beschlusses vom 17. April 2013 festzustellen und das USZ resp. der Spitalrat anzuweisen, ihm Einsicht in alle seine Personendaten enthaltenden Akten des Haftungsdossiers zu gewähren; eventualiter sei der vorinstanzliche Entscheid aufzuheben und die Sache an das Verwaltungsgericht zur Prüfung der Zuständigkeit und zur Neubeurteilung seines Einsichtsgesuches zurückzuweisen.

Erwägungen:
1.
1.1. Die Vorinstanz hat zu Recht festgestellt, dass das Gesuch um Einsicht in das Dossier "Haftungsverfahren" kein selbstständiges Verfahren darstellt, sondern im Rahmen des vom Beschwerdeführer gegen das USZ angestrebten Haftungsverfahrens zu sehen ist, so dass für die Beurteilung der Akteneinsicht nicht das kantonale Gesetz vom 12. Februar 2007 über die Information und den Datenschutz (IDG; LS 170.4), sondern das im Haftungsverfahren geltende Verfahrensrecht massgeblich ist (vgl. dazu auch <ref-ruling> E. 3.2 S. 494). Folgerichtig stellt die verweigerte Einsicht in die Akten im Rahmen eines hängigen Verfahrens durch eine Rechtspflegebehörde einen Zwischenentscheid dar (Urteil 2C_599/2007 vom 5. Dezember 2007 E. 2.2). Dies gilt auch für den verwaltungsgerichtlichen Entscheid, da er das Haftungsverfahren nicht abschliesst. Demnach müssen vor Bundesgericht für die Anfechtung des vorinstanzlichen Entscheids die Voraussetzungen von Art. 93 BGG erfüllt sein.
1.2. Ein Nachteil ist im Sinne von Art. 93 Abs. 1 lit. a BGG nicht wieder gutzumachend, wenn er rechtlicher Natur und auch mit einem für die beschwerdeführende Partei günstigen Endentscheid nicht oder nicht vollständig behebbar ist. Die Rückweisung der Sache an die Verwaltung zur ergänzenden Abklärung und neuen Entscheidung bewirkt in der Regel keinen nicht wieder gutzumachenden Nachteil, es sei denn, die Verwaltung werde durch einen kantonalen Rückweisungsentscheid gezwungen, eine ihres Erachtens rechtswidrige Verfügung zu erlassen (<ref-ruling> E. 2.1 S. 647; <ref-ruling> E. 5.2 S. 483).
1.3. Bezüglich des nicht wieder gutzumachenden Nachteils macht der Beschwerdeführer geltend, das Bundesgericht habe allein schon aus Gründen der Rechtssicherheit auf seine Beschwerde einzutreten, da die Vorinstanz in dieser Sache bereits drei Entscheide mit unterschiedlichen Rechtsmittelbelehrungen erlassen habe. Dieser Einwand vermag keinen nicht wieder gutzumachenden Nachteil zu begründen, da alle drei Verfahren unterschiedliche Fragen zum Gegenstand hatten und die Prüfung der Sachurteilsvoraussetzungen für jedes Verfahren einzeln erfolgt.
Weiter führt der Beschwerdeführer an, es seien ihm durch die Verfahren in den letzten fünf Jahren sehr hohe Kosten erwachsen und er verfüge nicht mehr über genügend Barmittel für weitere Prozessschritte, so dass er genötigt wäre, seine Investitionen kurzfristig zu veräussern, was nicht ohne finanzielle Einbussen möglich sei. Auch dies begründet keinen nicht wieder gutzumachenden Nachteil im Sinne von Art. 93 Abs. 1 lit. a BGG. Denn finanzielle Aufwendungen stellen keinen irreparablen Nachteil dar, sofern sie nicht die Fortsetzung des Verfahrens mangels wirtschaftlicher Leistungsfähigkeit der betroffenen Partei verunmöglichen (vgl. dazu etwa die Ausführungen in den den Beschwerdeführer betreffenden Urteilen 2C_692/2012 vom 10. Februar 2013 sowie 2C_344/2013 vom 10. Dezember 2013). Vorliegend ist die Fortsetzung des Haftungsverfahrens nicht behindert und das momentan vor dem Spitalrat hängige Verfahren kann auch ohne Entscheid des Bundesgerichts über die Akteneinsicht fortgesetzt werden.
Schliesslich macht der Beschwerdeführer unter Berufung auf die Lehre geltend, die Vorinstanz habe auch über die Kosten entschieden, was jedoch nur im Rahmen eines Endentscheids zulässig sei. Dabei wird übersehen, dass beim Verwaltungsgericht das Hauptverfahren (noch) nicht hängig ist und demnach nicht feststeht, ob es in diesem Haftungsverfahren zu einem Endentscheid des kantonalen Gerichts kommen wird. Es hat daher zu Recht über die Kosten befunden, da es eventuell mangels eines Hauptverfahrens diese überhaupt nicht verlegen könnte. Daran ändert nichts, dass durch den Entscheid vom 4. Dezember 2013 das Haftungsverfahren noch nicht abgeschlossen ist. In Bezug auf dessen Anfechtbarkeit vor Bundesgericht ist gemäss Art. 93 BGG von einem Zwischenentscheid auszugehen.
Auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist nach dem Gesagten mangels nicht wieder gutzumachendem Nachteil nicht einzutreten.
1.4. Auf die gleichzeitig erhobene subsidiäre Verfassungsbeschwerde kann ebenfalls nicht eingetreten werden, da auch diesfalls die Voraussetzungen von Art. 93 BGG erfüllt sein müssten (Art. 117 in Verbindung mit Art. 93 BGG), was jedoch nicht zutrifft.
2.
Das Verfahren ist kostenpflichtig. Der unterliegende Beschwerdeführer hat die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird nicht eingetreten.
2.
Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
3.
Die Gerichtskosten von Fr. 1'000.- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zürich schriftlich mitgeteilt.
Luzern, 28. Juni 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Riedi Hunold