Sachverhalt:
A.
Der 1964 geborene A._ war seit dem 20. Oktober 2008 als Leiter der Fachstelle B._ im Generalsekretariat der Volkswirtschaftsdirektion des Kantons Zürich angestellt. Mit Verfügung vom 30. Mai 2017 löste die Volkswirtschaftsdirektion das Arbeitsverhältnis mit A._ unter Einhaltung einer sechsmonatigen Kündigungsfrist per 30. November 2017 mit der Begründung der Reorganisation auf. Ausserdem kürzte sie ihm rückwirkend ab 1. Juni 2017 den Lohn um 50 % (Verfügung vom 16. Juni 2017). Nachdem A._ gegen die Verfügung vom 30. Mai 2017 rekurriert hatte, erklärte die Volkswirtschaftsdirektion am 17. August 2017 ihre Verfügung vom 30. Mai 2017 für nichtig, da diese während einer wegen Krankheit laufenden Sperrfrist erlassen worden sei. Gleichzeitig löste sie das Arbeitsverhältnis neu per 28. Februar 2018 auf. Am 9. März 2018 teilte sie A._ mit, dass er weder Anspruch auf einen bestimmten Wortlaut seines Arbeitszeugnisses noch auf dessen Unterzeichnung durch die Direktionsvorsteherin habe. Mit Verfügungen vom 12. März und 12. Juli 2018 sprach sie ihm eine Abfindung von 8 Monatslöhnen zu. Mit Verfügung vom 13. Juli 2018 entschied sie schliesslich, dass der Gleitzeitsaldo von A._ diesem nicht ausbezahlt werde.
Gegen diese Verfügungen erhob A._ Rekurs an den Regierungsrat. Dieser vereinigte die fünf Rekursverfahren. Mit Beschluss vom 3. Juli 2019 entschied er, auf den Rekurs betreffend Arbeitszeugnis nicht einzutreten (Dispositiv-Ziff. III) und den Rekurs gegen die Verfügung vom 30. Mai 2017 als gegenstandslos geworden abzuschreiben (Dispositiv-Ziff. IV). Den Rekurs betreffend Auflösung des Arbeitsverhältnisses (Dispositiv-Ziff. V), betreffend Lohnkürzung (Dispositiv-Ziff. VI) und betreffend Abfindung (Dispositiv-Ziff. VII) wies er ab. Die Kosten des Rekursverfahrens wurden auf die Staatskasse genommen (Dispositiv-Ziff. VIII) und A._ keine Parteientschädigung zugesprochen (Dispositiv-Ziff. IX).
B.
Dagegen erhob A._ Beschwerde an das Verwaltungsgericht des Kantons Zürich. Dabei beantragte er unter anderem die Aufhebung der mit Verfügung vom 16. Juni 2017 angeordneten Lohnkürzung und die Zusprechung einer Entschädigung von je einem Monatslohn wegen Verletzung des Gehörsanspruchs bei Erlass der Verfügungen vom 16. Juni und 17. August 2017. Ausserdem beantragte er, es sei festzustellen, dass die Entlassung sachlich nicht gerechtfertigt und missbräuchlich gewesen sei. Es sei ihm zudem eine Entschädigung von 5 Monatslöhnen zuzüglich Zins zu 5 % seit 18. September 2017 wegen sachlich nicht gerechtfertigter und missbräuchlicher Kündigung zuzusprechen. Weiter verlangte er eine Abfindung von zusätzlich 3 Monatslöhnen sowie eine Entschädigung der Mehrstunden bei Auflösung des Arbeitsverhältnisses in Höhe von Fr. 4416.90 brutto, je zuzüglich Zins von 5 % seit dem 1. März 2018. Schliesslich stellte er das Begehren, es sei ihm in allen vom Rekursentscheid umfassten Rekursverfahren eine Parteientschädigung zu Lasten des Beschwerdegegners auszurichten.
Mit Urteil vom 3. November 2020 hiess das Verwaltungsgericht die Beschwerde teilweise gut, soweit es darauf eintrat. Es hob Dispositiv-Ziffer VI des Beschlusses des Regierungsrates vom 3. Juli 2019 sowie die Verfügung der Volkswirtschaftsdirektion vom 16. Juni 2017 auf. In Abänderung der Dispositiv-Ziffer IX des Beschlusses vom 3. Juli 2019 verpflichtete es den Kanton Zürich zudem, A._ für das Rekursverfahren (betreffend Lohnkürzung ab 1. Juni 2017) eine Parteientschädigung von Fr. 1000.- zu bezahlen. Im Übrigen wies es die Beschwerde ab (Dispositiv-Ziff. 1). Die Gerichtskosten auferlegte es zu 19/20 A._ und zu 1/20 dem Kanton Zürich (Dispositiv-Ziff. 3). Für das Beschwerdeverfahren sprach es A._ keine Parteientschädigung zu (Dispositiv-Ziff. 4).
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, es sei Ziffer 4 des angefochtenen Entscheids aufzuheben und es sei die Volkswirtschaftsdirektion des Kantons Zürich zu verpflichten, ihm im Verfahren gegen die nichtige Verfügung vom 30. Mai 2017 eine Parteienschädigung von Fr. 2000.- zuzusprechen. Zudem sei sie zu verpflichten, ihm zufolge sachlich nicht zureichendem Grund und/oder missbräuchlicher Kündigung eine Entschädigung von Fr. 28'000.- unter Einschluss eines Zinses von 5 % seit dem 18. September 2017 zu bezahlen. Ferner sei Dispositiv-Ziffer 3 aufzuheben und die Verteilung der Kosten des vorinstanzlichen Verfahrens zu seinen Gunsten neu festzusetzen.
Der Kanton Zürich schliesst auf vollumfängliche Abweisung der Beschwerde.
Mit Eingabe vom 21. August 2021 (Poststempel) hält A._ an seinen Anträgen fest.

Erwägungen:
1.
Die Beschwerde richtet sich gegen einen Endentscheid einer letzten kantonalen Instanz, der nicht beim Bundesverwaltungsgericht angefochten werden kann (Art. 86 Abs. 1 lit. d, Art. 90 BGG). Ihm liegt eine Angelegenheit des öffentlichen Rechts zugrunde (<ref-law>). Ein Ausschlussgrund (<ref-law>) liegt nicht vor. Insbesondere ist der auf dem Gebiet öffentlich-rechtlicher Arbeitsverhältnisse zu beachtende Ausnahmetatbestand des <ref-law> nicht gegeben, da der zu beurteilende Streit finanzielle Forderungen vermögensrechtlicher Natur im Nachgang zu einer Kündigung betrifft. Die nach Art. 85 Abs. 1 lit. b in Verbindung mit <ref-law> zu beachtende Streitwertgrenze von Fr. 15'000.- wird mit den vorinstanzlich streitig gebliebenen Ansprüchen erreicht. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde einzutreten.
2.
2.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 mit Hinweisen).
2.1.1. Die richtige Anwendung des kantonalen Rechts als solches bildet nicht Beschwerdegrund und es kann nur überprüft werden, ob der angefochtene Entscheid auf willkürlicher Gesetzesanwendung beruht oder ob das Gesetz oder seine Anwendung auf andere Weise gegen übergeordnetes Recht verstösst (vgl. <ref-ruling> E. 3.1; <ref-ruling> E. 1.3; <ref-ruling> E. 1.2.1; Urteil 2C_959/2014 vom 24. April 2015 E. 1.3 i.f.). Eine willkürliche Anwendung kantonalen Rechts liegt vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar als zutreffender erscheinen mag, genügt nicht (<ref-ruling> E. 5.1; <ref-ruling> E. 7.3; <ref-ruling> E. 4.2; je mit Hinweisen).
2.1.2. Hinsichtlich der Verletzung von Grundrechten und von kantonalem sowie interkantonalem Recht gilt eine qualifizierte Rügepflicht (<ref-law>; <ref-ruling> E. 1.6 mit Hinweisen). Das Bundesgericht untersucht nicht von sich aus, ob der angefochtene kantonale Entscheid die Grundrechte oder kantonales und interkantonales Recht verletzt, sondern prüft nur rechtsgenügend vorgebrachte, klar erhobene und, soweit möglich, belegte Rügen. Auf ungenügend begründete Rügen und bloss allgemein gehaltene, appellatorische Kritik am angefochtenen Entscheid geht es nicht ein (Art. 42 Abs. 1 und 2 BGG; <ref-ruling> E. 1.3.1; <ref-ruling> E. 2.3; Urteil 8C_812/2019 vom 19. Mai 2020 E. 2.4).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat; es kann die Sachverhaltsfeststellung der Vorinstanz auf entsprechende Rüge hin oder von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 1 und 2 BGG). Offensichtlich unrichtig bedeutet dabei willkürlich (<ref-ruling> E. 2; <ref-ruling> E. 2).
3.
Streitig und im Rahmen der zulässigen Beschwerdegründe (Art. 95, 96 und Art. 97 Abs. 1 sowie <ref-law>) zu prüfen ist im vorliegenden Fall, ob das kantonale Gericht Bundesrecht verletzte, indem es die von der Volkswirtschaftsdirektion ausgesprochene Kündigung (Austrittsverfügung vom 17. August 2017) als sachlich gerechtfertigt resp. nicht missbräuchlich beurteilte und damit einen Entschädigungsanspruch des Beschwerdeführers verneinte. Ebenfalls umstritten ist die Verweigerung einer Parteientschädigung im Rekursverfahren vor dem Regierungsrat betreffend die nichtige Verfügung vom 30. Mai 2017 (vgl. Sachverhalt A.).
4.
In formeller Hinsicht rügt der Beschwerdeführer zunächst eine Verletzung von <ref-law>, da der Beschwerdegegner ihm vor der Kündigung das rechtliche Gehör nicht gewährt habe. Er beruft sich zudem auf § 31 des Personalgesetzes des Kantons Zürich vom 27. September 1998 (PG; LS 177.10), ohne aber eine willkürliche Anwendung dieser Bestimmung geltend zu machen. Auch die Verletzung von Art. 6 EMRK wird nicht substanziiert gerügt, so dass das Bundesgericht die Angelegenheit einzig unter dem Gesichtspunkt von <ref-law> zu prüfen hat (<ref-law>).
4.1. Der Anspruch auf rechtliches Gehör gilt auch im öffentlichen Personalrecht uneingeschränkt. Im Rahmen der Kündigung eines Arbeitsverhältnisses darf die zuständige Behörde erst nach Kenntnisnahme der gesamten entscheidrelevanten Sachlage und mithin erst nach Anhörung der betroffenen Person zu einer Entscheidung gelangen. Der Anspruch ist verletzt, wenn eine Entlassung schon vor der Anhörung faktisch feststeht (in <ref-ruling> nicht publizierte E. 5.2 des Urteils 8C_340/2014 vom 15. Oktober 2014 mit Hinweisen).
4.2. Die Vorinstanz erwog, der Beschwerdegegner sei nicht gehalten gewesen, dem Beschwerdeführer zur Abschaffung der Fachstelle B._ das rechtliche Gehör zu gewähren, da dieser Entscheid in seine Organisationsautonomie gefallen sei. Mit anderen Worten habe die Auflösung der Fachstelle bereits definitiv beschlossen sein dürfen, als dem Beschwerdeführer zur beabsichtigten Kündigung am 9. Februar 2017 das rechtliche Gehör gewährt worden sei. In der Verfügung vom 17. August 2017 habe sich der Beschwerdegegner sodann mit den in der Stellungnahme des Beschwerdeführers vom 16. August 2017 vorgebrachten Argumenten auseinandergesetzt. Die Vorinstanz konnte in diesem Vorgehen keine Verletzung des rechtlichen Gehörs ausmachen.
4.3. Was der Beschwerdeführer dagegen vorbringt, rechtfertigt keine andere Beurteilung. Soweit er geltend macht, die Kündigung habe faktisch schon mit der Ankündigung am 9. Februar 2017 festgestanden und die spätere Anhörung habe keine Bedeutung mehr gehabt, ist ihm entgegenzuhalten, dass sich der Beschwerdegegner in seiner Verfügung vom 17. August 2017 gemäss vorinstanzlicher Feststellung mit den Argumenten des Beschwerdeführers in seiner Stellungnahme vom 16. August 2017 auseinandersetzte. Dass er der Sichtweise des Beschwerdeführers nicht gefolgt ist, ändert nichts daran, dass letzterer seinen Standpunkt wirksam zur Geltung bringen konnte (vgl. <ref-ruling> E. 5.3 mit Hinweisen). Der Beschwerdeführer begnügt sich im Wesentlichen damit, auf den Umstand hinzuweisen, dass zwischen seiner Stellungnahme und der Verfügung kein Tag vergangen sei, was indessen nicht genügt, um die vorinstanzliche Beurteilung als bundesrechtswidrig erscheinen zu lassen.
5.
5.1. Hinsichtlich des Anspruchs auf Parteientschädigung im Verfahren betreffend die Nichtigkeit der Kündigung vom 30. Mai 2017 erwog die Vorinstanz, der Beschwerdegegner habe mit Verfügung vom 17. August 2017 die Nichtigkeit der Verfügung vom 30. Mai 2017 festgestellt. Der Regierungsrat habe das entsprechende Rekursverfahren zu Recht als gegenstandslos geworden abgeschrieben. Allerdings wäre er gehalten gewesen, den Beschwerdeführer in jenem Rekursverfahren als obsiegend zu betrachten. Der Beschwerdeführer müsse sich demgegenüber vorwerfen lassen, dass er jenes Verfahren aufgrund der (erneuten) Verzögerung der vertrauensärztlichen Abklärung selber verursacht habe. Aufgrund seines pflichtwidrigen Verhaltens habe sich der Beschwerdegegner genötigt gesehen, die Kündigung auszusprechen, obwohl eine Sperrfrist gelaufen habe. Damit sei dem Beschwerdeführer für jenes Rekursverfahren keine Parteientschädigung zuzusprechen, obwohl er als obsiegend zu betrachten sei.
5.2. Der Beschwerdeführer macht geltend, die Vorinstanz habe § 17 Abs. 2 des Verwaltungsrechtspflegegesetzes (VRG) des Kantons Zürich vom 24. Mai 1959 (LS 175.2) grob falsch angewendet. Die Verweigerung einer Parteienschädigung laufe in stossender Weise dem Gerechtigkeitsgedanken zuwider und sei sowohl in der Begründung als auch im Ergebnis unhaltbar. Diese Rüge ist begründet. Zwar kam der Beschwerdeführer der Aufforderung vom 15. November 2016, sich einer vertrauensärztlichen Untersuchung zu unterziehen, nicht nach. Er weist aber zu Recht darauf hin, dass der Beschwerdegegner am 28. Dezember 2016 auf die Durchführung einer solchen Untersuchung verzichtete, zumal der Beschwerdeführer seit Ende Oktober 2016 wieder arbeitsfähig war (vgl. E. 2.2 des angefochtenen Urteils). Sodann wurde der Beschwerdeführer gemäss Feststellungen der Vorinstanz am 27. April 2017 über die neuerliche Anordnung einer vertrauensärztlichen Untersuchung informiert und gebeten, den Untersuchungstermin direkt mit der beauftragten Vertrauensärztin zu vereinbaren und ihr die Vollmacht (zur Entbindung von ihrer Schweigepflicht) innert zehn Tagen unterschrieben zu schicken. Der Beschwerdeführer bemühte sich zwar erst am 22. und 23. Mai 2017 um einen entsprechenden Termin, welcher dann auf den 9. Juni 2017 festgelegt wurde. Wie der Beschwerdeführer aber zu Recht vorträgt, forderte der Beschwerdegegner ihn mit Schreiben letztmals auf, umgehend einen Untersuchungstermin zu vereinbaren, wobei der Arzttermin spätestens am 10. Juni 2017 stattfinden müsse. Ohne diese Frist abzuwarten, löste der Beschwerdegegner bereits am 30. Mai 2017 das Arbeitsverhältnis mit dem Beschwerdeführer auf. Insoweit kann nicht die Rede davon sein, der Beschwerdegegner sei aufgrund des Verhaltens des Beschwerdeführers genötigt gewesen, die Kündigung während einer laufenden Sperrfirst auszusprechen. Entsprechend erscheint auch der Vorwurf, der Beschwerdeführer habe das Rekursverfahren verursacht, und die damit einhergehende Verweigerung einer Parteientschädigung unhaltbar. Die Beschwerde ist in diesem Punkt begründet.
6.
6.1. Weiter legte das kantonale Gericht die gesetzlichen Grundlagen betreffend die Kündigung eines Arbeitsverhältnisses dar. Die Kündigung durch den Kanton darf nach § 18 Abs. 2 PG nicht missbräuchlich nach den Bestimmungen des Obligationenrechts sein und setzt einen sachlich zureichenden Grund voraus. Erweist sich die Kündigung als missbräuchlich oder sachlich nicht gerechtfertigt, und wird der oder die Angestellte nicht wiedereingestellt, so bemisst sich die Entschädigung nach den Bestimmungen des Obligationenrechts über die missbräuchliche Kündigung. Die Ausrichtung einer Abfindung nach § 26 bleibt vorbehalten (§ 18 Abs. 3 PG). Ein sachlich zureichender Grund besteht gemäss § 16 Abs. 1 lit. b der Vollzugsverordnung zum Personalgesetz vom 19. Mai 1999 (VVO; LS 177.111) namentlich, wenn die Stelle aus organisatorischen oder wirtschaftlichen Gründen aufgehoben wird und eine andere, zumutbare Stelle nicht angeboten werden kann oder abgelehnt wird.
6.2. Die Vorinstanz stellte fest, der Beschwerdeführer und der Beschwerdegegner hätten im Februar 2017 versucht, Rahmenbedingungen zu fixieren, welche trotz des bestehenden Konflikts zwischen dem Beschwerdeführer und seinem Vorgesetzten in Zukunft eine konstruktive Zusammenarbeit ermöglichen sollten. Ohne den entsprechenden Vorschlag des Beschwerdeführers abzuwarten, habe der Beschwerdegegner ihm mit Schreiben vom 9. Februar 2017 mitgeteilt, dass sich die Situation weiterentwickelt habe. Die Vorsteherin der Volkswirtschaftsdirektion habe "im Rahmen der aktuellen Sparbemühungen analysiert, wie unter anderem im Generalsekretariat Einsparungen möglich" seien. Sie habe feststellen müssen, dass der "grosse Aufwand" der Fachstelle B._ "den relativen geringen Ertrag" derselben nicht rechtfertige. Es sei deshalb beabsichtigt, das Arbeitsverhältnis mit dem Beschwerdeführer wegen Reorganisation unverschuldet per 31. August 2017 aufzulösen. Mit Schreiben vom 17. März und 7. April 2017 habe der Beschwerdegegner bestätigt, der Entscheid betreffend Reorganisation sei definitiv gefällt und könne nicht rückgängig gemacht werden.
Weiter hielt das kantonale Gericht fest, die vom Beschwerdegegner am 22. September 2015 und 29. August 2017 festgesetzten Stellenpläne für das Generalsekretariat des Beschwerdegegners würden zeigen, dass die Fachstelle B._ tatsächlich aufgehoben und keine zusätzlichen (Ersatz-) Stellen geschaffen worden seien. Der Beschwerdegegner habe zudem darlegen können, dass die wichtigen Aufgaben der Fachstelle von der Staatskanzlei, dem Amt für Wirtschaft und Arbeit sowie dem Amt für Verkehr hätten übernommen werden können. Die Fachstelle B._ sei auch nicht gesetzlich vorgeschrieben, weshalb der Entscheid über die Weiterführung der Fachstelle in der Organisationsautonomie des Beschwerdegegners gelegen habe.
6.3. Die Vorinstanz erwog mit Verweis auf ihre Rechtsprechung, entgegen der Ansicht des Beschwerdeführers könne die Absicht, Lohnkosten einzusparen, durchaus einen zulässigen Zweck einer Reorganisation darstellen. Es müsse auch nicht zwingend externer finanzieller Druck bestehen, vielmehr liege es im Ermessensspielraum des Beschwerdegegners, ob er durch eine Reorganisation Kosten einsparen möchte. Da die Fachstelle, welche allein aus dem Beschwerdeführer bestanden habe, aufgehoben worden sei, bestehe ein organisatorischer Grund im Sinne von § 16 Abs. 1 lit. b VVO für die Auflösung des Arbeitsverhältnisses. Die Kündigung aus organisatorischen Gründen erweise sich damit als zulässig.
7.
7.1. Der Beschwerdeführer macht geltend, die Vorinstanz habe in grober resp. krasser Weise entscheidende Sachverhalte übergangen und sich über das Beweisergebnis hinweggesetzt sowie die Beweislastregeln verletzt. Das Beweisergebnis lasse einzig den Schluss zu, dass der Beschwerdegegner seinen Verpflichtungen gemäss § 16 Abs. 1 lit. b VVO nicht nachgekommen sei. Damit rügt der Beschwerdeführer im Wesentlichen eine willkürliche Beweiswürdigung der Vorinstanz. Die Rüge verfängt indessen nicht, wie sich aus dem Folgenden ergibt.
7.1.1. Zum Einwand des Beschwerdeführers der "vorgeschobenen" Reorganisation hielt das kantonale Gericht fest, der zeitliche Ablauf und namentlich der Umstand, dass der Beschwerdegegner kurz nach den Ereignissen im Dezember 2016, als der Beschwerdeführer mehrere durch den Vertrauensarzt vorgeschlagene Termine verstreichen lassen habe, am 9. Februar 2017 die Reorganisation des Generalsekretariats und damit die Aufhebung der Stelle des Beschwerdeführers beschlossen habe, könnten tatsächlich auf sachfremde Motive für diesen Entscheid hindeuten. Dazu komme, dass der Beschwerdegegner während des gesamten Verfahrens keine Dokumente habe vorweisen können, die belegen würden, dass die Reorganisation tatsächlich schon lange Zeit geplant gewesen sei. Zudem habe er erst in seinen Rekursantworten vom 16. August und 23. Oktober 2017 eine überzeugende Begründung für die Reorganisation liefern können. Die weiteren Umstände hätten den Vorwurf des vorgeschobenen Kündigungsgrundes aber nicht bestätigt. So seien aufgrund der tatsächlich erfolgten Auflösung der Fachstelle beim Beschwerdegegner Einsparungen erzielt worden, worin ein betrieblicher Zweck zu sehen sei. Der Beschwerdegegner habe auch aufzeigen können, dass die wichtigen Aufgaben der Fachstelle von anderen Verwaltungseinheiten tatsächlich übernommen werden konnten. Aus den Akten ergebe sich zudem, dass der Beschwerdegegner resp. die Vorsteherin der Volkswirtschaftsdirektion bereits im Sommer 2016 den Nutzen der Fachstelle B._ hinterfragt und in deren Abschaffung womöglich ein Potenzial für Einsparungen gesehen habe. Der Generalsekretär habe dem Beschwerdeführer mit Schreiben vom 27. Juli 2016 nämlich mitgeteilt, er stehe bei der aktuellen Regierungsrätin mehr als bei früheren Vorstehenden der Volkswirtschaftsdirektion in der Pflicht, aufzeigen zu können, "was für Kontakte und Aktivitäten mit welchem Resultat erfolgen" würden. Die Vorinstanz schloss daraus, dass das Arbeitsverhältnis mit dem Beschwerdeführer nicht aus sachfremden Motiven aufgehoben worden sei, weshalb das Vorgehen des Beschwerdegegners auch mit dem Grundsatz von Treu und Glauben zu vereinbaren sei.
7.1.2. Der Beschwerdeführer wendet ein, die Vorinstanz stelle damit auf eine völlig bedeutungslose Randbemerkung ab, die in keinem Zusammenhang zu den späteren Geschehnissen stehe. Ablauf und zeitlicher Zusammenhang würden zweifelsfrei beweisen, dass die Motivation zur Kündigung in keiner Weise in einem Reorganisationsvorhaben bestanden habe, sondern es sei nur darum gegangen, ihn schnellstmöglich loszuwerden. Den angeblichen Spardruck habe er bereits mit Vorlage des Protokolls der Geschäftsleitungssitzung vom 25. Januar 2017, aus dem hervorgehe, dass das Generalsekretariat viel besser als budgetiert abgeschlossen habe, als Schutzbehauptung widerlegt. Auch der plakative Vorwand des nach acht Jahren angeblich plötzlich bestehenden geringen Outputs genüge keineswegs als Begründung. Die spätere Einsparung von Lohnkosten ändere ebenfalls nichts an der eigentlichen Motivation zur Auflösung des Arbeitsverhältnisses und der sofortigen Freistellung am 9. Februar 2017. Sodann liessen sich bei einer so grossen Verwaltung Aufgaben einer Einzelperson immer in Kleinstaufgaben aufteilen und auf die unzähligen Verwaltungsstellen verteilen.
7.1.3. Damit stellt der Beschwerdeführer der vorinstanzlichen Beweiswürdigung im Wesentlichen seine eigene Sichtweise gegenüber, was für die Annahme von Willkür nicht genügt. Er bestreitet nicht, dass die Fachstelle B._ tatsächlich aufgehoben wurde und damit Kosten eingespart werden konnten. Er zeigt auch nicht auf, inwiefern die Vorinstanz in Willkür verfallen sein soll, indem sie die tatsächliche Aufhebung der Fachstelle und die effektive Einsparung der Lohnkosten als zulässigen Zweck der Reorganisation betrachtete und indem sie erwog, es müsse nicht zwingend externer finanzieller Spardruck bestehen. Insoweit ist auch unerheblich, dass das Generalsekretariat besser als budgetiert abgeschlossen hatte. Auch der Umstand, dass die Vorinstanz das Schreiben des Generalsekretärs vom 27. Juli 2016 dahingehend deutete, die - seit 2015 im Amt stehende - Vorsteherin der Volkswirtschaftsdirektion habe den Nutzen der Fachstelle B._ bereits im Sommer 2016 hinterfragt, erscheint nicht unhaltbar.
7.2. Soweit der Beschwerdeführer eine Verletzung von § 18 PG und § 16 Abs. 1 lit. b VVO geltend macht, übersieht er, dass die richtige Anwendung von kantonalem Recht als solchem vor Bundesgericht keinen zulässigen Beschwerdegrund bildet (vgl. E. 2.1.1 hiervor). Im Übrigen hat sich die Vorinstanz mit dem Einwand des Beschwerdeführers, der Beschwerdegegner habe sich in keinster Weise darum bemüht, eine Kündigung zu vermeiden, einlässlich auseinandergesetzt. Sie erwog, das Erfordernis der Zumutbarkeit einer angebotenen Stelle diene dem Schutz des Arbeitnehmers. Indem der Beschwerdeführer aus § 26 Abs. 2 PG eine beliebige Stellenvermittlungspflicht des Arbeitgebers ableite, verkenne er den Sinn und Zweck des Begriffs der zumutbaren Stelle. Ausserdem kenne das kantonale Personalrecht gerade keinen Weiterbeschäftigungsanspruch. Mit Schreiben vom 17. März 2017 habe sich der Beschwerdegegner dahingehend geäussert, es bestehe nach wie vor keine andere Position, die dem Beschwerdeführer angeboten werden könne. In der Kündigungsverfügung vom 30. Mai 2017 habe er weiter festgehalten, es bestehe beim Kanton Zürich keine andere dem Profil des Beschwerdeführers entsprechende Stelle. Dies habe der Beschwerdegegner in seiner Rekursvernehmlassung vom 3. August 2017 bestätigt und dabei festgehalten, er habe selbstverständlich geprüft, ob dem Beschwerdeführer inner- oder ausserhalb der Direktion des Beschwerdegegners eine andere zumutbare Stelle angeboten werden könne. Dem sei aber nicht so, da der Beschwerdeführer eine besondere Aufgabe innegehabt habe und entsprechende Qualifikationen mitgebracht habe, welche zwar in der freien Wirtschaft nachgefragt seien, innerhalb der kantonalen Verwaltung jedoch äusserst selten eingesetzt werden könnten. Betreffend die vom Beschwerdeführer im Verlauf des Verfahrens eingereichten Stelleninserate erkannte das kantonale Gericht, die entsprechenden Stellen seien für den Beschwerdeführer alle unzumutbar oder im Zeitpunkt der Kündigung nicht vakant gewesen. Die Kündigung sei somit auch in dieser Hinsicht nicht zu beanstanden. Mit seiner über weite Strecken appellatorischen Kritik am angefochtenen Urteil vermag der Beschwerdeführer die vorinstanzliche Beweiswürdigung und Beurteilung weder als willkürlich noch sonstwie als bundesrechtswidrig erscheinen zu lassen.
7.3. Nach dem Gesagten ist der vorinstanzliche Schluss, wonach sich die Kündigung aus organisatorischen Gründen als zulässig erweise, weder Ergebnis einer willkürlichen Beweiswürdigung noch sonstwie verfassungswidrig.
8.
8.1. Weiter macht der Beschwerdeführer wie bereits vor dem kantonalen Gericht eine missbräuchliche Kündigung durch den Beschwerdegegner geltend. Er rügt in diesem Zusammenhang eine grob falsche Anwendung von § 18 Abs. 2 PG in Verbindung mit <ref-law>.
8.2. Die Vorinstanz erwog hierzu, der Beschwerdeführer habe sich Weisungen seines Vorgesetzten widersetzt. Insoweit habe er keine personalrechtlichen Ansprüche geltend gemacht, weshalb schon aus diesem Grund keine Rede von einer Rachekündigung sein könne. Die Kündigung beruhe vielmehr auf einem sachlichen Grund und sei nicht missbräuchlich. Da der Sachverhalt hinreichend erstellt sei, könne auf die Befragung des Beschwerdeführers verzichtet werden.
8.3. Auch diese Beurteilung erscheint nicht willkürlich. Soweit der Beschwerdeführer (erneut) vorbringt, er habe sich für zumutbare Arbeitsbedingungen eingesetzt und damit Rechte aus dem Arbeitsverhältnis geltend gemacht, lässt er jegliche Konkretisierung vermissen. So legt er nicht näher dar, für welche Arbeitsbedingungen er sich eingesetzt haben soll. Er zeigt auch nicht auf, inwiefern die vorinstanzliche Feststellung, der Beschwerdeführer habe sich Weisungen seines Vorgesetzten widersetzt, offensichtlich unrichtig sein soll. Auf Weiterungen kann mangels einer substanziierten Rüge verzichtet werden (vgl. E. 2.1.2 hiervor).
9.
Gegen die von der Vorinstanz bestätigte Abfindung in der Höhe von acht Monatslöhnen bringt der Beschwerdeführer nichts vor, weshalb sich Weiterungen dazu erübrigen.
10.
10.1. Zusammenfassend vermag der Beschwerdeführer nicht darzutun, inwiefern die vorinstanzliche Beurteilung, wonach die Kündigung sachlich gerechtfertigt und nicht missbräuchlich sei, Bundesrecht verletzen soll. Bei diesem Ergebnis besteht auch keine Grundlage für die geltend gemachte Entschädigung nach § 18 Abs. 3 PG.
10.2. Hingegen ist die Beschwerde insoweit gutzuheissen, als die Sache an die Vorinstanz zurückzuweisen ist (vgl. <ref-law>), damit sie die Parteientschädigung für das Rekursverfahren betreffend Nichtigkeit der Verfügung vom 30. Mai 2017 festlege (vgl. E. 5.2 hiervor).
11.
Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>), da er nur im Nebenpunkt und geringfügig obsiegt (vgl. Urteile 9C_588/2020 vom 18. Mai 2021 E. 7; 8C_64/2019 vom 27. November 2019 E. 9). Damit bleibt es auch bei den Entschädigungsfolgen für das Verfahren vor dem Verwaltungsgericht (<ref-law>). Dem Beschwerdegegner steht keine Parteientschädigung zu (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Dispositiv-Ziffer 1 des Urteils des Verwaltungsgerichts des Kantons Zürich wird in Bezug auf den Anspruch des Beschwerdeführers auf Parteientschädigung für das Rekursverfahren aufgehoben und die Sache an die Vorinstanz zurückgewiesen, damit diese dem Beschwerdeführer auch für das Rekursverfahren betreffend Nichtigkeit der Verfügung vom 30. Mai 2017 eine Parteientschädigung zuspreche. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 2000.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zürich und dem Regierungsrat des Kantons Zürich schriftlich mitgeteilt.
Luzern, 27. August 2021
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Wüest