Sachverhalt:
A.
A.a. A._, geboren 1969, war ab 1. Dezember 2017 bei der Evangelisch-reformierten Kirchgemeinde X._ zu einem 50 %-Pensum angestellt. Anlässlich des vor Ablauf der Probezeit am 22. Februar 2018 durchgeführten Mitarbeitergesprächs wurden nebst Anerkennung für die geleistete Arbeit auch einige Punkte mit Verbesserungsbedarf festgehalten. A._ erklärte sich damit nicht einverstanden. In der Folge konnten sich die Parteien nicht einigen und es wurde anlässlich der Besprechung vom 14. November 2018 die Durchführung eines weiteren Mitarbeitergesprächs vereinbart, das auf den 12. Februar 2019 angesetzt wurde. Am 11. Februar 2019 meldete sich A._ gestützt auf ein ärztliches Zeugnis krank und kehrte nicht mehr an seinen Arbeitsplatz zurück.
A.b. In Zusammenhang mit dem Mitarbeitergespräch vom 22. Februar 2018 hatte die Arbeitgeberin (nachfolgend: Kirchenpflege) sich bei einer Anwaltskanzlei über die Möglichkeiten einer Kündigung im Rahmen der Probezeit erkundigt. A._ forderte von der Arbeitgeberin mehrfach diese Unterlagen heraus, was diese am 22. März 2019 ablehnte. Die Bezirkskirchenpflege Y._ verpflichtete die Arbeitgeberin mit Beschluss vom 1. Juli 2019 zur Herausgabe dieser Unterlagen.
A.c. Bereits am 28. Mai 2019 hatte die Kirchenpflege A._ mitgeteilt, sie beabsichtige, ihm nach Ablauf der Sperrfrist zu kündigen. Sie begründete dies damit, dass er sich nicht zu seiner allfälligen Rückkehr an den Arbeitsplatz äussere sowie keine Bereitschaft zeige, am vorgesehenen Gespräch unter Moderation der Bezirkskirchenpflege teilzunehmen. Zudem sei er der Aufforderung der Krankentaggeldversicherung, einen Vertrauensarzt aufzusuchen, nicht nachgekommen und ein eingereichtes Arztzeugnis weise eine nachträgliche Korrektur auf, was den Verdacht der Manipulation erwecke. Weiter hätten sich Mitarbeitende sowie externe Besucher bei der Kirchenpflege über das Auftreten von A._ beklagt. Am 11. Juni 2019 nahm der Rechtsvertreter von A._ Stellung zur beabsichtigten Kündigung.
A.d. Mit Schreiben vom 24. Juni 2019, unterzeichnet von der Präsidentin und dem Vizepräsidenten der Kirchenpflege, kündigte diese das Arbeitsverhältnis per Ende September 2019. Sie begründete dies damit, dass eine weitere Zusammenarbeit unter den gegebenen Umständen keinen Sinn mache und es nicht absehbar sei, ob und allenfalls wann A._ wieder arbeitsfähig sei. Zudem habe er sich bezüglich Sorgfalt und sprachlicher Unzulänglichkeiten nicht verbessert und bekunde Mühe, Entscheidungen und Weisungen der Vorgesetzten zu befolgen. Den dagegen eingereichten Rekurs hiess die Bezirkskirchenpflege Y._ mit Entscheid vom 24. Februar 2020 teilweise gut und sprach A._ drei Monatslöhne als Entschädigung zu. Während dieses Rekursverfahrens hatte A._ bei der Staatsanwaltschaft des Kantons Zürich Strafanzeige gegen mehrere an seiner Kündigung beteiligte Personen erhoben. Den Antrag der Staatsanwaltschaft auf Ermächtigung zur Strafuntersuchung gegen diese Behördenmitglieder lehnte das Obergericht des Kantons Zürich am 23. Dezember 2019 ab; diese Sache ist ebenfalls beim Bundesgericht hängig.
B.
Die Rekurskommission der Evangelisch-reformierten Landeskirche des Kantons Zürich wies die gegen den Entscheid der Bezirkskirchenpflege Y._ vom 24. Februar 2020 erhobene Beschwerde mit Entscheid vom 18. Juni 2020 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der vorinstanzliche Entscheid sowie der Entscheid der Bezirkskirchenpflege vom 24. Februar 2020 aufzuheben und es sei festzustellen, dass die Kündigung vom 24. Juni 2019 nichtig sei, sowie die Kirchgemeinde X._ anzuweisen, ihn weiterzubeschäftigen.
Die Rekurskommission verzichtet unter Verweis auf ihren Entscheid auf einen Antrag. Die Kirchgemeinde X._ schliesst auf Abweisung der Beschwerde.
Mit Schreiben vom 9. November 2020 lässt A._ seinen Verzicht auf eine weitere Stellungnahme mitteilen.

Erwägungen:
1.
Die Sachurteilsvoraussetzungen sind erfüllt, da die Beschwerde unter Einhaltung der gesetzlichen Frist (<ref-law>) und Form (<ref-law>) von einer durch die Entscheidung besonders berührten Partei mit einem schutzwürdigen Interesse an deren Aufhebung oder Änderung (<ref-law>) eingereicht wurde. Weiter richtet sich das Rechtsmittel gegen einen von einer letzten kantonalen Instanz (<ref-law> und Art. 228 Abs. 1 lit. a der Kirchenordnung der Evangelisch-reformierten Landeskirche des Kantons Zürich vom 17. März 2009 [KO, LS 181.10]; vgl. auch <ref-ruling> E. 1.3.1 S. 125 mit Verweis auf Urteil 8C_451/2015 vom 29. Januar 2016 E. 2 und 2C_124/2013 vom 25. November 2013 E. 1.3.3) gefällten Endentscheid (<ref-law>) in einer Angelegenheit des öffentlichen Rechts (<ref-law>). Zudem greift keine der in <ref-law> erwähnten Ausnahmen und angesichts der beantragten Weiterbeschäftigung ist auch der Streitwert von <ref-law> erfüllt.
2.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen). Rechtsfragen überprüft das Bundesgericht mit voller Kognition (<ref-law>; <ref-ruling> E. 2 S. 236). Die Anwendung von kantonalem Recht prüft es hingegen - abgesehen von den Fällen gemäss Art. 95 lit. c-e BGG - nur auf Bundesrechtsverletzungen, namentlich auf Willkür, hin (<ref-ruling> E. 1.3 S. 41; <ref-ruling> E. 2 S. 50). In Bezug auf die Verletzung von Grundrechten und kantonalem Recht gilt eine qualifizierte Rüge- und Substanziierungspflicht (<ref-law>; <ref-ruling> E. 1.7.2 S. 106; <ref-ruling> E. 2.2 S. 232).
3.
Streitig ist, ob die Vorinstanz zu Recht die Kündigung vom 24. Juni 2019 als mangelhaft, aber nicht als nichtig qualifiziert und die von der Bezirkskirchenpflege deswegen zugesprochene Entschädigung von drei Monatslöhnen bestätigt hat.
4.
Die Vorinstanz erwog, das massgebende Recht finde sich in der Personalverordnung der Evangelisch-reformierten Landeskirche des Kantons Zürich vom 11. Mai 2010 (PVO; LS 181.40). Nach § 14 PVO seien die Bestimmungen des OR subsidiär anwendbar. Die Kündigung der Anstellung richte sich nach §§ 29 ff. PVO und habe durch die Anstellungsinstanz schriftlich sowie versehen mit einer Begründung und einer Rechtsmittelbelehrung zu erfolgen (§ 30 PVO). Sie verlange einen sachlichen Grund und dürfe nicht missbräuchlich im Sinne des OR sein (§ 32 Abs. 1 PVO). Als sachliche Gründe gälten u.a. eine mangelnde Leistung oder unbefriedigendes Verhalten, die trotz Abmahnung andauern würden, sowie wiederholte oder andauernde Verhinderung an der Aufgabenerfüllung, insbesondere aus persönlichen oder gesundheitlichen Gründen. Bei Kündigung wegen mangelnder Leistung oder unbefriedigendem Verhalten habe die Anstellungsinstanz im Rahmen einer Mitarbeiterbeurteilung unter Androhung der Kündigung schriftlich eine Mahnung auszusprechen und könne eine Bewährungsfrist ansetzen (§ 34 Abs. 1 PVO). Bleibe das Verhalten mangelhaft, könne die Anstellungsinstanz nach Anhörung der angestellten Person die Kündigung aussprechen (§ 34 Abs. 2 PVO). Auf die Ermahnung und Ansetzung einer Bewährungsfrist könne verzichtet werden, wenn absehbar sei, dass sie ihren Zweck nicht erfüllen könne, namentlich wenn die Person nicht in der Lage oder willens sei, ihre Leistung zu verbessern oder ihr Verhalten zu ändern. Erweise sich die Kündigung als sachlich nicht gerechtfertigt oder missbräuchlich und erfolge durch die Anstellungsinstanz keine Wiedereinstellung, bestehe ein Anspruch auf Entschädigung, die sich nach den Bestimmungen über die missbräuchliche Kündigung im OR bemesse (§ 33 PVO). Der Beschwerdeführer mache geltend, die Kündigung sei nichtig, weil sie nicht von der Kirchenpflege als Anstellungsbehörde, sondern nur von deren Präsidentin und Vizepräsidenten beschlossen worden sei. Die Arbeitgeberin halte dem entgegen, die Kirchenpflege habe an einer ausserordentlichen Sitzung vom 28. Mai 2019 über das weitere Vorgehen in Bezug auf die Zusammenarbeit mit dem Beschwerdeführer gesprochen und einstimmig beschlossen, diese auf den nächstmöglichen Termin zu beenden, sofern sich während der Anhörungsfrist und einer allfälligen Aussprache nicht neue Anhaltspunkte für eine bessere Zusammenarbeit ergeben würden. Der Beschluss sei nicht protokolliert worden, weil es sich um eine Personalangelegenheit gehandelt habe, die einen besonderen Schutz der Privatsphäre geniesse. Dieser Ablauf werde von sämtlichen Mitgliedern der Kirchenpflege mit Erklärung vom 9. Dezember 2019 schriftlich bestätigt. In der Folge rügte die Vorinstanz die fehlende Protokollierung. Gemäss § 6 des nach § 17 des Kirchengesetzes vom 9. Juli 2007 (KiG; LS 180.1) subsidiär geltenden Gemeindegesetzes vom 20. April 2015 (GG; LS 131.1) sei über alle Sitzungen einer Behörde ein Protokoll zu führen, das zumindest die Beschlüsse enthalten müsse. In der Folge anerkannte die Vorinstanz die Erklärung vom 9. Dezember 2019 als Protokollersatz. Da sich nach Ansicht der Präsidentin und des Vizepräsidenten der Kirchenpflege keine neuen Aspekte im Rahmen der Anhörung ergeben hätten, hätten sie dem Beschwerdeführer mit Schreiben vom 24. Juni 2019 die Kündigung eröffnet. Der Vorwurf, die Kündigung sei nicht von der zuständigen Instanz getroffen worden, treffe somit nicht zu. Dass die Kündigung nur von der Präsidentin und dem Vizepräsidenten unterschrieben worden sei, stelle keinen Mangel dar. Dass hingegen der Beschluss der Kirchenpflege zur Kündigung vor Gewährung des rechtlichen Gehörs erfolgt sei, entspreche nicht dem vorgeschriebenen Ablauf. Dies sei jedoch nicht derart offensichtlich und krass rechtswidrig, dass die Verfügung vom 24. Juni 2019 als nichtig zu qualifizieren wäre. In der Folge prüfte die Vorinstanz die verschiedenen angeführten Kündigungsgründe und kam zum Schluss, dass die Kündigung zwar mangelhaft, aber nicht missbräuchlich sei, dass bei einer mangelhaften Kündigung die Rechtsmittelbehörde eine Entschädigung gewähren, nicht aber die Weiterbeschäftigung anordnen dürfe und dass die Bezirkskirchenpflege mit der Zusprache einer Entschädigung von drei Monatslöhnen den Umständen ausreichend Rechnung getragen habe.
5.
5.1. Der Beschwerdeführer rügt eine unrichtige und willkürliche Sachverhaltsfeststellung, da die Vorinstanz zu Unrecht davon ausgehe, die Kirchenpflege habe am 28. Mai 2019 einen Kündigungsbeschluss gefällt.
5.2. Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist. Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erscheint. Diese Grundsätze gelten auch in Bezug auf die konkrete Beweiswürdigung; in diese greift das Bundesgericht auf Beschwerde hin nur bei Willkür ein, insbesondere wenn die Vorinstanz offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche grundlos ausser Acht lässt. Solche Mängel sind in der Beschwerde aufgrund des strengen Rügeprinzips (<ref-law>) klar und detailliert aufzuzeigen. Auf ungenügend begründete Rügen oder bloss allgemein gehaltene appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 4.2 S. 53 mit Hinweisen).
5.3. Die Vorinstanz hat festgehalten, dass die Kirchenpflege an ihrer Sitzung vom 28. Mai 2019 die Kündigung beschlossen habe, unter dem Vorbehalt, dass sich anlässlich der Anhörung des Beschwerdeführers nicht neue Anhaltspunkte für eine bessere Zusammenarbeit ergäben, und dass dieser Beschluss nicht protokolliert gewesen sei. In der Folge beanstandete sie die fehlende Protokollierung, erachtete aber die von allen Kirchenmitgliedern unterzeichnete Erklärung vom 9. Dezember 2019, mit welcher diese die Kündigung vom 28. Mai 2019 bestätigten, als Protokollersatz und ging gestützt darauf davon aus, dass die Kündigung von der Kirchenpflege beschlossen worden sei.
Wie sich aus der Erklärung vom 9. Dezember 2019 ergibt, waren die Mitglieder der Kirchenpflege anlässlich der Sitzung vom 28. Mai 2019 mit der Kündigung grundsätzlich einverstanden. Sie wussten aber, dass vor Aussprechung der Kündigung dem Beschwerdeführer das rechtliche Gehör zu gewähren war und haben deshalb - in gesetzlich unzulässiger Weise - den Entscheid, ob im Rahmen der Gewährung des rechtlichen Gehörs neue Aspekte vorgebracht werden, an die Präsidentin und den Vizepräsidenten delegiert. Unter diesen Umständen hat die Vorinstanz willkürfrei davon ausgehen können, dass die Kündigung des Beschwerdeführers vom Willen der übrigen Mitglieder der Kirchenpflege gedeckt war und diese der Kündigung am 28. Mai 2019 zugestimmt hatten.
6.
6.1. Weiter beanstandet der Beschwerdeführer, die Vorinstanz habe kantonales Recht willkürlich angewendet, indem sie die Zuständigkeitsordnung, wonach gemäss § 32 PVO die Kündigung durch die Anstellungsinstanz nach § 6 Abs. 1 lit. a PVO zu erfolgen habe und Präsidialentscheide nach § 41 Abs. 1 GG nur bei zeitlicher Dringlichkeit zulässig seien, ausgehebelt habe.
6.2. Eine willkürliche Anwendung des kantonalen Rechts liegt vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch dessen Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar als zutreffender erscheinen mag, genügt nicht (<ref-ruling> E. 2.2 S. 72 mit Hinweisen).
6.3. Weder die Kirchenpflege noch die Vorinstanz stützen die Kompetenz zum Erlass der Verfügung vom 24. Juni 2019 auf § 41 Abs. 1 GG ab. Der Einwand der willkürlichen Anwendung von § 41 Abs. 1 GG geht daher ins Leere.
Dem schon vor Vorinstanz erhobenen Vorwurf, die Kündigung sei durch ein unzuständiges Organ getroffen worden, hielt diese entgegen, der Umstand, dass die Kündigungsverfügung nicht von allen Mitgliedern der Kirchenpflege unterzeichnet worden sei, stelle keinen Mangel dar. Hingegen widerspreche der Beschluss der Kündigung durch die Kirchenpflege vor Gewährung des rechtlichen Gehörs dem gesetzlich vorgesehenen Ablauf.
Der Erlass einer Verfügung durch ein unzuständiges Organ ist vom Erlass einer Verfügung unter Verletzung der dafür vorgesehenen Verfahrensvorschriften zu unterscheiden. Vorliegend hat nicht eine unzuständige Instanz über die Kündigung des Beschwerdeführers entschieden. Vielmehr liegt der rechtliche Fehler darin, dass die Kirchenpflege als zuständige Instanz am 28. Mai 2019 die Kündigung beschlossen hat, ohne das Ergebnis der Gewährung des rechtlichen Gehörs abzuwarten. Damit liegt ein Verstoss gegen die Verfahrensvorschrift des in § 47 Abs. 1 PVO statuierten rechtlichen Gehörs vor. Dieser wurde denn auch bereits von der Bezirkskirchenpflege mit einer Entschädigung von drei Monatslöhnen sanktioniert. Eine willkürliche Anwendung von § 32 PVO i.V.m. § 6 Abs. 1 lit. a PVO ist somit nicht gegeben.
7.
7.1. Der Beschwerdeführer macht schliesslich geltend, die Kündigung vom 24. Juni 2019 sei nichtig, da in Verletzung von <ref-law> eine nicht gemäss den gesetzlichen Bestimmungen korrekt besetzte Behörde entschieden habe. Es liege eine funktionelle und sachliche Unzuständigkeit der entscheidenden Behörde vor. Dieser Mangel sei schwer und leicht erkennbar und die Nichtigkeit führe nicht zu einer Gefährdung der Rechtssicherheit.
7.2. Fehlerhafte Verfügungen sind in der Regel anfechtbar. Nur in ausserordentlichen Fällen bewirkt die Fehlerhaftigkeit einer Verfügung indessen deren Nichtigkeit. Damit Nichtigkeit anzunehmen ist, muss eine Verfügung einen besonders schweren Mangel aufweisen, der Mangel muss offensichtlich oder zumindest leicht erkennbar sein und die Nichtigkeit darf die Rechtssicherheit nicht ernsthaft gefährden. Als Nichtigkeitsgründe fallen namentlich schwerwiegende Zuständigkeitsfehler und schwerwiegende Verfahrens- und Formfehler in Betracht. Inhaltliche Mängel haben in der Regel nur die Anfechtbarkeit der Verfügung zur Folge. In seltenen Ausnahmefällen führt aber auch ein ausserordentlich schwer wiegender inhaltlicher Mangel zur Nichtigkeit, namentlich wenn ein solcher eine Verfügung praktisch wirkungslos, unsinnig oder unsittlich macht. Bei einer Grundrechtsverletzung könnte dies der Fall sein, wenn die Verfügung das Grundrecht in seinem Kerngehalt trifft (z.B. Verhängung einer Körperstrafe; in <ref-ruling> nicht publ. E. 4.2.3 des Urteils 8C_1065/2009 vom 31. August 2010 mit zahlreichen Hinweisen; erneut bestätigt mit Urteil 8C_242/2020 vom 9. September 2020 E. 6.2 und Urteil 8C_7/2020 vom 3. November 2020 E. 6.2.2.2 und 6.2.3.2).
Die Verweigerung des rechtlichen Gehörs (<ref-law>) gilt im Verwaltungsrecht resp. im Rahmen des öffentlich-rechtlichen Personalrechts regelmässig nicht als Nichtigkeitsgrund (in <ref-ruling> nicht publizierte E. 4.2.4 des Urteils 8C_1065/2009 vom 31. August 2010 mit Hinweisen auf die Literatur, <ref-ruling> E. 2 S. 364 und den Grundsatzentscheid 2P.104/2004 vom 14. März 2005 E. 6.4; vgl. etwa auch Urteil 2P.352/2005 vom 24. April 2006 E. 2.2).
7.3. Wie in E. 6.3 dargelegt, hat nicht ein unzuständiges oder unkorrekt besetztes Organ die Kündigung ausgesprochen. Die Verfügung ist vielmehr unter Verletzung des rechtlichen Gehörs erlassen worden. Dieser Verfahrensfehler wiegt jedoch nicht ausserordentlich schwer und gilt nach der Rechtsprechung nicht als Nichtigkeitsgrund. Somit sind die kumulativ erforderlichen Voraussetzungen für die Nichtigkeit nicht gegeben. Die Verfügung vom 24. Juni 2019 ist anfechtbar (und wurde vom Beschwerdeführer auch erfolgreich angefochten), sie ist jedoch nicht nichtig. Damit fällt unter Verweis auf die vorinstanzlichen Erwägungen eine Weiterbeschäftigung ausser Betracht.
8.
Das Verfahren ist kostenpflichtig. Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>). Die Beschwerdegegnerin hat keinen Anspruch auf eine Parteientschädigung, da sie im Rahmen ihres amtlichen Wirkungskreises tätig war (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 2000.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, der Rekurskommission der Evangelisch-reformierten Landeskirche des Kantons Zürich und der Evangelisch-reformierte Bezirkskirchenpflege Y._ schriftlich mitgeteilt.
Luzern, 25. November 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Riedi Hunold