Sachverhalt: A. A.a. A._, geboren 1969, war ab 1. Dezember 2017 bei der Evangelisch-reformierten Kirchgemeinde X._ zu einem 50 %-Pensum angestellt. Anlässlich des vor Ablauf der Probezeit am 22. Februar 2018 durchgeführten Mitarbeitergesprächs wurden nebst Anerkennung für die geleistete Arbeit auch einige Punkte mit Verbesserungsbedarf festgehalten. A._ erklärte sich damit nicht einverstanden. In der Folge konnten sich die Parteien nicht einigen und es wurde anlässlich der Besprechung vom 14. November 2018 die Durchführung eines weiteren Mitarbeitergesprächs vereinbart, das auf den 12. Februar 2019 angesetzt wurde. Am 11. Februar 2019 meldete sich A._ gestützt auf ein ärztliches Zeugnis krank und kehrte nicht mehr an seinen Arbeitsplatz zurück. A.b. In Zusammenhang mit dem Mitarbeitergespräch vom 22. Februar 2018 hatte die Arbeitgeberin (nachfolgend: Kirchenpflege) sich bei einer Anwaltskanzlei über die Möglichkeiten einer Kündigung im Rahmen der Probezeit erkundigt. A._ forderte von der Arbeitgeberin mehrfach diese Unterlagen heraus, was diese am 22. März 2019 ablehnte. Die Bezirkskirchenpflege Y._ verpflichtete die Arbeitgeberin mit Beschluss vom 1. Juli 2019 zur Herausgabe dieser Unterlagen. A.c. Bereits am 28. Mai 2019 hatte die Kirchenpflege A._ mitgeteilt, sie beabsichtige, ihm nach Ablauf der Sperrfrist zu kündigen. Sie begründete dies damit, dass er sich nicht zu seiner allfälligen Rückkehr an den Arbeitsplatz äussere sowie keine Bereitschaft zeige, am vorgesehenen Gespräch unter Moderation der Bezirkskirchenpflege teilzunehmen. Zudem sei er der Aufforderung der Krankentaggeldversicherung, einen Vertrauensarzt aufzusuchen, nicht nachgekommen und ein eingereichtes Arztzeugnis weise eine nachträgliche Korrektur auf, was den Verdacht der Manipulation erwecke. Weiter hätten sich Mitarbeitende sowie externe Besucher bei der Kirchenpflege über das Auftreten von A._ beklagt. Am 11. Juni 2019 nahm der Rechtsvertreter von A._ Stellung zur beabsichtigten Kündigung. A.d. Mit Schreiben vom 24. Juni 2019, unterzeichnet von der Präsidentin und dem Vizepräsidenten der Kirchenpflege, kündigte diese das Arbeitsverhältnis per Ende September 2019. Sie begründete dies damit, dass eine weitere Zusammenarbeit unter den gegebenen Umständen keinen Sinn mache und es nicht absehbar sei, ob und allenfalls wann A._ wieder arbeitsfähig sei. Zudem habe er sich bezüglich Sorgfalt und sprachlicher Unzulänglichkeiten nicht verbessert und bekunde Mühe, Entscheidungen und Weisungen der Vorgesetzten zu befolgen. Den dagegen eingereichten Rekurs hiess die Bezirkskirchenpflege Y._ mit Entscheid vom 24. Februar 2020 teilweise gut und sprach A._ drei Monatslöhne als Entschädigung zu. Während dieses Rekursverfahrens hatte A._ bei der Staatsanwaltschaft des Kantons Zürich Strafanzeige gegen mehrere an seiner Kündigung beteiligte Personen erhoben. Den Antrag der Staatsanwaltschaft auf Ermächtigung zur Strafuntersuchung gegen diese Behördenmitglieder lehnte das Obergericht des Kantons Zürich am 23. Dezember 2019 ab; diese Sache ist ebenfalls beim Bundesgericht hängig. B. Die Rekurskommission der Evangelisch-reformierten Landeskirche des Kantons Zürich wies die gegen den Entscheid der Bezirkskirchenpflege Y._ vom 24. Februar 2020 erhobene Beschwerde mit Entscheid vom 18. Juni 2020 ab. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der vorinstanzliche Entscheid sowie der Entscheid der Bezirkskirchenpflege vom 24. Februar 2020 aufzuheben und es sei festzustellen, dass die Kündigung vom 24. Juni 2019 nichtig sei, sowie die Kirchgemeinde X._ anzuweisen, ihn weiterzubeschäftigen. Die Rekurskommission verzichtet unter Verweis auf ihren Entscheid auf einen Antrag. Die Kirchgemeinde X._ schliesst auf Abweisung der Beschwerde. Mit Schreiben vom 9. November 2020 lässt A._ seinen Verzicht auf eine weitere Stellungnahme mitteilen.