Faits :
A.
A.a. A._ a été engagé en 1992 comme pasteur auprès de l'Église évangélique réformée du canton de Vaud (ci-après: l'EERV). Son ministère au service de l'EERV a été émaillé de divers incidents, notamment en 2000, 2001 et 2011, qui ont mis en évidence une relation problématique à l'autorité et un caractère difficile. A compter de septembre 2012, il a exercé ses fonctions de pasteur au sein de la paroisse de B._, où il a rapidement rencontré des difficultés relationnelles avec sa collègue pasteure C._. Le 6 mai 2013, l'EERV lui a adressé un avertissement en lui reprochant notamment son comportement jugeant et méprisant à l'encontre de C._. Malgré deux médiations, les difficultés ont perduré. Le 2 décembre 2014, le Conseil régional s'est réuni pour statuer sur la collaboration entre les ministres de la paroisse de B._ et préparer un rapport à l'attention du Conseil synodal. Le 18 décembre 2014, A._ a indiqué aux conseillers paroissiaux qu'il y avait fort à craindre que le Conseil synodal opte pour son licenciement immédiat, étant donné qu'il était sous le coup d'un avertissement.
A.b. Le 5 janvier 2015, le Conseil régional a rendu son rapport, qui constatait l'échec de la collaboration entre les deux ministres et laissait ouverte la question de savoir si l'un de ceux-ci ou les deux devaient quitter la paroisse. A._ a vivement contesté ce rapport, tant sur la forme que sur le fond, par courrier du 10 janvier 2015. Le 9 février 2015, il a eu un entretien avec l'Office des ressources humaines de l'EERV (ci-après: l'ORH), qui lui a indiqué qu'il s'entretiendrait avec les membres du Conseil paroissial, du Conseil régional ainsi qu'avec C._ pour examiner la situation, mais la question d'un éventuel licenciement n'a pas été formellement abordée. Entre février et mars 2015, le responsable de l'ORH s'est entretenu avec diverses personnes au sujet des problèmes que rencontrait la paroisse de B._. A._ a ensuite été convoqué à un entretien le 23 avril 2015, lors duquel l'EERV lui a remis une lettre de résiliation de ses rapports de travail avec effet au 31 juillet 2015. Il y était indiqué que malgré l'avertissement qui lui avait été adressé, le suivi de cette situation par l'ORH et les diverses mesures mises en place, sa collaboration tant avec sa collègue qu'avec les laïcs de sa paroisse, son attitude et sa façon d'envisager son ministère n'étaient pas compatibles avec ce que l'EERV pouvait attendre d'un ministre.
A.c. Le 29 février 2016, A._, qui a été en incapacité de travail pour cause de maladie du 15 juillet 2015 au 31 janvier 2016, a saisi la Chambre patrimoniale cantonale du canton de Vaud d'une demande tendant principalement au paiement par l'EERV d'un montant de 136'320 fr. à titre d'indemnité pour résiliation abusive et d'un montant brut de 48'237 fr. 40 - sous déduction des charges sociales usuelles et d'un montant net de 18'502 fr. 60 perçu à raison d'indemnités de chômage et d'indemnités journalières perte de gain maladie - à titre de salaire pour les mois d'août 2015 à janvier 2016. Subsidiairement au paiement du montant de 136'320 fr., il concluait à l'annulation de la résiliation des rapports de travail et à sa réintégration dans ses fonctions au service de l'EERV.
Par jugement du 19 septembre 2018, la Chambre patrimoniale cantonale a condamné l'EERV à payer à A._ le montant brut de 48'237 fr. 40, sous déduction des charges sociales usuelles et du montant net de 18'502 fr. 60, et a rejeté la demande pour le surplus.
B.
Par arrêt du 13 novembre 2019, la Cour d'appel civile du Tribunal cantonal du canton de Vaud a partiellement admis l'appel interjeté contre ce jugement par A._, en ce sens qu'elle a octroyé en sus à celui-ci un montant net de 10'000 fr., plus intérêt à 5 % l'an dès le 1 er octobre 2015, à titre d'indemnité pour la violation de son droit d'être entendu.
C.
A._ exerce un recours en matière de droit public contre l'arrêt du 13 novembre 2019. Principalement, il conclut à sa réforme en ce sens que l'indemnité pour violation de son droit d'être entendu soit fixée à 136'320 fr. avec intérêts à 5 % l'an dès le 1 er octobre 2015, les frais judiciaires et les dépens de première et deuxième instance étant mis à la charge de l'intimée. Subsidiairement, il sollicite le renvoi de la cause à la cour cantonale pour nouvelle instruction et décision dans le sens des considérants.
L'intimée conclut au rejet du recours dans la mesure de sa recevabilité. La cour cantonale s'est référée aux considérants de son arrêt.

Considérant en droit :
1.
1.1. L'arrêt entrepris a été rendu en matière de rapports de travail de droit public au sens de l'art. 83 let. g LTF, la cour cantonale ayant considéré à l'instar des premiers juges que les rapports de travail entre les parties étaient régis par le droit public (cf. consid. 1.2 infra). S'agissant d'une contestation pécuniaire, le motif d'exclusion du recours en matière de droit public prévu par l'art. 83 let. g LTF ne s'applique pas. La valeur litigieuse atteint par ailleurs le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public en ce domaine (art. 51 al. 2 et 85 al. 1 let. b LTF). Interjeté en temps utile (<ref-law>) et dans les formes requises (<ref-law>) contre une décision finale (<ref-law>) prise par un tribunal supérieur statuant en dernière instance cantonale (art. 86 al. 1 let. d LTF), le recours est ainsi recevable.
1.2. Tant la Chambre patrimoniale cantonale que la Cour d'appel civile ont examiné si les parties étaient liées par un rapport de droit public engendrant l'application des principes y relatifs. Toutes deux ont considéré que tel était le cas et que les tribunaux civils ordinaires étaient compétents en vertu de l'art. 3 al. 3 de la loi cantonale sur la juridiction du travail (LJT; BLV 173.61), qui prévoit que sous réserve de dispositions contraires, notamment celles prévues par la loi sur le personnel de l'État de Vaud (LPers-VD; BLV 172.31), les personnes engagées par contrat d'une collectivité publique ou d'un établissement public peuvent saisir les autorités compétentes en matière de juridiction du travail, soit la Chambre patrimoniale cantonale lorsque la valeur litigieuse est supérieure à 100'000 fr. (art. 2 al. 1 let. c LJT).
L'intimée soutient, comme elle l'avait fait en instance cantonale, que les rapports de travail liant les parties ne relèveraient pas du droit public mais du droit privé. Elle n'aurait pas recouru au Tribunal fédéral contre l'arrêt de la Cour d'appel civile car elle n'aurait pu le faire que pour critiquer l'application du droit faite par les juges cantonaux sans pour autant critiquer le résultat auquel ils sont parvenus; or un tel recours sur les motifs aurait été irrecevable. Cela ne la priverait toutefois pas de faire valoir dans sa réponse au recours un argument tiré du droit applicable qu'elle avait déjà soulevé en instance cantonale.
Contrairement à ce qu'elle affirme, l'intimée aurait parfaitement pu recourir contre l'arrêt de la Cour d'appel civile - dans son dispositif et non seulement dans ses motifs - en tant que celui-ci la condamne à payer au recourant un montant de 10'000 fr. à titre d'indemnité pour la violation de son droit d'être entendu. En effet, comme elle le relève elle-même, il n'aurait pas pu être question d'une telle indemnisation si les rapports de travail entre les parties avaient été soumis au droit privé. Dès lors que l'intimée n'a pas recouru contre l'arrêt cantonal qui a retenu que les rapports entre les parties étaient régis par le droit public sur la base d'une interprétation du droit public cantonal, et que le Tribunal fédéral ne peut examiner la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant (<ref-law>), il n'y a pas lieu de revenir sur cette question.
1.3. Pour les mêmes motifs, il n'y a pas lieu d'entrer en matière sur les griefs de l'intimée - que celle-ci aurait dû soulever dans le recours qu'elle a renoncé à interjeter contre l'arrêt attaqué en tant qu'il la condamne à payer au recourant une indemnité de 10'000 fr. pour la violation de son droit d'être entendu - selon lesquels la cour cantonale aurait dû constater que le droit d'être entendu du recourant n'avait pas été violé et qu'un éventuel vice à cet égard avait été réparé devant la Chambre patrimoniale cantonale. Au demeurant, l'octroi au recourant d'une indemnité pour violation de son droit d'être entendu est acquis en raison de l'interdiction de la reformatio in pejus (<ref-law>; <ref-ruling> consid. 2.1 p. 110).
2.
Le Tribunal fédéral statue sur la base des faits retenus par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2 p. 190) - ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (<ref-law>); à ce défaut, un état de fait divergent de celui de la décision attaquée ne peut pas être pris en compte (<ref-ruling> consid. 5.2.2 p. 322).
3.
3.1. Selon l'art. 29 al. 2 Cst., les parties ont le droit d'être entendues. Ce droit sert non seulement à établir correctement les faits, mais constitue également un droit indissociable de la personnalité garantissant à un particulier de participer à la prise d'une décision qui touche sa position juridique (<ref-ruling> consid. 2.3 p.282; <ref-ruling> consid. 3.1 p. 370; arrêt 8C_861/2012 du 20 août 2013 consid. 5.2). L'étendue du droit de s'exprimer ne peut pas être déterminée de manière générale, mais doit être définie au regard des intérêts concrètement en jeu; l'idée maîtresse est qu'il faut permettre à une partie de pouvoir mettre en évidence son point de vue de manière efficace (<ref-ruling> consid. 5.3 p. 17 s. et les arrêts cités).
En matière de rapports de travail de droit public, la jurisprudence admet que des occasions relativement informelles de s'exprimer avant le licenciement peuvent remplir les exigences du droit constitutionnel d'être entendu, pour autant que la personne concernée ait compris qu'une telle mesure pouvait entrer en ligne de compte à son encontre (<ref-ruling> consid. 5.3 p. 18 in fine). La personne concernée ne doit pas seulement connaître les faits qui lui sont reprochés, mais doit également savoir qu'une décision allant dans une certaine direction est envisagée à son égard (arrêt 8C_158/2009 du 2 septembre 2009 consid. 5.2, non publié aux <ref-ruling>, et les arrêts cités). Il n'est pas admissible, sous l'angle du droit d'être entendu, de remettre à l'employé une décision de résiliation des rapports de service en se contentant de lui demander de s'exprimer s'il le désire (arrêt 8C_541/2017 du 14 mai 2018 consid. 2.2. et les arrêts cités). Le Tribunal fédéral a ainsi admis une violation du droit d'être entendu s'agissant d'un fonctionnaire qui s'était vu remettre, au moment même de la réunion pour laquelle il avait été convoqué la veille, une décision de licenciement rédigée d'avance, sans qu'il ait été informé au préalable de l'objet de l'entretien et bien qu'il ait su que son employeur était insatisfait de ses prestations professionnelles (arrêt 8C_615/2016 du 15 juillet 2017 consid. 3.4).
3.2. Le droit d'être entendu est une garantie constitutionnelle de caractère formel, dont la violation entraîne l'annulation de la décision attaquée, indépendamment des chances de succès du recourant sur le fond (<ref-ruling> consid. 5.1 p. 390; <ref-ruling> consid. 3d/aa p. 437). Cependant, en droit de la fonction publique, la jurisprudence admet qu'une violation du droit d'être entendu peut être liquidée par une indemnisation (cf. arrêts 8C_417/2014 du 17 août 2015 consid. 5.1; 8C_158/2009 précité consid. 6.6, non publié aux <ref-ruling>). Celle-ci peut intervenir sur la base d'une application par analogie des règles relatives aux conséquences d'une résiliation injustifiée (cf. arrêt 8C_413/2014 du 17 août 2015 consid. 5.1), voire sur la base d'une application par analogie des dispositions de droit privé sur le licenciement abusif (cf. arrêt 8C_861/2012 précité consid. 6.2).
4.
4.1. La cour cantonale a exposé que, dans la mesure où le licenciement du recourant lui avait été signifié au terme d'une enquête menée par l'ORH et où, avant celle-ci, l'issue de la collaboration entre les ministres de B._ n'était pas certaine, il fallait considérer que les éléments recueillis par le responsable de l'ORH avaient eu une incidence sur Ia décision de résiliation des rapports de travail. Or l'EERV n'avait pas donné au recourant l'occasion de se déterminer sur les éléments ainsi rassemblés. Dans ces circonstances, même si le recourant connaissait l'insatisfaction de l'EERV au sujet de ses prestations professionnelles et personnelles, son droit d'être entendu avait été violé. La réparation en deuxième instance n'était pas envisageable dès lors que la Cour d'appel civile ne disposait pas des éléments de fait propres à l'enquête qui avait été diligentée par l'ORH. La violation du droit d'être entendu ne pouvait dès lors être réparée que par le biais d'une indemnité.
Pour fixer cette indemnité, la cour cantonale a considéré qu'il convenait de tenir compte, par application analogique des dispositions sur le licenciement abusif, de l'ensemble des circonstances et des "fautes concomitantes" du recourant, à savoir en bref que celui-ci avait un caractère difficile, voire incompatible avec sa mission d'homme d'Église, et une attitude impropre à la collaboration, que ses courriers prolixes et parfois dénigrants démontraient une adaptation difficile au poste de pasteur et qu'il avait d'ailleurs donné une mauvaise image de l'Église, ce qui lui avait valu des avertissements et des remises à l'ordre. Elle a estimé qu'eu égard à ces éléments, il se justifiait d'allouer au recourant, à titre de réparation de la violation de son droit d'être entendu, un montant net de 10'000 fr., correspondant environ à un mois de salaire.
4.2. Le recourant s'en prend au montant de l'indemnité allouée par les premiers juges au titre de la réparation de la violation de son droit d'être entendu. A son avis, en fixant l'indemnité pour violation du droit d'être entendu en considération d'éléments relevant du bien-fondé matériel de la décision de licenciement, soit sur la base de critères dépourvus de toute pertinence pour fixer une indemnité destinée à réparer la violation d'un droit de nature formelle, les premiers juges auraient abusé de leur pouvoir d'appréciation et violé les art. 9 et 29 al. 2 Cst. Il soutient que, faute de motifs de réduction, il se justifierait, au vu de la gravité de la violation de son droit d'être entendu ayant consisté à lui dénier toute possibilité de se déterminer par rapport aux mesures d'instruction intervenues aux mois de février et mars 2015, de fixer l'indemnité au montant maximum prévu par l'art. 23 de la Convention collective de travail (CCT) du 3 septembre 2008 conclue entre l'EERV et l'Association des pasteurs et diacres de l'EERV ainsi que l'Association des laïcs salariés de l'EERV, applicable aux relations entre les parties comme l'a constaté la cour cantonale. Cette disposition prévoit qu'en cas de résiliation abusive, la partie qui résilie abusivement doit verser à l'autre une indemnité fixée conformément à l'art. 336a al. 2 et 3 CO, laquelle est calculée selon le nombre d'années de service et s'élève à douze mois de salaire au maximum dès seize années de service.
5.
5.1. La fixation du montant d'une indemnité pour violation du droit d'être entendu relève du pouvoir d'appréciation (arrêt 8C_180/2019 du 17 avril 2020 consid. 4.3.2).
Lorsque, comme en l'espèce, cette indemnité est fixée sur la base du droit cantonal, il se pose la question du pouvoir d'examen du Tribunal fédéral. En effet, sauf exceptions non pertinentes en l'espèce (cf. art. 95 let. c, d et e LTF), on ne peut pas invoquer la violation du droit cantonal ou communal en tant que tel devant le Tribunal fédéral (<ref-law> a contrario); il est néanmoins possible de faire valoir que son application viole le droit fédéral, en particulier l'interdiction de l'arbitraire (art. 9 Cst.), le droit à l'égalité de traitement (art. 8 Cst.) ou d'autres droits constitutionnels; le Tribunal fédéral n'examine alors de tels moyens que s'ils sont formulés conformément aux exigences de motivation qualifiée prévues à l'<ref-law> (<ref-ruling> consid. 3.2 p. 579 et la référence).
Lorsque la partie recourante se plaint de la fixation par l'autorité cantonale, dans le cadre de la fourchette prévue par la loi, du montant d'une indemnité relevant du droit cantonal, elle ne peut ainsi le faire qu'en invoquant une violation du droit fédéral; en pratique, il s'agira essentiellement de l'interdiction de l'arbitraire (<ref-ruling> consid. 2 p. 72; <ref-ruling> consid. 3 in fine p. 49 s.; <ref-ruling> consid. 1b in fine p. 363, relatifs à la fixation d'indemnités allouées à titre de dépens ou d'honoraires d'avocat d'office). Dans ce cadre, le Tribunal fédéral peut examiner si, au regard des circonstances de l'espèce, l'autorité est tombée dans l'arbitraire en abusant de son pouvoir d'appréciation (cf. BENJAMIN SCHINDLER, Verwaltungsermessen, 2010, n° 223 p. 175; voir aussi FELIX UHLMANN, Das Willkürverbot [art. 9 BV], Berne 2005, n° 472 in fine, p. 346). Il y a abus du pouvoir d'appréciation notamment lorsque l'autorité, tout en restant dans les limites du pouvoir d'appréciation qui est le sien, se fonde sur des considérations qui manquent de pertinence et sont étrangères au but visé par les dispositions légales applicables (<ref-ruling> consid. 5.1 p. 73, 123 V 150 consid. 2 p. 152 et les références).
5.2. En l'occurrence, la juridiction cantonale a fixé l'indemnité pour violation du droit d'être entendu du recourant à environ un mois de salaire après avoir "pondéré", selon ses propres termes, cette indemnité en raison de la faute concomitante du recourant. D'une part, la juridiction cantonale n'explique pas quelles circonstances elle a pris en considération pour arrêter l'indemnité avant de réduire celle-ci en raison de la faute concomitante du recourant, de sorte que le Tribunal fédéral n'est pas en mesure de contrôler l'exercice du pouvoir d'appréciation des premiers juges dans le cas d'espèce. D'autre part, en réduisant l'indemnité en raison de la faute concomitante du recourant dans la résiliation de ses rapports de service, la juridiction cantonale s'est appuyée sur un élément de fait relevant du bien-fondé matériel de la décision de licenciement, lequel n'apparaît nullement pertinent dans la fixation de l'indemnité pour violation d'un droit de nature formelle. Dans ces circonstances, les juges cantonaux ont abusé de leur pouvoir d'appréciation. Il convient dès lors de leur renvoyer la cause afin qu'ils fixent à nouveau le montant de l'indemnité devant être allouée au recourant à titre de réparation de la violation de son droit d'être entendu, en tenant compte de toutes les circonstances en lien avec ce vice de forme.
6.
6.1. Rappelant que, lorsque le droit applicable ne fait pas dépendre le licenciement de conditions matérielles, le congé ne peut, sous peine de violer le principe de l'interdiction de l'arbitraire, être donné que s'il repose sur des motifs objectifs et apparaît comme une mesure appropriée au regard de la situation concrète (arrêt 8C_324/2017 du 22 février 2018 consid. 5.3.2 et les arrêts cités), le recourant fait grief à la cour cantonale d'avoir violé l'interdiction de l'arbitraire, le principe de la proportionnalité ainsi que l'<ref-law> en admettant que l'intimée avait établi le caractère justifié du licenciement. Il soutient qu'il ne résulterait pas de l'état de fait de l'arrêt entrepris que le licenciement aurait été donné en raison des motifs énoncés dans la lettre de résiliation qui lui a été remise lors de l'entretien le 23 avril 2015, ni que ces motifs sont avérés.
Ce grief est dépourvu de fondement. En effet, examinant le grief du recourant selon lequel l'intimée aurait échoué à prouver l'existence d'un motif suffisant de résiliation, les juges cantonaux se sont référés aux éléments qu'ils avaient déjà exposés en relation avec la violation du droit d'être entendu (cf. consid. 4.1 supra). Ils ont ainsi à l'évidence considéré ces éléments - qui correspondent en substance aux reproches formulés dans la lettre de résiliation (cf. let. A.b supra) - comme avérés, renvoyant en outre au considérant IV.c du jugement de première instance qu'ils ont qualifié de complet et convaincant sur ce point.
6.2. Le recourant se plaint également d'arbitraire dans l'appréciation des preuves au motif que tous les éléments sur lesquels la cour cantonale s'est fondée pour retenir qu'il avait montré un caractère difficile, voire incompatible avec sa mission d'homme d'Église, et une adaptation difficile au poste de pasteur seraient soit antérieurs à l'avertissement reçu le 6 mai 2013, soit postérieurs au congé donné le 23 avril 2015, et donc dénués de toute pertinence pour apprécier le caractère justifié ou non du licenciement.
Ces griefs se révèlent dénués de pertinence. Il convient de relever d'emblée qu'il ne s'agit pas ici de juger si l'on est en présence de manquements qui justifieraient en droit privé du travail le licenciement immédiat du travailleur parce qu'ils auraient été répétés malgré un avertissement (<ref-ruling> consid. 4.1 p. 31 et la référence), mais s'il existait des motifs justifiant une résiliation ordinaire de rapports de travail de droit public. Dans ce contexte, les faits qui avaient déjà donné lieu à un avertissement sont pertinents. Ils le sont d'autant plus qu'ils se rapportent à des traits de caractère et à une attitude systématique - jugés incompatibles avec un poste de ministre de l'EERV - qui se sont manifestés tant avant qu'après l'avertissement du 6 mai 2013; selon les constatations de fait du jugement attaqué qui lient le Tribunal fédéral (supra consid. 2), il s'agit notamment de l'insuccès des médiations entreprises entre mai et juillet 2013 puis entre janvier et la Pentecôte 2014, le courriel que le recourant a adressé le 2 juillet 2014 à une catéchète, le refus du recourant de célébrer le culte de Noël en décembre 2014 et les critiques qu'il a émises le 10 janvier 2015 à l'encontre du rapport du Conseil régional du 5 janvier 2015.
7.
Au vu de ce qui précède, il convient d'admettre partiellement le recours en tant qu'il s'en prend au montant de l'indemnité due au recourant au titre de la violation de son droit d'être entendu et de renvoyer la cause à la Cour d'appel civile pour qu'elle fixe à nouveau cette indemnité et pour qu'elle statue à nouveau sur les frais et dépens de la procédure antérieure (<ref-law> a contrario).
8.
Vu l'issue du litige, les frais judiciaires seront mis pour trois quarts à la charge du recourant et pour un quart à la charge de l'intimée (<ref-law>), qui versera en outre au recourant une indemnité à titre de dépens réduits (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. Le chiffre II/I bis du dispositif de l'arrêt du 13 novembre 2019 est annulé et la cause est renvoyée à la Cour d'appel civile pour nouvelle décision sur le montant de l'indemnité due par l'intimée au recourant au titre de la violation de son droit d'être entendu, ainsi que sur les frais et dépens de la procédure cantonale. Le recours est rejeté pour le surplus.
2.
Les frais judiciaires, arrêtés à 3000 fr., sont mis à la charge du recourant par 2250 fr. et à la charge de l'intimée par 750 fr.
3.
L'intimée versera au recourant la somme de 700 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties, à la Caisse cantonale de chômage et au Tribunal cantonal du canton de Vaud, Cour d'appel civile.
Lucerne, le 7 septembre 2020
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Fretz Perrin