Faits :
A.
A.a. A._, né en 1962, a été engagé en 1992 comme pasteur auprès de l'Église évangélique réformée du canton de Vaud (ci-après: l'EERV). Son ministère au service de l'EERV a été émaillé de divers incidents, notamment en 2000, 2001 et 2011, qui ont mis en évidence une relation problématique à l'autorité et un caractère difficile. A compter de septembre 2012, il a exercé ses fonctions de pasteur au sein de la paroisse de U._, où il a rapidement rencontré des difficultés relationnelles avec sa collègue pasteure B._. Le 6 mai 2013, l'EERV lui a adressé un avertissement en lui reprochant notamment son comportement jugeant et méprisant à l'encontre de B._. Malgré deux médiations, les difficultés ont perduré. Le 2 décembre 2014, le Conseil régional s'est réuni pour statuer sur la collaboration entre les ministres de la paroisse de U._ et préparer un rapport à l'attention du Conseil synodal. Le 18 décembre 2014, A._ a indiqué aux conseillers paroissiaux qu'il y avait fort à craindre que le Conseil synodal opte pour son licenciement immédiat, étant donné qu'il était sous le coup d'un avertissement.
A.b. Le 5 janvier 2015, le Conseil régional a rendu son rapport, qui constatait l'échec de la collaboration entre les deux ministres et laissait ouverte la question de savoir si l'un de ceux-ci ou les deux devaient quitter la paroisse. A._ a vivement contesté ce rapport, tant sur la forme que sur le fond, par courrier du 10 janvier 2015. Le 9 février 2015, il a eu un entretien avec l'Office des ressources humaines de l'EERV (ci-après: l'ORH), qui lui a indiqué qu'il s'entretiendrait avec les membres du Conseil paroissial, du Conseil régional ainsi qu'avec B._ pour examiner la situation, mais la question d'un éventuel licenciement n'a pas été formellement abordée. Entre février et mars 2015, C._, responsable de l'ORH, s'est entretenu avec diverses personnes au sujet des problèmes que rencontrait la paroisse de U._. A._ a ensuite été convoqué à un entretien le 23 avril 2015, lors duquel l'EERV lui a remis une lettre de résiliation de ses rapports de travail avec effet au 31 juillet 2015. Il y était indiqué que malgré l'avertissement qui lui avait été adressé, le suivi de cette situation par l'ORH et les diverses mesures mises en place, sa collaboration tant avec sa collègue qu'avec les laïcs de sa paroisse, son attitude et sa façon d'envisager son ministère n'étaient pas compatibles avec ce que l'EERV pouvait attendre d'un ministre.
A.c. Le 29 février 2016, A._, qui a été en incapacité de travail pour cause de maladie du 15 juillet 2015 au 31 janvier 2016, a saisi la Chambre patrimoniale cantonale du canton de Vaud d'une demande tendant principalement au paiement par l'EERV d'un montant de 136'320 fr. à titre d'indemnité pour résiliation abusive et d'un montant brut de 48'237 fr. 40 - sous déduction des charges sociales usuelles et d'un montant net de 18'502 fr. 60 perçu à raison d'indemnités de chômage et d'indemnités journalières perte de gain maladie - à titre de salaire pour les mois d'août 2015 à janvier 2016. Subsidiairement au paiement du montant de 136'320 fr., il concluait à l'annulation de la résiliation des rapports de travail et à sa réintégration dans ses fonctions au service de l'EERV.
Par jugement du 19 septembre 2018, la Chambre patrimoniale cantonale a condamné l'EERV à payer à A._ le montant brut de 48'237 fr. 40, sous déduction des charges sociales usuelles et du montant net de 18'502 fr. 60, et a rejeté la demande pour le surplus.
A.d. A._ a recouru contre ce jugement devant la Cour d'appel civile du Tribunal cantonal du canton de Vaud, qui a partiellement admis l'appel par arrêt du 13 novembre 2019, en ce sens qu'elle a octroyé en sus à celui-ci un montant net de 10'000 fr., plus intérêt à 5 % l'an dès le 1er octobre 2015, à titre d'indemnité pour la violation de son droit d'être entendu.
A.e. Par arrêt du 7 septembre 2020 (arrêt 8C_37/2020), le Tribunal fédéral a partiellement admis le recours en matière de droit public formé par A._ contre l'arrêt du 13 novembre 2019 et a renvoyé la cause à la Cour d'appel civile pour qu'elle rende une nouvelle décision sur le montant de l'indemnité due par l'EERV à A._ au titre de la violation de son droit d'être entendu ainsi que sur les frais de la procédure cantonale et a rejeté le recours pour le surplus.
B.
Le 14 décembre 2020, après avoir donné l'occasion aux parties de se déterminer sur l'arrêt rendu par le Tribunal fédéral, la Cour d'appel civile a partiellement admis l'appel formé contre le jugement de la Chambre patrimoniale cantonale du 19 septembre 2018, en ce sens qu'elle a derechef octroyé en sus à A._ un montant net de 10'000 fr., plus intérêt à 5 % l'an dès le 1er octobre 2015, à titre d'indemnité pour la violation de son droit d'être entendu.
C.
A._ interjette un recours en matière de droit public contre cet arrêt. Il conclut principalement à sa réforme en ce sens que l'indemnité pour violation de son droit d'être entendu soit fixée à 136'320 fr. avec intérêts à 5 % l'an dès le 1 er octobre 2015, les frais judiciaires et les dépens de première et deuxième instances étant mis à la charge de l'intimée. A titre subsidiaire, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à la cour cantonale pour nouvelle instruction et décision dans le sens des considérants.
L'intimée conclut au rejet du recours dans la mesure de sa recevabilité. La cour cantonale s'est référée aux considérants de son arrêt.
Considérant en droit :
1.
1.1. Selon l'art. 83 let. g LTF, en matière de rapports de travail de droit public (lorsque, comme en l'espèce, la question de l'égalité des sexes n'est pas en cause), le recours en matière de droit public n'est recevable que contre les décisions qui concernent une contestation pécuniaire. Pour que le recours soit recevable, il faut encore, en principe, que la valeur litigieuse minimale de 15'000 fr. soit atteinte (art. 85 al. 1 let. b LTF).
1.2. Dans son arrêt du 7 septembre 2020 (8C_37/2020), rendu en la présente cause, le Tribunal fédéral a déjà retenu qu'il s'agissait d'une contestation pécuniaire et que le seuil de la valeur litigieuse déterminante était dépassé (consid. 1.1). Il suffit par conséquent d'y renvoyer.
2.
2.1. Selon l'art. 29 al. 2 Cst., les parties ont le droit d'être entendues. Ce droit sert non seulement à établir correctement les faits, mais constitue également un droit indissociable de la personnalité garantissant à un particulier de participer à la prise d'une décision qui touche sa position juridique (ATF 135 I 279 consid. 2.3; 132 V 368 consid. 3.1; arrêt 8C_861/2012 du 20 août 2013 consid. 5.2). L'étendue du droit de s'exprimer ne peut pas être déterminée de manière générale, mais doit être définie au regard des intérêts concrètement en jeu; l'idée maîtresse est qu'il faut permettre à une partie de pouvoir mettre en évidence son point de vue de manière efficace (ATF 144 I 11 consid. 5.3 et les arrêts cités).
En matière de rapports de travail de droit public, la jurisprudence admet que des occasions relativement informelles de s'exprimer avant le licenciement peuvent remplir les exigences du droit constitutionnel d'être entendu, pour autant que la personne concernée ait compris qu'une telle mesure pouvait entrer en ligne de compte à son encontre (ATF 144 I 11 consid. 5.3 in fine). La personne concernée ne doit pas seulement connaître les faits qui lui sont reprochés, mais doit également savoir qu'une décision allant dans une certaine direction est envisagée à son égard (arrêt 8C_158/2009 du 2 septembre 2009 consid. 5.2, non publié aux ATF 136 I 39, et les arrêts cités). Il n'est pas admissible, sous l'angle du droit d'être entendu, de remettre à l'employé une décision de résiliation des rapports de service en se contentant de lui demander de s'exprimer s'il le désire (arrêt 8C_541/2017 du 14 mai 2018 consid. 2.2 et les arrêts cités). Le Tribunal fédéral a ainsi admis une violation du droit d'être entendu s'agissant d'un fonctionnaire qui s'était vu remettre, au moment même de la réunion pour laquelle il avait été convoqué la veille, une décision de licenciement rédigée d'avance, sans qu'il ait été informé au préalable de l'objet de l'entretien et bien qu'il ait su que son employeur était insatisfait de ses prestations professionnelles (arrêt 8C_615/2016 du 15 juillet 2017 consid. 3.4).
2.2. Le droit d'être entendu est une garantie constitutionnelle de caractère formel, dont la violation entraîne l'annulation de la décision attaquée, indépendamment des chances de succès du recours sur le fond (ATF 132 V 387 consid. 5.1; 127 V 431 consid. 3d/aa). Cependant, en droit de la fonction publique, la jurisprudence admet qu'une violation du droit d'être entendu peut être liquidée par une indemnisation (cf. arrêts 8C_417/2014 du 17 août 2015 consid. 5.1; 8C_158/2009 consid. 6.6, non publié aux ATF 136 I 39). Celle-ci peut intervenir sur la base d'une application par analogie des règles relatives aux conséquences d'une résiliation injustifiée (cf. arrêt 8C_413/2014 du 17 août 2015 consid. 5.1), voire sur la base d'une application par analogie des dispositions de droit privé sur le licenciement abusif (cf. arrêt 8C_861/2012 consid. 6.2).
En l'occurrence, la Cour d'appel civile a constaté qu'en cas de résiliation abusive, c'est l'art. 23 de la Convention collective de travail (CCT) du 3 septembre 2008 conclue entre l'EERV et l'Association des pasteurs et diacres de l'EERV ainsi que l'Association des laïcs salariés de l'EERV qui était applicable (cf. arrêt attaqué consid. 5 p. 7); selon cette disposition, la partie qui résilie abusivement doit verser à l'autre une indemnité fixée conformément à l'art. 336a al. 2 et 3 CO, laquelle est calculée selon le nombre d'années de service et s'élève à douze mois de salaire au maximum dès seize années de service.
3.
3.1. En vertu du principe de l'autorité de l'arrêt de renvoi, qui découle du droit fédéral non écrit (ATF 143 IV 214 consid. 5.3.3; arrêt 5A_279/2018 du 8 mars 2019 consid. 3 non publié aux ATF 145 III 221), l'autorité cantonale à laquelle la cause est renvoyée est tenue de fonder sa nouvelle décision sur les considérants de droit de l'arrêt du Tribunal fédéral. Elle est ainsi liée par ce qui a déjà été définitivement tranché par le Tribunal fédéral et par les constatations de fait qui n'ont pas été attaquées devant lui ou l'ont été sans succès (ATF 143 IV 214 consid. 5.2.1; 131 III 91 consid. 5.2; 104 IV 276 consid. 3d; cf. aussi arrêt 5A_279/2018 précité ibid.). Les considérants en droit de l'arrêt retournant la cause pour nouvelle décision à l'autorité cantonale lient aussi le Tribunal fédéral et les parties. Par conséquent, la nouvelle décision cantonale ne peut plus faire l'objet de griefs que le Tribunal fédéral avait expressément rejetés dans l'arrêt de renvoi ou qu'il n'avait pas eu à examiner, faute pour les parties de les avoir invoqués dans la première procédure de recours, alors qu'elles pouvaient - et devaient - le faire. La portée de l'arrêt de renvoi dépend donc du contenu de cet arrêt en relation avec les mémoires de recours et de réponse qui avaient été déposés (ATF 143 IV 214 consid. 5.2.1; 135 III 334 consid. 2; 133 III 201 consid. 4.2; 131 III 91 consid. 5.2 et les références; arrêts 9C_452/2018 du 25 janvier 2019 consid. 1.1; 5A_461/2018 du 26 octobre 2018 consid. 2.1 non publié aux ATF 145 III 49; 5A_785/2015 du 8 février 2016 consid. 2 et les références).
3.2. Dans son arrêt du 7 septembre 2020 (8C_37/2020), le Tribunal fédéral a renvoyé la cause à l'autorité cantonale afin de fixer à nouveau le montant de l'indemnité due au recourant au titre de la violation de son droit d'être entendu, en tenant compte de toutes les circonstances en lien avec ce vice de forme. La motivation développée par la Cour de céans sera rappelée plus précisément ci-après (consid. 4.2.2 infra).
4.
Le recourant soutient essentiellement que la cour cantonale aurait arbitrairement dépassé le cadre de l'arrêt de renvoi du Tribunal fédéral.
4.1. Le recourant reproche d'abord à la cour cantonale de s'être arbitrairement fondée, dans l'arrêt présentement attaqué du 14 décembre 2020, sur un état de fait contradictoire avec celui qui avait été précédemment établi dans l'arrêt cantonal du 13 novembre 2019, alors que celui-ci n'avait pas été remis en cause devant le Tribunal fédéral ni revu par ce dernier, et d'en avoir ainsi déduit le caractère peu grave de la violation de son droit d'être entendu comme critère de fixation de l'indemnité.
4.1.1. Dans son arrêt sur renvoi du 14 décembre 2020, la juridiction cantonale a constaté que la violation du droit d'être entendu du recourant était consacrée par le fait qu'entre février et mars 2015, l'ORH s'était entretenu avec diverses personnes au sujet des problèmes que rencontrait la paroisse et que le recourant s'était vu signifié son licenciement à l'issue de cette "instruction complémentaire" sans avoir eu la possibilité de se déterminer sur ces derniers éléments. L'intimée, par son ORH, avait déjà fait part au recourant à plusieurs reprises des manquements qu'elle lui reprochait et sur lesquels ce dernier avait pu se déterminer librement. En particulier, l'intimée avait organisé plusieurs séances avec le recourant afin de discuter notamment de ses problèmes relationnels avec B._ et lui avait adressé un avertissement à la suite d'une entrevue durant laquelle le recourant avait pu s'exprimer. Le recourant avait été entendu par le Conseil régional le 7 janvier 2015 et s'était ensuite déterminé sur le rapport rendu par ledit conseil par courrier du 10 janvier 2015, puis à nouveau lors d'un entretien avec l'ORH le 9 février 2015. Le fait que le recourant n'avait pas été entendu sur les derniers éléments du rapport, à savoir sur les entretiens menés entre février et mars 2015, qui n'apparaissaient pas décisifs quant à la fin des rapports de travail, n'avait pas porté gravement atteinte à ses droits.
Il ressort de ce qui précède que selon la cour cantonale, il y a bien eu une violation du droit d'être entendu du recourant mais que celle-ci n'était pas grave dès lors que les éléments sur lesquels le recourant n'avait pas été entendu, à savoir les entretiens menés par l'ORH entre février et mars 2015, n'avaient pas été décisifs pour son licenciement.
4.1.2. Dans son arrêt du 13 novembre 2019, la cour cantonale avait constaté que dans la mesure où le licenciement du recourant lui avait été signifié au terme d'une enquête menée par l'ORH et où, avant celle-ci, l'issue de la collaboration entre les ministres de U._ n'était pas certaine, il fallait considérer que les éléments recueillis par le responsable de l'ORH entre février et mars 2015 avaient eu une incidence sur Ia décision de résiliation des rapports de travail. Or l'EERV n'avait pas donné au recourant l'occasion de se déterminer sur les éléments ainsi rassemblés. Dans ces circonstances, même si le recourant connaissait l'insatisfaction de l'EERV au sujet de ses prestations professionnelles et personnelles, son droit d'être entendu avait été violé. Les juges cantonaux avaient en outre retenu que la réparation de ce vice formel en deuxième instance n'était pas envisageable dès lors qu'ils ne disposaient pas des éléments de fait propres à l'enquête ayant été diligentée par l'ORH.
4.1.3. Ces éléments de fait n'ont pas fait l'objet du renvoi ordonné par le Tribunal fédéral, lequel ne portait pas sur l'établissement des faits, mais uniquement sur la fixation du montant de l'indemnité pour violation du droit d'être entendu du recourant, soit sur une question qui relève du pouvoir d'appréciation des juges cantonaux. Dès lors que les constatations de fait du premier arrêt de la Cour d'appel civile n'ont pas été attaquées (cf. arrêt de renvoi 8C_37/2020 consid. 4.1), elles liaient les juges cantonaux et ceux-ci ne pouvaient pas se fonder sur les faits contraires ressortant de l'arrêt sur renvoi du 14 décembre 2020 (cf. consid. 4.1.1 supra) pour en déduire que la violation du droit d'être entendu du recourant n'était pas grave.
4.2. Le recourant reproche également à la cour cantonale d'avoir arbitrairement persisté à prendre en compte, pour la fixation de l'indemnité, des circonstances ayant trait au bien-fondé matériel de la décision de licenciement, à savoir la nature et la gravité de ses manquements, alors que le Tribunal fédéral avait jugé le critère de la faute concomitante du recourant comme étant dénué de pertinence dans le cas d'espèce.
4.2.1. Dans son arrêt sur renvoi du 14 décembre 2020, la juridiction cantonale a retenu, comme unique critère de fixation de l'indemnité pour régler les conséquences de la violation du droit d'être entendu, la nature et l'importance des manquements du recourant, lesquels avaient rendu impossible la poursuite des rapports de travail. Selon les juges cantonaux, le licenciement du recourant était inéluctable et les éventuelles explications de celui-ci sur les derniers éléments rapportés par l'ORH n'y auraient rien changé. La violation de son droit d'être entendu n'avait donc pas eu d'impact sur sa situation, de sorte qu'elle était, sous cet angle également, de très faible gravité.
4.2.2. Dans son arrêt du 7 septembre 2020, le Tribunal fédéral avait renvoyé la cause à l'autorité cantonale pour qu'elle fixe à nouveau le montant de l'indemnité pour violation du droit d'être entendu du recourant, en tenant compte de toutes les circonstances en lien avec ce vice de forme. Il avait en particulier constaté qu'en réduisant l'indemnité en raison de la faute concomitante du recourant dans la résiliation de ses rapports de service, la juridiction cantonale s'était appuyée sur un élément de fait relevant du bien-fondé matériel de la décision de licenciement, lequel n'apparaissait nullement pertinent dans la fixation de l'indemnité pour violation d'un droit de nature formelle, et qu'elle avait de ce fait abusé de son pouvoir d'appréciation.
4.2.3. En vertu du principe de l'autorité de l'arrêt de renvoi (consid. 3.1 supra), la Cour d'appel civile était liée par ce qui avait déjà été définitivement tranché par le Tribunal fédéral, de sorte qu'elle ne pouvait pas se fonder sur le critère de la faute concomitante du recourant pour apprécier la gravité de l'atteinte portée au droit d'être entendu du recourant (cf. consid. 4.2.2 supra).
4.3. Il résulte de ce qui précède que la cour cantonale a manifestement dépassé le cadre de l'arrêt de renvoi du Tribunal fédéral, de sorte que la fixation de l'indemnité pour violation du droit d'être entendu était arbitraire. Il convient de fixer à nouveau le montant de l'indemnité devant être allouée au recourant, conformément à l'art. 23 de la CCT (cf. consid. 2.2 supra). Un nouveau renvoi de la cause à la juridiction cantonale apparaîtrait contraire au principe de l'économie de la procédure. Par ailleurs, le Tribunal fédéral dispose de toutes les données nécessaires pour statuer lui-même (art. 107 al. 2 LTF; cf. arrêts 8C_413/2014 consid. 5.2, 8C_417/2014 consid. 5.2 et 8C_421/2014 consid. 4.2 du 17 août 2015). Compte tenu de la fourchette prévue par la CCT en cas de résiliation abusive, du nombre d'années de service du recourant (23 ans) et des circonstances de la violation de son droit d'être entendu, il apparaît équitable de lui allouer une indemnité de 34'080 fr., correspondant à trois mois de salaire (136'320 fr. / 4).
5.
Il résulte de ce qui précède que le recours doit être partiellement admis, en ce sens que l'indemnité allouée au recourant pour la violation de son droit d'être entendu doit être fixée à 34'080 fr.; il doit être rejeté pour le surplus.
Vu l'issue du litige, les frais judiciaires seront mis pour trois quarts à la charge du recourant et pour un quart à la charge de l'intimée (art. 66 al. 1 LTF), qui versera en outre au recourant une indemnité à titre de dépens réduits (art. 68 al. 1 et 3 LTF). La cause sera renvoyée à la cour cantonale pour nouvelle décision sur les frais et dépens de la procédure cantonale (art. 67 et 68 al. 5 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. Le chiffre II/I bis du dispositif de l'arrêt du 14 décembre 2020 est réformé en ce sens que l'indemnité est fixée à 34'080 fr., plus intérêts à 5 % l'an dès le 1 er octobre 2015, et les chiffres III à V sont annulés. Pour le surplus, le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3000 fr., sont mis à la charge du recourant par 2250 fr. et à la charge de l'intimée par 750 fr.
3.
L'intimée versera au recourant la somme de 700 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
La cause est renvoyée à la cour cantonale pour nouvelle décision sur les frais et dépens de la procédure cantonale.
5.
Le présent arrêt est communiqué aux parties, à la Caisse cantonale de chômage et au Tribunal cantonal du canton de Vaud, Cour d'appel civile.
Lucerne, le 9 septembre 2021
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Fretz Perrin