Citation: 4A_225/2021 E. A

A.a. L'Association B.________ (B.________; ci-après: l'association ou l'employeuse) exploite un établissement hôtelier à X.________, au bénéfice d'un bail à ferme conclu avec la Ville de X.________, propriétaire des locaux. La redevance due tient compte d'une subvention versée par la Ville de X.________ à l'association. Le contrat octroie à la bailleresse un droit de regard sur les activités et la comptabilité de l'association, par l'entremise d'une fiduciaire mandatée par ses soins. A.b. Par lettre du 17 juillet 1996, l'association a engagé A.________ (ci-après: l'employé) en qualité de directeur de l'établissement. Le contrat prévoyait une activité à temps complet à compter du 2 février 1997 et un salaire mensuel de 6'300 fr., y compris un treizième salaire. Le dernier salaire mensuel brut de l'employé s'élevait à 11'163 fr. En qualité de directeur, l'employé rapportait uniquement au comité de l'association. Il disposait d'une grande indépendance dans l'organisation et la gestion de l'établissement ainsi que dans l'aménagement de son travail. A.c. Dans un rapport non daté exposant les anomalies rencontrées depuis le 1er février 1997, l'employé faisait état de dysfonctionnements affectant la gouvernance, la gestion comptable et financière de l'établissement. Était visé essentiellement l'ancien directeur, qui aurait bénéficié d'avantages indus et qui recevait, depuis son départ, une rente mensuelle de 2'000 fr. sans motif apparent. Le rapport mettait également en cause le président de l'association alors en fonction, accusé de complaisance. Ce document a été remis au comité en vue de sa séance du 8 juillet 2004. Lors de cette séance, il fut décidé à l'unanimité de supprimer avec effet immédiat le versement mensuel dont l'ancien directeur bénéficiait, de mettre en place un audit et de créer un groupe de pilotage chargé en particulier de soutenir le directeur. Le 14 novembre 2004, l'association a confié un audit sur "les anomalies constatées" à une fiduciaire, qui s'est adjoint les services d'un avocat. L'auditeur a remis son rapport le 2 mai 2005. Il a identifié six dysfonctionnements ou anomalies, dont certains pouvaient relever du domaine pénal, avec la précision qu'une dénonciation ne paraissait pas nécessairement opportune vu le temps écoulé et les contraintes liées au suivi de ce genre de procédure. D'autres anomalies relevées par l'employé n'avaient pas pu être établies, faute de documentation prouvant ces agissements. Les autres dysfonctionnements avaient été corrigés par des mesures prises dans l'intervalle. Ce document indiquait encore que depuis le dépôt du rapport de l'employé, des mesures concrètes avaient été prises par le comité pour soutenir le directeur dans son organisation administrative et pour remédier à certaines des carences relevées, notamment par la mise en place d'un comité de pilotage. Dans un courrier du 10 mai 2006 adressé au président du comité, l'employé qualifiera ce rapport de "pantalonnade" en ce sens qu'il se focaliserait sur des points mineurs. A.d. Lors d'une séance du comité du 6 juillet 2005, l'employé a présenté une revendication portant sur le paiement de 234,5 jours de vacances qu'il n'avait, selon ses dires, pas pu prendre entre le 1 er février 1997 et le 31 décembre 2004. Il a finalement retiré ce point qu'il avait porté à l'ordre du jour. Par courrier du 10 mai 2006, il réitérera sa demande d'indemnisation pour les vacances non prises. A.e. A cette même séance du 6 juillet 2005, l'employé a informé le comité qu'il avait été au bénéfice de deux certificats médicaux attestant d'incapacités de travail pour maladie à compter du 6 novembre 2002 et du 10 juillet 2003, pour une durée indéterminée. Il a indiqué n'avoir pas pu arrêter de travailler à l'époque car "la situation ne le permettait pas". S'agissant de la production tardive de ces documents, il a été fait mention au procès-verbal que "à la suite des arrêts maladie soudains produits par le directeur, il lui est demandé dorénavant de les signaler à la présidence de l'association". A.f. De 2006 à 2017, la gestion de l'association s'est déroulée sans problème particulier. L'employé s'investissait beaucoup dans son travail; il a oeuvré à la restructuration et la modernisation de l'établissement à la satisfaction de l'employeuse, laquelle était enchantée du travail accompli et des résultats obtenus. L'employé a mis en place de nouveaux systèmes de contrôle, établi de nouveaux contrats de travail pour les collaborateurs, révisé les conditions de travail au sein de l'association, changé les logiciels de gestion hôtelière, de comptabilité, de salaire et de timbrage. A.g. Au printemps 2017, la Ville de X.________ a fait effectuer un contrôle de la comptabilité de l'association par l'entremise du Service du Contrôle Financier. Ce contrôle portait notamment sur la comptabilité de l'établissement pour les années 2015 et 2016, soit un examen des amortissements, des attributions à la réserve pour le financement des biens mobiliers d'exploitation ainsi que des dissolutions, selon certains critères comptables précisés dans le contrat de bail à ferme. L'employé a très mal vécu cette démarche. Il admettait difficilement ce contrôle alors que, selon lui, les faits qu'il avait dénoncés en 2004 n'avaient pas reçu la réponse que leur degré de gravité exigeait et qu'aucune sanction n'avait été prise à l'encontre du comité, qui aurait couvert ces faits en accord avec la Ville de X.________. Dans trois courriels adressés au directeur du Service du Contrôle Financier en mai 2017, l'employé a réitéré les griefs formulés treize ans auparavant concernant la gestion antérieure de l'association, regrettant qu'ils soient "malheureusement restés sans suite", et s'est plaint de la négligence de la Ville de X.________. Dans un courrier du 5 juin 2017, il a mis en doute la capacité du directeur du Service du Contrôle Financier à "agir contre" le Département des Finances et du Logement. A.h. Le 7 août 2017, la Conseillère administrative en charge du Département des Finances et du Logement a communiqué son rapport relatif à la revue de la comptabilité et à la gouvernance de l'association. Il y est notamment indiqué que le Service du Contrôle Financier a identifié quelques manquements concernant la tenue des assemblées générales et des séances du comité. Un renforcement de l'organe de révision est préconisé. Il est également recommandé au comité de renoncer aux indemnités qui présentent un risque relatif à l'exonération fiscale dont bénéficie l'association. Il est demandé au comité de prendre des mesures pour remédier aux faiblesses énumérées. S'agissant des "irrégularités remontées (sic) par la direction", il est indiqué que le Service du Contrôle Financier a pris connaissance des anomalies survenues durant la période de 1997 à 2003 avec la remarque suivante : " ces faits étant prescrits, le comité doit maintenant s'assurer qu'ils ne perdurent pas et qu'un système de contrôle interne adéquat est mis en place pour prévenir la surveillance (sic) de telles anomalies. ". A.i. Par courrier du 30 octobre 2017, le président de l'association a répondu aux différents points énumérés dans ce rapport et précisé que toutes les préoccupations avaient été traitées. Il a ajouté : "je regrette cependant la pression qu'a eu à subir notre directeur lors de l'audit. Celui-ci est d'ailleurs a ctuellement en arrêt maladie! ". A.j. Depuis le 21 août 2017, l'employé s'est trouvé en arrêt de travail complet pour cause de maladie. A compter du 20 septembre 2017, il a bénéficié des prestations de l'assurance perte de gain conclue par l'association pour ses employés. Pendant sa maladie, les membres du comité ne se sont pas intéressés à son état de santé. Seul le président de l'association s'en est enquis. A.k. Invoquant le rapport d'un spécialiste en psychiatrie sollicité par l'assurance perte de gain, lequel constatait que l'employé bénéficiait d'une pleine capacité de travail dans son activité habituelle à partir du 1 er mai 2018 (rapport contesté par l'employé), l'association a mis fin aux rapports de travail le 11 juin 2018 avec effet au 1 er mai précédent. Elle invoquait un abandon de poste de la part de l'employé, qui aurait indiqué ne pas vouloir reprendre son emploi indépendamment de sa capacité de travail. L'employé a contesté cette résiliation. Par la suite, les parties reconnaîtront que les rapports de travail se sont terminés le 31 décembre 2018, au terme d'un préavis de six mois.