Faits :
A.
A.a. A._ (ci-après: l'employé) est entré au service de B._ SA (ci-après: l'employeuse) en qualité de Customer Consultant à compter du 1er juillet 2010.
Selon le contrat de travail signé par l'employé, l'engagement était conclu sur la base de la " convention collective B._" (ci-après: la CCT). Sous le titre " activité accessoire ", celle-ci prévoit que les collaborateurs/trices " exerçant d'autres activités lucratives doivent en informer B._; l'exercice de telles activités accessoires n'est pas autorisé lorsqu'il constitue une violation du devoir de fidélité " (ch. 2.10.2).
Selon le ch. 4 de la directive intitulée " Achat et utilisation de raccordements et d'appareils de service, accessoires inclus ", les appareils de service mis à disposition par l'employeuse constituent des outils de travail et sont par conséquent destinés à des fins professionnelles; l'usage privé est en principe toléré, les frais supplémentaires étant à la charge du collaborateur; l'utilisation à des fins commerciales privées est interdite.
Les relations entre l'employé et l'une de ses collègues se sont dégradées durant l'été 2015. Il en a fait part à sa supérieure hiérarchique, C._, laquelle a accepté qu'il change de bureau. Elle s'est ensuite adressée à une consultante des ressources humaines afin de mettre en place une médiation. La consultante a pris contact avec l'employé, lequel lui a fait part de différents reproches, dirigés aussi contre C._, notamment concernant sa décision de lui avoir retiré certaines tâches. Par la suite, l'employé a renoncé à l'entretien qui avait été fixé, l'estimant inutile, dès lors qu'à la suite de divers aménagements, il n'avait plus de contact direct avec sa collègue.
A.b. Le 17 décembre 2015, l'employé a enregistré le nom de domaine de son site Internet "....com ". Le numéro de téléphone mentionné portait un indicatif réservé aux entreprises. L'employé a également été répertorié dans divers annuaires professionnels.
Par courriel du 7 février 2016, l'employé a informé ses collègues et ses supérieurs qu'il démarrait un élevage de chats de race xxx. Il leur a présenté son projet avec quelques lignes extraites de son site Internet, lesquelles indiquaient notamment qu'il s'agissait d'une " chatterie familiale " et qu'un " cadre de vie familial " était offert aux chats. Dès qu'il a commencé à acquérir des chats xxx, il a parlé de sa passion avec ses collègues et leur a montré des photos.
C._ a déclaré devant le tribunal qu'elle trouvait que ce hobby était bien pour lui. Elle n'était pas allée consulter le site Internet, l'élevage de chats ne l'intéressant pas particulièrement.
Il ressort de ce site que le prix d'un chaton s'élève à 1'670 fr. Les chatons sont vendus vaccinés, vermifugés, stérilisés, identifiés électroniquement, propres et sociabilisés. Ils disposent d'un pedigree, d'un carnet de santé et d'un certificat de bonne santé établi par un vétérinaire. Un contrat de cession du chaton est signé lors de la vente. Un suivi des chatons adoptés et une permanence sont assurés. Un transport dans le foyer de l'acheteur est proposé. De nombreux moyens de paiement, tels que diverses cartes de crédit, des chèques en euros pour les acheteurs français et des paiements en ligne via PayPal, sont acceptés.
A.c. L'employé a été en incapacité de travail à 100 % à compter du 21 mars 2016.
A la fin du mois d'avril 2016, l'employeuse a initié un processus de réintégration, diligenté par D._. L'employé a refusé de participer aux entretiens qui lui ont été proposés, ne s'estimant pas en mesure de le faire. Par écrit, il a fait mention de mobbing que lui aurait fait subir une de ses collègues. D._ l'a alors informé de l'existence d'une cellule d'aide au sein de l'employeuse, chargée d'écouter les collaborateurs et de mener une enquête à cet égard. Il a répondu qu'il ne souhaitait pas prendre contact avec cette cellule, en précisant que son appel à l'aide auprès de sa supérieure et des ressources humaines n'avait pas été entendu. Par la suite, D._ lui a rappelé l'existence de cette cellule, que l'employé n'a jamais contactée.
A.d. Par courriel du 23 mai 2016, C._ a envoyé à D._ un extrait du site Internet de l'employé, à savoir la rubrique " Nos Expositions Passées & Titres ", laquelle fait état des concours auxquels l'intéressé aurait participé. C._ avait été alertée par des remarques de collaborateurs, qui avaient vu que l'employé voyageait avec ses chats alors qu'eux devaient effectuer son travail. En consultant ce site Internet, elle avait découvert l'ampleur de l'activité exercée par l'employé en lien avec son élevage et notamment ses voyages à l'étranger pour prendre part à des expositions de chats durant son incapacité de travail. Il ressort de cet extrait qu'il a participé à plusieurs expositions: un week-end en France, à..., du 19 au 20 mars 2016, une journée en France, à..., le 10 avril 2016, un séjour en France, à..., les 29 avril et 1er mai 2016, un séjour en Italie, à..., les 14 et 15 mai 2016. C._ a également constaté que l'employé utilisait son téléphone mobile de service comme numéro de contact pour son activité d'élevage.
Les ressources humaines de l'employeuse et son service juridique ont été alertés à leur tour immédiatement. L'employé a été convoqué par SMS du 25 mai 2016 et courrier du 26 mai 2016 pour un entretien fixé au 1er juin 2016. L'employeuse voulait déterminer s'il s'était rendu personnellement à l'étranger dans le cadre de son activité d'élevage.
Par courriel du 27 mai 2016, l'employé a indiqué que son état de santé ne lui permettait pas de participer à cet entretien.
Par courrier du 30 mai 2016, l'employeuse a répondu qu'aussi longtemps qu'il ne fournirait pas d'informations quant à ses accusations de mobbing, il ne serait pas possible d'ouvrir une enquête, et qu'elle devrait ainsi considérer ses prétendus reproches comme inexistants. Elle a ajouté qu'elle avait constaté qu'il exerçait une activité accessoire d'élevage de chats qu'il n'avait pas déclarée, en violation du ch. 2.10.2 CCT. Elle l'a convoqué à un nouvel entretien le 7 juin 2016, en précisant que tant qu'elle n'aurait pas pu éclaircir la situation au sujet de cette activité, le salaire serait suspendu.
Le 1er juin 2016, l'employé a indiqué que les soupçons de l'employeuse quant à son incapacité de travail et ses déplacements à l'étranger ne permettaient pas de remettre en question la force probante de ses certificats médicaux.
A.e. Lors de l'entretien du 7 juin 2016, l'employé a expliqué que l'élevage était pour lui une passion qu'il pratiquait durant son temps libre. Il avait effectivement voyagé à l'étranger car cela lui faisait du bien dans sa situation. Il était en arrêt-maladie car il avait fait un burn-out à la suite d'événements passés dans l'entreprise.
Par lettre remise en mains propres à l'employé au terme de l'entretien, l'employeuse lui a signifié son congé avec effet immédiat. Elle a expliqué qu'il avait exercé une activité accessoire pendant son incapacité de travail à 100 % sans l'avoir annoncée. En outre, il utilisait son raccordement de service à des fins commerciales privées, ce qui était formellement interdit. Le lien de confiance qui les unissait était définitivement rompu.
A la date du licenciement, l'employé n'avait vendu aucun chat, ceux-ci étant nés le 20 mai 2016.
A.f. Les relevés du téléphone portable de service de l'employé confirment sa présence à l'étranger du 19 au 20 mars, du 8 au 10 avril, du 29 avril au 2 mai, du 13 au 16 mai, le 21 mai et du 28 au 30 mai 2016, en France ou en Italie. Ils démontrent également qu'il a utilisé son appareil de service pour son activité d'élevage, notamment pour des appels, certains surtaxés, d'autres internationaux, ainsi que pour un achat d'un abonnement d'un système de géolocalisation pour chat.
L'employé n'a pas annoncé à l'employeuse de dépenses privées en lien avec cette activité.
A.g. Dans un rapport du 26 août 2016, le Dr E._, psychiatre, a relevé que l'employé ne présentait pas de pleines capacités à travailler dans le marché libre.
B.
B.a. Après une tentative infructueuse de conciliation, l'employé a saisi le Tribunal civil de l'arrondissement de Lausanne d'une demande dirigée à l'encontre de l'employeuse. Au dernier état de ses conclusions, il réclamait, en substance, le paiement de la somme totale de 83'361 fr. 85, comprenant notamment une indemnité pour licenciement immédiat injustifié.
Une expertise judiciaire a été confiée au Dr F._, psychiatre, lequel s'est prononcé les 8 mai et 14 août 2019. Il a indiqué qu'il était vraisemblable que l'intéressé présentait une incapacité de travail totale en mars 2016, tout en relevant qu'il était également vraisemblable que cette incapacité n'était pas totale. Il a ajouté que si l'intéressé pouvait dire qu'il participait à des expositions félines et que cela lui faisait du bien, il avait certainement des ressources. Il n'était pas évident qu'il avait recouvré une capacité de travail partielle à ce moment dans son activité habituelle.
Par jugement du 4 septembre 2020, le tribunal a, en substance, rejeté les conclusions de l'employé en lien avec une résiliation immédiate injustifiée. Il a considéré que cette résiliation était valable, car l'employé avait exercé une activité accessoire durant une période d'incapacité de travail.
B.b. Statuant le 11 juin 2021, la Cour d'appel civile du Tribunal cantonal du canton de Vaud a rejeté l'appel de l'employé et a confirmé le jugement attaqué.
C.
L'employé (ci-après: le recourant) a formé un recours en matière civile au Tribunal fédéral, en concluant à ce que ce dernier admette son recours.
L'employeuse (ci-après: l'intimée) et l'autorité précédente n'ont pas été invitées à se déterminer.
Considérant en droit :
1.
1.1. Le recours est dirigé contre une décision finale (art. 90 LTF) rendue en matière civile (art. 72 al. 1 LTF) par le tribunal supérieur du canton (art. 75 LTF). La cause atteint la valeur litigieuse de 15'000 fr. ouvrant le recours en matière civile dans les affaires relevant du droit du travail (art. 74 al. 1 let. a LTF). Le recourant, qui a succombé devant la cour cantonale, a qualité pour recourir (art. 76 al. 1 LTF). Le recours a en outre été déposé en temps utile (art. 100 al. 1 LTF).
1.2. Le mémoire de recours doit contenir des conclusions (art. 42 al. 1 LTF). Elles doivent être déterminées avec suffisamment de précision et indiquer sur quels points la partie recourante demande la modification de la décision attaquée.
L'unique conclusion du recourant, tendant à ce que le Tribunal fédéral admette son recours, n'est pas suffisante au regard des exigences en la matière. Cependant, on comprend à la lecture du mémoire de recours que l'intéressé conclut à la réforme de l'arrêt entrepris en ce sens que l'intimée soit condamnée à lui verser la somme totale de 51'308 fr. 85 avec intérêts. La question d'un éventuel formalisme excessif n'a toutefois pas à être approfondie, car les griefs développés par le recourant doivent de toute façon être rejetés, dans la mesure de leur recevabilité (cf. consid. 3 ss infra).
2.
2.1. Le recours peut être formé pour violation du droit fédéral (art. 95 let. a LTF). Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Eu égard, toutefois, à l'exigence de motivation qu'impose l'art. 42 al. 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), il n'examine que les griefs invoqués, sauf en cas d'erreurs juridiques manifestes (ATF 140 III 115 consid. 2). Le recourant doit discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (ATF 140 III 86 consid. 2).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes ou découlent d'une violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). " Manifestement inexactes " signifie ici " arbitraires " (ATF 140 III 115 consid. 2; 135 III 397 consid. 1.5). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'art. 106 al. 2 LTF (ATF 140 III 264 consid. 2.3 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi les conditions précitées seraient réalisées. Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (ATF 140 III 16 consid. 1.3.1 et les références citées).
En matière d'appréciation des preuves, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables. L'arbitraire ne résulte pas du seul fait qu'une autre solution serait envisageable, voire préférable (ATF 136 III 552 consid. 4.2).
En l'espèce, le recourant méconnaît ces principes lorsqu'il procède à un rappel des faits en s'écartant parfois de ceux figurant dans l'arrêt cantonal, sans invoquer, ni a fortiori motiver le grief d'arbitraire. Il n'en sera donc pas tenu compte.
3.
Tant sous la rubrique " Des moyens de fait ", que sous celle faussement intitulée " Quant au fardeau de la preuve ", le recourant tente de revenir sur les faits établis par l'autorité cantonale ou sur l'appréciation des preuves qu'elle a effectuée. Là aussi, il ne se prévaut pas du grief d'arbitraire. En outre, il se limite à opposer sa propre appréciation des faits ou des preuves, sans parvenir à démontrer que celles opérées par la cour cantonale seraient insoutenables. En particulier, il allègue qu'il a continué à exercer son hobby durant son incapacité de travail. Les juges précédents ont pourtant expliqué de manière détaillée qu'au vu notamment du prix élevé d'un chaton, des prestations fournies en sus telles que les vaccinations et le transport, ainsi que des différents modes de paiement acceptés, il ne s'agissait pas d'un simple hobby, mais d'une activité que le recourant entendait exercer à titre professionnel. On ne décèle nul arbitraire dans cette appréciation.
Par ailleurs, lorsque le recourant fait valoir qu'il n'a pas reçu le soutien escompté dans le cadre du processus de réintégration prévu par l'intimée, il ne formule aucune critique précise en lien avec les faits constatés dans l'arrêt attaqué, ni n'expose en quoi cela aurait une influence sur l'issue du litige.
Ainsi, il convient de se fonder exclusivement sur les faits retenus par l'autorité précédente.
4.
Dans une argumentation mêlant les faits et le droit, le recourant dénonce une violation de l'art. 337 CO, dans la mesure où la cour cantonale a considéré que le licenciement immédiat était justifié.
4.1. L'art. 337 CO autorise l'employeur à résilier immédiatement le contrat en tout temps pour de justes motifs (al. 1). Sont notamment considérées comme de justes motifs toutes les circonstances qui, selon les règles de la bonne foi, ne permettent pas d'exiger de celui qui a donné le congé la continuation des rapports de travail (al. 2).
Selon la jurisprudence, la résiliation immédiate pour " justes motifs " est une mesure exceptionnelle qui doit être admise de manière restrictive (ATF 137 III 303 consid. 2.1.1). Seul un manquement particulièrement grave peut justifier une telle mesure (ATF 142 III 579 consid. 4.2). Par manquement du travailleur, on entend généralement la violation d'une obligation découlant du contrat de travail, mais d'autres incidents peuvent aussi justifier une telle mesure (ATF 137 III 303 consid. 2.1.1; 130 III 28 consid. 4.1; 129 III 380 consid. 2.2; arrêt 4A_5/2021 du 9 mars 2021 consid. 3.1).
Ce manquement doit être objectivement propre à détruire le rapport de confiance essentiel au contrat de travail ou, du moins, à l'atteindre si profondément que la continuation des rapports de travail ne peut raisonnablement pas être exigée; de surcroît, il doit avoir effectivement abouti à un tel résultat. Lorsqu'il est moins grave, le manquement ne peut entraîner une résiliation immédiate que s'il a été répété malgré un avertissement (ATF 142 III 579 consid. 4.2; 130 III 213 consid. 3.1).
Le travailleur sauvegarde fidèlement les intérêts légitimes de son employeur (art. 321a al. 1 CO). Il viole gravement son obligation de fidélité s'il travaille pour un tiers durant une prétendue période d'incapacité de travail; dans un tel cas, l'employeur peut le licencier avec effet immédiat sans avertissement (arrêt 4C.393/1997 du 2 avril 1998 consid. 1b/aa; cf. également arrêt 8C_885/2017 du 11 octobre 2018 consid. 7.4; WYLER/HEINZER, Droit du travail, 4e éd. 2019, p. 114).
La partie qui veut résilier le contrat avec effet immédiat doit agir sans tarder à compter du moment où elle a connaissance d'un juste motif de licenciement, sous peine d'être déchue du droit de s'en prévaloir (ATF 138 I 113 consid. 6.3.1; arrêt 4A_206/2019 du 29 août 2019 consid. 4.2.2).
4.2. Déterminer les motifs du congé est une question de fait. En revanche, ressortit au droit le point de savoir si le congé est fondé sur de justes motifs (arrêts 4A_5/2021 précité consid. 3.2; 4A_246/2020 du 23 juin 2020 consid. 3.2).
Le juge apprécie librement s'il existe de justes motifs (art. 337 al. 3 CO); il applique les règles du droit et de l'équité (art. 4 CC). Savoir si le comportement incriminé atteint la gravité nécessaire dépend des circonstances du cas concret (ATF 142 III 579 consid. 4.2 et les arrêts cités). Dans son appréciation, le juge doit notamment tenir compte de la position et de la responsabilité du travailleur, du type et de la durée des rapports contractuels, de la nature et de l'importance des manquements (ATF 137 III 303 consid. 2.1.1; 130 III 28 consid. 4.1).
4.3. Le Tribunal fédéral ne revoit qu'avec réserve la décision d'appréciation prise en dernière instance cantonale. Il n'intervient que lorsque l'autorité précédente s'est écartée sans raison des règles établies par la doctrine et la jurisprudence en matière de libre appréciation, lorsqu'elle s'est appuyée sur des faits qui ne devaient jouer aucun rôle ou, à l'inverse, a méconnu des éléments qui auraient absolument dû être pris en considération; il sanctionnera en outre les décisions rendues en vertu d'un pouvoir d'appréciation lorsqu'elles aboutissent à un résultat manifestement injuste ou à une iniquité choquante (ATF 137 III 303 consid. 2.1.1; 130 III 213 consid. 3.1; 130 III 28 consid. 4.1; 129 III 380 consid. 2 et les arrêts cités).
5.
5.1. En l'espèce, la cour cantonale a retenu que le licenciement immédiat était fondé sur de justes motifs. L'activité d'élevage exercée par l'employé était de nature professionnelle. Il avait consacré à cette activité accessoire un temps où il était réputé incapable de travailler. Il ne s'agissait pas d'un cas de figure où l'employé exerçait une activité accessoire admissible durant son temps libre. La cour cantonale a implicitement confirmé l'appréciation des premiers juges, selon laquelle l'exercice de cette activité accessoire et l'organisation des voyages en lien avec celle-ci induisaient immanquablement un certain stress et une fatigue, lors d'une période durant laquelle l'employé devait se reposer, puisqu'il n'était pas en état de travailler. La cour cantonale a retenu une violation grave du devoir de fidélité. Elle a ajouté qu'à partir du 10 mai 2016, l'employé avait utilisé son forfait de téléphone professionnel dans un cadre commercial privé, ce qui était interdit par la directive de l'employeuse.
L'autorité précédente a considéré que l'employeuse n'avait pas tardé à agir en signifiant le licenciement immédiat le 7 juin 2016. Elle a expliqué que le courriel du 7 février 2016 de l'employé, envoyé à tous les collaborateurs de l'entreprise et faisant état d'un élevage de chats dans le cadre d'une activité familiale, ne pouvait être considéré comme une annonce d'activité lucrative accessoire à l'employeuse au sens du ch. 2.10.2 CCT. L'employé n'ayant déjà pas eu conscience lui-même, de bonne ou de mauvaise foi, qu'il exerçait une activité accessoire, il ne pouvait a fortiori pas respecter les obligations qui lui incombaient s'agissant du devoir d'information à l'employeuse. Dès lors, on ne pouvait reprocher à C._ de ne pas avoir consulté le site Internet de l'employé le 7 février 2016, ce d'autant plus qu'elle considérait, à la lecture de ce courriel, qu'il s'agissait d'un hobby familial. Ce n'était que le 23 mai 2016 que l'ampleur de l'activité accessoire avait été découverte, lorsque C._ s'était rendue sur ce site Internet après avoir entendu des plaintes de collaborateurs. Le délai écoulé entre le 23 mai 2016 et le licenciement signifié le 7 juin 2016 n'était pas trop long, au vu de la vérification que l'employeuse devait entreprendre et du manque de collaboration de l'employé quant aux rendez-vous fixés.
5.2. Le recourant soutient d'abord que l'intimée ne disposait d'aucun juste motif de licenciement immédiat.
Ses arguments qui se fondent sur des faits non constatés par la cour cantonale (par exemple lorsqu'il revient sur le fait que son élevage relevait d'un hobby) sont d'emblée irrecevables.
Pour le reste, le recourant fait valoir que sa situation n'est pas comparable à d'autres cas de figure ayant justifié un licenciement avec effet immédiat. En particulier, l'arrêt 8C_885/2017 précité concernait un employé ayant exercé, durant une période d'incapacité totale de travail annoncée à son employeur, une activité dans le même domaine que celui dans lequel il était réputé être incapable de travailler. Dans l'arrêt 4C.393/1997 susmentionné, l'employée avait présenté des certificats médicaux établissant une incapacité de travail à 100 % tout en travaillant plusieurs heures par jour dans l'entreprise de son mari.
Les comparaisons avec d'autres décisions judiciaires doivent être appréciées avec circonspection puisque, pour déterminer le caractère justifié d'une résiliation immédiate, il convient d'examiner l'ensemble des circonstances du cas d'espèce et une large place est laissée à l'appréciation du juge (arrêt 4A_246/2020 du 23 juin 2020 consid. 3.3 et l'arrêt cité). Quoi qu'il en soit, durant son engagement, en contre-partie du salaire qui lui est versé, un employé est tenu de consacrer à son emploi l'entier de son temps de travail et de sa force de travail; une incapacité de travail ne constitue pas du temps libre dont l'employé peut disposer à sa guise comme d'un jour férié, ce indépendamment du type d'activité que couvre le certificat médical (cf. arrêt 8C_548/2012 du 18 juillet 2013 consid. 6.2). En l'espèce, le recourant exerçait une activité lucrative pour son propre compte, laquelle impliquait de surcroît des voyages à l'étranger et donc, un certain stress et de la fatigue, alors qu'il avait présenté à l'intimée des certificats d'incapacité totale de travail et était censé se reposer. Dans ces conditions, la cour cantonale n'a pas outrepassé son pouvoir d'appréciation en jugeant que le recourant avait gravement violé son devoir de fidélité. Il ne saurait être suivi lorsqu'il affirme que le fait qu'il a été " occupé le week-end " n'avait pas porté atteinte aux intérêts de l'intimée. Au demeurant, son activité lucrative dépassait largement ce cadre, comme le démontrent notamment les informations figurant sur son site Internet et celles fournies par les relevés de son téléphone portable de service (voyages de plusieurs jours consécutifs, etc.).
Le recourant allègue encore qu'il n'exerçait pas une activité concurrentielle au sens de l'art. 340 CO. Cet argument est dénué de pertinence, dès lors que cela ne lui a pas été reproché. Par ailleurs, lorsqu'il insiste sur son comportement avant son incapacité de travail, il oublie que c'est bien le fait qu'il a exercé une activité lucrative durant cette incapacité qui a été décisif.
En définitive, le recourant ne parvient pas à démontrer que la cour cantonale aurait violé le droit en retenant que le licenciement immédiat était justifié.
5.3. Ensuite, le recourant souligne qu'il n'a reçu aucun avertissement avant son licenciement. Il ne fait toutefois pas valoir, par une motivation étayée, qu'un avertissement aurait été nécessaire. Quoi qu'il en soit, tel n'est pas le cas, au vu de la gravité du manquement reproché.
5.4. Enfin, le recourant allègue que la notification du licenciement immédiat serait intervenue tardivement, puisque l'intimée avait été informée de manière complète au sujet de son activité accessoire par son courriel du 7 février 2016.
Or, déterminer ce qu'une partie savait à un moment donné est une question de fait, qui ne peut être revue par le Tribunal fédéral que sous l'angle de l'arbitraire. Le recourant n'invoque pas, ni a fortiori ne démontre, que la cour cantonale aurait apprécié les faits de manière arbitraire en retenant que l'intimée n'avait eu la connaissance de l'ampleur de l'activité accessoire que le 23 mai 2016.
Par ailleurs, la cour cantonale a expliqué de manière précise les raisons pour lesquelles on ne pouvait reprocher à l'intimée de ne pas s'être renseignée de manière plus approfondie immédiatement après la lecture du courriel du 7 février 2016. A cet égard, on doit confirmer que ce courriel, de par sa forme, son contenu et ses destinataires, n'avait pas à être considéré comme une annonce d'une activité lucrative accessoire au sens de la CCT. Le fait que cette dernière ne comporte pas de détails sur les modalités d'exercice de ce devoir d'information n'y change rien.
Pour le surplus, le recourant ne soulève aucun grief en lien avec le délai qui s'est écoulé entre le 23 mai 2016 et la date à laquelle la résiliation lui a été signifiée, soit le 7 juin 2016. Dès lors, il n'y a pas lieu d'examiner ce point.
6.
En définitive, le recours doit être rejeté, dans la mesure où il est recevable.
Le recourant, qui succombe, prendra en charge les frais judiciaires (art. 66 al. 1 LTF). En revanche, il n'aura pas à indemniser l'intimée, puisque celle-ci n'a pas été invitée à déposer une réponse.
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour d'appel civile.
Lausanne, le 21 septembre 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
La Greffière : Raetz