Faits :
A.
Par jugement du 21 novembre 2019, le Tribunal de police de l'arrondissement de Lausanne a condamné A._ pour diffamation, calomnie, menaces et injure à une peine pécuniaire de 200 jours-amende à 90 fr. avec sursis pendant 3 ans. Il a par ailleurs dit que A._ devait verser à B._ la somme de 8'700 fr., à titre de dépens pénaux, rejeté au surplus les conclusions civiles de B._, ainsi que la requête de A._ en allocation d'une indemnité fondée sur l'<ref-law> et a mis l'entier des frais, par 2'531 fr., à sa charge.
B.
Par jugement du 2 septembre 2020, la Cour d'appel pénale du Tribunal cantonal vaudois a admis très partiellement l'appel formé par A._. Elle a ainsi réduit sa peine à 180 jours-amende à 90 fr. avec sursis pendant 3 ans, mis les frais de la procédure d'appel à sa charge et l'a condamné à verser à B._ un montant de 3'000 fr. à titre d'indemnité pour les dépenses obligatoires occasionnées par la procédure d'appel.
En substance, les faits à l'origine de cette condamnation sont les suivants.
B.a. A U._, à une date indéterminée du mois de novembre 2017, A._, médecin psychiatre indépendant, a adressé un message au groupe D._ dont lui-même et son ex-compagne B._ (née C._) faisaient partie avec d'autres membres. Dans ce message, il accusait celle-ci notamment d'avoir obtenu son diplôme en sexologie clinique de manière frauduleuse dans la mesure où elle ne serait pas l'auteure de son travail de mémoire, d'avoir inventé une bonne partie de ses cas cliniques et d'avoir entretenu des relations intimes avec une patiente.
B.b. Le 11 juillet 2018, A._ a adressé à B._ un message téléphonique dont la teneur était la suivante: " et Bingooooo (sic) : les conclusions de l'expertise sont arrivées : pas seulement que C._ n'a pas fait elle-même son mémoire mais aussi son blog a été fait non par une mais par DEUX personnes différentes ! Après condamnation pour calomnie, la prison s'approche car le dossier de plagiat pour l'UNIGE est prêt, il reste d'établir le montant de dédommagements pour tort moral qu'elle doit encore payer et de s'annoncer elle-même à tout le monde comme une menteuse et imposteure avérée ! "
B.c. Le 31 décembre 2018, A._ a envoyé à B._ un courriel dont la teneur était la suivante : " (...) Dans ce contexte, il faut qu'on t'oblige à te soumettre d'urgence à une expertise psychiatrique pour ton délire de persécution, pour tes agissements fous et pour les manipulations dont tu fais preuve envers notre fils. Malheureusement, il n'y a que la justice qui peut arrêter des gens comme toi. C'est fou, tu trouves toujours un truc pour justifier que tu ne t'occupes pas de lui, maintenant tu mets en avant ta fille et tu restes dangereuse pour lui, pour les gens qui sont autour, y compris la justice, vu tes multiples et incessantes plaintes depuis des années ".
C.
A._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement du 2 septembre 2020. Il conclut, avec suite de frais et dépens, principalement, à sa réforme en ce sens qu'il est acquitté des infractions de diffamation, calomnie, menaces et injure et libéré de toute obligation de verser à B._ des dépens pénaux et une indemnité pour des dépenses obligatoires occasionnées par la procédure d'appel. Subsidiairement, il conclut à l'annulation du jugement entrepris et au renvoi de la cause à la cour cantonale pour nouveau jugement dans le sens des considérants. Il conclut, par ailleurs, à l'allocation d'une indemnité de 23'900 fr. sur la base de l'<ref-law>.

Considérant en droit :
1.
Le recourant reproche à la cour cantonale d'avoir violé son droit d'être entendu (art. 29 al. 2 Cst.) en refusant d'administrer les preuves requises.
1.1. Le droit d'être entendu, garanti à l'art. 29 al. 2 Cst., comprend notamment celui de produire ou de faire administrer des preuves, à condition qu'elles soient pertinentes et de nature à influer sur la décision à rendre (<ref-ruling> consid. 3.1.1 p. 221; <ref-ruling> consid. 7.2.2.1 p. 103; <ref-ruling> consid. 4.1 p. 72; <ref-ruling> consid. 2.3 p. 222; <ref-ruling> consid. 6.3.1 p. 299 et les références citées). Il n'empêche pas le juge de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de se forger une conviction et que, procédant de manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, il a la certitude qu'elles ne pourraient pas l'amener à modifier son opinion. Le refus d'instruire ne viole ainsi le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a procédé, est entachée d'arbitraire (<ref-ruling> consid. 3.1.3 p. 435; <ref-ruling> consid. 3.3 p. 64; <ref-ruling> consid. 5.3 p. 236 s.).
Selon l'<ref-law>, la procédure de recours se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance. L'<ref-law> règle les preuves complémentaires. Ainsi, la juridiction de recours administre, d'office ou à la demande d'une partie, les preuves complémentaires nécessaires au traitement du recours. Le droit d'être entendu, consacré par l'<ref-law>, garantit aux parties le droit de déposer des propositions relatives aux moyens de preuves (al. 1 let. e). Conformément à l'<ref-law>, il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité ou déjà suffisamment prouvés. Cette disposition codifie, pour la procédure pénale, la règle jurisprudentielle déduite de l'art. 29 al. 2 Cst. en matière d'appréciation anticipée des preuves (arrêts 6B_708/2020 du 11 mars 2021 consid. 3.1; 6B_903/2020 du 10 mars 2021 consid. 2.1; 6B_935/2020 du 25 février 2021 consid. 1.1).
1.2. S'agissant de l'audition de E._, la cour cantonale a estimé qu'elle n'était pas utile dans la mesure où le recourant s'était déjà exprimé sur les motifs qui l'avaient poussé à agir et que la manière dont le message avait été perçu par un membre du groupe n'était pas pertinente.
En substance, le recourant prétend que le témoignage de E._ aurait permis d'expliquer le fonctionnement du groupe D._ et d'établir à la fois l'interprétation d'un destinataire de l'intention du recourant au moment de rédiger le message litigieux et d'apporter la preuve de la vérité. Outre que la cour cantonale n'a pas autorisé le recourant - sans que celui-ci ne le conteste au moyen de griefs suffisamment motivés (cf. infra consid. 2.5) - à faire la preuve de la vérité, on ne distingue pas, et le recourant ne l'expose pas, en quoi l'audition de E._, membre du groupe D._, en particulier ses éventuelles explications sur le fonctionnement dudit groupe, aurait permis d'établir que les affirmations contenues dans le message litigieux, selon lesquelles l'intimée aurait obtenu son diplôme de sexologie clinique de manière frauduleuse, seraient vraies. Pour le surplus, le ressenti de E._ au sujet du message litigieux n'est pas pertinent dans la mesure où pour interpréter une déclaration attentatoire à l'honneur, il faut se fonder sur une interprétation objective selon la signification qu'un destinataire non prévenu doit, dans les circonstances d'espèce, lui attribuer (cf. infra consid. 3.1). Par conséquent, le recourant ne démontre pas en quoi l'appréciation anticipée de la pertinence du moyen de preuve à laquelle la cour cantonale a procédé serait entachée d'arbitraire. Insuffisamment motivé, son grief est irrecevable.
1.3. Concernant la requête de mise en oeuvre d'un complément d'expertise visant à déterminer si l'intimée était l'auteure de son mémoire de diplôme, la cour cantonale a relevé qu'aucune expertise n'avait été ordonnée dans cette affaire. De plus, une telle expertise ne serait pas de nature à faire la preuve de la vérité de toutes les allégations proférées dans le message litigieux. La cour cantonale a ainsi rejeté cette requête. Le recourant n'ayant pas été admis - sans que celui-ci ne le conteste au moyen de griefs suffisamment motivés (cf. infra consid. 2.5) - à faire la preuve de la vérité par la cour cantonale, on ne distingue pas, et le recourant ne l'expose pas, en quoi le refus d'ordonner un " complément d'expertise " procéderait d'une appréciation anticipée de la pertinence de ce moyen de preuve qui serait arbitraire. Insuffisamment motivé, le grief du recourant est irrecevable.
2.
Le recourant conteste l'établissement des faits en relation avec sa condamnation pour diffamation (en lien avec les faits décrits ci-dessus sous let. B.a).
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 1.1 p. 503; sur la notion d'arbitraire v. <ref-ruling> consid. 2.3.1 p. 244). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; ATF <ref-ruling> consid. 1.1 p. 503). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.1 p. 156).
2.2. Aux termes de l'<ref-law>, se rend coupable de diffamation celui qui, en s'adressant à un tiers, aura accusé une personne ou jeté sur elle le soupçon de tenir une conduite contraire à l'honneur, ou de tout autre fait propre à porter atteinte à sa considération, celui qui aura propagé une telle accusation ou un tel soupçon (ch. 1). L'inculpé n'encourra aucune peine s'il prouve que les allégations qu'il a articulées ou propagées sont conformes à la vérité ou qu'il avait des raisons sérieuses de les tenir de bonne foi pour vraies (ch. 2). L'inculpé ne sera pas admis à faire ces preuves et il sera punissable si ses allégations ont été articulées ou propagées sans égard à l'intérêt public ou sans autre motif suffisant, principalement dans le dessein de dire du mal d'autrui, notamment lorsqu'elles ont trait à la vie privée ou à la vie de famille (ch. 3).
L'auteur d'une atteinte à l'honneur doit se voir refuser le droit d'apporter des preuves libératoires lorsqu'il s'est exprimé sans motif suffisant et a agi principalement dans le dessein de dire du mal d'autrui. Déterminer le dessein de l'auteur (en particulier s'il a agi pour dire du mal d'autrui) relève de l'établissement des faits. En revanche, la notion de motif suffisant est une question de droit (<ref-ruling> consid. 2.4.4 p. 321; <ref-ruling> consid. 3.1 p. 116).
2.3. En substance, la cour cantonale a condamné le recourant pour diffamation pour avoir déclaré, dans le message adressé en novembre 2017, au groupe D._ dont il faisait partie ainsi que l'intimée, que celle-ci avait obtenu son diplôme en sexologie clinique de manière frauduleuse dans la mesure où elle ne serait pas l'auteure de son travail de mémoire et qu'elle aurait inventé une bonne partie de ses cas cliniques.
A cet égard, la cour cantonale a retenu que le recourant avait envoyé le message litigieux au groupe D._ uniquement en raison du conflit de couple qu'il avait avec l'intimée. Le recourant ne poursuivait pas de motifs " moraux " et ne se souciait pas du sérieux du groupe D._. Ce dernier avait d'ailleurs lui-même amené l'intimée dans ce groupe et n'avait jamais prétendu avoir tout à coup découvert qu'il n'aurait pas dû le faire. La participation de l'intimée lui convenait lorsqu'elle était sa compagne. Ce n'était qu'après leur rupture et en raison d'un conflit persistant qu'il n'avait plus supporté sa présence dans le groupe. Le recourant et l'intimée avaient décidé de participer en alternance à ce groupe, afin de ne pas s'y croiser. Le recourant avait envoyé le message litigieux à la suite d'un malentendu au sujet d'une séance, pour laquelle chacun estimait être le participant du jour. Le recourant avait agi pour dénigrer l'intimée aux yeux du groupe à la suite de cette contrariété.
2.4. Le recourant se borne à rediscuter les motifs pour lesquels il a agi, question qui relève de l'établissement des faits. Il soutient avoir été mû par un sentiment de culpabilité envers le groupe pour y avoir introduit l'intimée qui n'aurait pas de raison d'en faire partie, ce qui ressortirait du message litigieux. Le recourant, qui n'indique, par ailleurs, aucunement sur quels termes du message il fonde son argumentation, se contente de proposer sa propre interprétation de celui-ci, dans une démarche purement appellatoire. Il prétend en outre avoir agi par pitié pour l'intimée, mère de son enfant, en ne la dénonçant qu'au sein du groupe et non aux autorités. A cet égard, la cour cantonale a relevé que le recourant avait admis que cette analyse sur sa prétendue volonté de " protéger " l'intimée était postérieure aux faits et qu'il ne s'agissait pas de sa motivation au moment d'agir. Le recourant n'expose pas en quoi il aurait été arbitraire d'écarter, pour ce motif, sa version des faits et ne présente ainsi aucune critique répondant aux exigences de motivation de l'<ref-law>. Enfin, il relève que sa rupture avec l'intimée serait intervenue plusieurs années avant le message si bien qu'il serait erroné de retenir, comme l'avait fait la cour cantonale, que c'était après la rupture et en raison de leur conflit persistant qu'il n'aurait plus supporté la situation. Encore, une fois, le recourant ne fait que présenter sa propre interprétation des faits. Au demeurant, dans la mesure où la cour cantonale a retenu que le conflit entre les parties était " persistant " - ce que le recourant ne conteste d'ailleurs pas - celui-ci ne démontre pas en quoi la date de leur rupture serait pertinente. Au vu de ce qui précède, le recourant ne démontre nullement qu'il était manifestement insoutenable de retenir, comme l'a fait la cour cantonale, qu'il avait agi exclusivement en raison du conflit de couple qu'il avait avec l'intimée et dans le but de dire du mal de cette dernière. Purement appellatoire, ses critiques sont irrecevables.
2.5. Pour le surplus, le recourant conteste la diffamation, non sur la base des faits retenus dont il n'a pas démontré l'arbitraire, mais sur la base de faits qu'il invoque librement. Ce faisant, il n'articule aucun grief recevable tiré de l'application erronée du droit matériel. En particulier, le recourant ne consacre aucun développement visant à démontrer en quoi la cour cantonale aurait violé le droit, plus particulièrement l'<ref-law>, en refusant de l'autoriser à faire la preuve de la vérité au sens de l'<ref-law>. Insuffisamment motivées, les critiques en relation avec l'infraction de diffamation sont irrecevables.
3.
Le recourant conteste sa condamnation pour calomnie (en lien avec les faits décrits ci-dessus sous let. B.a in fine). A cet égard, il remet également en cause l'établissement des faits et l'appréciation des preuves en relation avec cette infraction.
3.1. Se rend coupable de calomnie au sens de l'<ref-law> celui qui, connaissant la fausseté de ses allégations, aura, en s'adressant à un tiers, accusé une personne ou jeté sur elle le soupçon de tenir une conduite contraire à l'honneur, ou de tout autre fait propre à porter atteinte à sa considération, ou celui qui aura propagé de telles accusations ou de tels soupçons, alors qu'il en connaissait l'inanité.
La calomnie est une forme qualifiée de diffamation (<ref-law>), dont elle se distingue en cela que les allégations attentatoires à l'honneur sont fausses, que l'auteur doit avoir eu connaissance de la fausseté de ses allégations et qu'il n'y a dès lors pas de place pour les preuves libératoires prévues dans le cas de la diffamation (arrêts 6B_1254/2019 du 16 mars 2020 consid. 6.1; 6B_676/2017 du 15 décembre 2017 consid. 3.1; 6B_119/2017 du 12 décembre 2017 consid. 3.1). Sur le plan objectif, la calomnie implique donc la formulation ou la propagation d'allégations de fait fausses, qui soient attentatoires à l'honneur de la personne visée (arrêts 6B_1254/2019 précité consid. 6.1; 6B_676/2017 précité consid. 3.1 et les références citées). Sur le plan subjectif, la calomnie implique que l'auteur ait agi avec l'intention de tenir des propos attentatoires à l'honneur d'autrui et de les communiquer à des tiers, le dol éventuel étant à cet égard suffisant, et qu'il ait en outre su que ses allégations étaient fausses, ce qui implique une connaissance stricte, de sorte que, sur ce point, le dol éventuel ne suffit pas (cf. <ref-ruling> consid. 2.1 p. 176 s.; arrêts 6B_1254/2019 précité consid. 6.1; 6B_676/2017 précité consid. 3.1).
Les art. 173 et 174 CP protègent la réputation d'être un individu honorable, c'est-à-dire de se comporter comme une personne digne a coutume de le faire selon les conceptions généralement reçues. Il faut donc que l'atteinte fasse apparaître la personne visée comme méprisable (<ref-ruling> consid. 2.1.1 p. 315). L'honneur protégé par le droit pénal est conçu de façon générale comme un droit au respect, qui est lésé par toute assertion propre à exposer la personne visée au mépris en sa qualité d'être humain (<ref-ruling> consid. 4.2.2 p. 464; <ref-ruling> consid. 2.1.3 p. 315; <ref-ruling> consid. 2.1 p. 115). La réputation relative à l'activité professionnelle ou au rôle joué dans la communauté n'est pas pénalement protégée. Il en va ainsi des critiques qui visent comme tels la personne de métier, l'artiste ou le politicien, même si elles sont de nature à blesser et à discréditer (<ref-ruling> consid. 4.2.2 p. 464; <ref-ruling> consid. 2a p. 47; <ref-ruling> consid. 2a p. 195). Dans le domaine des activités socio-professionnelles, il ne suffit ainsi pas de dénier à une personne certaines qualités, de lui imputer des défauts ou de l'abaisser par rapport à ses concurrents. En revanche, il y a atteinte à l'honneur, même dans ces domaines, si on évoque une infraction pénale ou un comportement clairement réprouvé par les conceptions morales généralement admises (<ref-ruling> consid. 4.2.2 p. 464 et les références citées).
Pour apprécier si une déclaration est attentatoire à l'honneur, il faut se fonder non pas sur le sens que lui donne la personne visée, mais sur une interprétation objective selon la signification qu'un destinataire non prévenu doit, dans les circonstances d'espèce, lui attribuer (<ref-ruling> consid. 4.2.3 p. 464; <ref-ruling> consid. 2.1.3 p. 315 s.). Selon la jurisprudence, un texte doit être analysé non seulement en fonction des expressions utilisées, prises séparément, mais aussi selon le sens général qui se dégage du texte dans son ensemble. Déterminer le contenu d'un message relève des constatations de fait. Le sens qu'un destinataire non prévenu confère aux expressions et images utilisées constitue en revanche une question de droit (<ref-ruling> consid. 4.2.3 p. 464; <ref-ruling> consid. 2.1.3 p. 316).
3.2. Déterminer ce qu'une personne a su, voulu, envisagé ou accepté relève du contenu de la pensée, à savoir de faits " internes " qui, en tant que tels, lient le Tribunal fédéral (cf. <ref-law>), à moins qu'ils aient été retenus de manière arbitraire (<ref-ruling> consid. 12 p. 152; <ref-ruling> consid. 6.3 p. 375).
3.3. En substance, la cour cantonale a condamné le recourant pour calomnie pour avoir déclaré, dans le message adressé au groupe D._ en novembre 2017, que l'intimée avait entretenu des relations intimes avec une patiente.
A cet égard, la cour cantonale a retenu que c'était bien aux relations sexuelles que le recourant pensait en écrivant son message, ce qui correspondait à la signification couramment admise de l'expression " relations intimes ". La patiente en question avait été entendue comme témoin et il ressortait clairement de ses déclarations qu'il n'y avait jamais eu aucune relation fût-ce d'amitié étroite entre les femmes. Cette patiente était attirée par l'intimée qui n'avait jamais donné suite à ses avances. Celle-ci s'était limitée à lui envoyer une invitation sur Facebook dans le cadre de sa nouvelle activité. Le recourant savait que la patiente était attirée par l'intimée et qu'elle avait interrompu sa thérapie dans l'espoir de pouvoir vivre une histoire avec sa thérapeute. L'intimée n'avait en revanche jamais fait état d'un quelconque succès. Le recourant n'avait aucune raison de croire de bonne foi que l'intimée avait donné suite aux avances de sa patiente. Dans le message litigieux, le recourant présentait ces " relations intimes " comme un exemple des motifs pour lesquels l'intimée n'aurait pas sa place dans le groupe et dans son cabinet dont il l'avait licenciée. Il paraissait évident qu'il était contraire à la déontologie de n'importe quel type de thérapeute d'avoir des relations intimes avec un patient, eu égard à l'inégalité de leurs positions. L'expression sarcastique entre guillemets utilisée par le prévenu (" elle a «réussi» à avoir des relations intimes... ") démontrait aussi que c'était pour lui une source de mépris. Selon la cour cantonale, l'allégation était bien attentatoire à l'honneur et sa condamnation pour calomnie devait être confirmée.
3.4. En substance, le recourant prétend que ses allégations ne seraient pas attentatoires à l'honneur. Il soutient que l'expression " relations intimes " ne signifierait pas uniquement " relations sexuelles ", mais également " relation étroite ". Il ne fait pourtant aucun doute que, dans les circonstances particulières du message litigieux, les destinataires non prévenus ne peuvent qu'attribuer la signification de " relations sexuelles " à l'expression utilisée par le recourant. Celui-ci soutient qu'il ne serait pas démontré que le fait d'avoir des relations intimes avec une patiente constituerait une faute déontologique. Toutefois, le recourant lui-même, dans le message litigieux, a présenté ces relations intimes comme l'un des motifs pour lesquels l'intimée n'aurait pas eu sa place dans le groupe et a justifié le licenciement de celle-ci en raison de ce comportement. Outre que le recourant invoque lui-même dans son message une faute déontologique, un tel comportement d'une thérapeute envers une patiente apparaît réprouvé par les conceptions morales. A cela s'ajoute, comme l'a souligné la cour cantonale, que l'usage par le recourant des guillemets indiquait une forme de sarcasme et démontrait le caractère méprisant des propos du recourant. La cour cantonale n'a ainsi pas violé le droit fédéral en estimant que les propos du recourant étaient attentatoires à l'honneur. Infondé, le grief du recourant doit être rejeté.
3.5. Sur le plan subjectif, le recourant soutient qu'il n'aurait pas eu l'intention de tenir des propos attentatoires à l'honneur et qu'il aurait ignoré que ses allégations étaient fausses. Il se contente toutefois de l'affirmer et ne présente ainsi aucune argumentation, répondant aux exigences de motivation accrue de l'<ref-law>, permettant de démontrer que les constations de faits ou l'appréciation des preuves de la cour cantonale seraient arbitraires. Insuffisamment motivé, son grief est irrecevable.
4.
Le recourant conteste sa condamnation pour menaces au sens de l'<ref-law> (en lien avec les faits décrits ci-dessus sous let. B.b).
4.1. Aux termes de l'<ref-law>, celui qui, par une menace grave, aura alarmé ou effrayé une personne sera, sur plainte, puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire.
La menace suppose que l'auteur ait volontairement fait redouter à sa victime la survenance d'un préjudice, au sens large (<ref-ruling> consid. 2b p. 100). Elle constitue un moyen de pression psychologique consistant à annoncer un dommage futur dont la réalisation est présentée comme dépendante de la volonté de l'auteur, sans toutefois qu'il soit nécessaire que cette dépendance soit effective (cf. <ref-ruling> consid. 2b p. 448; <ref-ruling> consid. 2a p. 128), ni que l'auteur ait réellement la volonté de réaliser sa menace (<ref-ruling> consid. 1a p. 324). Toute menace ne tombe pas sous le coup de l'<ref-law>. La loi exige en effet que la menace soit grave. C'est le cas si elle est objectivement de nature à alarmer ou à effrayer la victime. Il convient à cet égard de tenir compte de la réaction qu'aurait une personne raisonnable face à une situation identique (<ref-ruling> consid. 1a p. 325). Il faut en outre que la victime ait été effectivement alarmée ou effrayée. Celle-ci doit craindre que le préjudice annoncé se réalise. Cela implique, d'une part, qu'elle le considère comme possible et, d'autre part, que ce préjudice soit d'une telle gravité qu'il suscite de la peur. Cet élément constitutif de l'infraction, qui se rapporte au contenu des pensées d'une personne, relève de l'établissement des faits (cf. <ref-ruling> consid. 2.3.2 p. 156; <ref-ruling> consid. 5a p. 3; arrêts 6B_1314/2018 du 29 janvier 2019 consid. 3.2.1).
4.2. La cour cantonale a condamné le recourant pour menaces en relation avec le message téléphonique qu'il a adressé à l'intimée le 11 juillet 2018 (cf. supra let. B.b).
En substance, la cour cantonale a estimé que le message litigieux pouvait faire craindre à l'intimée un acharnement judiciaire et social du recourant. L'intimée pouvait légitimement craindre d'autres démarches inadéquates de la part du recourant avec qui elle était en conflit depuis plusieurs années. Ce dernier avait déjà envoyé un courriel au groupe D._ qui a été qualifié de diffamatoire et calomnieux. Il avait déposé plainte contre elle en 2015 et avait mandaté une " pseudo-expertise " concernant son mémoire d'étude. La cour cantonale a estimé que cette perspective était suffisamment effrayante pour une personne de sensibilité moyenne pour réaliser l'infraction de menaces.
4.3. Le recourant soutient que les propos litigieux auraient été tenus après qu'il eut reçu une expertise démontrant que l'intimée ne serait pas l'auteure de son mémoire. Selon lui, soit elle se savait l'auteure de celui-ci et donc elle n'aurait rien eu à craindre, soit tel n'était pas le cas et elle aurait risqué au pire de faire face à une remise en question de ses qualifications professionnelles ce qui ne suffirait pas, de manière notoire et incontestable, à justifier son incarcération. Par son argumentation le recourant cherche à contester que ses propos constituent une menace grave. Ce faisant, il ignore toutefois que ce n'est pas la mention de la prison mais la crainte d'un acharnement judiciaire et social qui a été retenu par la cour cantonale. Un tel acharnement constitue bien un préjudice que le recourant faisait redouter à l'intimée, au sens de la jurisprudence précitée (cf. supra consid. 4.1). En outre, que l'intimée se sache ou non l'auteure de son mémoire n'est pas pertinent. Elle pouvait, dans tous les cas, légitimement craindre que le recourant fasse preuve d'un acharnement judiciaire et social à son égard dans la mesure où il était en possession d'une prétendue expertise, qu'il annonçait vouloir entreprendre des démarches à ce sujet, qu'il avait déjà adressé le message de novembre 2017 au groupe intervision et qu'il avait déposé plainte pénale à son encontre en 2015, comme l'a relevé la cour cantonale. Ainsi, toute personne raisonnable face à la même situation serait objectivement alarmée ou effrayée, si bien que la menace proférée par le recourant était grave. Pour le surplus, le recourant ne présente aucun grief répondant aux exigences de motivation des art. 42 al. 2 et 106 al. 2 LTF tendant à remettre en cause la réalisation des autres éléments constitutifs de l'infraction si bien qu'il n'y a pas lieu de les examiner plus avant. C'est donc sans violer le droit fédéral que la cour cantonale a condamné le recourant pour menaces et ses griefs doivent être rejetés.
5.
Le recourant conteste sa condamnation pour injure au sens de l'<ref-law> (en lien avec les faits décrits ci-dessus sous let. B.c).
5.1. La cour cantonale a retenu que le recourant avait présenté l'intimée comme étant malhonnête en écrivant que celle-ci était une manipulatrice que seule la justice pouvait arrêter, qu'elle était dangereuse notamment pour l'enfant et trouvait des prétextes pour ne pas s'en occuper. La cour cantonale a estimé que ni le désaccord au sujet de la garde et du droit de visite sur l'enfant, ni les SMS reçus de l'intimée, ne pouvaient justifier ces propos méprisants. En outre, la cour cantonale a retenu que le recourant avait menti sur les motifs de son message, car à l'audience d'appel il avait soutenu que l'intimée le harcelait pour parler à leur fils qui était avec lui, ce qui contredisait la teneur du message et démontrait qu'il était plus méprisant que perturbé par un conflit parental.
5.2. Se rend coupable d'injure celui qui aura, par la parole, l'écriture, l'image, le geste ou par des voies de fait, attaqué autrui dans son honneur (<ref-law>). L'injure peut consister dans la formulation d'un jugement de valeur offensant, mettant en doute l'honnêteté, la loyauté ou la moralité d'une personne de manière à la rendre méprisable en tant qu'être humain ou entité juridique ou celui d'une injure formelle, lorsque l'auteur a, en une forme répréhensible, témoigné de son mépris à l'égard de la personne visée et l'a attaquée dans le sentiment qu'elle a de sa propre dignité. La marque de mépris doit revêtir une certaine gravité, excédant ce qui est acceptable (arrêts 6B_1254/2019 du 16 mars 2020 consid. 8.1; 6B_1149/2019 du 15 janvier 2020 consid. 5.1).
5.3. Le recourant soutient que tant les propos pris séparément que l'ensemble du texte du message ne relèveraient pas de l'injure. Il considère que le fait de critiquer, même vertement, des " agissements fous " et des manipulations envers un enfant commun ne serait pas attentatoire à l'honneur. Ces critiques ne présenteraient pas la personne comme méprisable ou comme l'auteur d'un comportement contraire à l'honneur. Il soutient également que l'affirmation selon laquelle l'intimée " reste dangereuse pour l'enfant ou pour les gens qui sont autour, y compris à la justice " ne serait pas une injure. L'intimée aurait également bénéficié d'un suivi psychiatrique. En l'espèce, la cour cantonale a retenu à raison que les assertions contenues dans le message sont attentatoires à l'honneur. Le texte du courriel litigieux doit être apprécié dans sa globalité, et non uniquement à raison des expressions prises séparément. Dans l'écrit litigieux, le recourant indique que " Malheureusement, il n'y a que la justice qui peut arrêter des gens comme toi ". Cette phrase est mise en lien avec différentes assertions de manipulation, " d'agissements fous " et de dangerosité pour l'enfant et pour la justice. Ainsi, arriver à la conclusion que seule la justice pourrait " arrêter " l'intimée implique que sa conduite serait contraire au droit. De plus, les propos litigieux présentent l'intimée comme une mère indigne. Le courriel litigieux fait ainsi apparaître l'intimée comme une personne méprisable, qui adopte des comportements réprouvés par l'ordre juridique, ce qui est objectivement attentatoire à l'honneur.
Le recourant fait valoir le contexte du message, soit une séparation houleuse, et son inquiétude pour son fils. Or, un tel contexte n'a pas d'influence sur le caractère attentatoire à l'honneur des propos tenus et ne constitue en aucun cas un fait justificatif. Pour le surplus, le recourant se prévaut du fait que l'intimée lui aurait adressé dix-sept messages en 48 heures avant l'envoi du courriel litigieux. Toutefois, on ignore tout de la teneur de ces SMS et le recourant ne l'expose pas. Il n'indique par ailleurs pas que son courriel aurait immédiatement suivi l'envoi des SMS, en ce sens qu'il aurait agi sous le coup de l'émotion causée par ceux-ci et on peine à imaginer qu'il n'aurait pas eu le temps de réfléchir, s'agissant de l'envoi d'un courriel. Ainsi faute d'immédiateté, c'est à bon droit que la cour cantonale n'a pas fait application de l'exemption de l'<ref-law>.
Les critiques du recourant sont rejetées dans la mesure où elles sont recevables. La cour cantonale pouvait donc, sans violer le droit fédéral, condamner le recourant pour injure.
6.
Le recourant fait grief à la cour cantonale de n'avoir retenu aucun élément à décharge dans la fixation de la peine et que la quotité de celle-ci serait excessive.
6.1. Aux termes de l'<ref-law>, le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). La culpabilité est déterminée par la gravité de la lésion ou de la mise en danger du bien juridique concerné, par le caractère répréhensible de l'acte, par les motivations et les buts de l'auteur et par la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (al. 2).
La culpabilité de l'auteur doit être évaluée en fonction de tous les éléments objectifs pertinents, qui ont trait à l'acte lui-même, à savoir notamment la gravité de la lésion, le caractère répréhensible de l'acte et son mode d'exécution. Du point de vue subjectif, sont pris en compte l'intensité de la volonté délictuelle ainsi que les motivations et les buts de l'auteur. A ces composantes de la culpabilité, il faut ajouter les facteurs liés à l'auteur lui-même, à savoir les antécédents, la réputation, la situation personnelle (état de santé, âge, obligations familiales, situation professionnelle, risque de récidive, etc.), la vulnérabilité face à la peine, de même que le comportement après l'acte et au cours de la procédure pénale (<ref-ruling> consid. 9.1 p. 147; <ref-ruling> consid. 6.1.1 p. 66 s. et les références citées).
Le juge dispose d'un large pouvoir d'appréciation dans la fixation de la peine. Le Tribunal fédéral n'intervient que lorsque l'autorité cantonale a fixé une peine en dehors du cadre légal, si elle s'est fondée sur des critères étrangers à l'<ref-law>, si des éléments d'appréciation importants n'ont pas été pris en compte ou, enfin, si la peine prononcée est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (<ref-ruling> consid. 1.2 p. 319).
6.2. Le recourant reproche à la cour cantonale de n'avoir retenu aucun élément à décharge, en particulier de ne pas avoir tenu compte du contexte dans lequel les atteintes à l'honneur ont été commises. Le recourant n'explique pas à quoi il se réfère précisément lorsqu'il invoque le " contexte ". Ainsi, il ne prend pas la peine d'expliquer quels éléments à décharge n'auraient pas été pris en compte et ne démontre pas qu'ils auraient été omis arbitrairement par la cour cantonale. Insuffisamment motivée, son argumentation est irrecevable.
Le recourant se borne à affirmer que la peine fixée pour réprimer les quatre infractions retenues serait "excessive". Cette argumentation, qui ne répond pas aux exigences de motivation déduites de l'<ref-law>, ne permet pas de saisir en quoi la cour cantonale aurait pu violer le droit fédéral sur ce point. Insuffisamment motivée, la critique est irrecevable.
7.
Le recourant conclut à l'octroi d'une indemnité fondée sur l'<ref-law> en lien avec l'acquittement qu'il réclame. Comme le prénommé n'obtient pas celui-ci, sa conclusion est sans objet.
8.
Au vu de ce qui précède, le recours est rejeté dans la mesure où il est recevable. Le recourant, qui succombe, doit supporter les frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer des dépens à l'intimée qui n'a pas été invitée à procéder (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 22 avril 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Meriboute