Faits :
A.
Par jugement du 4 décembre 2020, le Tribunal correctionnel de l'arrondissement de La Côte a libéré A.A._ du chef de prévention d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance, a constaté qu'il s'était rendu coupable d'actes d'ordre sexuel avec des enfants, de contrainte sexuelle et de pornographie et l'a condamné à une peine privative de liberté de 36 mois, sous déduction d'un jour de privation de liberté. Le tribunal a suspendu une part de cette peine portant sur 24 mois et imparti au condamné un délai d'épreuve de deux ans. Il a dit que A.A._ devait payer à B.A._ la somme de 12'000 fr. plus intérêts à 5% l'an dès le 31 décembre 2009, à titre de réparation morale.
B.
Par jugement du 5 mai 2021, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel formé par A.A._ contre le jugement du 4 décembre 2020 et a confirmé celui-ci.
Il en ressort ce qui suit.
B.a. À son domicile, à U._, à une date indéterminée, en 2008 ou 2009, A.A._ a masturbé son fils B.A._, né en 2002, un soir que ce dernier, qui était alors âgé de 6 ou 7 ans, était en visite chez lui et dormait dans le même lit que lui. A.A._ a ensuite demandé à son fils de le masturber. Enfin, le prévenu a sodomisé son fils avec son sexe, alors que celui-ci se trouvait couché sur le côté. Tout au long de ces agissements, B.A._ avait peur et n'osait pas résister à son père, en raison de la position d'autorité de celui-ci à son égard et de son caractère colérique.
B.A._ a déposé plainte et s'est constitué demandeur au pénal et au civil le 11 février 2018. C.A._, en sa qualité de représentante légale de B.A._, a déposé plainte pénale et s'est constituée demanderesse au pénal le 7 février 2018.
B.b. Le 3 mai 2018 à tout le moins, A.A._ a détenu, pour son usage personnel, 291 images contenant des actes de zoophilie, soit des actes d'ordre sexuel avec des animaux, dans sa tour d'ordinateur, ainsi que 41 images de même nature, dans son ordinateur portable.
B.c. A.A._ est né en 1964 à V._. Son père était dessinateur en bâtiment et sa mère était vendeuse, puis secrétaire. Il a été élevé avec sa soeur de quatre ans son aînée et dit avoir eu de bonnes relations avec ses parents et avoir eu une enfance dorée. Après sa scolarité obligatoire, il est parti durant deux ans à W._ pour apprendre le suisse allemand et a ensuite suivi une formation d'employé de commerce, qu'il a terminée par l'obtention d'un CFC. Depuis lors, il a toujours travaillé dans le domaine de la gérance immobilière. C'est sur son lieu de travail qu'il a rencontré sa future épouse, C.A._, avec laquelle il a eu quatre enfants, E.A._ en 1995, F.A._ en 1997, G.A._ en 1999 et B.A._ en 2002. En 2008, le couple s'est séparé et la garde des enfants a été confiée à la mère, le père exerçant un droit de visite à raison d'un soir par semaine et d'un week-end sur deux. Le divorce a été prononcé en 2010.
Au mois de mai 2013, A.A._ a informé C.A._ qu'il n'entendait plus prendre les enfants chez lui et a écrit à la Présidente du Tribunal d'arrondissement de Lausanne qu'il renonçait à ses droits parentaux envers ses quatre fils. Aux débats de première instance, il a expliqué qu'il en avait eu assez parce que, durant les week-ends où il avait ses enfants, il y en avait toujours un ou deux qui voulaient voir leurs copains, et il ne supportait plus de devoir faire la police auprès des enfants lorsque son ex-femme lui demandait de régler des problèmes avec eux. Depuis lors, A.A._ n'a quasiment plus vu ses enfants. En effet, ceux-ci ont refusé au fil du temps de le revoir. Ils l'ont décrit comme très colérique, pouvant aller jusqu'à casser des objets sous l'emprise de la colère. Ils lui ont reproché de les terroriser et d'avoir des comportements inadéquats et maltraitants.
Le 23 janvier 2015, A.A._ a été admis à l'hôpital de X._ sur un mode volontaire pour mise à l'abri d'un geste auto-agressif. Il y est resté jusqu'au 20 février 2015.
Le 3 mars 2015, A.A._ a écrit à la Justice de paix de Lausanne afin de restaurer son droit de visite. Lors de cette procédure, il est apparu que les enfants refusaient de le voir, malgré un processus entamé au Centre de consultation H._.
Le 4 mars 2016, A.A._ a été à nouveau hospitalisé sur un mode volontaire à l'hôpital de X._ en raison d'une péjoration d'une symptomatologie dépressive et mise à l'abri d'idées suicidaires. Il y est resté jusqu'au 1er avril 2016.
Le 4 novembre 2016, C.A._ a déposé une demande en modification du jugement de divorce à l'encontre de A.A._ tendant à ce que l'autorité parentale sur les enfants mineurs G.A._ et B.A._ soit confiée uniquement à leur mère. Dans ce cadre, C.A._ a reproché au père de faire du chantage au suicide auprès d'elle et des enfants. Elle a expliqué que des relations personnelles ne pouvaient plus exister pour le moment entre le père et les enfants, ces derniers ayant été traumatisés par ses agissements colériques et maltraitants. Elle s'est également plainte du fait que A.A._ ne contribuait plus à l'entretien des enfants et ne collaborait pas pour les questions relatives aux enfants, comme l'établissement de documents, qu'il refusait de signer. A.A._ s'est opposé à cette procédure en faisant valoir que les enfants faisaient l'objet d'une aliénation de la mère qui diabolisait le père. Finalement, par convention du 6 mars et du 9 avril 2019, C.A._ a retiré sa demande de modification du jugement de divorce et les parties se sont partagées par moitié les frais de la procédure, ce dont la Présidente du Tribunal de Lausanne a pris acte.
A.A._ vit actuellement seul à Y._ dans un appartement de 3,5 pièces dont le loyer est d'environ 1'800 fr. par mois. Depuis 2016, il travaille comme gérant d'immeuble auprès d'une régie. Son salaire mensuel s'élève à 8'400 fr., versé quatorze fois l'an. Il paie 460 fr. d'assurance-maladie par mois. Il a déclaré qu'il avait plusieurs centaines de milliers de francs de dettes et que l'office des poursuites retenait chaque mois sur son salaire un montant de 2'600 francs. Il n'a pas de fortune.
Sur le plan de sa santé, A.A._ s'est vu diagnostiquer une séroconversion au VIH à la fin 2013. Il a débuté une trithérapie en août 2014.
B.d. Le casier judiciaire suisse de A.A._ comporte les inscriptions suivantes :
- 22 octobre 2013, Ministère public de l'arrondissement de Lausanne : peine pécuniaire de 15 jours-amende à 50 fr. avec sursis pendant 2 ans pour menaces;
- 31 mars 2014, Tribunal de police de l'arrondissement de La Côte : peine pécuniaire de 180 jours-amende à 50 fr. avec sursis pendant 2 ans (prolongé d'un an le 17 octobre 2014) et 800 fr. d'amende pour voies de fait, appropriation illégitime, vol, dommages à la propriété, infractions d'importance mineure (dommages à la propriété), diffamation, injure et menaces (partenaire hétérosexuel ou homosexuel);
- 4 septembre 2014, Ministère public de l'arrondissement de Lausanne, peine pécuniaire de 120 jours-amende à 30 fr. avec sursis pendant 4 ans, peine complémentaire au jugement du 31 mars 2014 rendu par le Tribunal de police de l'arrondissement de La Côte, et partiellement complémentaire à l'ordonnance pénale du 22 octobre 2013 rendue par le Ministère public de l'arrondissement de Lausanne, pour violation d'une obligation d'entretien;
- 17 octobre 2014, Ministère public de l'arrondissement de Lausanne : peine pécuniaire de 90 jours-amende à 30 fr. avec sursis pendant 4 ans, peine complémentaire à l'ordonnance pénale du 4 septembre 2014 rendue par le Ministère public de l'arrondissement de Lausanne, et partiellement complémentaire à l'ordonnance pénale du 22 octobre 2013 rendue par le Ministère public de l'arrondissement de Lausanne ainsi qu'au jugement du 31 mars 2014 rendu par le Tribunal de police de l'arrondissement de La Côte, pour détournement de valeurs patrimoniales mises sous main de justice.
C.
A.A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 5 mai 2021. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens qu'il est libéré des chefs de prévention d'actes d'ordre sexuel avec des enfants et de contrainte sexuelle et qu'une peine pécuniaire avec sursis lui est infligée pour pornographie. À titre subsidiaire, il conclut au renvoi de la cause à l'autorité inférieure pour nouveau jugement dans le sens des considérants. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.
Par ordonnance du 18 octobre 2021, la demande d'assistance judiciaire formée par A.A._ a été rejetée, faute pour ce dernier d'avoir établi son impécuniosité.

Considérant en droit :
1.
Le recourant reproche d'abord à la cour cantonale de ne pas avoir mis en oeuvre une expertise de crédibilité de l'intimé.
1.1. Le droit d'être entendu, garanti à l'art. 29 al. 2 Cst., comprend notamment celui de produire ou de faire administrer des preuves, à condition qu'elles soient pertinentes et de nature à influer sur la décision à rendre (<ref-ruling> consid. 7.2.2.1 p. 103; <ref-ruling> consid. 4.1 p. 72; <ref-ruling> consid. 2.3 p. 222; <ref-ruling> consid. 6.3.1 p. 299 et les références citées). Le droit d'être entendu n'empêche pas le juge de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de se forger une conviction et que, procédant de manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, il a la certitude qu'elles ne pourraient pas l'amener à modifier son opinion. Le refus d'instruire ne viole ainsi le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a procédé, est entachée d'arbitraire (<ref-ruling> consid. 3.1.3 p. 435; <ref-ruling> consid. 3.3 p. 64; <ref-ruling> consid. 5.3 p. 236).
Selon l'art. 389 al. 1 CPP, la procédure de recours se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance. L'art. 389 al. 3 CPP règle les preuves complémentaires. Ainsi, la juridiction de recours administre, d'office ou à la demande d'une partie, les preuves complémentaires nécessaires au traitement du recours. Le droit d'être entendu, consacré par l'art. 107 CPP, garantit aux parties le droit de déposer des propositions relatives aux moyens de preuves (al. 1 let. e). Conformément à l'art. 139 al. 2 CPP, il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité ou déjà suffisamment prouvés. Cette disposition codifie, pour la procédure pénale, la règle jurisprudentielle déduite de l'art. 29 al. 2 Cst. en matière d'appréciation anticipée des preuves (arrêts 6B_154/2021 du 17 novembre 2021 consid. 1.1; 6B_289/2020 du 1er décembre 2020 consid. 4.1; 6B_259/2020 du 17 août 2020 consid. 1.2).
1.2. Selon la jurisprudence, le juge ne doit recourir à une expertise de crédibilité qu'en présence de circonstances particulières. Une expertise de crédibilité effectuée par un spécialiste peut notamment s'imposer s'agissant de déclarations d'un petit enfant qui sont fragmentaires ou difficiles à interpréter, lorsqu'il existe des indices sérieux de troubles psychiques ou encore lorsque des éléments concrets donnent à penser que la personne interrogée a été influencée par un tiers (<ref-ruling> consid. 2.4 p. 184 et les références citées; <ref-ruling> consid. 2 p. 84). Le tribunal dispose à cet égard d'un pouvoir d'appréciation (arrêts 6B_154/2021 du 17 novembre 2021 consid. 1.2.1; 6B_892/2020 du 16 février 2021 consid. 3.2.1; 6B_44/2020 du 16 septembre 2020 consid. 4.7).
1.3. La cour cantonale a considéré que la requête du recourant tendant à la mise en oeuvre d'une expertise de crédibilité de l'intimé ne répondait pas aux conditions de l'art. 389 CPP. En effet, une telle expertise était inutile dans le cas présent, les déclarations de l'intimé n'étant ni fragmentaires, ni le fait d'un petit enfant ayant des difficultés à s'exprimer et n'apparaissaient pas avoir été faites sous l'influence d'un tiers. Au demeurant, la cour cantonale a relevé que cette requête n'avait pas été formulée en première instance et apparaissait ainsi tardive et contraire à la bonne foi.
1.4. Le recourant ne démontre pas en quoi l'appréciation de la cour cantonale serait arbitraire ou violerait le droit fédéral. Il ne soutient en particulier pas que les circonstances particulières exigées par la jurisprudence pour ordonner une expertise de crédibilité (cf. supra consid. 1.2) seraient réalisées en l'espèce. Son grief est dès lors rejeté dans la mesure où il est recevable.
2.
Invoquant l'art. 9 Cst. ainsi que les art. 10 CPP, 32 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, le recourant reproche à la cour cantonale d'avoir fait mauvaise application du principe "in dubio pro reo" et d'avoir violé l'interdiction de l'arbitraire.
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (art. 105 al. 1 LTF), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 2.3.1 p. 244). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables. Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (art. 106 al. 2 LTF; <ref-ruling> consid. 1.3.1 p. 92; <ref-ruling> consid. 1.1 p. 503). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3.1 p. 92; <ref-ruling> consid. 1.1 p. 156).
Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs apparaissent fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêt 6B_1498/2020 du 29 novembre 2021 consid. 3.1 destiné à la publication; cf. aussi arrêts 6B_732/2021 du 24 février 2022 consid. 2.1; 6B_1118/2021 du 17 novembre 2021 consid. 1.1; 6B_94/2021 du 29 septembre 2021 consid. 1.1; 6B_330/2021 du 15 septembre 2021 consid. 2.1).
2.2. La présomption d'innocence, garantie par les art. 10 CPP, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe "in dubio pro reo", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large (<ref-ruling> consid. 2.2.3.1; <ref-ruling> consid. 2a). En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves (sur la portée et le sens précis de la règle sous cet angle, cf. <ref-ruling> consid. 2.2.3.3), la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe "in dubio pro reo", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1).
2.3. Les déclarations de la victime constituent un élément de preuve. Le juge doit, dans l'évaluation globale de l'ensemble des éléments probatoires rassemblés au dossier, les apprécier librement (arrêts 6B_1498/2020 du 29 novembre 2021 consid. 3.1 non publié in <ref-ruling>; 6B_732/2021 du 24 février 2022 consid. 2.2; 6B_1118/2021 du 17 novembre 2021 consid. 1.3; 6B_457/2021 du 22 octobre 2021 consid. 1.2), sous réserve des cas particuliers où une expertise de la crédibilité des déclarations de la victime s'impose (cf. <ref-ruling> consid. 2.4 p. 184). Les cas de "déclarations contre déclarations", dans lesquels les déclarations de la victime en tant que principal élément à charge et les déclarations contradictoires de la personne accusée s'opposent, ne doivent pas nécessairement, sur la base du principe "in dubio pro reo", conduire à un acquittement. L'appréciation définitive des déclarations des participants incombe au tribunal du fond (<ref-ruling> consid. 3.3 p. 127; arrêt 6B_1498/2020 précité consid. 3.1).
2.4. Le recourant reproche à la cour cantonale de s'être essentiellement fondée sur les déclarations de l'intimé, qui ne seraient, selon lui, renforcées par aucun élément objectif.
2.4.1. S'agissant des déclarations de l'intimé, la cour cantonale a fait sienne la motivation particulièrement détaillée et pertinente figurant dans le jugement de première instance. Elle a souligné en particulier que le discours de l'intimé était empreint d'émotion. Dans son audition vidéo, la gêne était manifeste, mais l'intimé répondait calmement et avec simplicité aux questions, ne cherchait pas à accabler son père et n'hésitait pas à le dire, lorsqu'il ne savait pas. Son récit était accompagné de détails qui ne pouvaient qu'avoir été vécus, comme la douleur et la honte ressenties : "c'est comme si j'étais une marionnette".
La cour cantonale a également souligné que le contexte du dévoilement assoyait la crédibilité de l'intimé, qui avait compris seulement des années plus tard avoir été victime d'un abus sexuel de la part de son père, qui avait vécu des réminiscences (flashback) de plus en plus intrusives et qui s'était confié finalement à sa maîtresse de classe, qui l'avait alors accompagné chez le psychologue scolaire. Tous deux avaient décrit lors de leurs témoignages les mêmes éléments, soit que l'intimé avait dit avoir des problèmes de concentration, pour dormir et des flashback. Ils avaient aussi confirmé que l'intimé ne souhaitait pas que les faits soient dévoilés à sa mère et avaient constaté son émotion à l'évocation des faits. En outre, la psychothérapeute I._, qui avait suivi l'intimé, avait constaté des symptômes typiques de stress post-traumatique.
2.4.2. Tout d'abord, c'est en vain que le recourant soutient qu'en l'absence d'expertise de crédibilité, les déclarations de l'intimé n'ont "aucune force probante qui justifierait de leur accorder un poids prépondérant, à plus forte raison au regard du principe in dubio pro reo" (mémoire de recours, p. 5). En effet, comme rappelé ci-dessus (supra consid. 2.3), selon la jurisprudence, les cas dans lesquels les déclarations de la victime en tant que principal élément à charge et les déclarations contradictoires de la personne accusée s'opposent ne doivent pas nécessairement, sur la base du principe "in dubio pro reo", conduire à un acquittement. Les déclarations de la victime constituent en effet un élément de preuve que le juge doit, dans l'évaluation globale de l'ensemble des éléments probatoires rassemblés au dossier, apprécier librement (<ref-ruling> consid. 3.3).
2.4.3. Le recourant fait ensuite grief à la cour cantonale d'avoir retenu à tort que l'intimé n'avait jamais fait preuve d'animosité à son égard. Il se réfère aux déclarations du psychologue scolaire qui a entendu l'intimé décrire son père de manière très négative.
En réalité, la cour cantonale a seulement constaté, à l'instar des premiers juges, que, lors de son audition vidéo, l'intimé n'avait pas cherché à accabler son père. Pour le surplus, elle a jugé que, si les faits étaient retenus, ce qui était le cas, le ressentiment de l'intimé et ses appréciations négatives envers son père étaient fondés.
En tant que le recourant soutient que les reproches formulés par l'intimé envers lui seraient davantage liés à "une parentalité tumultueuse", il oppose sa propre appréciation à celle de la cour cantonale, dans une démarche appellatoire et partant irrecevable. Il ressort d'ailleurs du jugement attaqué que les frères de l'intimé ont également émis un avis très négatif sur le recourant, le décrivant comme colérique et violent, ce que ce dernier a d'ailleurs reconnu.
En tout état de cause, comme le relève à juste titre la cour cantonale, le fait que l'intimé ait déclaré, lors des débats de première instance, qu'il souhaitait que son père aille en prison et qu'il ait décrit celui-ci de manière très négative, notamment au psychologue scolaire, ne rend pas ses déclarations moins crédibles.
Le grief du recourant est rejeté dans la mesure où il est recevable.
2.4.4. Le recourant fait ensuite en substance valoir que les observations de la maîtresse de classe de l'intimé, du psychologue scolaire et de la psychothérapeute I._ concernant notamment les problèmes de sommeil et les problèmes liés à la sexualité de l'intimé seraient contredites par celles de son ancienne amie intime, J._, et par celles de l'un de ses frères.
2.4.4.1. À cet égard, la cour cantonale a considéré que les différences dans les déclarations au sujet de la sexualité et du sommeil de l'intimé telles qu'elles résultaient de l'audition de l'ancienne petite amie, J._, ou de celles des frères ne concernaient que des points très secondaires qui pouvaient s'expliquer par la perception subjective de chacun, et qui n'étaient donc pas déterminants.
2.4.4.2. Le recourant reproche à la cour cantonale d'avoir considéré qu'il s'agissait de points secondaires, relevant que ceux-ci constituent les éléments principaux permettant de retenir l'existence ou non de symptômes de stress post-traumatique chez l'intimé.
Il fait d'abord grief à la cour cantonale d'avoir retenu que l'intimé avait eu des troubles du sommeil à la suite des abus sexuels. Il se réfère à cet égard en vain aux déclarations de son ancienne petite amie, J._, selon lesquelles l'intimé n'avait pas de problème de sommeil et "allait dormir très tôt" (PV d'audition du 30 avril 2019, p. 2-3; art. 105 al. 2 LTF). En effet, il ressort également des déclarations de celle-ci que l'intimé se couchait aussi parfois "très tard"; pour le surplus, force est de constater qu'il s'agit de sa perception du sommeil de l'intimé les fois où elle a dormi avec lui, étant rappelé qu'ils se sont séparés au mois de novembre 2017, soit avant qu'il révèle pour la première fois qu'il avait subi des abus sexuels de la part de son père. On relèvera au demeurant qu'à l'instar de la maîtresse de l'intimé, du psychologue scolaire et de sa psychothérapeute, son frère a témoigné qu'il avait "du mal à dormir alors qu'il a toujours été un grand dormeur" (PV d'audition n° 3 du 8 février 2018; art. 105 al. 2 LTF).
Pour le surplus, il convient de relever que les conséquences psychologiques chez l'intimé des abus, en particulier les symptômes de stress post-traumatique, ne se limitent pas aux problèmes de sommeil de l'intimé. Les divers intervenants ont également décrit des problèmes de concentration, des flashback, des maux de ventre, de l'absentéisme et des retards à l'école, des cauchemars et d'autres symptômes typiques de stress post-traumatique (cf. PV d'audition n° 8 de K._ du 13 septembre 2018, p. 2 et PV d'audition n° 10 de L._ du 30 avril 2019, p. 2; art. 105 al. 2 LTF).
Il s'ensuit que la cour cantonale n'a pas violé le principe "in dubio pro reo" ni versé dans l'arbitraire en retenant les troubles du sommeil de l'intimé.
2.4.4.3. S'agissant des autres conséquences psychologiques chez l'intimé des abus, la cour cantonale s'est fondée - en sus des symptômes de stress post-traumatique et de la souffrance manifestée lors des auditions et constatée par les personnes auxquelles l'intimé s'est confié - sur les difficultés formulées par l'intimé au sujet de sa sexualité et révélées par sa psychothérapeute. À cet égard, contrairement à ce que soutient le recourant, le seul fait que l'intimé n'ait pas parlé à son frère de ses difficultés au niveau sexuel ou que son ex-amie n'en ait pas parlé lors de son audition ne signifie pas qu'il n'en ait pas souffert. Le grief du recourant est rejeté dans la mesure où il est recevable.
2.4.5. Il s'ensuit que le recourant ne saurait être suivi lorsqu'il soutient que les déclarations de l'intimé ne seraient renforcées par aucun élément objectif.
2.5. Le recourant reproche à la cour cantonale d'être tombée dans l'arbitraire s'agissant de l'appréciation de ses déclarations.
2.5.1. En ce qui concerne la crédibilité des déclarations du recourant, la cour cantonale a considéré en substance que l'intéressé n'avait pas hésité à mentir lors de son interrogatoire à la police, en répondant par la négative à la question de savoir s'il avait fait l'objet de condamnations. Elle a jugé que l'argumentation du recourant, selon laquelle il n'aurait pas compris la question qui lui était posée au sujet de ses antécédents, prétendant qu'il songeait à des infractions du même genre que celles dont il était accusé, était vaine pour une personne comprenant parfaitement le français et disposant d'un bon niveau d'instruction. La cour cantonale a également relevé, à l'instar du tribunal de première instance, que le recourant avait également menti en soutenant qu'il ne comprenait pas pourquoi ses rapports avec ses enfants étaient rompus, alors qu'il était établi que c'était lui qui en avait décidé ainsi, en écrivant à la Présidente du Tribunal d'arrondissement de Lausanne qu'il renonçait à ses droits parentaux envers ses quatre fils au mois de mai 2013.
La cour cantonale a également rejeté l'argument du recourant selon lequel, pour autant que de tels mensonges soient établis, aucune conclusion ne pouvait en être tirée en relation avec les faits reprochés, relevant qu'il était évident que la propension à mentir dans une procédure pénale constituait un élément d'appréciation de la crédibilité à accorder à la version d'une partie.
Enfin, la cour cantonale a relevé que les premiers juges avaient directement constaté une manoeuvre d'intimidation de la part du recourant sur son fils lors de l'audience de première instance. Elle a considéré qu'il n'y avait strictement aucune raison de mettre en doute ce constat, d'autant que le recourant avait bien déclaré à son fils en audience "tu vas rentrer dans ta vie d'adulte et je pense que tu ne pourras pas t'épanouir avec ce mensonge sur la conscience", ce qui relevait bien d'une volonté de faire culpabiliser et donc d'intimider.
Elle a ainsi considéré que les considérations faites par les premiers juges quant à la crédibilité à donner aux déclarations, respectivement aux dénégations du prévenu ne prêtaient pas non plus le flanc à la critique. Du reste, la mauvaise impression qui se dégageait des auditions successives du recourant s'était confirmée à l'audience d'appel, où l'intéressé avait été jusqu'à déclarer qu'il pensait avoir été un père modèle, alors que tout le dossier et l'ensemble des déclarations de ses fils démontraient le contraire.
2.5.2. S'agissant de ses antécédents judiciaires, le recourant soutient qu'il n'est pas exclu qu'il aurait mal compris la question ou qu'il n'aurait pas eu connaissance de ses précédentes condamnations et invoque également ses séjours au sein du service de psychiatrie. Ce faisant, il oppose sa propre appréciation à celle de la cour cantonale, sans démontrer en quoi celle-ci serait arbitraire. Au demeurant, on peine à croire que le recourant aurait oublié les quatre condamnations pénales distinctes dont il a fait l'objet dans le passé, même à supposer - comme il semble le suggérer - qu'il souffrait de troubles psychiques lors de son audition, ce qui ne ressort au demeurant nullement du jugement attaqué. Le grief est dès lors rejeté dans la mesure où il est recevable.
2.5.3. S'agissant du mensonge du recourant par rapport à la rupture des liens avec ses enfants, celui-ci soutient qu'il ne "s'agit pas de questions permettant de fonder la réalisation d'un état de fait impliquant un acte d'ordre sexuel violent sur son propre fils" et reproche à la cour cantonale de fonder sa culpabilité sur la base de sa personnalité.
Cette argumentation ne saurait être suivie. En effet, la cour cantonale ne s'est pas fondée sur ce mensonge pour établir la culpabilité du recourant. Elle a relevé cet élément, parmi d'autres, dans le cadre de l'appréciation de la crédibilité de ses déclarations. Le grief est rejeté dans la mesure où il est recevable.
2.5.4. Le recourant soutient que le fait de ne pas se souvenir si ses enfants ont dormi dans son lit n'équivaut pas à mentir aux autorités. A cet égard, la cour cantonale a retenu que les variations du recourant concernant le fait d'avoir ou non dormi avec l'un de ses enfants étaient bien établies, puisqu'il s'agissait d'une éventualité pour le recourant en début de l'enquête (PV d'audition n° 5, p. 7), exclue par la suite (cf. notamment PV d'audition n° 12, p. 2). Le recourant ne démontre pas en quoi cette appréciation serait arbitraire et tel n'apparaît pas être le cas. Le grief est rejeté dans la mesure où il est recevable.
2.6. Pour le surplus, c'est également en vain que le recourant fait valoir qu'il n'est pas connu des autorités judiciaires pour des affaires de moeurs et qu'il n'a aucune attirance pédophile ou hébéphile. Il ne démontre en effet pas en quoi ces éléments, qui n'ont pas été établis par la cour cantonale, auraient été arbitrairement omis, étant relevé que l'instance précédente a retenu, sans que le recourant n'en démontre l'arbitraire, que, même si aucun élément particulier ne démontrait une attirance du recourant pour les enfants, les éléments du dossier avaient montré que sa sexualité était déviante et il avait admis sa condamnation pour pornographie dure.
2.7. Le recourant ne saurait non plus être suivi lorsqu'il soutient que les réminiscences de l'intimé seraient la cause de "faux souvenirs". En effet, la cour cantonale a retenu à juste titre que cette théorie ne prenait appui sur rien d'objectif et ne pouvait en tout cas pas se baser sur le fait que l'intimé n'avait compris que plus tard, lors d'un cours d'éducation sexuelle, qu'il avait été victime d'abus sexuels de la part de son père. En effet, en tenant compte de l'âge de la victime au moment des faits, soit 6 ou 7 ans, il était tout à fait logique qu'il n'ait perçu la nature sexuelle de l'agression que bien plus tard.
2.8. Le recourant soutient ensuite que les faits sont intervenus à une date et en un lieu indéterminés. Il reproche en particulier à la cour cantonale d'avoir considéré que "la détermination de la réalité des abus sexuels ne dépendait pas de savoir si [l'intimé] aurait ou non dormi avec son père, où et comment", alors que, selon l'acte d'accusation, les faits se seraient déroulés alors qu'il dormait avec son père. En réalité, c'est à la suite du grief du recourant relatif aux déclarations divergentes de la fratrie concernant la répartition des chambres dans lesquelles ils dormaient que la cour cantonale a considéré que ce point était sans incidence sur le sort de la cause. Pour le surplus, la cour cantonale a bien retenu que les actes avaient été commis alors que l'intimé était en visite chez le recourant et dormait dans le même lit que lui (cf. jugement attaqué, p. 13). En tout état de cause, il convient de rappeler que, selon la jurisprudence, des imprécisions relatives au lieu ou à la date dans l'acte d'accusation sont sans portée, dans la mesure où le prévenu ne peut pas avoir de doute sur le comportement qui lui est reproché (arrêts 6B_655/2021 du 22 décembre 2021 consid. 3.1; 6B_1498/2020 du 29 novembre 2021 consid. 2.1; 6B_1110/2020 du 15 décembre 2020 consid. 1.1), ce qui est le cas en l'espèce.
2.9. Enfin, le recourant reproche à la cour cantonale d'avoir considéré que ses déclarations à son fils à l'audience de première instance relevaient d'une volonté de faire culpabiliser et donc d'intimider. En réalité, il se contente d'opposer sa propre appréciation à celle de la cour cantonale, sans démontrer en quoi celle-ci serait arbitraire, de sorte que son grief est irrecevable.
2.10. Compte tenu de ce qui précède, la cour cantonale n'est pas tombée dans l'arbitraire, ni n'a violé le principe "in dubio pro reo", en retenant, notamment sur la base des déclarations crédibles et convaincantes de l'intimé, que le recourant a commis les faits qui lui sont reprochés.
3.
Le recourant conclut à ce qu'une peine pécuniaire avec sursis soit prononcée à son encontre. Dans la mesure où sa conclusion se fonde sur un acquittement des chefs de prévention d'actes d'ordre sexuel avec des enfants et de contrainte sexuelle qu'il n'obtient pas, sa conclusion est sans portée. Pour le surplus, il ne critique nullement la quotité de la peine, de sorte qu'il n'y a pas lieu de l'examiner plus avant (art. 42 al. 2 LTF).
4.
Au vu de ce qui précède, le recours est rejeté dans la mesure où il est recevable. Le recourant, qui succombe, doit supporter les frais judiciaires (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens à l'intimé qui n'a pas été invité à procéder (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 1er avril 2022
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Thalmann