Faits :
A.
Par jugement rendu le 4 février 2020, le Tribunal correctionnel de l'arrondissement de La Broye et du Nord vaudois a libéré A._ du chef de prévention d'inceste. Il l'a condamné pour actes d'ordre sexuel avec des enfants et actes d'ordre sexuel sur une personne incapable de discernement ou de résistance à une peine privative de liberté de 36 mois, avec sursis partiel, la part ferme à exécuter portant sur 18 mois, sous déduction de 485 jours de détention avant jugement. Il a fixé la durée du délai d'épreuve assortissant la suspension partielle de la peine à 4 ans, a constaté que A._ avait été détenu dans des conditions illicites pendant 15 jours et a ordonné que 8 jours de détention supplémentaires soient déduits de la peine privative de liberté, à titre de réparation du tort moral. Il a en outre ordonné à titre de règle de conduite pendant la durée du sursis l'obligation de se soumettre à un traitement psychothérapeutique, centré notamment sur la problématique sexuelle.
B.
Par jugement du 22 juillet 2020, la Cour d'appel pénale du Tribunal cantonal vaudois a partiellement admis l'appel formé par A._. Elle a rejeté l'appel joint du ministère public. Elle a réduit sa peine privative de liberté à 24 mois, avec sursis partiel, la part ferme à exécuter portant sur 12 mois, sous déduction de 485 jours de détention avant jugement au 5 février 2020. Elle a également réformé le jugement précité sur les frais de justice et a admis partiellement les conclusions de A._ en indemnisation. Elle a en outre, statué sur les prétentions civiles des parties plaignantes et sur les indemnités des conseils d'office.
En bref, il en ressort les éléments suivants.
A._ a une fille, B.B._, née en 2014, issue de sa relation avec C.B._. Le couple a vécu uni entre 2012 et 2017, la séparation ayant eu lieu en été 2017.
A U._, entre l'année 2017 et le 3 septembre 2018, à réitérées reprises, A._ a, dans un but d'excitation sexuelle, introduit un doigt dans le vagin de sa fille, B.B._, lorsqu'il pratiquait la toilette intime de l'enfant.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 22 juillet 2020. Il conclut, principalement à ce qu'il est constaté que le procès-verbal du 10 septembre 2018 est inexploitable et retranché du dossier pénal, ainsi qu'à l'annulation du jugement et au renvoi de la cause à la cour cantonale pour un nouveau jugement dans le sens des considérants. Subsidiairement, il conclut à la réforme du jugement en ce sens qu'il est libéré de toute infraction, aucune sanction n'étant prononcée à son encontre, que les conclusions civiles sont rejetées et que les frais de première instance et de la procédure d'appel, y compris les indemnités allouées aux conseils d'office des parties plaignantes, sont laissées à la charge de l'État. Il conclut également à la réforme en ce sens que ses conclusions en indemnisation fondées sur l'art. 429 al. 1 let a et c CPP sont admises pour un montant de 38'525 fr., respectivement de 120'750 fr. et qu'en sus deux autres indemnités fondées sur l'art. 429 al. 1 let. a et c CPP d'un montant de 38'700 fr. et de 43'000 fr. lui sont allouées.

Considérant en droit :
1.
Invoquant les art. 3, 158 CPP et 6 CEDH, le recourant demande à ce que le procès-verbal d'audition du 10 septembre 2018 soit retranché du dossier.
1.1. La règle selon laquelle nul ne peut être contraint de s'auto-incriminer constitue un principe général découlant de l'art. 32 Cst. et qui s'applique à la procédure pénale. Celui qui est prévenu dans une procédure pénale n'est donc pas tenu de déposer. Se fondant sur son droit de ne pas répondre, il a la faculté de se taire, sans que cette attitude lui porte préjudice et sans qu'elle constitue une preuve ou un indice de culpabilité. La garantie que toute personne accusée d'une infraction a le droit de ne pas être contrainte de déposer contre elle-même ou de reconnaître sa culpabilité est expressément formulée à l'art. 14 al. 3 let. g du Pacte international relatif aux droits civils et politiques (Pacte ONU II; RS 0.103.2). Selon la jurisprudence du Tribunal fédéral, qui coïncide avec celle de la Cour européenne des droits de l'homme, cette garantie découle directement du droit à un procès équitable au sens de l'art. 6 ch. 1 CEDH (<ref-ruling> consid. 8.3).
Selon l'<ref-law>, le prévenu n'a pas l'obligation de déposer contre lui-même. Il a notamment le droit de refuser de déposer et de refuser de collaborer à la procédure. Il est toutefois tenu de se soumettre aux mesures de contrainte prévues par la loi (<ref-law>).
Selon l'<ref-law>, au début de la première audition, la police ou le ministère public informent le prévenu dans une langue qu'il comprend qu'une procédure préliminaire est ouverte contre lui et pour quelles infractions (let. a), qu'il peut refuser de déposer et de collaborer (let. b), qu'il a le droit de faire appel à un défenseur ou de demander un défenseur d'office (let. c), qu'il peut demander l'assistance d'un traducteur ou d'un interprète (let. d). Les auditions effectuées sans que ces informations aient été données ne sont pas exploitables (<ref-law>).
Aux termes de l'<ref-law>, les preuves administrées en violation de l'<ref-law> ne sont en aucun cas exploitables. Il en va de même lorsque le présent code dispose qu'une preuve n'est pas exploitable (al. 1). Les preuves qui ont été administrées d'une manière illicite ou en violation de règles de validité par les autorités pénales ne sont pas exploitables, à moins que leur exploitation soit indispensable pour élucider des infractions graves (al. 2). Les preuves qui ont été administrées en violation de prescriptions d'ordre sont exploitables (al. 3).
1.2. Le recourant prétend que le comportement des inspecteurs pendant l'audition aurait porté atteinte à son droit au silence, respectivement l'aurait rendu " ineffectif " et aurait porté atteinte à son droit à un procès équitable. Il soutient qu'en application de l'<ref-law> le procès-verbal d'audition du 10 septembre 2018 devait être retranché du dossier. Selon lui, lors de son audition, il aurait manifesté à plusieurs reprises son intention de faire usage de son droit de garder le silence. Les inspecteurs auraient essayé de l'en dissuader et continué de poser des questions, alors qu'il aurait invoqué globalement son droit au silence. En outre, il prétend que sa personnalité, qui sort de l'ordinaire, n'aurait pas échappé aux inspecteurs qui en auraient profité.
Le recourant ne conteste aucunement avoir été informé au début de la première audition de son droit de refuser de déposer et de collaborer conformément à l'<ref-law>. Ainsi, c'est à tort qu'il prétend que l'audition serait inexploitable au sens de l'<ref-law>. Tout au plus, la seule question litigieuse est de savoir si, lors de l'audition, une méthode d'administration des preuves interdites au sens de l'<ref-law> aurait été utilisée, disposition que le recourant n'évoque même pas. Le recourant, qui était assisté d'un avocat, était libre de décider si - et dans quelle mesure - il souhaitait faire des déclarations devant la police. Le fait qu'il invoque son droit de garder le silence ne signifie pas pour autant que l'interrogatoire devait immédiatement s'arrêter. Il n'était pas interdit de tenter de lui faire changer d'avis - en tout ou en partie - et d'obtenir une déclaration au moins sur des questions factuelles individuelles. La limite était toutefois de s'abstenir de toute ingérence dans la liberté de volonté et d'action du recourant, c'est-à-dire d'exercer sur lui une pression directe ou indirecte (cf. arrêt 1P.644/2001 du 7 décembre 2001 consid. 7.1). En l'espèce, le recourant a été invité à faire avancer l'affaire et à s'expliquer sur les actes pour lesquels une enquête était ouverte. Des questions lui ont encore été posées, après qu'il eut invoqué son droit de se taire, sans toutefois qu'il ne ressorte de quelconques pressions, moyens de contrainte, recours à la force, menaces, promesses, tromperies ou autres moyens susceptibles de restreindre les facultés intellectuelles ou le libre arbitre du recourant. En outre, contrairement à ce que semble prétendre le recourant, aucun élément n' atteste que les inspecteurs auraient profité d'un état de diminution du recourant. A cet égard, le fait que les inspecteurs auraient été au courant qu'il allait chez une psychologue et qu'il leur avait expliqué avoir noué une relation épistolaire avec son pénis et mis en place un " rituel " de masturbation, ne sont pas des éléments pertinents. En outre, le diagnostic de trouble de la personnalité de type schizotypique a été établi bien après l'audition et ne pouvait pas être connu des inspecteurs. Rien n'indique que la personnalité du recourant qui, selon ses termes, " sortirait de l'ordinaire " aurait altéré ses facultés intellectuelles ou son libre arbitre. Par ailleurs, on peine à comprendre l'argument du recourant qui prétend que les inspecteurs auraient été particulièrement de mauvaise foi en faisant remarquer à son avocat de la première heure que son client pouvait répondre aux questions qui lui étaient posées et/ou déclarer faire valoir son droit au silence. Il en ressort que son droit de se taire lui a été expressément rappelé et qu'assisté de son avocat, il était libre de décider de l'usage qu'il souhaitait faire de son droit et pouvait être conseillé en cas de doute. En l'espèce, il a décidé de faire quelques déclarations de manière parfaitement éclairée.
Selon ce qui précède, c'est donc à tort que le recourant se prévaut du caractère inexploitable du procès-verbal d'audition de police du 10 septembre 2018. Le grief est rejeté.
2.
Le recourant conteste avoir commis des actes d'ordre sexuel avec des enfants et actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance. Il fait grief à la cour cantonale d'avoir apprécié les preuves et établi les faits de manière arbitraire et d'avoir violé le principe " in dubio pro reo ".
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1; <ref-ruling> consid. 2.3.1). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; <ref-ruling> consid. 1.1). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 3.6.2; <ref-ruling> consid. 1.1 et les références citées).
La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe " in dubio pro reo ", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large (<ref-ruling> consid. 2.2.3.1; <ref-ruling> consid. 2a). En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves (sur la portée et le sens précis de la règle sous cet angle, cf. <ref-ruling> consid. 2.2.3.3), la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe " in dubio pro reo ", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1).
2.2. Aux termes de l'<ref-law>, celui qui aura commis un acte d'ordre sexuel sur un enfant de moins de 16 ans sera puni d'une peine privative de liberté de cinq ans au plus ou d'une peine pécuniaire (ch. 1 al. 1).
Constitue un acte d'ordre sexuel au sens de cette disposition une activité corporelle sur soi-même ou sur autrui qui tend à l'excitation ou à la jouissance sexuelle de l'un des participants au moins (arrêts 6B_231/2020 du 25 mai 2020 consid. 3.1; 6B_1097/2019 du 11 novembre 2019 consid. 2.1 et les arrêts cités). Selon la jurisprudence, il faut d'abord distinguer les actes n'ayant aucune apparence sexuelle, qui ne tombent pas sous le coup de la loi, des actes clairement connotés sexuellement du point de vue de l'observateur neutre, qui remplissent toujours la condition objective de l'infraction, indépendamment des mobiles de l'auteur. Dans les cas équivoques, il convient de tenir compte de l'ensemble des éléments d'espèce (cf. <ref-ruling> consid. 3b et les références citées). La pénétration vaginale ou anale par le pénis, les doigts ou un objet constitue un acte clairement connoté sexuellement (arrêt 6B_231/2020 précité consid. 3.1 et les références citées).
Sur le plan subjectif, l'auteur doit agir intentionnellement, ce qui implique qu'il doit être conscient du caractère sexuel de son comportement, mais ses motifs ne sont pas déterminants, de sorte qu'il importe peu que l'acte tende ou non à l'excitation ou à la jouissance sexuelle (arrêts 6B_231/2020 précité consid. 3.1; 6B_299/2018 du 4 juillet 2018 consid. 2.1.1; 6B_180/2018 du 12 juin 2018 consid. 3.1). Le dol éventuel suffit (arrêts 6B_231/2020 précité consid. 3.1; 6B_1306/2017 du 17 mai 2018 consid. 2.1.2).
2.3. La cour cantonale a condamné le recourant pour actes d'ordre sexuel avec des enfants et actes d'ordre sexuel sur une personne incapable de discernement ou de résistance pour avoir, dans un but d'excitation sexuelle, à plusieurs reprises introduit son doigt dans le sexe de sa fille durant la toilette, entre l'année 2017 et le 3 septembre 2018.
A cet égard, la cour cantonale a retenu que lors de ses auditions, le recourant avait lui-même révélé des aspects particulièrement inquiétants de sa personnalité en lien avec sa sexualité et celle de sa fille. Il avait reconnu une forme de " dépendance " à la masturbation et à la pornographie. Il avait déclaré qu'il lui arrivait d'aborder spontanément des jeunes filles mineures, dans le bus par exemple. Il avait également évoqué un " rêve pédophile " au cours duquel il se voyait en train de sodomiser une jeune fille de 14-16 ans. Il avait admis qu'il lui était arrivé d'avoir des érections lorsqu'il prenait sa fille dans ses bras. En outre, lors des débats d'appel, il avait expliqué qu'il lui suffisait de regarder ses films pornographiques avec l'écran tourné de son côté pour éviter que sa fille se rende compte de ce qu'il faisait.
La cour cantonale a retenu que le rapport d'expertise psychiatrique du 27 janvier 2019, du Dr D._ avait posé le diagnostic de trouble de la personnalité de type schizotypique. L'expert avait indiqué que le recourant ne présentait pas les caractéristiques propres à une personne souffrant de pédophilie ni d'attirance sexuelle pour les enfants. En revanche, il avait souligné que le recourant peinait à poser des limites et à organiser la sexualité de sa fille, qu'il présentait comme hyper-développée à l'instar de la sienne, et reproduisait un climat de permissivité sexuelle avec elle en étant très permissif des masturbations de son enfant, en valorisant le vocabulaire technique et hyper sexualisé de celle-ci, en se promenant nu devant elle, en dormant avec elle, voire en l'emmenant aux toilettes, tout en rationalisant ses comportements en arguant qu'elle n'aimerait pas rester seule, sans tenir compte de son âge et des limites intergénérationnelles. La cour cantonale a également retenu que l'expert avait indiqué que le recourant avait une sexualité désorganisée, exempte de repère structurant, qu'il peinait à construire une relation stable et décrivait de nombreuses conquêtes, qu'il peinait également à se situer dans son rôle lors de l'acte sexuel, se présentant parfois comme " la femme " dans la relation, qu'il présentait sa bisexualité comme un signe de maturité alors qu'il peinait à réfréner ses pulsions, reconnaissant un large usage de la pornographie et de la masturbation, uniquement canalisé par son enfermement. La cour cantonale a aussi retenu que l'expert avait exposé que sur le plan de la personnalité, le recourant présentait des distorsions cognitives qui auraient pu favoriser un passage à l'acte. En outre, en procédant à l'évaluation d'un éventuel risque de récidive, l'expert avait mis en évidence l'immaturité sexuelle du recourant, ses difficultés à réguler sa sexualité et ses émotions en général, ses carences affectives, le climat de permissivité sexuelle qui régnait dans son quotidien et sa propension à explorer les différents aspects de sa sexualité sans limites franches. Au regard de ces éléments, la cour cantonale a retenu que bien que le recourant ne présentait pas d'orientation pédophilique de la sexualité, il présentait un profil psychologique tout à fait compatible avec un passage à l'acte. En outre, l'expertise privée du Dr E._ ne disait pas autre chose, puisqu'il avait lui-même retrouvé certains facteurs de risques de la propension à l'abus sexuel sur mineurs.
La cour cantonale a également retenu que lors de son audition du 10 septembre 2018, le recourant avait expliqué que, lors de la douche, il passait sa main savonneuse sur le vagin de sa fille et qu'il y avait " peut-être eu un doigt qui rentre dedans ". Il avait développé ses propos en déclarant que " lorsqu'on nettoie, on doit aussi nettoyer l'intérieur " et que, lorsqu'il faisait ça, son doigt savonneux " rentr[ait] un peu ". Informé des déclarations faites par sa fille lors de son audition vidéo, en particulier de celles où elle indiquait que " papa, il a mis le doigt dans ma vulve ", le recourant avait expliqué qu'il pensait qu'elle faisait référence aux épisodes qui s'étaient déroulés dans la douche. La cour cantonale a retenu que lors de l'audience d'appel, le recourant s'était rétracté en apportant une explication absurde qu'il fallait écarter. Ce dernier avait expliqué que lors de sa réponse à la police, il avait pensé à une plaisanterie qu'un ami racontait lorsqu'ils étaient jeunes et qui faisait allusion au fait que lorsqu'on se nettoyait les fesses, un doigt pouvait rentrer à l'intérieur.
La cour cantonale a retenu, que compte tenu du profil psychologique du recourant, celui-ci n'avait pas procédé à ces pénétrations digitales en les pensant nécessaires aux soins corporels de sa fille. Il était au contraire manifeste qu'en agissant de la sorte, il poursuivait un but d'excitation sexuelle. La cour cantonale a encore retenu que les gestes avaient été reconnus par le recourant lors de la première audition et s'inscrivaient parfaitement bien dans le récit de sa fille. En outre, les abus étaient confortés par les constatations médicales effectuées dans le cadre du suivi psychiatrique de l'enfant à V._, dont les thérapeutes avaient posé un diagnostic d'état de stress post-traumatique sévère compatible avec des abus sexuels tout en relevant que l'enfant présentait les quatre vécus prévalents chez les victimes d'abus sexuels.
2.4.
2.4.1. Le recourant reproche à la cour cantonale d'avoir retenu arbitrairement qu'il avait une dépendance à la masturbation et à la pornographie. En tant que l'argumentation du recourant consiste uniquement à opposer sa propre appréciation des moyens de preuves et sa version des faits à celles de la cour cantonale, elle est purement appellatoire. Il en va ainsi lorsqu'il reprend ses propres déclarations et le rapport de la Dre F._ pour en proposer sa propre interprétation, à savoir que sa dépendance à la masturbation et à la pornographie aurait été révolue. Au demeurant, il ressort du jugement attaqué que le recourant avait lui-même reconnu une forme de dépendance à la masturbation et à la pornographie. Il en ressort également que l'expert avait souligné qu'il peinait à refréner ses pulsions et qu'il reconnaissait un large usage de la pornographie et de la masturbation qui était uniquement canalisé par la situation d'enfermement. Par ailleurs, le rapport problématique du recourant à la pornographie ressort également de l'explication qu'il a donnée aux débats d'appel, sur le fait qu'il lui suffisait de regarder ses films pornographiques avec l'écran tourné de son côté pour éviter que sa fille se rende compte de ce qu'il faisait. Par conséquent, il n'était pas manifestement insoutenable de retenir, comme l'a fait la cour cantonale, que le recourant présentait une dépendance à la masturbation et à la pornographie. Les critiques du recourant doivent être rejetées dans la mesure où elles sont recevables.
2.4.2. Le recourant soutient que la cour cantonale aurait arbitrairement retenu qu'il lui arrivait d'aborder délibérément des jeunes filles qu'il savait être des mineures, dans le bus par exemple. Le recourant ne conteste pas que les filles qu'il abordait, notamment dans le bus, étaient des mineures. Il estime toutefois qu'il ressortirait de son audition et d'un message WhatsApp envoyé à une amie, qu'il pensait qu'elles étaient majeures. Ainsi, il aurait abordé des filles de 15-16 ans, pensant qu'elles avaient 25-30 ans. En l'espèce, c'est à tort qu'il prétend que la cour cantonale aurait retenu qu'il savait que les filles abordées étaient mineures. Il ne ressort pas du jugement attaqué que le recourant savait qu'elles étaient mineures, mais simplement qu'il abordait spontanément des filles objectivement mineures. Ainsi, la cour cantonale n'a pas interprété les déclarations du recourant de manière manifestement insoutenable. Pour le surplus, le fait que le recourant aborde des filles mineures en pensant qu'elles avaient 25-30 ans mis en parallèle avec l'absence de repère en manière sexuelle soulignée par l'expertise, pouvait conduire la cour cantonale à constater sans arbitraire, qu'il s'agissait là de l'un des aspects inquiétants de la personnalité du recourant en lien avec sa sexualité.
2.4.3. Le recourant soutient que la cour cantonale aurait retenu à tort que son évocation d'" un rêve pédophile " faisait partie des aspects particulièrement inquiétants de sa personnalité en lien avec sa sexualité. Selon lui, lors de son interrogatoire les inspecteurs auraient biaisé ses réponses en l'interpellant sur ses " rêves " pédophiles. Il aurait privilégié, à plusieurs reprises, la terminologie de " cauchemar " pour désigner ce songe et l'aurait associé à des blessures et violences subies durant son enfance. Il prétend que la survenance de ce cauchemar serait imputable à une discussion avec ses amis relative à des actes pédophiles d'un tiers, et qu'ainsi elle ne serait pas imputable à sa personnalité. En outre, cela serait corroboré par les expertises psychiatriques qui ne relèveraient pas d'attirance pour les mineurs et les enfants prépubères. Outre que les critiques du recourant se limitent à des affirmations reposant sur sa propre appréciation de la situation, elles se fondent sur des faits non constatés dans le jugement attaqué sans qu'il ne démontre, par une critique répondant aux exigences de motivation accrue de l'<ref-law>, qu'ils auraient été arbitrairement omis. Au demeurant, quand bien même le recourant aurait également qualifié son rêve de " cauchemar " et que celui-ci serait survenu à la suite d'une discussion avec ses amis, il n'était pas manifestement insoutenable de retenir, comme l'a fait la cour cantonale, que l'évocation d'une telle activité onirique pédophile faisait partie des aspects inquiétants de la personnalité en lien avec sa sexualité. Les critiques du recourant doivent être rejetées dans la mesure où elles sont recevables.
2.4.4. Le recourant reproche à la cour cantonale de s'être focalisée sur le fait qu'il avait eu des érections lorsqu'il prenait sa fille dans les bras, alors qu'il aurait reconnu cette problématique d'érections de manière plus générale. Il reproche, en outre, à la cour cantonale de n'avoir nullement mentionné les rapports de sa sexologue et de l'expert privé, selon lesquels, il ressortirait que le recourant aurait été gêné par ces situations et qu'il aurait mis en oeuvre des stratégies d'évitement face à ces " situations à risque ". En l'espèce, le recourant ne conteste pas avoir eu des érections lorsqu'il prenait sa fille dans les bras. Contrairement à ce que semble penser le recourant, le fait qu'il aurait eu des érections plus généralement en prenant d'autres personnes et des animaux dans les bras, qu'il aurait éprouvé de la gêne et doive adopter des stratégies pour éviter ces situations banales " à risque ", ne donne pas un éclairage moins inquiétant à cette problématique d'érections. Ainsi, le recourant ne démontre pas en quoi - pour autant que ces éléments soient avérés - la décision serait arbitraire dans son résultat.
2.4.5. Le recourant soutient que la cour cantonale aurait arbitrairement retenu que lors de son audition du 10 septembre 2018, il avait expliqué que son doigt était peut-être entré dans le vagin de sa fille, lors de la douche. Dans la mesure où il invoque également, à cet égard, le principe " in dubio pro reo ", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire. Selon lui, il aurait fallu comprendre de ses déclarations que son doigt n'était pas entré dans le vagin de l'enfant, mais qu'il avait pu se glisser entre les lèvres. En tant que l'argumentation du recourant consiste uniquement à opposer sa propre appréciation des moyens de preuves et sa version des faits à celle de la cour cantonale, elle est purement appellatoire. Il en va notamment ainsi lorsqu'il prétend qu'il ressortirait du procès-verbal et du croquis effectué à cette occasion, qu'il aurait, tout au plus, eu un doigt qui serait passé entre les lèvres du sexe de sa fille et que ce point aurait également été relevé par le Dr E._ (l'expert privé). Il en va de même lorsqu'il soutient qu'il n'était pas formé pour nettoyer les parties intimes d'une enfant, qu'il n'aurait jamais dit avoir mis un doigt dans le vagin de sa fille et que celle-ci n'aurait pas évoqué son vagin, mais uniquement sa vulve, à savoir la partie externe des organes génitaux féminins. En outre, son argumentation est appellatoire lorsqu'il prétend que le terme " pénétration " aurait été utilisé uniquement par les inspecteurs et que par un jeu de questions orientées, ceux-ci auraient essayé de lui faire dire ce qu'il n'avait pas dit.
Au demeurant, il ne ressort aucunement du procès-verbal d'audition que le recourant aurait parlé des lèvres du sexe de sa fille. Cette terminologie anatomique n'a jamais été utilisée par le recourant, contrairement au terme de vagin qu'il a employé lorsqu'il a dit que sa main savonneuse passait sur son " vagin " (jugement p. 28 et PV d'audition du 10 septembre 2018, p. 15.). En outre, il est vrai que le recourant a également dit " Je passe en fait le doigt juste comme ça (le prévenu passe sa main à plat sur la feuille sur laquelle il a fait un croquis de vagin [...]). Je suis en train de nettoyer le tour, et après le doigt va peut être venir entre. Je passe en fait ma main savonneuse sur son vagin " (<ref-law>, PV d'audition du 10 septembre 2018, p. 15). Cela étant, ces propos interviennent dans un deuxième temps, pour minimiser ses premières déclarations qui se référaient clairement à l'intérieur des parties intimes de l'enfant. A cet égard, il ressort du jugement attaqué - sans que le recourant ne le conteste - qu'il a dit qu'il y avait " peut-être un doigt qui rentre dedans ", que " lorsqu'on nettoie, on doit aussi nettoyer l'intérieur " et que lorsqu'il faisait ça son doigt savonneux rentrait un peu, mais que ça ne durait même pas deux secondes. En outre, contrairement à ce qu'affirme le recourant, il est indifférent que l'enfant utilise le terme de vulve et non de vagin. En effet, dès lors qu'il est question d'un doigt mis " dans " la vulve, le caractère interne de la pénétration ne fait aucun doute, et ce, indépendamment de la définition du mot vulve. De plus, on ne voit pas en quoi le fait que le recourant n'aurait pas été formé à nettoyer les parties intimes d'une enfant puisse avoir de la pertinence in casu. D'ailleurs la cour cantonale a exclu qu'il ait pu penser que ces pénétrations digitales étaient nécessaires aux soins corporels de sa fille. En définitive, le recourant ne démontre pas que la cour cantonale aurait versé dans l'arbitraire (cf. art. 97 al. 1 et 105 al. 1 LTF) en retenant qu'il ressortait de son audition, qu'il avait introduit son doigt dans le vagin de sa fille durant sa toilette.
2.4.6. Le recourant soutient que la cour cantonale aurait versé dans l'arbitraire à plusieurs égards en lien avec ce qu'elle a retenu de l'expertise psychiatrique. Selon lui, il aurait été arbitraire de retenir que bien qu'il ne présentait pas d'orientation pédophilique de la sexualité, il présentait tout de même un profil psychologique tout à fait compatible avec un passage à l'acte, alors que l'expert aurait été plus nuancé en utilisant le conditionnel. En l'espèce, l'usage du conditionnel n'enlève rien à la force du constat de l'expert, selon lequel, sur le plan de la personnalité, les distorsions cognitives du recourant auraient pu favoriser un passage à l'acte. L'utilisation du conditionnel visait à marquer qu'il n'appartenait pas à l'expert de se prononcer sur la réalité des faits reprochés au recourant. En outre, la cour cantonale retient que l'expertise privée du Dr E._ vient corroborer cette conclusion, puisqu'elle fait mention de certains facteurs de risque de la propension à l'abus sexuel sur mineurs. On comprend de l'argumentation de la cour cantonale que l'absence d'orientation pédophilique n'empêchait pas la possibilité d'abus sexuels sur un enfant et que de tels abus sont d'autant plus compatibles au regard du profil psychologique du recourant. Ces éléments ressortent bien de l'expertise. Elle pouvait ainsi se convaincre de la compatibilité d'un passage à l'acte avec son profil psychologique.
Le recourant reproche également à la cour cantonale d'avoir omis les passages favorables de l'expertise. Outre qu'il ne démontre pas, par une argumentation répondant aux exigences de motivation accrue de l'<ref-law>, que ces éléments auraient été arbitrairement omis, ses critiques tombent à faux. En effet, la cour cantonale a bien retenu que l'expert avait indiqué qu'il ne présentait pas les caractéristiques propres à une personne souffrant de pédophilie ni d'attirance sexuelle pour les enfants. De plus, on ne voit pas en quoi le fait que le recourant aurait fait des efforts d'introspection et des démarches de développement personnel (sans toutefois réussir à conserver un lien thérapeutique durable) auraient été des éléments propres à modifier l'appréciation de la cour cantonale.
Pour le surplus, le recourant semble reprocher à la cour cantonale un défaut de motivation concernant la poursuite par le recourant d'un but d'excitation sexuelle. Il apparaît douteux que son grief, qui relève du droit d'être entendu, soit suffisamment motivé. En effet, le recourant se limite à évoquer ce principe sans réelle argumentation. Quoi qu'il en soit, à ce sujet, la cour cantonale a retenu que compte tenu de son profil psychologique - qu'elle a longuement détaillé, et dont il a échoué à démontrer l'arbitraire - il n'était pas concevable qu'il ait procédé à ces pénétrations digitales en les pensant nécessaires aux soins corporels de sa fille. Il était au contraire manifeste qu'en agissant de la sorte, il poursuivait un but d'excitation sexuelle. On comprend ainsi de la motivation du jugement que la cour cantonale a retenu que le recourant savait que les actes litigieux ne s'inscrivaient pas dans la toilette ordinaire d'une enfant et que sa motivation était de nature sexuelle. Cette motivation est suffisante sous l'angle du droit d'être entendu, le recourant pouvait la comprendre et la contester utilement. Infondé, le grief du recourant doit être rejeté dans la mesure où il est recevable.
2.4.7. Vu ce qui précède et quoi qu'en dise le recourant, on ne saurait, sous l'angle de l'arbitraire reprocher à la cour cantonale de s'être convaincue qu'il avait à plusieurs reprises introduit son doigt dans le sexe de sa fille durant sa toilette, dans un but d'excitation sexuelle. La cour cantonale a, en effet, fondé son intime conviction sur un ensemble d'indices convergents que les dénégations du recourant ne permettent pas de renverser. En particulier, elle s'est fondée sur ses premières déclarations lors de son audition du 10 septembre 2018 qui s'inscrivaient parfaitement bien dans le récit de l'enfant, les constatations médicales effectuées dans le cadre du suivi psychiatrique de l'enfant à V._ qui confortent l'existence d'abus, les révélations du recourant sur des aspects particulièrement inquiétants de sa personnalité en lien avec sa sexualité et celle de sa fille et le profil psychologique du recourant compatible avec le passage à l'acte. L'absence de doute à l'issue d'une appréciation des preuves exempte d'arbitraire exclut la violation de la présomption d'innocence en tant que règle sur le fardeau de la preuve (cf. supra consid. 2.1).
2.5. Le recourant conteste sa condamnation pour actes d'ordre sexuel avec des enfants et actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance au motif qu'il n'y aurait pas d'actes d'ordre sexuel. Il argue que l'acte, tel qu'il l'aurait décrit lors de son audition du 10 septembre 2018, relèverait de la toilette intime ordinaire d'un enfant. Selon lui, compte tenu notamment de la nature de l'acte, de sa durée, de son intensité, de la qualité des participants et encore du lieu et des circonstances l'ayant entouré, il ne s'agirait pas d'un acte d'ordre sexuel. Ce faisant, le recourant conteste l'existence d'actes d'ordre sexuel non sur la base des faits retenus, dont il n'a pas démontré l'arbitraire (cf. supra consid. 2.4.5), mais sur la base des faits qu'il invoque librement. De la sorte, il n'articule aucun grief recevable tiré de l'application erronée du droit matériel. Insuffisamment motivées, les critiques du recourant sont irrecevables.
Au demeurant, sur la base de l'état de fait retenu par la cour cantonale, dont le recourant échoue à démontrer l'arbitraire, il s'agit bien d'actes d'ordre sexuels. En effet, si le fait de laver les parties génitales d'un enfant, n'est pas forcément un acte d'ordre sexuel (cf. arrêt 6S.355/2006 du 7 décembre 2006 consid. 3.1 non publié in <ref-ruling>), la pénétration du sexe avec un doigt, dans ce contexte, va clairement au-delà des soins d'hygiène corporelle et constitue objectivement un acte d'ordre sexuel (cf. arrêt 6S.355/2006 du 7 décembre 2006 consid. 4.2 non publié in <ref-ruling>). Pour le surplus, le recourant ne conteste pas la réalisation des autres éléments constitutifs des infractions d'actes d'ordre sexuel avec des enfants (<ref-law>) et d'actes d'ordre sexuel sur une personne incapable de discernement ou de résistance (<ref-law>).
3.
Au vu de ce qui précède, le recours est rejeté dans la mesure où il est recevable. Le recourant, qui succombe, doit supporter les frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer des dépens aux intimées qui n'ont pas été invitées à procéder (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 11 août 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Meriboute