Faits :
A.
Par jugement du 4 février 2020, le Tribunal criminel de l'arrondissement de l'Est vaudois a condamné A.A._ pour actes d'ordre sexuel avec des enfants, contrainte sexuelle et viol à une peine privative de liberté de 6 ans, a dit qu'il était le débiteur de B.A._ et lui devait immédiat paiement d'un montant de 20'000 fr. avec intérêt à 5% l'an à compter du 31 juillet 2005 à titre d'indemnité pour tort moral et a statué sur les séquestres, les indemnités et les frais.
B.
Par jugement du 16 septembre 2020, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par A.A._ à l'encontre du jugement du 4 février 2020, qu'elle a intégralement confirmé. En bref, il en ressort les éléments suivants.
Alors qu'il oeuvrait entre la Suisse et l'Afrique, notamment le Cameroun, où il s'occupait de réparer des véhicules de E._, A.A._ a fait la rencontre de C.A._, laquelle vivait en Afrique. Il l'a épousée et fait venir en Suisse en 2002 avec ses deux enfants, D.A._ et B.A._, née en 1996. A.A._ a adopté B.A._, que son père biologique n'avait pas reconnue, contrairement à ce qu'il avait fait pour son frère. Le prénommé aimait beaucoup la petite fille, dont il s'occupait souvent, la mère étant décrite comme peu présente auprès de ses enfants. Le couple A._ a divorcé en décembre 2014. Les ex-époux ont continué à entretenir de bonnes relations jusqu'en février 2018, quelques jours avant que B.A._, qui avait quitté le domicile familial aux alentours de 2016, ne dépose plainte contre A.A._ pour divers actes de nature sexuelle commis à son préjudice.
A fin 2017, B.A._ a fait part de son mal-être à son petit-ami, auprès duquel elle s'était déjà confiée petit à petit sur des attouchements qu'elle lui avait dit avoir subis enfant, sans autres détails. Elle lui a alors raconté que A.A._ lui avait fait subir des attouchements lorsqu'elle était enfant et qu'elle avait eu des relations sexuelles avec lui. Elle en a également parlé à la psychologue qu'elle consultait à l'époque. Son ami l'a convaincue d'en parler à sa mère, alors même que B.A._ était réticente, arguant que c'était du passé et que cela ne changerait rien. B.A._ en a parlé à sa mère le 2 février 2018, et celle-ci a immédiatement convoqué A.A._ à son domicile. Celui-ci a nié et a traité B.A._ de menteuse. La prénommée a déposé plainte contre A.A._ le 9 février 2018. B.A._ a expliqué en substance que son père adoptif lui avait infligé de nombreux actes d'ordre sexuel, lui caressant le sexe par-dessus et par-dessous les vêtements, introduisant ses doigts dans son sexe, la contraignant à le masturber ou allant jusqu'à la pénétrer avec son pénis à deux reprises.
C.
A.A._ forme un recours en matière pénale contre le jugement du 16 septembre 2020. Il conclut, avec suite de frais et dépens, principalement à son acquittement. Subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à la cour cantonale pour nouvelle décision au sens des considérants. Il sollicite en outre le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant soulève plusieurs griefs sous l'angle de son droit d'être entendu (art. 29 al. 2 Cst.). Il soutient tout d'abord n'avoir pas été suffisamment entendu sur les faits de la cause lors des débats d'appel, les juges cantonaux s'étant limités à lui demander s'il confirmait ses précédentes déclarations et s'il pouvait expliquer pour quel motif sa fille portait de telles accusations à son encontre.
1.1. Selon l'<ref-law>, applicable à la procédure d'appel par renvoi de l'<ref-law>, au début de la procédure probatoire, la direction de la procédure interroge le prévenu de façon détaillée sur sa personne, sur l'accusation et sur les résultats de la procédure préliminaire. Le fait que le prévenu a déjà été interrogé, lors de la procédure de première instance, sur l'accusation et sa personne ne rend pas son audition superflue lors de la procédure orale d'appel. D'une part, même s'il figure dans la section intitulée " procédure probatoire ", l'<ref-law> ne sert pas exclusivement à des fins de preuves, mais prend également en considération la position du prévenu. Il garantit à ce dernier un droit personnel de participation à la procédure pénale conduite à son encontre, en tant que composante du droit d'être entendu, et empêche que le prévenu ne soit réduit à être l'objet de l'activité de l'État. D'autre part, l'interrogatoire du prévenu revêt une importance particulière s'agissant de la preuve de la culpabilité et du prononcé de la peine. L'intensité de l'interrogatoire dépend en particulier du degré de gravité de l'acte d'accusation et de l'ensemble des preuves déjà administrées. Dans la mesure où le prévenu a déjà été interrogé sur l'accusation lors de la procédure de première instance, il n'est pas nécessaire de l'interroger de façon aussi détaillée au cours des débats d'appel. L'<ref-law> ne conduit pas à renoncer à l'interrogatoire du prévenu lors des débats d'appel, mais relativise néanmoins la manière et l'ampleur de l'interrogatoire, dans la mesure où celui-ci ne doit porter que sur les points contestés et où les dépositions déjà recueillies - conformes au droit de procédure - demeurent utilisables (<ref-ruling> consid. 1.4.2 p. 291 s.; arrêts 6B_481/2020 du 17 juillet 2020 consid. 1.2; 6B_389/2019 du 28 octobre 2019 non publié in <ref-ruling>). La juridiction d'appel ne peut pas en principe renoncer à interroger le prévenu lorsque l'état de fait est contesté et fait l'objet du recours (<ref-ruling> consid. 1.4.4 p. 293; arrêt 6B_481/2020 précité consid. 1.2).
Il est sans importance que le prévenu ait eu la possibilité de s'exprimer une dernière fois au terme des plaidoiries (cf. <ref-law>). Il appartient à la direction de la procédure de donner au prévenu la possibilité de s'exprimer sur les accusations portées contre lui et de faire valoir les circonstances qui pourraient servir à sa défense et à la clarification de l'état de fait. Le fait que la défense ne demande pas l'interrogatoire du prévenu durant les débats d'appel n'y change rien, car il appartient à la juridiction d'appel de garantir d'office une administration des preuves conforme à la loi. Les parties n'ont pas à pallier, par des questions, une absence d'interrogatoire par la juridiction d'appel (<ref-ruling> consid. 1.4.3 p. 292; arrêts 6B_481/2020 précité consid. 1.2; 6B_389/2019 du 28 octobre 2019 consid. 2.2.1 non publié in <ref-ruling>).
1.2. Il ressort du jugement attaqué qu'au cours des débats d'appel, le recourant a été amené à s'exprimer à nouveau sur sa version des événements. Il a déclaré ne rien avoir de nouveau à dire, a contesté tout acte d'ordre sexuel avec sa fille et a précisé qu'il avait une bonne relation avec elle. Le recourant a également été interpellé sur les raisons qui auraient pu conduire l'intimée à l'accuser faussement (cf. jugement attaqué, p. 4). Le recourant soutient qu'on aurait dû l'interroger à propos des prétendues difficultés de couple qu'il aurait connues et surtout de la période à laquelle elles seraient apparues. Or, il apparaît que, sur question de son conseil, le recourant s'est exprimé sur ces points lors des débats d'appel, de sorte qu'on ne voit pas, en définitive, ce qu'il pourrait en déduire sous l'angle de la violation du droit qu'il invoque. Pour le reste, on ne discerne pas - et le recourant ne le dit pas - sur quels autres aspects de la cause l'intéressé aurait dû être interrogé.
Ce faisant, le recourant ne démontre pas que la conduite de son audition lors des débats d'appel consacrerait une violation de son droit d'être entendu.
2.
Le recourant se plaint de la violation de son droit d'être entendu dès lors que la cour cantonale n'a pas donné suite à ses réquisitions de preuves. Il s'agissait de l'audition, par commission rogatoire, de F._, qui avait accueilli le recourant et l'intimée lors d'un voyage en Allemagne au cours de l'été 2017, ainsi que la production, par le Service de la population (SPOP), du dossier de l'intimée afin d'attester de la date d'entrée en Suisse de celle-ci.
2.1. Le droit d'être entendu, garanti à l'art. 29 al. 2 Cst., comprend notamment celui de produire ou de faire administrer des preuves, à condition qu'elles soient pertinentes et de nature à influer sur la décision à rendre (<ref-ruling> consid. 7.2.2.1 p. 103; <ref-ruling> consid. 4.1 p. 72; <ref-ruling> consid. 2.3 p. 222; <ref-ruling> consid. 6.3.1 p. 299 et les références citées). Le droit d'être entendu n'empêche pas le juge de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de se forger une conviction et que, procédant de manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, il a la certitude qu'elles ne pourraient pas l'amener à modifier son opinion. Le refus d'instruire ne viole ainsi le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a procédé, est entachée d'arbitraire (<ref-ruling> consid. 3.1.3 p. 435; <ref-ruling> consid. 3.3 p. 64; <ref-ruling> consid. 5.3 p. 236).
Selon l'<ref-law>, la procédure de recours se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance. L'<ref-law> règle les preuves complémentaires. Ainsi, la juridiction de recours administre, d'office ou à la demande d'une partie, les preuves complémentaires nécessaires au traitement du recours. Le droit d'être entendu, consacré par l'<ref-law>, garantit aux parties le droit de déposer des propositions relatives aux moyens de preuves (al. 1 let. e). Conformément à l'<ref-law>, il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité ou déjà suffisamment prouvés. Cette disposition codifie, pour la procédure pénale, la règle jurisprudentielle déduite de l'art. 29 al. 2 Cst. en matière d'appréciation anticipée des preuves (arrêts 6B_211/2021 du 2 août 2021 consid. 3.2; 6B_1269/2020 du 23 juin 2021 consid. 2.1 et les références citées).
2.2. Le recourant fait valoir que le témoignage de F._ aurait permis d'attester que les relations entre l'intimée et son père, à quelques mois du dépôt de la plainte pénale, étaient excellentes. Or, la cour cantonale a retenu que cela importait peu, dès lors que l'intimée s'était comportée " comme si de rien n'était " pendant très longtemps. Le recourant ne fait ainsi qu'opposer son appréciation de la pertinence du moyen de preuve à celle de la cour cantonale dans une démarche appellatoire, partant irrecevable. En tout état, il ne démontre pas que le témoignage offert aurait pu amener la cour cantonale à modifier son opinion sur la cause. Ainsi, le fait que l'intimée soit partie en voyage avec le recourant en 2017 n'est pas contesté. Il est encore précisé que d'autres personnes de l'entourage des parties ont été entendues dans la procédure au sujet de la perception qu'elles avaient des rapports entre le père et la fille et qu'elles ont confirmé l'existence d'apparentes bonnes relations, ce qui n'est pas remis en doute dans le jugement entrepris. Dans ces conditions, l'appréciation anticipée de la pertinence du moyen de preuve à laquelle s'est livrée la cour cantonale échappe au grief d'arbitraire.
2.3. Par la production du dossier du Service de la population, le recourant voudrait établir que l'intimée est arrivée en Suisse en novembre 2003 et non en novembre 2002. Selon lui, cela permettrait de démontrer que la thèse des juges de première instance, reprise par la cour cantonale, selon laquelle il aurait commis des abus dès 2003 à la suite de la détérioration de son couple, serait invraisemblable, puisque son épouse venait alors à peine d'arriver en Suisse.
La cour cantonale a refusé la production de ce moyen de preuve au motif que la date d'arrivée en Suisse de l'intimée n'avait pas d'importance car le recourant avait indiqué, en cours d'enquête, avoir toujours beaucoup souffert des absences de sa femme qui sortait beaucoup. On comprend qu'elle a considéré que les abus sur l'intimée avaient pu commencer peu de temps après que celle-ci et sa mère étaient venues vivre en Suisse avec le recourant. Pour sa part, le recourant se limite essentiellement à affirmer que les abus n'auraient pas pu être commis dès le début de la vie commune. Ici également, il ne fait qu'opposer son appréciation à celle de la cour cantonale. Appellatoire, son grief est dans cette mesure irrecevable et ne permet pas, en tout état, d'établir l'arbitraire de la décision entreprise.
Compte tenu de ce qui précède, le grief élevé à l'encontre du rejet des réquisitions de preuves doit être écarté.
3.
Le recourant reproche à la cour cantonale de ne pas avoir entendu l'intimée, dispensée de comparution, alors que les faits sont contestés et que l'issue du procès repose sur ses seules déclarations.
3.1. Aux termes de l'<ref-law> - applicable aux débats d'appel par renvoi de l'<ref-law> -, le tribunal réitère l'administration des preuves qui, lors de la procédure préliminaire, ont été administrées en bonne et due forme, lorsque la connaissance directe du moyen de preuve apparaît nécessaire au prononcé du jugement (<ref-ruling> consid. 1.4.1 p. 290). La connaissance directe d'un moyen de preuve n'est nécessaire que lorsque celle-ci est susceptible d'influer sur le sort de la procédure, ce qui est le cas si la force du moyen de preuve dépend de manière décisive de l'impression suscitée au moment de sa présentation, notamment quand des déclarations constituent l'unique moyen de preuve - à défaut de tout autre indice - et qu'il existe une situation de " déclarations contre déclarations " (<ref-ruling> consid. 4.4.2 p. 199 s.). Le juge dispose d'un pouvoir d'appréciation afin de déterminer quel moyen de preuve doit être à nouveau administré (<ref-ruling> consid. 4.4.2 p. 199 s.). Seules les preuves essentielles et décisives dont la force probante dépend de l'impression qu'elles donnent doivent être réitérées. S'agissant d'un témoignage, l'administration de la preuve n'apparaît pas nécessaire uniquement au regard de son contenu (soit ce que dit le témoin), mais bien plutôt lorsque le jugement dépend de manière décisive du comportement du témoin (soit comment il le dit). Le tribunal dispose d'une certaine marge d'appréciation au moment de déterminer si une nouvelle administration de la preuve est nécessaire (<ref-ruling> consid. 4.4.2 p. 199 s.).
En vertu de l'<ref-law>, la victime jouit de droits particuliers au cours de la procédure. Elle a notamment le droit à la protection de la personnalité (art. 70 al. 1 let. a, 74 al. 4, et 152 al. 1 CPP; let. a); le droit à des mesures de protection (art. 152 à 154 CPP; let. c); et/ou le droit de refuser de témoigner (<ref-law>; let. d).
En particulier, la victime d'infraction à l'intégrité sexuelle peut, dans tous les cas, refuser de répondre aux questions qui ont trait à sa sphère intime (<ref-law>). Cette disposition est située dans le chapitre relatif aux témoins et dans la section traitant de leur droit, le cas échéant, de refuser de témoigner. Dès lors que le témoignage est en principe oral (cf. les termes " déclarations ", " Aussagen " et " dichiarazioni " de l'<ref-law>), il est incontesté que l'<ref-law> peut être invoqué par la victime d'infraction à l'intégrité sexuelle lorsqu'elle est auditionnée par les autorités pénales, qu'elle soit entendue en tant que témoin (<ref-law>) ou comme partie plaignante (art. 178 let. a et 180 al. 2 CPP; arrêt 1B_342/2016 du 12 décembre 2016 consid. 3.1 et les références citées). Dans ce cadre, le droit de la victime est par ailleurs absolu et prévaut notamment sur la limite au refus de témoigner posée à l'<ref-law> (arrêt 1B_342/2016 précité consid. 3.1 et les références citées). Cette solution se justifie eu égard en particulier aux difficultés, notamment émotionnelles, que peut engendrer le fait de parler, devant des autorités - voire en présence du prévenu - de cette thématique particulière.
De plus, la victime décide librement d'utiliser ce droit ou pas; elle peut ainsi refuser de répondre ou n'apporter qu'une réponse partielle. Si elle accepte à un moment donné de répondre, cela ne signifie pas qu'elle renonce à son droit ou, si elle en fait usage, qu'elle s'en prévaut d'une manière générale (arrêt 1B_342/2016 précité consid. 3.1 et les références citées).
3.2. Dans sa déclaration d'appel, le recourant n'avait pas requis l'audition de sa fille (pièce 51 du dossier). Par ailleurs, il ressort du dossier que l'intimée avait demandé, par l'intermédiaire de son conseil, à être dispensée de comparution personnelle à l'audience d'appel, expliquant qu'elle avait déjà été largement entendue sur les faits qu'elle reprochait à son père adoptif dans le cadre de la procédure, que le recourant n'avait pas particulièrement sollicité l'audition de sa fille, qu'il ne lui avait pas posé beaucoup de question lors de l'audience de première instance et qu'elle souhaitait s'éviter une seconde confrontation, même avec l'aide d'un paravent, avec le prévenu (cf. courrier du 11 mai 2020, pièce 57 du dossier). Par cette demande, il faut comprendre qu'elle a fait usage de son droit, en sa qualité de victime d'une infraction contre l'intégrité sexuelle, de refuser de témoigner s'agissant de sa sphère intime (cf. <ref-law>). La cour cantonale a transmis au recourant une copie de sa décision du 15 mai 2020 acquiesçant à la demande de dispense de l'intimée (jugement entrepris, c. Bd p. 9), décision contre laquelle le recourant n'a pas protesté. C'est également le lieu de préciser que l'audience d'appel initialement prévue le 15 juin 2020 a été reportée à la demande du recourant au 16 septembre 2020 et qu'il n'a pas davantage contesté la décision du 15 mai 2020 de dispense de comparution de l'intimée. Le grief est dès lors discutable sous l'angle du principe de la bonne foi en procédure (art. 5 al. 3 Cst.; cf. <ref-ruling> consid. 3.4.2 p. 406).
Dans son recours en matière pénale, le recourant ne s'en prend nullement aux motifs exposés par l'intimée à l'appui de sa demande de dispense. Il ne se plaint pas d'une application erronée de l'<ref-law>, pas plus qu'il n'invoque de violation du droit à la confrontation en lien avec les art. 6 ch. 3 let. d CEDH et 147 al. 1 CPP, étant précisé sous cet angle que l'intimée a été entendue en contradictoire devant le Ministère public le 30 octobre 2018 (pièce 10 du dossier) et devant le Tribunal de première instance lors de l'audience du 3 février 2020. Le recourant se limite en définitive à relever qu'il s'agit ici d'une constellation " déposition contre déposition ", ce qui est généralement le cas lorsqu'il s'agit d'infractions commises typiquement " entre quatre yeux ". Il ne développe toutefois aucun élément susceptible de démontrer que le jugement dépend de manière décisive du comportement de l'intimée. Il échoue ainsi à démontrer que la réitération de l'audition de l'intimée serait susceptible d'influer sur le sort de la cause, ou qu'il s'agirait d'une preuve essentielle et décisive dont la force probante dépendrait de l'impression qu'elle donne (cf. consid. 3.1 supra). Son grief, qui ne répond pas aux exigences de motivation accrues de l'<ref-law>, est irrecevable sous cet angle.
4.
Le recourant conteste avoir commis les infractions qui lui sont reprochées et invoque la violation du principe de présomption d'innocence.
4.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1; <ref-ruling> consid. 2.3.1). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; <ref-ruling> consid. 1.1). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 3.6.2; <ref-ruling> consid. 1.1 et les références citées).
La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe " in dubio pro reo ", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large (<ref-ruling> consid. 2.2.3.1; <ref-ruling> consid. 2a). En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves (sur la portée et le sens précis de la règle sous cet angle, cf. <ref-ruling> consid. 2.2.3.3), la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe " in dubio pro reo ", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1).
4.2. La cour cantonale a relevé que si l'on comprenait bien l'intérêt du recourant à nier les faits qui lui étaient reprochés, on ne voyait pas quel serait celui de l'intimée d'accuser son père adoptif alors qu'elle était déjà majeure et indépendante, s'il n'avait rien fait. L'intimée était, de fait, décrite comme équilibrée et pas du genre à mentir, alors que le recourant, lui, était décrit comme un manipulateur et un menteur. L'autorité précédente a en outre considéré que l'intimée était parfaitement crédible dans ses explications. Elle était restée mesurée dans ses propos en déclarant notamment " je ne peux pas vraiment dire que j'ai été traumatisée par ces évènements car cela s'est passé il y a tellement longtemps et j'ai dû vivre avec, que finalement je m'y suis habituée "; tandis que les " émotions " manifestées par le recourant dans cette procédure paraissaient inexistantes ou plaquées. Pour la cour cantonale, le fait qu'il ait indiqué dans sa déclaration d'appel qu'il n'avait pas pu se résoudre à déposer plainte pour calomnie et demander des dommages et intérêts à sa fille, était assez symptomatique de sa mentalité manipulatrice et inadéquate émotionnellement. Enfin, la cour cantonale a retenu que la relation père-fille dévoyée en relation homme-amie/confidente des problèmes de couple ressortait du témoignage même de C.A._. La thèse des premiers juges, soit en substance que le recourant avait projeté sa relation de couple sur sa fille, était donc plausible. En définitive, la cour cantonale indiquait n'éprouver aucun doute sur la culpabilité du recourant quant aux faits qui lui étaient reprochés.
4.3. Le recourant estime qu'il a été condamné parce qu'il n'a pas su expliquer pourquoi l'intimée portait des accusations fausses contre lui, ce qui était contraire au principe de présomption d'innocence.
A teneur de la motivation cantonale, il n'a pas été retenu comme élément à charge le fait que le recourant n'avait pas pu donner d'explications aux accusations élevées contre lui. En revanche, la cour cantonale a relevé qu'elle ne voyait pas l'intérêt de l'intimée à inventer une histoire d'abus sexuels - commis au moins dix ans plus tôt - qui n'auraient pas eu lieu. Cette considération ne viole nullement le principe de présomption d'innocence.
4.4. Le recourant fait grief à la cour cantonale d'avoir fait sienne l'appréciation des premiers juges, sans aucun réexamen. L'autorité précédente s'était contentée de reprendre la thèse échafaudée dans le jugement de première instance selon laquelle les abus auraient été la conséquence des difficultés de couple qu'il rencontrait. Au demeurant, cette thèse ne tenait pas debout au vu de la chronologie des évènements, puisque les difficultés conjugales étaient postérieures aux prétendus abus sexuels.
Le recourant semble ainsi reprocher à la cour cantonale un défaut de motivation. Il apparaît douteux que son grief, qui relève du droit d'être entendu, soit suffisamment motivé. Quoi qu'il en soit, la cour cantonale a expliqué que la relation père-fille dévoyée en relation homme-amie/confidente des problèmes de couple ressortait du témoignage même de C.A._. Elle s'est donc appuyée sur sa propre appréciation du moyen de preuve. Pour le reste, il ressort du jugement entrepris que la cour cantonale a forgé sa conviction en se fondant sur son appréciation de la crédibilité de l'intimée, qu'elle a jugée mesurée dans ses propos, ainsi que sur sa perception de la personnalité du recourant, de sorte que son jugement ne se limite pas à l'examen de la plausibilité de l'état de fait retenu par les juges de première instance. Enfin, il a déjà été constaté ci-dessus que la chronologie des événements ne faisait pas obstacle à la commission des actes reprochés (consid. 2.3 ci-dessus). Supposé recevable, le grief est infondé.
4.5. Le recourant argue de ce que plusieurs personnes interrogées ne l'ont pas décrit comme un menteur et un manipulateur. Il était de surcroît arbitraire de retenir ce qualificatif au motif qu'il avait déclaré ne pas vouloir déposer plainte pénale contre sa fille pour dénonciation calomnieuse. Les témoins avaient par ailleurs tous déclaré avoir été très surpris des accusations portées à l'encontre du recourant, alors qu'ils pensaient qu'une très belle relation l'unissait à sa fille. Le recourant reproche encore à la cour cantonale d'avoir décrit l'intimée comme mesurée et fiable sans l'avoir jamais vue. Il soutient que le récit de l'intimée était émaillé de propos contradictoires, vagues ou étranges. Ainsi, elle n'avait pas évoqué certains gestes à caractère sexuel dans sa plainte, mais seulement ultérieurement, lors de l'instruction. Elle s'était rendue volontairement avec le recourant en Allemagne quelques mois avant le dépôt de la plainte pénale, alors qu'elle affirmait avoir coupé les ponts avec lui depuis plusieurs années. Elle était par ailleurs en froid avec son frère et son suivi médical avait été entrepris tardivement. Ces éléments auraient dû conduire la cour cantonale à douter de ses propos.
En tant que l'argumentation du recourant consiste essentiellement à opposer sa propre appréciation des moyens de preuves à celle de la cour cantonale, elle est purement appellatoire. Il en va ainsi, par exemple, lorsque le recourant reproche à la cour cantonale de lui avoir imputé une personnalité manipulatrice. Son grief est sur ces aspects irrecevable. Au demeurant, il sied d'observer que la cour cantonale n'a pas méconnu le fait qu'aucun témoin n'avait indiqué s'être aperçu de quoi que ce soit, dès lors qu'elle a rappelé que dans cette affaire, c'était la parole de l'un contre celle de l'autre. Cette configuration n'est pas rare, toutefois, dans ce type d'infractions, et ne doit pas nécessairement conduire à l'acquittement de l'accusé. Un verdict de culpabilité peut en effet trouver un appui essentiel dans l'appréciation de la crédibilité de la victime. A cet égard, le recourant ne soulève aucune incohérence majeure, aucune contradiction grossière dans la version de l'intimée, entendue à maintes reprises au cours de la procédure, qui rendrait choquante l'appréciation de la cour cantonale à propos de sa crédibilité. Il n'y a, en particulier, rien d'anormal à ce que l'intimée ait apporté des précisions sur les abus dénoncés dans sa plainte au cours de l'instruction. Par ailleurs, le recourant n'expose pas quel serait le rapport entre la présente cause et la relation qu'entretiendrait actuellement l'intimée avec son frère. La cour cantonale a par ailleurs estimé qu'il n'était pas surprenant que l'intimée se fût rendue en Allemagne avec le recourant dans la mesure où, pendant des années, jusqu'au dépôt de plainte, elle avait fait comme si de rien n'était. Cela expliquait également pourquoi personne n'avait rien remarqué. Il n'apparaît pas non plus arbitraire de retenir que l'intimée était demeurée mesurée dans ces propos, notamment lorsqu'elle avait déclaré ne pas avoir été traumatisée. Enfin, le fait que l'intimée n'ait pas entrepris un suivi psychologique régulier est en adéquation avec cette déclaration, étant cependant relevé que c'est notamment dans le cadre d'une thérapie que l'intimée a été amenée à se livrer sur les actes subis durant son enfance.
En définitive, le recourant ne met en exergue aucun élément qui tendrait à faire reconnaître comme insoutenable l'appréciation de la cour cantonale. Vu ce qui précède et quoi qu'en dise le recourant, on ne saurait, sous l'angle de l'arbitraire, reprocher à la cour cantonale de s'être convaincue de la commission des actes d'ordre sexuel et des viols dénoncés par l'intimée.
L'absence de doute à l'issue d'une appréciation des preuves exempte d'arbitraire exclut la violation de la présomption d'innocence en tant que règle sur le fardeau de la preuve (cf. supra consid. 4.1).
5.
Au vu de ce qui précède, le recours est rejeté dans la mesure où il est recevable. Étant donné qu'il était d'emblée dénué de chance de succès, l'assistance judiciaire doit être refusée (<ref-law>). Le recourant supporte les frais de la cause, qui seront fixés en tenant compte de sa situation économique, qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 15 septembre 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Musy