Faits :
A.
Par jugement du 31 août 2015, le Tribunal correctionnel de l'arrondissement de La Côte a constaté que X._ s'était rendu coupable de menaces, d'actes d'ordre sexuel avec des enfants, de viol, d'inceste et de violation du devoir d'assistance et d'éducation, et que C._ s'était rendu coupable d'actes d'ordre sexuel avec des enfants et de viol. Il a condamné X._ à une peine privative de liberté de 5 ans, sous déduction de 7 jours de détention avant jugement, et C._ à une peine privative de liberté de 20 mois, dont 14 mois avec sursis et délai d'épreuve de 4 ans. X._ et C._ ont en outre été condamnés à payer à B.A._ les sommes respectives de 60'000 fr. et 20'000 fr., plus intérêt à 5 % l'an dès le 31 décembre 2008, à titre de réparation de son tort moral, ainsi que la somme de 1'000 fr. avec intérêt à 5 % l'an dès le 31 décembre 2012, en qualité de débiteurs solidaires, à A.A._ au titre de remboursement de ses frais de vacations. Pour le surplus, il a été donné acte à B.A._ de ses réserves civiles et statué sur les indemnités et les frais.
B. Le 16 février 2016, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel de X._ contre ce jugement.
Les faits à l'origine de la condamnation de X._ sont en substance les suivants.
X._ a fait la connaissance de A.A._ en 1997, alors qu'il vivait à D._ avec son épouse et sa fille. De sa liaison avec A.A._ est née une fille, B.A._, en 2000. Peu après cette naissance, la relation de X._ et A.A._ a pris fin. Les prénommés ont renoué une relation après le sixième anniversaire de B.A._ et un fils, E._, est né en 2008. X._ et A.A._ se sont alors définitivement séparés et ont cessé de se fréquenter. X._ n'a plus vu ses enfants B.A._ et E._ depuis le mois de janvier 2009.
A trois reprises, en 2007 ou 2008, au domicile de A.A._ qui était absente, X._ a forcé sa fille B.A._ à se déshabiller puis à se coucher sur le lit. En se servant de sa force et en lui donnant des coups, X._ a contraint sa fille à subir un rapport sexuel vaginal complet, en dépit des protestations et des cris de celle-ci. Afin de garantir le silence de sa fille, X._ l'a menacée de l'égorger, tout comme sa mère, et a également sous-entendu qu'il pourrait faire du mal à F._, fils de A.A._ et demi-frère de B.A._.
Par ailleurs, en 2007 ou 2008, X._ a emmené sa fille au domicile de son meilleur ami, C._. Ce dernier a contraint B.A._ à se déshabiller puis à subir un rapport sexuel vaginal complet, en présence de X._, qui a assisté à l'entier de la scène.
C.
X._ forme un recours en matière pénale contre le jugement de la cour cantonale. Il conclut à l'annulation du jugement attaqué et au renvoi de la cause à l'autorité précédente pour complément d'instruction, subsidiairement à la réforme du jugement attaqué en ce sens qu'il est libéré de tout chef de prévention. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant se plaint de la violation de son droit d'être entendu. Il reproche à la cour cantonale d'avoir refusé d'administrer les preuves qu'il avait requises.
1.1. Selon l'<ref-law>, la procédure de recours se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance. L'<ref-law> règle les preuves complémentaires. Ainsi, la juridiction de recours peut administrer, d'office ou à la demande d'une partie, les preuves complémentaires nécessaires au traitement du recours. Conformément à l'<ref-law>, il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité ou déjà suffisamment prouvés. Cette disposition codifie, pour la procédure pénale, la règle jurisprudentielle déduite de l'art. 29 al. 2 Cst. en matière d'appréciation anticipée des preuves (arrêts 6B_259/2016 du 21 mars 2017 consid. 5.1.2; 6B_486/2015 du 25 mai 2016 consid. 1.1; 6B_977/2014 du 17 août 2015 consid. 1.2 et les références citées). Le magistrat peut renoncer à l'administration de certaines preuves, notamment lorsque les faits dont les parties veulent rapporter l'authenticité ne sont pas importants pour la solution du litige. Ce refus d'instruire ne viole ainsi le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a procédé, est entachée d'arbitraire (<ref-ruling> consid. 3.3 p. 64 et les références citées).
Le grief d'arbitraire doit être invoqué et motivé de manière précise (<ref-law>).
1.2. Le recourant reproche à la cour cantonale d'avoir refusé d'entendre G.A._, la cousine de l'intimée, qui fut la première personne, en 2010, à recueillir les confidences de l'intimée mettant directement en cause son père. G.A._ venait elle-même de porter des accusations de viol à l'encontre de son beau-père, ce qui avait pu influencer l'intimée dans l'identification de son père comme étant l'auteur des abus. En effet, l'intimée avait certes révélé à des camarades de classe, en 2008 déjà, avoir été abusée sexuellement, mais elle n'avait alors pas identifié son père comme étant le violeur. G.A._ avait par ailleurs écrit une lettre au recourant attestant que l'intimée avait menti car elle avait été manipulée lors d'un voyage avec ses cousines à Paris en 2010. Il convenait de l'interroger sur cette lettre.
Il ressort du jugement de première instance, auquel la cour cantonale se réfère, que l'un des enfants auquel l'intimée s'était confiée lors d'une course d'école en 2008 a déclaré qu'il croyait que l'intimée leur avait dit que son père l'avait violée, tandis que l'autre a rapporté que l'intimée avait dit s'être fait violer par un " monsieur " qui était entré chez elle pendant qu'elle était au salon (jugement attaqué consid. 4.2 p. 21, jugement de première instance p. 48). Que l'un des deux enfants ait eu le souvenir d'un " monsieur " plutôt que du père de l'intimée a peu d'importance car dans tous les cas ces témoignages permettent de placer le lieu du viol à la maison, et établissent que l'intimée s'est confiée sur les abus bien avant que sa cousine G.A._ ne mette en cause son beau-père, ou qu'elle puisse prétendument être manipulée lors du voyage à Paris en 2010. Compte tenu également des autres preuves administrées (cf. consid. 2 infra), la cour cantonale n'est pas tombée dans l'arbitraire en considérant l'audition de G.A._ comme inutile.
1.3. Le recourant sollicitait par ailleurs l'audition du prénommé " H._ ", qui a été l'ami intime de A.A._ entre 2001 et 2006, avant que celle-ci ne se remette en couple avec le recourant.
La cour cantonale a considéré que l'audition de " H._ " était sans pertinence dans la mesure où il n'était pas présent à la période où l'intimée s'est faite agresser sexuellement par son père et l'ami de ce dernier. Le recourant se borne à affirmer qu'il est essentiel de pouvoir entendre "H._" au sujet du comportement de l'intimée avant l'année 2006 et de l'image du recourant que A.A._ véhiculait auprès de sa fille à cette époque. Cette argumentation est toutefois insuffisante, et par conséquent irrecevable; le recourant n'explique en effet nullement en quoi l'appréciation de la cour cantonale serait insoutenable, se bornant à y opposer sa vision des choses. Les considérations cantonales n'apparaissent au surplus pas arbitraires.
1.4. Le recourant reproche ensuite à la juridiction d'appel de n'avoir pas accédé à sa réquisition tendant à la mise en oeuvre d'une expertise de crédibilité sur l'intimée.
1.4.1. Conformément au principe de la libre appréciation des preuves, l'appréciation de la crédibilité des divers moyens de preuve relève en premier lieu de la compétence du juge du fait et aucun moyen de preuve ne s'impose à lui. Le magistrat ne saurait se soustraire à son devoir de libre appréciation en exigeant, sans nuance et quasi automatiquement, qu'une expertise de crédibilité soit ordonnée dès que des déclarations sont contestées, contiennent quelques imprécisions ou des contradictions mineures ou manquent de clarté sur des points secondaires (arrêt 1B_36/2010 du 19 avril 2010 consid. 3.1). Le juge ne doit ainsi recourir à une expertise de crédibilité qu'en présence de circonstances particulières (<ref-ruling> consid. 2 p. 86 et les arrêts cités).
Pour déterminer s'il y a lieu d'ordonner une expertise de crédibilité d'un enfant, il faut prendre en considération, selon les circonstances spécifiques du cas, un certain nombre d'éléments parmi lesquels le degré de compréhensibilité, de cohérence et de crédibilité des dépositions à examiner. Il faut également observer dans quelle mesure ses déclarations sont compatibles avec les autres éléments de preuve recueillis. L'âge de l'auteur de la déposition, son degré de développement et son état de santé psychique de même que la portée de ses déclarations eu égard à l'ensemble des preuves administrées entrent également en considération. Une expertise de crédibilité effectuée par un spécialiste peut notamment s'imposer s'agissant de déclarations d'un petit enfant qui sont fragmentaires ou difficiles à interpréter, lorsqu'il existe des indices sérieux de troubles psychiques ou encore lorsque des éléments concrets donnent à penser que la personne interrogée a été influencée par un tiers (<ref-ruling> consid. 2.4 p. 184 et les références citées).
1.4.2. La cour cantonale a retenu que les déclarations filmées de l'intimée étaient particulièrement claires, cohérentes et constantes. Compte tenu de son âge lors de sa déposition (10 ans), l'intimée était en mesure de s'exprimer sans le concours d'un expert. Le recourant ne dit pas en quoi les constatations de la cour cantonale sont insoutenables, ni n'établit que des circonstances particulières, justifiant la mise en oeuvre d'une expertise de crédibilité, seraient réunies en l'espèce. Sa motivation est ainsi insuffisante. Au surplus, le recourant ne saurait être suivi lorsqu'il affirme que les déclarations de la plaignante ont été recueillies sans qu'il ne puisse jamais les remettre en question. En effet, le recourant a pleinement eu l'occasion de se déterminer sur l'enregistrement vidéo de ces déclarations, qui figurait au dossier et qui a notamment été visionné en partie lors des débats de première instance. Il ne soutient pas, par ailleurs, avoir demandé à être confronté à la victime ou à pouvoir lui poser des questions par l'intermédiaire de son avocat, l'audition d'enfants pouvant d'ailleurs impliquer certaines limitations (cf. notamment arrêt 6B_653/2016 du 19 janvier 2017 consid. 1). Il invoque ainsi en vain son droit d'être entendu.
1.5. Le recourant fait aussi grief aux juges d'appel de ne pas avoir ordonné d'expertise psychiatrique sur sa personne.
L'<ref-law> prévoit que l'autorité d'instruction ou le juge ordonne une expertise s'il existe une raison sérieuse de douter de la responsabilité de l'auteur. La cour cantonale a rejeté ce moyen de preuve dans la mesure où il n'existait aucune raison sérieuse de douter de la responsabilité du recourant, qui n'affirmait du reste pas le contraire. En tant que le recourant persiste à solliciter cette expertise afin de faire constater l'absence de toute pathologie d'ordre sexuel, il ne fait que confirmer l'inapplicabilité de l'<ref-law> au cas d'espèce. Son grief est ainsi infondé.
1.6. Le recourant se plaint du refus de la juridiction d'appel d'ordonner l'audition de la Dresse I._. Selon lui, les lésions des parties génitales dont souffrirait l'intimée sont expliquées trop succinctement dans le rapport médical de la Dresse I._, et elles n'objectivent pas une rupture de l'hymen. Ce faisant, il oppose sa propre interprétation du rapport médical, ce qui constitue une critique de nature appellatoire, soit irrecevable. Quoi qu'il en soit, dès lors que le rapport médical répond par l'affirmative à la question de savoir si les lésions constatées sont compatibles avec une agression sexuelle (pièce 38), on ne voit pas, à l'instar de la cour cantonale, ce que l'audition du médecin pourrait apporter de plus pour la solution du litige. L'appréciation cantonale échappe ainsi à la critique d'arbitraire.
1.7. Compte tenu de ce qui précède, l'autorité précédente n'a pas violé le droit d'être entendu du recourant en écartant ses réquisitions de preuve. Le grief est infondé, dans la mesure de sa recevabilité.
2.
Le recourant invoque la violation de la présomption d'innocence.
2.1. La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe « in dubio pro reo », concernent tant le fardeau de la preuve que l'appréciation des preuves (<ref-ruling> consid. 2a p. 40 s.). Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe « in dubio pro reo », celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il ne peut revoir les faits établis par l'autorité précédente que si ceux-ci l'ont été de manière manifestement inexacte (<ref-law>), c'est-à-dire arbitraire (sur cette notion, cf. <ref-ruling> consid. 6.1 p. 205) et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>). En bref, une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais aussi dans son résultat.
Le recourant doit exposer, de manière détaillée et pièces à l'appui, que les faits retenus l'ont été d'une manière absolument inadmissible, et non seulement discutable ou critiquable. Il ne saurait se borner à plaider à nouveau sa cause, contester les faits retenus ou rediscuter la manière dont ils ont été établis comme s'il s'adressait à une juridiction d'appel (<ref-ruling> consid. 3 p. 352; <ref-ruling>). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1.3.1 p. 253).
2.2. Le recourant rediscute les éléments de preuve sur lesquels s'est prononcée la cour cantonale et y oppose sa propre appréciation. Cette démarche appellatoire n'est pas recevable dans le recours en matière pénale.
2.3. Au demeurant, en ce qui concerne l'absence de marque de coups observées sur le corps de l'intimée par des tiers, c'est sans arbitraire que l'autorité précédente a relevé que rien n'indiquait que les coups mentionnés par l'intimée auraient forcément dû laisser des traces et encore moins qu'ils auraient nécessairement été constatés par des tiers. Quant au fait que le pédiatre de l'intimée n'a pas constaté de lésions gynécologiques, le recourant relève lui-même qu'on ignore quels examens ce médecin a pratiqué sur sa patiente lorsqu'il l'a reçue en consultation pour une suspicion d'infection urinaire, de sorte que l'intéressé ne peut rien déduire de l'absence d'un tel constat, en particulier en ce qui concerne des lésions internes.
L'écoulement du temps ne rendait pas les déclarations de la victime moins crédibles, la cour cantonale observant que les premiers juges avaient expliqué de manière convaincante le processus qui avait amené l'intimée à ne pouvoir révéler les faits que deux à trois ans plus tard. A cela doit-il être ajouté que l'intimée avait parlé des abus à deux amis de son âge en 2008 déjà, mais en leur demandant de garder le secret, ce que les enfants avaient fait. Ces premières confidences rendent vains les développements du recourant en tant qu'il soutient que l'intimée aurait été influencée par la procédure pénale ultérieure concernant ses cousines.
Le recourant affirme que le témoignage du camarade de classe de l'intimée qui a désigné l'auteur du viol comme " un monsieur " doit être préféré à celui de l'autre enfant, qui a parlé du père de l'intimée. Purement appellatoire et de surcroît dénué de fondement, cet grief doit être rejeté dans la mesure où il n'est pas déjà irrecevable.
En ce qui concerne les témoins de moralité qui décriraient le recourant comme incapable de violer sa fille, la cour cantonale a considéré avec raison que la valeur probante de telles déclarations étaient de toute manière faible, et cela d'autant plus lorsqu'il s'agissait, comme en l'espèce, de déclarations de proches. Il en allait de même de l'absence d'antécédents.
Le recourant appuie son argumentation sur des faits qui ne sont pas établis en tant qu'il affirme que lorsque la victime s'est rendue en sa compagnie chez C._, celui-ci venait d'emménager et ne disposait encore d'aucun mobilier, en particulier de lit sur lequel l'intimée prétendait avoir été violée. Faute de démontrer une lacune dans l'état de fait cantonal sur ce point, son argument est sans fondement.
Enfin, le recourant affirme que le rapport médical ne permettait pas d'attester des abus que l'intimée prétendait avoir subi de la part de deux hommes adultes. Or l'examen médical pratiqué sur l'enfant le 19 novembre 2010 avait révélé des lésions au niveau de ses parties génitales, soit une concavité nette en forme de U, visible à 8h, qui descendait jusqu'au niveau de l'insertion hyménale et dont la base s'étendait sur environ 3-4 mm. La Dresse I._ de préciser que " ce type de lésion est à considérer comme une modification morphologique évocatrice d'un état après pénétration vaginale ". Ce médecin a encore observé que la jeune fille était en début de développement pubertaire. Des modifications morphologiques notamment hyménéales causées par un traumatisme avaient tendance à s'estomper sous l'effet de l'oestrogénisation pubertaire, de sorte qu'il était possible que les lésions actuellement observables aient été encore plus marquées au moment des faits (pièce 38). Compte tenu de ce qui précède, c'est sans arbitraire que la cour cantonale a retenu que le rapport médical de la Dresse I._ corroborait la version des faits de l'intimée.
2.4. Au surplus, tant les premiers juges que ceux de la cour cantonale, qui ont visionné les déclarations filmées de l'intimée, ont constaté que la jeune fille s'était montrée parfaitement claire et cohérente. La cour cantonale a relevé en particulier que l'intimée faisait un récit structuré et en adéquation avec son âge, en donnant de nombreux détails, ce qui conférait un caractère authentique à ses déclarations. Fondée sur ce moyen de preuve, ainsi que sur les éléments discutés ci-dessus, en particulier le rapport médical attestant de l'existence de lésions compatibles avec une agression sexuelle, la cour cantonale n'a pas violé les principes d'interdiction de l'arbitraire et de la présomption d'innocence en retenant que le recourant avait commis les actes dont l'accusait sa fille. Le grief est infondé dans la mesure de sa recevabilité.
3.
Sur le vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Comme ses conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 22 juin 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy