Faits :
A.
Par jugement du 25 janvier 2018, le Tribunal criminel de l'arrondissement de Lausanne a reconnu X._ coupable d'actes d'ordre sexuel avec des enfants (<ref-law>), de contrainte sexuelle (<ref-law>), de désistement au viol (<ref-law>), d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (<ref-law>) et de contravention à la Loi fédérale sur les stupéfiants (<ref-law>). Il l'a condamné à une peine privative de liberté de huit ans, sous déduction de 373 jours, dont 284 jours de détention provisoire, 84 jours de détention pour des motifs de sûreté et 5 jours en raison des conditions de détention illicites, ainsi qu'à une amende de 200 fr., la peine privative de liberté de substitution en cas de non-paiement fautif de celle-ci étant de 2 jours. Il l'a également condamné à payer à A._ la somme de 12'000 fr., avec intérêts à 5% l'an dès le 15 décembre 2017, échéance moyenne, et à B._ la somme de 3'000 fr., avec intérêts à 5% l'an dès le 24 janvier 2018, à titre d'indemnités pour tort moral.
B.
Par jugement du 28 juin 2018, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel du Ministère public et a partiellement admis celui de X._. Elle a réformé le jugement entrepris en ce sens que X._ est condamné à une peine privative de liberté de six ans.
En substance, la cour cantonale a retenu les faits suivants.
B.a. X._ est le père de deux filles, nées d'un premier mariage, qui sont âgées respectivement de 14 et 13 ans. Peu après son divorce d'avec la mère de ses enfants, il a fréquenté B._, mère de A._ et de C._ qui vivaient alors au Brésil. Le couple a emménagé sous le même toit dès 2010 et s'est marié le 22 août 2011. A._ et C._ sont venues vivre au domicile familial en juillet 2013. X._ a alors endossé le rôle de père des filles de son épouse qui l'appelaient « papa » et qui considéraient les filles de ce dernier comme leurs soeurs.
B.b. A la fin de l'année 2015, la relation entre X._ et B._ s'est dégradée. Le couple a continué à vivre sous le même toit, se considérant toutefois comme séparé. Entre cette période-là et la nuit du 22 au 23 janvier 2017 - qui a précédé son arrestation du 23 janvier 2017 -, à leur domicile à D._, X._ a contraint A._, née en 2002, à subir des actes d'ordre sexuel et à lui en prodiguer. Ainsi, à plusieurs reprises, lorsque la mère de A._ était absente, il a caressé l'enfant sur tout le corps, lui a fait des cunnilingus, l'a contrainte à lui caresser le sexe et à lui prodiguer des fellations et l'a pénétrée avec le doigt dans le vagin et dans l'anus. Il a également essayé d'introduire son pénis dans l'anus de A._ et de la pénétrer vaginalement, renonçant toutefois à ce dernier acte en raison des supplications de la jeune fille. Pour la soumettre, X._ a notamment fait usage de l'ascendant qu'il avait sur cette enfant pour qui il était une figure paternelle de substitution. Il a également profité, d'une part, du fait qu'elle craignait la réaction que sa mère aurait envers lui si elle lui parlait de ce qu'il lui faisait subir ainsi que, d'autre part, de la honte et de la peur qu'elle ressentait.
C.
X._ interjette un recours en matière pénale au Tribunal fédéral contre le jugement du 28 juin 2018. Il conclut, avec suite de frais et dépens, principalement, au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Subsidiairement, il conclut à sa libération de tout chef d'accusation.

Considérant en droit :
1.
Invoquant la violation de son droit d'être entendu, le recourant reproche à la cour cantonale d'avoir refusé l'audition de trois témoins.
1.1. Selon l'<ref-law>, la procédure de recours se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance. L'<ref-law> règle les preuves complémentaires. Ainsi, la juridiction de recours administre, d'office ou à la demande d'une partie, les preuves complémentaires nécessaires au traitement du recours. Le droit d'être entendu, consacré par l'<ref-law>, garantit aux parties le droit de déposer des propositions relatives aux moyens de preuves (al. 1 let. e). Conformément à l'<ref-law>, il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité ou déjà suffisamment prouvés. Cette disposition codifie, pour la procédure pénale, la règle jurisprudentielle déduite de l'art. 29 al. 2 Cst. en matière d'appréciation anticipée des preuves (arrêts 6B_787/2018 du 1er octobre 2018 consid. 1.1; 6B_583/2018 du 24 août 2018 consid. 1.1; 6B_628/2018 du 16 août 2018). Le refus d'instruire ne viole ainsi le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a procédé, est entachée d'arbitraire (<ref-ruling> consid. 3.3 p. 64; <ref-ruling> consid. 5.3 p. 236).
1.2. Le recourant a requis l'audition de différents témoins dans sa déclaration d'appel. Il ressort du jugement attaqué (cf. p. 17) que, par décision du 23 avril 2018, la direction de la procédure a rejeté toutes les réquisitions de preuve formulées par le recourant et que celui-ci ne les a pas renouvelées lors des débats (cf. <ref-law> applicable en procédure d'appel par le renvoi de l'<ref-law>). Faute d'épuisement des voies de droit cantonales, le grief du recourant est irrecevable (<ref-law>). Quoi qu'il en soit, son grief est également irrecevable car insuffisamment motivé. En effet, le recourant se contente d'affirmer que l'audition de ces trois témoins visait à donner une perspective à l'autorité d'appel sur le comportement des parties plaignantes qui permettait de mettre en doute certains propos tenus en cours d'instruction, de relativiser la crédibilité donnée à la prétendue victime et de donner plus d'outils pour apprécier les déclarations. Il n'expose pas sur quels éléments de fait les témoins devaient s'exprimer ni en quoi leurs témoignages étaient susceptibles de faire douter de la crédibilité des accusations portées par l'intimée. Ce faisant, il ne démontre pas en quoi l'appréciation anticipée de la pertinence des moyens de preuve à laquelle la cour cantonale a procédé serait entachée d'arbitraire.
2.
Le recourant conteste l'établissement des faits et invoque la violation du principe " in dubio pro reo ".
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Il n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.4 p. 368 et les références citées).
La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe " in dubio pro reo ", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large (<ref-ruling> consid. 2a p. 40 s.; arrêt 6B_804/2017 du 23 mai 2018 consid. 2.2.3.1 destiné à la publication). En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves (sur la portée et le sens précis de la règle sous cet angle, cf. arrêt 6B_804/2017 précité consid. 2.2.3.3 destiné à la publication), la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe " in dubio pro reo ", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.1 p. 503; <ref-ruling> consid. 7 p. 82; arrêt 6B_804/2017 précité consid. 2.2.3.3 destiné à la publication).
2.2. Niant l'intégralité des faits qui lui sont reprochés, le recourant oppose son appréciation des moyens de preuve à celle de la cour cantonale, sans toutefois démontrer le caractère insoutenable de celle-ci. Cette démarche est appellatoire, partant irrecevable dans cette mesure (consid. 2.1 supra). L'appréciation cantonale n'est au demeurant pas arbitraire, comme cela ressort de ce qui suit.
2.3. Le recourant soutient que le récit de l'intimée comportait plusieurs incohérences et relève qu'il n'y a pas eu d'expertise de crédibilité. En ce qui concernait le premier événement de décembre 2015, il n'était pas clair de savoir dans quelle pièce de la maison les faits se seraient déroulés. De plus, lors de son audition par devant la cour cantonale, l'intimée avait indiqué qu'elle ne connaissait pas la vie intime de sa mère et de son beau-père alors qu'en cours d'instruction, elle avait déclaré que sa mère et le recourant n'avaient plus de relations intimes. En rapport avec les faits qui se seraient déroulés dans la nuit du 22 au 23 janvier 2017, il était douteux que le recourant ait pu commettre les actes reprochés sans que la soeur de la plaignante, qui dormait sur le même canapé que l'intimée, ne soit réveillée. Quant à l'épisode qui s'était prétendument déroulé dans les toilettes, l'exiguïté des lieux excluait la commission des actes reprochés. Enfin, il était contradictoire d'affirmer que lors de l'épisode de décembre 2015, le recourant avait recherché la discrétion en emmenant l'intimée hors de la chambre où dormaient ses soeurs, puis de considérer que lors des faits de janvier 2017, il avait agi sur le canapé du salon alors que la soeur de l'intimée y dormait.
2.3.1. On comprend suffisamment de l'extrait de la déclaration de l'intimée produite par le recourant que lors du premier épisode d'abus de décembre 2015, celui-ci s'est rendu dans la chambre où l'intimée dormait avec ses soeurs et l'a emmenée dans une autre chambre pour poursuivre ses agissements sans risquer d'être entendu. En ce qui concerne la présence de la soeur de l'intimée lors des faits de la nuit du 22 au 23 janvier 2017, la cour cantonale a relevé de manière pertinente que si l'intimée avait inventé ses accusations, on ne voit pas pourquoi elle aurait voulu préciser que sa soeur C._ dormait sur le même canapé qu'elle lorsque le recourant s'était livré aux actes reprochés. Ce récit n'est pas contradictoire avec celui concernant l'épisode de décembre 2015, l'intimée ayant expliqué que le recourant l'avait alors emmenée ailleurs parce que son lit cassé faisait du bruit. Il est aussi tout à fait possible qu'au fil du temps et de la multiplication des actes, le recourant soit devenu moins précautionneux. La cour cantonale a également expliqué pourquoi l'exiguïté des toilettes de la maison n'était pas incompatible avec les actes reprochés. Le recourant se limite à maintenir le contraire sans l'expliquer, ce qui ne suffit manifestement pas à démontrer l'arbitraire des considérations cantonales.
2.3.2. Plus généralement, la cour cantonale a observé que les déclarations cohérentes de l'intimée ne faisaient ressortir aucun délire ou fabulation. Son récit était convaincant en soi par les détails qu'il comportait, les mises à profit par son beau-père des absences de sa mère, les souvenirs des ressentis, des postures, des gestes, des douleurs éprouvées, des émotions et des réactions de défense et les propos tenus par l'auteur tant pour obtenir sa soumission en la traitant comme le substitut de son épouse que pour lui donner des instructions ou encore lui imposer le silence. On ne discerne pas en quoi l'appréciation cantonale de la crédibilité de l'intimée, fondée sur un faisceau d'indices, serait insoutenable. Il est encore précisé que l'appréciation de la crédibilité des moyens de preuve relève en premier lieu de la compétence du juge, qui ne doit ainsi recourir à une expertise de crédibilité qu'en présence de circonstances particulières (cf. <ref-ruling> consid. 2 p. 86 et les arrêts cités), dont le recourant ne démontre pas qu'elles auraient été réalisées en l'espèce.
2.4. Selon le recourant, la cour cantonale aurait dû tenir compte de l'influence qu'a pu avoir sa séparation d'avec la mère de l'intimée sur les déclarations de celle-ci. De même, le fait que sa mère lui ait révélé, d'une part, qu'elle avait été victime d'abus de la part de son beau-père dans son enfance et, d'autre part, qu'elle n'entretenait plus de relation intime avec son époux, ont pu avoir un impact sur le récit de la jeune fille.
La cour cantonale a pris note du conflit conjugal entre la mère de l'intimée et le recourant, lequel était toutefois dénué d'affrontements financiers ou haineux. Elle a considéré que le conflit n'était pas exacerbé au point d'inciter la jeune fille, par hypothèse, à renforcer la position de sa mère par de fausses accusations contre le recourant. De même, quoi que l'intimée ait pu savoir de la vie intime de sa mère ou des abus dont celle-ci avait été victime dans son enfance, le recourant ne démontre pas en quoi il était arbitraire de retenir que l'intimée n'avait aucune raison de nuire au recourant, ou encore de se persuader faussement de la réalité de faits imaginaires.
2.5. Pour le recourant, le fait que l'intimée ait révélé les abus dont elle avait été victime à deux amis ne rendait pas son récit plus crédible, car on ne pouvait exclure qu'elle ait précisément relaté certains faits par avance à ces personnes pour accréditer sa thèse mensongère. De plus, l'amie de l'intimée, E._, avait confirmé les qualités intrinsèques du recourant et déclaré qu'elle ne croyait pas ce qu'elle entendait. E._ avait aussi raconté avoir trouvé l'intimée chez elle vêtue d'un mini-short et d'un petit pull sans soutien-gorge, ce qui ne correspondait pas au comportement d'une victime d'actes d'ordre sexuel. Quant au témoin F._, il avait émis des doutes sur la véracité des confidences de l'intimée et avait risqué d'être accusé de faux témoignage, ce qui rendait son audition sujette à caution.
La cour cantonale a expliqué en détail pourquoi l'existence des confidences que l'intimée avait faites à une amie puis à son petit ami confirmait l'authenticité de son récit. Elle a observé que ces confidences étaient intervenues largement avant le début de l'enquête et à plusieurs semaines d'intervalle entre elles, que l'intimée était en pleurs et qu'elle avait expliqué à ses confidents pourquoi elle n'osait pas en parler à sa mère. E._ avait indiqué avoir d'abord été incrédule car les faits étaient difficiles à imaginer, puis avoir été persuadée que l'intimée disait la vérité. Quant à F._, il avait précisé en fin d'audition ne pas savoir à 100% ce qui s'était passé entre l'intimée et son beau-père. Comme l'a relevé à juste titre la cour cantonale, il n'est pas décisif que les amis de l'intimée l'aient crue sans aucune réserve ou pas entièrement, mais bien plutôt que celle-ci leur ait révélé distinctement l'existence des abus et le dilemme dans lequel ceux-ci la plongeaient, soit d'un côté le besoin de s'en libérer et d'y mettre un terme en parlant à sa mère et, d'un autre côté, la crainte de la réaction violente de celle-ci et des conséquences affectives et familiales, voire sociales qu'entraînerait cette révélation. Compte tenu du laps de temps écoulé entre les confidences puis avec le début de l'enquête, des explications fournies par l'intimée quant au dilemme qu'elle vivait, de l'émotion qu'elle a manifestée auprès de ses confidents et du fait qu'elle s'est confiée à son amie le lendemain d'un épisode d'abus particulièrement mal vécu, la thèse suggérée par le recourant, à savoir que l'intimée aurait pu décider de faire ces révélations pour rendre ses mensonges plus convaincants, ne trouve aucune assise dans le dossier. Elle pouvait dès lors être écartée sans arbitraire.
Pour le surplus, le point de vue du recourant sur le genre de tenue vestimentaire qu'une victime d'abus sexuels est censée porter est dénué de toute pertinence et frise la témérité.
2.6. Le recourant soutient encore que c'est à tort que la cour cantonale a considéré que la présence de son ADN sur la face arrière du slip de l'intimée constituait un indice. En effet, il avait expliqué qu'il avait l'habitude de sucer son pouce et qu'il avait manipulé les vêtements de la jeune fille.
La cour cantonale a pris acte de l'explication fournie par le recourant. Elle a constaté que cet indice ADN ne constituait pas à lui seul une preuve absolue, mais qu'il correspondait néanmoins parfaitement au récit de l'intimée s'agissant des faits survenus dans la nuit du 22 au 23 janvier 2017. Cette appréciation pondérée d'un élément de preuve n'a rien d'arbitraire.
Pour le surplus, l'autorité précédente a retenu d'autres éléments - qui ne sont pas mentionnés par le recourant - qui corroborent la version de l'intimée. S'agissant du contexte du dévoilement des faits tout d'abord, c'est au matin de la nuit du 22 au 23 janvier 2017 que l'intimée en pleurs, questionnée par sa mère sur les causes de son mal être, lui a révélé l'existence des abus. Comme elle le craignait, sa mère a réagi avec violence et l'intimée a alors appelé la police par peur que sa mère ne s'en prenne au recourant. La cour cantonale en a déduit que ces circonstances excluaient qu'elle ait inventé les faits pour nuire à son beau-père. En outre, lors de l'examen gynécologique de l'intimée le 23 janvier 2017, les médecins ont constaté un léger érythème externe situé à la hauteur de la fourchette postérieure en dehors de l'hymen et le signalement d'une douleur à cet endroit. Enfin, les abus subis par l'intimée ont laissé des traces psychiques qui ont nécessité des soins auprès de psychologues spécialisés.
2.7. Le recourant affirme qu'il était faux de retenir, à tout le moins, qu'il avait agi à plusieurs reprises à des dates indéterminées entre décembre 2015 et le 21 janvier 2017, soit la veille du dernier épisode d'abus retenu. En effet, l'intimée avait dit en avril 2016 à son amie E._ que son beau-père ne lui faisait plus rien. Elle avait déclaré la même chose à l'Inspectrice de police.
Il ressort de la déclaration de l'intimée, mise en exergue par le recourant, que celle-ci a expliqué à l'Inspectrice de police qu'elle avait eu un copain en avril 2016 et que " la plupart du temps quand j'avais mon copain il a rien fait avec moi ", ce qui ne signifie pas encore qu'il ne s'est rien passé du tout au-delà du mois d'avril 2016, le recourant ne précisant du reste pas la durée de la relation de l'intimée avec son copain. De même, le fait qu'elle ait dit à E._ en avril 2016 que son beau-père ne lui faisait plus rien ne renseigne pas sur la période entre mai 2016 et les derniers actes de janvier 2017. Quoi qu'il en soit, la cour cantonale a simplement retenu que des épisodes d'abus sexuels étaient intervenus entre décembre 2015 et le 21 janvier 2017, ce qui n'exclut pas que les faits se soient généralement déroulés entre décembre 2015 et avril 2016. On ne voit pas en quoi il serait plus favorable au recourant de retenir que les épisodes d'abus ont été davantage répartis dans le temps, les derniers faits étant en tous les cas survenus les 22 et 23 janvier 2017.
2.8. Considérant ce qui précède, la cour cantonale n'a pas fait preuve d'arbitraire dans l'appréciation des preuves et la constatation des faits, ni violé le principe de présomption d'innocence. Ces griefs doivent être rejetés dans la mesure où ils sont recevables.
Pour le surplus, le recourant ne discute pas les qualifications juridiques des infractions retenues sur la base des faits établis (<ref-law>)
3.
Il s'ensuit que le recours doit être rejeté, dans la mesure où il est recevable. Le recourant, qui succombe, doit supporter les frais (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 2 novembre 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy