Faits : A. Par jugement du 25 janvier 2018, le Tribunal criminel de l'arrondissement de Lausanne a reconnu X._ coupable d'actes d'ordre sexuel avec des enfants (art. 187 ch. 1 CP), de contrainte sexuelle (art. 189 al. 1 CP), de désistement au viol (art. 190 al. 1 CP), d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (art. 191 CP) et de contravention à la Loi fédérale sur les stupéfiants (art. 19a ch. 1 LStup). Il l'a condamné à une peine privative de liberté de huit ans, sous déduction de 373 jours, dont 284 jours de détention provisoire, 84 jours de détention pour des motifs de sûreté et 5 jours en raison des conditions de détention illicites, ainsi qu'à une amende de 200 fr., la peine privative de liberté de substitution en cas de non-paiement fautif de celle-ci étant de 2 jours. Il l'a également condamné à payer à A._ la somme de 12'000 fr., avec intérêts à 5% l'an dès le 15 décembre 2017, échéance moyenne, et à B._ la somme de 3'000 fr., avec intérêts à 5% l'an dès le 24 janvier 2018, à titre d'indemnités pour tort moral. B. Par jugement du 28 juin 2018, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel du Ministère public et a partiellement admis celui de X._. Elle a réformé le jugement entrepris en ce sens que X._ est condamné à une peine privative de liberté de six ans. En substance, la cour cantonale a retenu les faits suivants. B.a. X._ est le père de deux filles, nées d'un premier mariage, qui sont âgées respectivement de 14 et 13 ans. Peu après son divorce d'avec la mère de ses enfants, il a fréquenté B._, mère de A._ et de C._ qui vivaient alors au Brésil. Le couple a emménagé sous le même toit dès 2010 et s'est marié le 22 août 2011. A._ et C._ sont venues vivre au domicile familial en juillet 2013. X._ a alors endossé le rôle de père des filles de son épouse qui l'appelaient « papa » et qui considéraient les filles de ce dernier comme leurs soeurs. B.b. A la fin de l'année 2015, la relation entre X._ et B._ s'est dégradée. Le couple a continué à vivre sous le même toit, se considérant toutefois comme séparé. Entre cette période-là et la nuit du 22 au 23 janvier 2017 - qui a précédé son arrestation du 23 janvier 2017 -, à leur domicile à D._, X._ a contraint A._, née en 2002, à subir des actes d'ordre sexuel et à lui en prodiguer. Ainsi, à plusieurs reprises, lorsque la mère de A._ était absente, il a caressé l'enfant sur tout le corps, lui a fait des cunnilingus, l'a contrainte à lui caresser le sexe et à lui prodiguer des fellations et l'a pénétrée avec le doigt dans le vagin et dans l'anus. Il a également essayé d'introduire son pénis dans l'anus de A._ et de la pénétrer vaginalement, renonçant toutefois à ce dernier acte en raison des supplications de la jeune fille. Pour la soumettre, X._ a notamment fait usage de l'ascendant qu'il avait sur cette enfant pour qui il était une figure paternelle de substitution. Il a également profité, d'une part, du fait qu'elle craignait la réaction que sa mère aurait envers lui si elle lui parlait de ce qu'il lui faisait subir ainsi que, d'autre part, de la honte et de la peur qu'elle ressentait. C. X._ interjette un recours en matière pénale au Tribunal fédéral contre le jugement du 28 juin 2018. Il conclut, avec suite de frais et dépens, principalement, au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Subsidiairement, il conclut à sa libération de tout chef d'accusation.