Faits :
A.
Par jugement du 31 mars 2015, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a constaté que X._ s'était rendu coupable d'actes d'ordre sexuel avec des enfants et d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (I), l'a condamné à une peine privative de liberté de 3 ans, cette peine étant complémentaire à celles prononcées le 12 décembre 2006 par le Juge d'instruction de Lausanne et le 16 mai 2003 par le Juge d'instruction du Nord vaudois et partiellement complémentaire à celle prononcée le 5 décembre 2001 par le Juge d'instruction du Nord vaudois (II), a suspendu l'exécution d'une partie de la peine, portant sur 24 mois, et fixé à X._ un délai d'épreuve de 3 ans (III) et l'a condamné à verser à sa victime une indemnité à titre de réparation du tort moral (IV).
B.
Statuant par jugement du 29 juin 2015 sur l'appel du prévenu, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud l'a rejeté et a confirmé le jugement du 31 mars 2015.
En substance, les faits retenus sont les suivants.
B.a. A une date indéterminée, mais vraisemblablement dès la deuxième partie de l'année 2001 jusqu'à la fin du mois de mars 2002 environ, X._ a commis des attouchements à caractère sexuel sur Y._, née en 1994. Y._ est la fille de A._ avec laquelle X._ a entretenu une relation entre 1999 et le mois de mars 2002 et chez laquelle il est venu s'installer durant cette période. Les deux autres enfants de A._, B._ et C._ vivaient alors également auprès de leur mère.
Le prévenu agissait lorsque la mère de la fillette était amenée à s'absenter. Il se rendait en particulier dans la chambre de l'enfant pour satisfaire ses pulsions.
B.b. A plusieurs reprises, X._ a embrassé l'enfant sur la bouche et lui a caressé les fesses lorsqu'elle était habillée ou nue. Il profitait du moment de la douche de l'enfant pour lui caresser les parties intimes. A d'autres occasions, après avoir prodigué une fessée à l'enfant, il l'a caressée sur l'ensemble du corps, y compris les parties intimes, et a introduit ses doigts dans son intimité.
Selon l'extrait du casier judiciaire de X._, ce dernier a été condamné le 5 décembre 2001 à quinze jours d'emprisonnement pour vol d'usage et circulation sans permis, le 16 mai 2003 à dix jours d'emprisonnement avec sursis pendant deux ans pour voies de fait, utilisation abusive d'une installation de télécommunication et contravention à la LStup et le 12 décembre 2006 à dix jours d'emprisonnement avec sursis pendant trois ans pour délit et contravention à la LStup.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement cantonal. Il conclut principalement à sa libération des chefs d'accusation d'actes d'ordre sexuel avec des enfants et d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance, à ce que les conclusions civiles soient rejetées et les frais de la cause laissés à la charge de la Confédération. Subsidiairement, il conclut à ce qu'une peine privative de liberté compatible avec l'octroi du sursis soit prononcée et plus subsidiairement encore à ce que le jugement du 29 juin 2015 soit annulé et le dossier de la cause renvoyé à la Cour d'appel pénale pour nouvelle décision dans le sens des considérants. Il sollicite l'octroi de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant conteste s'être livré à des actes d'ordre sexuel sur la personne de Y._. Il se plaint d'une constatation manifestement inexacte des faits (<ref-law>) et d'une violation du principe in dubio pro reo (<ref-law>).
1.1. Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>). Le recourant ne peut critiquer ceux-ci que s'ils ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.3 p. 266) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), ce qu'il lui appartient d'exposer et de démontrer de manière claire et circonstanciée. La correction du vice soulevé doit en outre être susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 10.1 p. 445; <ref-ruling> consid. 4.1.2 p. 62). En matière d'appréciation des preuves et d'établissement des faits, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.3 p. 266). Le grief de l'arbitraire se confond avec celui déduit de la violation du principe in dubio pro reo (art. 32 Cst.; art. 6 par. 2 CEDH) au stade de l'appréciation des preuves (<ref-ruling> consid. 2a p. 88). Comme principe présidant à l'appréciation des preuves, la présomption d'innocence est violée si le juge du fond se déclare convaincu de faits défavorables à l'accusé sur lesquels, compte tenu des éléments de preuve qui lui sont soumis, il aurait au contraire dû, objectivement, éprouver des doutes (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 41). L'invocation de ces moyens ainsi que, de manière générale, de ceux déduits du droit constitutionnel et conventionnel (<ref-law>), suppose une argumentation claire, détaillée (<ref-ruling> consid. 1.4 p. 287) et circonstanciée (<ref-ruling> consid. 3 p. 105). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 4.2.3 p. 5).
1.2. La cour cantonale s'est référée à l'appréciation des premiers juges qui ont retenu la version des faits présentée par l'intimée, qu'ils ont jugée constante et mesurée, alors que celle du recourant se heurtait à plusieurs éléments du dossier. Elle a ainsi relevé que les explications de l'intimée n'avaient pas varié durant l'enquête, sous réserve du viol qu'elle n'a pas évoqué lors de sa première audition mais seulement la deuxième fois qu'elle a été entendue. L'intimée avait décrit de manière précise l'attitude générale du recourant à son égard, le climat de terreur qu'il faisait régner à la maison ainsi que les différentes violences qu'il lui avait fait subir. Elle avait notamment mentionné qu'il lui faisait peur de par sa maigreur, sa taille et des bagues avec des têtes de mort qu'il portait. Outre les attouchements, elle a affirmé qu'il lui donnait des claques, des fessées, qu'il lui tirait les cheveux, que les coups étaient douloureux en raison des bagues qu'il portait et qu'il lui faisait prendre des douches froides. La Cour d'appel a également fait état des déclarations de D._, qui avait été l'ami de l'intimée en 2010 et 2011, et qui avait affirmé avoir remarqué que celle-ci réagissait avec réserve ou avait peur lors de moments de tendresse. Il avait également déclaré qu'elle lui avait avoué avoir été violée par le recourant. La cour cantonale a estimé que ce témoin était parfaitement crédible puisqu'il n'entretenait plus de relation sentimentale ni amicale avec Y._. Il en allait de même de la psychologue E._, qui avait suivi Y._ notamment de février à juillet 2002, à savoir vers la fin de la cohabitation entre le recourant et cette dernière. Lors de son audition, E._ avait déclaré s'être toujours posée la question d'actes sexuels sur l'intimée mais qu'elle ignorait qui en était l'auteur puisque celle-ci ne s'était jamais confiée à elle. Elle avait toutefois constaté que l'intimée et son petit frère étaient terrorisés par le recourant. Ce dernier avait accompagné l'intimée lors de son premier entretien. La psychologue a déclaré qu'il arborait alors des bijoux satanistes et tenait des propos satanistes et qu'elle avait elle-même eu peur de lui. La Cour d'appel a relevé que les premiers juges s'étaient également appuyés sur les rapports des intervenants sociaux qui avaient suivi l'intimée alors que celle-ci était placée en foyer entre novembre 2009 et juin 2010. Tout comme la psychologue, l'assistante sociale du Service de protection de la jeunesse (SPJ) avait en particulier eu des soupçons de gestes inadéquats de la part du recourant sur l'intimée. Les intervenants sociaux avaient également relevé que cette dernière en voulait à ses parents de ne pas l'avoir protégée de cet individu. La Cour d'appel a estimé que ces rapports corroboraient les déclarations de l'intimée et qu'aucun des professionnels qui avaient été amenés à la rencontrer n'avait mis en doute la réalité des abus dénoncés, de sorte que c'était à juste titre que les premiers juges avaient pris en compte leurs dires. A l'instar du Tribunal correctionnel, les juges de deuxième instance ont considéré que la révélation des abus subis et la dénonciation du recourant avaient eu pour effet de libérer l'intimée d'un lourd fardeau et qu'elle avait dès lors cessé de se mettre en danger constamment. Dès l'âge de huit ans, l'intimée avait en effet commencé à s'automutiler puis à fuguer, avant de s'adonner à la consommation de produits stupéfiants à partir de l'âge de treize ans. En novembre 2010, elle avait été hospitalisée ensuite d'une tentative de suicide par absorption de drogues et de médicaments. Jusqu'en mai 2011, elle avait fugué à dix-huit reprises. Au retour de sa dernière fugue, elle s'était confiée à sa mère au sujet des attouchements que le recourant lui avait fait subir. Depuis lors, elle n'avait plus fugué. Elle avait également parlé du viol à son père. Lors de son audition, ce dernier avait déclaré avoir l'impression que sa fille était devenue plus calme et avait trouvé un certain équilibre depuis qu'elle avait pu s'exprimer. La cour cantonale a également considéré que la crédibilité des déclarations de l'intimée était renforcée par le fait qu'elle n'avait jamais démontré aucune animosité ni envie de vengeance à l'égard du recourant, son agressivité étant dirigée uniquement contre elle-même et ses proches qui n'avaient pas su ou pu la protéger. Lors de ses auditions, elle n'avait jamais tenté d'accabler le recourant et avait indiqué qu'il ne l'avait pas menacée et qu'il ne lui avait pas demandé de le caresser ou de le masturber. L'intimée avait uniquement eu une réaction surprenante lorsqu'elle avait été interrogée sur l'épisode dit du SMS, à savoir un message de menaces signé des initiales du recourant adressé à l'intimée afin qu'elle retire sa plainte et dont il est avéré que le recourant n'est pas l'auteur mais qu'il aurait vraisemblablement été envoyé par un ami de l'intimée auquel elle se serait confiée et qui était en conflit avec le recourant. Compte tenu des autres éléments au dossier, la cour cantonale a toutefois estimé que cet élément n'était pas de nature à discréditer les déclarations de l'intimée.
Quant au recourant, la cour cantonale a relevé qu'il avait menti sur son emploi du temps en soutenant, qu'à l'époque des faits, il quittait la maison vers 6 heures pour ne rentrer que vers 22 heures, avant de revenir sur ses déclarations et d'admettre qu'il était sans emploi durant cette période. Il avait enfin adopté durant toute la procédure une version défensive détestable notamment en faisant porter la responsabilité des actes sur les proches de l'intimée.
Pour les motifs qui précèdent, la cour cantonale a considéré que les premiers juges avaient écarté à juste titre la version du recourant sur la base des éléments du dossier et privilégié la version crédible de l'intimée.
1.3. Le recourant reproche en premier lieu à la cour cantonale d'avoir fait état du manque d'authenticité des déclarations de l'intimée et d'avoir admis que plusieurs hypothèses étaient crédibles, sans pour autant lui faire profiter du doute évoqué, violant ainsi le principe in dubio pro reo.
Contrairement à ce que soutient le recourant, la cour cantonale n'a pas constaté le manque d'authenticité de l'intimée. Elle a expliqué pourquoi le fait que l'intimée n'évoque le viol que lors de sa deuxième audition ne prétéritait pas sa crédibilité, cet aspect pouvant tout aussi bien refléter une manifestation de gêne et du mal-être ressenti par l'intimée. On ne perçoit aucun arbitraire dans cette appréciation des faits dès lors que la cour cantonale a également relevé que l'intimée s'était mise à pleurer en racontant cet épisode au procureur et que des témoins avaient décrit ce sentiment de peur existant chez elle.
S'agissant de l'épisode du SMS, à l'inverse de ce que soutient le recourant, la cour cantonale n'a pas " balayé " cet élément. Elle a au contraire fait état de cet épisode, jugé les propos tenus à ce sujet par l'intimée surprenants et estimé que la manière dont elle banalisait cet épisode était troublante. Elle a toutefois considéré que cet élément n'était pas de nature à discréditer les déclarations de l'intimée au regard des autres éléments du dossier. Sur ce point également, le recourant ne parvient pas à démontrer que la décision cantonale serait arbitraire. Si la Cour d'appel a certes jugé le comportement de l'intimée à cet égard surprenant, elle n'a toutefois jamais retenu que celle-ci avait prêté main à cette " manoeuvre " comme le prétend le recourant. Rien au dossier ne laisse d'ailleurs penser que tel serait le cas. La Cour d'appel retient que ce SMS aurait été écrit par un ami de l'intimée auquel cette dernière se serait confiée et qui était lui-même en conflit avec le recourant.
Au surplus, en tant que le recourant tente de tirer argument de l'abandon de l'accusation par le procureur, son grief est infondé. Il est vrai que le procureur s'en est rapporté à justice à l'audience d'appel. Cela est toutefois sans pertinence sur l'appréciation des preuves dès lors que l'autorité de recours n'est pas liée par les conclusions des parties (cf. <ref-law>).
1.4. Le recourant reproche à la cour cantonale d'avoir retenu à tort que l'intimée n'avait pas cherché à l'accabler alors que le nombre de chefs d'accusation à son encontre n'avait cessé d'augmenter tout au long de la procédure.
La critique du recourant consiste pour l'essentiel à reprocher à la cour cantonale d'avoir considéré les déclarations de l'intimée comme fiables alors qu'elles avaient varié sur certains aspects. Son grief se confond avec celui traité ci-avant (cf. supra consid. 1.3). Il n'y a par conséquent pas lieu d'y revenir.
1.5. Le recourant estime que la Cour d'appel se serait arbitrairement écartée des déclarations de A._ concernant les conditions de leur cohabitation et ne se serait fiée qu'au témoignage de la psychologue.
Contrairement à ce qu'il soutient, la cour cantonale ne s'est pas fondée uniquement sur les déclarations de la psychologue mais également sur celles du père des enfants de A._ pour établir dans quelles conditions cette dernière avait cohabité avec le recourant. Il avait notamment affirmé avoir constaté que sa fille avait peur de retourner chez sa mère le dimanche soir et que ses fils s'étaient plaints d'avoir été malmenés par le recourant. En définitive, on ne décèle aucun arbitraire dans l'établissement des faits sur ce point, de sorte que le grief du recourant est infondé.
1.6. Le recourant fait grief à l'autorité cantonale d'avoir omis de tenir compte de l'absence de preuve matérielle l'impliquant.
Sur ce point, l'argumentation du recourant consiste à soutenir qu'une femme victime de viol présenterait inévitablement des lésions. Il serait donc selon lui évident que si les actes dont il est accusé avaient vraiment été commis sur une enfant de l'âge de l'intimée au moment des faits cela aurait laissé des signes visibles sur son intimité et il serait donc inconcevable que personne n'ait rien constaté. Ce faisant, le recourant procède de manière totalement affirmative et appellatoire. Son grief est irrecevable. En tant qu'il fait valoir que la cour cantonale aurait retenu de manière arbitraire qu'aucun professionnel n'avait remis en doute la réalité des abus dénoncés puisque ni la psychologue ni l'éducateur de rue n'étaient intervenus et que leur inaction attesterait du manque d'authenticité des déclarations de l'intimée, son grief doit être rejeté. En effet, il ressort des faits constatés que l'éducateur de rue auquel l'intimée s'était confiée avait uniquement minimisé la gravité des abus commis et que la psychologue, bien qu'ayant des soupçons quant à d'éventuels actes d'ordre sexuel commis sur la personne de l'intimée, n'avait jamais pu déterminer qui en était l'auteur puisqu'elle ne s'était jamais confiée à elle sur ce point. L'inaction de ces deux personnes ne permet par conséquent pas d'en inférer que les déclarations de l'intimée seraient fausses comme le soutient le recourant.
1.7. Le recourant estime qu'il était arbitraire de considérer que l'intimée se porte mieux depuis qu'elle a pu révéler à ses proches les actes commis.
En tant qu'il fait valoir qu'il serait vraisemblable que l'intimée se soit " assagie " non pas parce qu'elle s'est sentie libérée d'un lourd fardeau après s'être confiée à sa mère sur les abus subis mais plutôt parce qu'elle a gagné en maturité et que les tensions entre elle et ses parents ont évolué de manière positive, il ne fait qu'opposer de manière appellatoire sa propre appréciation des faits à celle retenue par la cour cantonale.
1.8. Il fait ensuite grief à la cour cantonale d'avoir retenu arbitrairement qu'il s'était retrouvé seul avec les enfants. Il rappelle à cet égard avoir toujours contesté ce fait, soutient que la mère de l'intimée n'avait jamais affirmé avoir laissé sa fille seule avec lui et estime qu'il serait quoi qu'il en soit arbitraire de déduire du seul fait qu'il se soit retrouvé seul avec la fillette qu'il en aurait abusé.
Sur ce point également, le recourant oppose de manière appellatoire, donc irrecevable, sa propre version des faits à celle retenue. La cour cantonale a exposé que la mère de l'intimée avait affirmé qu'elle travaillait durant certaines périodes et qu'il y avait eu des moments où le recourant s'était retrouvé seul avec les enfants notamment lorsqu'elle était alitée en raison de ses migraines. Le recourant occulte également totalement un élément décisif dans l'appréciation de l'instance précédente, à savoir qu'il a menti sur son emploi du temps puisqu'il n'a pas tout de suite admis avoir été sans emploi à cette époque. Enfin, s'il est vrai que le seul fait qu'il se soit retrouvé seul avec la fillette ne démontre pas qu'il en ait abusé, le fait qu'il en ait eu l'opportunité constitue un indice appuyant la version de l'intimée, de sorte qu'il était pertinent d'en tenir compte.
1.9. Le recourant remet ensuite en cause le fait qu'il serait adepte de pratiques satanistes. La Cour d'appel aurait violé l'interdiction de l'arbitraire en prenant pour " argent comptant " les propos de la psychologue sur ce point alors même que la mère de l'intimée avec qui il a vécu deux ans n'aurait jamais fait état de telles pratiques.
En premier lieu, la psychologue a clairement indiqué que le recourant avait tenu des propos satanistes devant elle et celui-ci n'expose pas pourquoi ce témoignage serait sujet à caution. Il apparaît en outre que le goût du recourant pour le satanisme a avant tout été mis en exergue par la cour cantonale pour attester du fait qu'il avait instauré un climat particulier au sein du foyer et pour expliquer pourquoi la fillette le craignait à l'époque où les faits reprochés se sont déroulés. Or, le sentiment de peur que le recourant suscitait chez l'enfant, respectivement l'inquiétude qu'elle manifestait au moment de devoir retourner dans le foyer qu'il partageait avec sa mère, n'a pas été relevé uniquement par la psychologue mais également par le père de l'intimée. Le recourant ne fait de surcroît pas valoir que la cour cantonale a considéré son attrait pour le satanisme comme un élément déterminant pour apprécier sa culpabilité et rien n'indique que tel serait le cas, de sorte que son grief est infondé. Il en va de même lorsque le recourant reproche à la Cour d'appel d'avoir retenu de manière arbitraire que l'ex-ami de l'intimée auquel cette dernière s'était confiée, l'avait désigné comme le violeur lors de son audition alors que celui-ci n'avait fait état que d'un " ancien copain de sa mère ". Il ressort en effet de la décision attaquée que l'intimée s'est confiée à plusieurs personnes sur les abus commis et qu'elle a clairement désigné le recourant comme en étant l'auteur en particulier à ses parents. Il ne fait ainsi aucun doute que l'intimée se référait au recourant en parlant d'un ancien copain de sa mère à son ex-ami, de sorte que la cour cantonale pouvait sans arbitraire considérer que le témoignage de ce dernier se rapportait au recourant. Le grief du recourant sur ce point doit donc également être rejeté.
En définitive, les nombreux indices retenus par l'autorité précédente, dont le recourant ne démontre pas le caractère insoutenable, permettaient de retenir, sans arbitraire, que les agressions sexuelles dénoncées avaient effectivement eu lieu. Les dénégations du recourant ne sont pas susceptibles de renverser l'ensemble de ces indices.
2. S'agissant de la fixation de la peine, le recourant estime que l'arrêt attaqué viole les art. 47 et 48 let. e CP dès lors qu'il n'a pas été tenu compte de l'absence d'antécédents portant sur des atteintes à l'intégrité sexuelle ni du long temps écoulé depuis la commission des actes qui lui sont reprochés.
2.1. L'absence d'antécédents a en principe un effet neutre sur la fixation de la peine et n'a donc pas à être prise en considération dans un sens atténuant. Exceptionnellement, il peut toutefois en être tenu compte dans l'appréciation de la personnalité de l'auteur, comme élément atténuant, pour autant que le comportement conforme à la loi de celui-ci soit extraordinaire. La réalisation de cette condition ne doit être admise qu'avec retenue, en raison du risque d'inégalité de traitement (<ref-ruling> consid. 2.6).
En l'occurrence, rien ne justifie de prendre en compte l'absence d'antécédents dans un sens atténuant. Le grief est infondé.
2.2.
2.2.1. Aux termes de l'art. 48 let. e CP, le juge atténue la peine si l'intérêt à punir a sensiblement diminué en raison du temps écoulé depuis l'infraction et que l'auteur s'est bien comporté dans l'intervalle. Cette disposition ne fixe pas de délai. Selon la jurisprudence, l'atténuation de la peine en raison du temps écoulé depuis l'infraction procède de la même idée que la prescription. L'effet guérisseur du temps écoulé, qui rend moindre la nécessité de punir, doit aussi pouvoir être pris en considération lorsque la prescription n'est pas encore acquise, si l'infraction est ancienne et si le délinquant s'est bien comporté dans l'intervalle. Cela suppose qu'un temps relativement long se soit écoulé depuis l'infraction. Cette condition est en tout cas réalisée lorsque les deux tiers du délai de prescription de l'action pénale sont écoulés. Le juge peut toutefois réduire ce délai pour tenir compte de la nature et de la gravité de l'infraction. Pour déterminer si l'action pénale est proche de la prescription, le juge doit se référer à la date à laquelle les faits ont été souverainement établis, et non au jugement de première instance (moment où cesse de courir la prescription selon l'<ref-law>). Ainsi, lorsque le condamné a fait appel, il faut prendre en considération le moment où le jugement de seconde instance a été rendu dès lors que cette voie de droit a un effet dévolutif (cf. <ref-law>; <ref-ruling> consid. 3.1 p. 147 s.).
S'agissant d'infractions imprescriptibles au sens de l'<ref-law>, l'alinéa 2 de cette disposition prévoit que le juge peut atténuer la peine dans le cas où l'action pénale est prescrite en vertu des art. 97 et 98 CP. Cette disposition précise l'art. 48 let. e CP en ce qui concerne les infractions imprescriptibles. Elle fixe ainsi le délai à partir duquel le juge peut atténuer la peine dans ce cadre. L'art. 48 let. e CP n'est par conséquent pas applicable aux crimes imprescriptibles (ATF 140 précité consid. 3.2 p. 148).
Aux termes de l'art. 101 al. 1 let. e CP, sont imprescriptibles notamment les actes d'ordre sexuel avec des enfants (<ref-law>) et la contrainte sexuelle (<ref-law>), lorsqu'ils ont été commis sur des enfants de moins de 12 ans. Cette disposition est applicable si l'action pénale ou la peine n'était pas prescrite le 30 novembre 2008 en vertu du droit applicable à cette date (art. 101 al. 3, 3 e phrase CP).
Le 30 novembre 2008, l'<ref-law> avait la même teneur qu'actuellement. Son alinéa premier prévoit notamment que l'action pénale se prescrit par 15 ans si la peine maximale encourue est une peine privative de liberté de plus de trois ans, ce qui est le cas d'actes d'ordre sexuel avec des enfants (<ref-law>) en cause en l'espèce. Selon l'<ref-law>, en cas notamment d'actes d'ordre sexuel avec des enfants et de contrainte sexuelle dirigée contre un enfant de moins de 16 ans, la prescription de l'action pénale court en tout cas jusqu'au jour où la victime a 25 ans (ATF 140 précité consid. 3.4 p. 148).
2.2.2. L'intimée est née en 1994. Elle a ainsi atteint l'âge de 12 ans en 2006, à savoir postérieurement aux actes commis par le recourant sur celle-ci entre 2001 et 2002. Ces actes entrent donc dans le champ d'application de l'art. 101 al. 1 let. e et al. 3, 3 ème phrase CP et sont imprescriptibles selon cette norme. Il s'ensuit que la question de l'atténuation de la peine pour ces actes s'examine à l'aune de l'<ref-law>. Au regard du droit applicable au 30 novembre 2008 (cf. art. 101 al. 3, 3 ème phrase CP), le délai de prescription selon l'<ref-law> n'était pas atteint à cette dernière date car il courait jusqu'au 25 ans de l'intimée, âge que celle-ci n'atteindra qu'en 2019. La prescription calculée selon l'<ref-law> n'étant pas atteinte, le recourant ne peut bénéficier d'une atténuation de la peine en application de l'<ref-law>. Son grief de violation de l'art. 48 let. e CP est au surplus infondé puisque cette disposition n'est pas applicable aux crimes imprescriptibles (cf. supra consid. 3.2.1 2 ème par.).
3.
Sur le vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Comme les conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation économique qui n'apparaît pas favorable (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'600 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 13 avril 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Hildbrand