Faits : A. Par jugement du 31 mars 2015, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a constaté que X._ s'était rendu coupable d'actes d'ordre sexuel avec des enfants et d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (I), l'a condamné à une peine privative de liberté de 3 ans, cette peine étant complémentaire à celles prononcées le 12 décembre 2006 par le Juge d'instruction de Lausanne et le 16 mai 2003 par le Juge d'instruction du Nord vaudois et partiellement complémentaire à celle prononcée le 5 décembre 2001 par le Juge d'instruction du Nord vaudois (II), a suspendu l'exécution d'une partie de la peine, portant sur 24 mois, et fixé à X._ un délai d'épreuve de 3 ans (III) et l'a condamné à verser à sa victime une indemnité à titre de réparation du tort moral (IV). B. Statuant par jugement du 29 juin 2015 sur l'appel du prévenu, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud l'a rejeté et a confirmé le jugement du 31 mars 2015. En substance, les faits retenus sont les suivants. B.a. A une date indéterminée, mais vraisemblablement dès la deuxième partie de l'année 2001 jusqu'à la fin du mois de mars 2002 environ, X._ a commis des attouchements à caractère sexuel sur Y._, née en 1994. Y._ est la fille de A._ avec laquelle X._ a entretenu une relation entre 1999 et le mois de mars 2002 et chez laquelle il est venu s'installer durant cette période. Les deux autres enfants de A._, B._ et C._ vivaient alors également auprès de leur mère. Le prévenu agissait lorsque la mère de la fillette était amenée à s'absenter. Il se rendait en particulier dans la chambre de l'enfant pour satisfaire ses pulsions. B.b. A plusieurs reprises, X._ a embrassé l'enfant sur la bouche et lui a caressé les fesses lorsqu'elle était habillée ou nue. Il profitait du moment de la douche de l'enfant pour lui caresser les parties intimes. A d'autres occasions, après avoir prodigué une fessée à l'enfant, il l'a caressée sur l'ensemble du corps, y compris les parties intimes, et a introduit ses doigts dans son intimité. Selon l'extrait du casier judiciaire de X._, ce dernier a été condamné le 5 décembre 2001 à quinze jours d'emprisonnement pour vol d'usage et circulation sans permis, le 16 mai 2003 à dix jours d'emprisonnement avec sursis pendant deux ans pour voies de fait, utilisation abusive d'une installation de télécommunication et contravention à la LStup et le 12 décembre 2006 à dix jours d'emprisonnement avec sursis pendant trois ans pour délit et contravention à la LStup. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement cantonal. Il conclut principalement à sa libération des chefs d'accusation d'actes d'ordre sexuel avec des enfants et d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance, à ce que les conclusions civiles soient rejetées et les frais de la cause laissés à la charge de la Confédération. Subsidiairement, il conclut à ce qu'une peine privative de liberté compatible avec l'octroi du sursis soit prononcée et plus subsidiairement encore à ce que le jugement du 29 juin 2015 soit annulé et le dossier de la cause renvoyé à la Cour d'appel pénale pour nouvelle décision dans le sens des considérants. Il sollicite l'octroi de l'assistance judiciaire.