Faits : A. Par jugement du 23 mai 2016, rectifié le 25 mai 2016, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a condamné X._ pour actes d'ordre sexuel avec des enfants et viol, à une peine privative de liberté de neuf mois, avec sursis durant trois ans, a subordonné le sursis à la condition que le prénommé suive un traitement psychothérapeutique ambulatoire, a dit que X._ est le débiteur de A.A._ d'un montant de 20'000 fr. avec intérêts à 5% dès le 1er janvier 2009, à titre d'indemnité pour tort moral, et a donné acte à A.A._ et à B.A._ de leurs réserves civiles à l'encontre de X._. B. Par jugement, du 7 novembre 2016, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel interjeté par X._ contre ce jugement. En bref, la cour cantonale a retenu les faits suivants. Entre le mois de mai 2007 et le début de l'année 2010, X._ a entretenu une relation de couple avec B.A._. Il s'est impliqué dans l'éducation de A.A._ et de C.A._, filles de sa concubine, nées respectivement en 1994 et en 1995. Durant la période de l'été 2008 à la fin de l'année 2009, alors que B.A._ partait faire des courses avec sa fille cadette, X._ restait à la maison avec l'aînée. Il a, à plusieurs reprises, profité de s'être trouvé seul avec elle pour l'approcher, la toucher, la prendre par la main et lui enjoindre d'aller se coucher sur le lit de C._ dans la chambre commune des filles. Il n'hésitait pas à hausser le ton pour la forcer à se déshabiller et à menacer de la frapper ainsi que de faire du mal à sa soeur et à sa mère si elle ne s'exécutait pas. Une fois A.A._ déshabillée, il la tirait par les poignets pour la coucher sur le lit, lui toucher la poitrine et se coucher sur elle en lui introduisant son sexe dans le vagin avec un préservatif. Il faisait quelques allers et retours et éjaculait avant de se retirer. Alors que A.A._ pleurait durant les actes, X._ lui demandait de simuler. Lorsqu'elle se débattait, il la tenait par les poignets; cela se passait dans le noir. Après avoir terminé, il lui ordonnait de changer les draps et d'aller se doucher. Au mois d'août 2010, alors qu'elle résidait au foyer de D._ à E._, A.A._ a confié à un éducateur qu'elle avait été abusée par l'ami de sa mère durant une année et demi à partir de ses quatorze ans. C. X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 7 novembre 2016. Il conclut principalement à l'annulation du jugement du Tribunal correctionnel d'arrondissement de l'Est vaudois, à la libération de la condamnation pour actes d'ordre sexuel avec des enfants et viol, ainsi qu'au versement d'une indemnité en sa faveur d'un montant de 25'000 fr. pour tort moral. Subsidiairement, il conclut au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.