Faits: A. Par jugement du 12 juin 2012, le Tribunal de police de l'arrondissement de Lausanne a libéré X._ des chefs d'accusation d'actes d'ordre sexuel avec des enfants, d'actes d'ordre sexuel avec des personnes dépendantes, de contrainte sexuelle et de désagréments causés par la confrontation à un acte d'ordre sexuel. Il a renvoyé Y._ à agir devant le juge civil s'agissant de ses prétentions civiles. B. Statuant le 9 janvier 2013 sur appel de Y._, la Cour d'appel pénale du Tribunal cantonal vaudois a confirmé la libération de X._ des chefs d'accusation d'actes d'ordre sexuel avec des enfants, d'actes d'ordre sexuel avec des personnes dépendantes et de désagréments causés par la confrontation à un acte d'ordre sexuel. Elle a constaté que X._ s'est rendu coupable de contrainte sexuelle et l'a condamné à une peine pécuniaire de 120 jours-amende, le montant du jour-amende étant fixé à 30 fr. ainsi qu'à payer à Y._ 2'500 fr. à titre de réparation du tort moral. Elle a par ailleurs suspendu l'exécution de la peine, fixé le délai d'épreuve à 3 ans et imposé au condamné, à titre de règle de conduite, l'obligation de verser chaque mois à la victime un acompte minimal de 100 fr. à valoir sur la créance de réparation morale. Elle a enfin renvoyé la victime à faire valoir devant le juge civil ses prétentions civiles relatives à ses frais médicaux. Les faits à l'origine de cette condamnation sont en substance les suivants. X._, né en 1942 en Afghanistan, pays dont il est ressortissant, vit en Suisse depuis 1985. Il lui est reproché d'avoir, à plusieures reprises entre 1997 et 2002, attenté à l'intégrité sexuelle de Y._, née le 1er mars 1985. Les familles des deux protagonistes se rendaient visite une à deux fois par mois et X._ jouissait au sein de sa communauté d'une position de patriarche qui lui conférait une autorité incontestée notamment sur les femmes et les enfants. Y._ l'appelait « mon oncle » par respect envers une personne âgée qu'elle connaissait bien depuis son enfance. Trois épisodes distincts constituent les faits imputés à X._, et non contestés par celui-ci. Un seul demeure litigieux. Les actes sur lesquels repose la condamnation de X._ se sont déroulés à Brugg, au cours de l'été 2001 ou 2002 à l'occasion d'une visite de Y._ dans la famille de ce dernier. Alors qu'elle se reposait dans une chambre, X._ s'est approché d'elle et lui a caressé avec insistance les seins, les fesses ainsi que le sexe par dessus les vêtements. Elle était couchée sur le côté et feignait de dormir, ne bougeant pas car elle était tétanisée. A un moment donné, elle a toutefois eu le réflexe de se lever et de partir, sans que X._ cherche à la retenir. Alors que l'autorité de première instance avait écarté la contrainte sexuelle au motif qu'il n'était pas possible de considérer que l'auteur avait passé outre son refus, la cour cantonale a admis que les éléments constitutifs de cette infraction étaient réalisés. C. X._ forme un recours en matière pénale contre cette décision. Invoquant une violation de l'art. 189 CP, le recourant conclut, avec suite de frais et dépens, principalement à la réforme du jugement attaqué et à la confirmation du jugement de première instance. A titre subsidiaire, il conclut au renvoi de la cause à l'autorité cantonale. Il sollicite en outre le bénéfice de l'assistance judiciaire. D. Invitée à présenter des observations, l'autorité cantonale a renoncé à se déterminer, se référant aux considérants de son jugement. Pour sa part l'intimée conclut, sous suite de frais et dépens, principalement à ce que le recours soit déclaré irrecevable et subsidiairement à ce que ses conclusions soient rejetées, la motivation du recours s'agissant de l'arbitraire ne répondant pas aux exigences légales et étant au demeurant mal fondée. Enfin, le Ministère public n'a pas répondu à l'invitation à présenter des observations.