Faits :
A.
Par jugement du 20 mars 2019, le Tribunal du IIIème arrondissement pour le district de Martigny a constaté que l'action pénale ouverte contre A._ pour actes d'ordre sexuel avec des enfants était éteinte par prescription. Il a en revanche reconnu A._ coupable de contrainte sexuelle et de viol et l'a condamné à une peine privative de liberté de 8 ans ainsi qu'à verser à B._ 40'000 fr. à titre de réparation du tort moral subi.
B.
Par jugement du 7 octobre 2019, la Cour pénale II du tribunal cantonal valaisan a admis partiellement l'appel interjeté par A._ contre ce jugement, qu'elle a réformé en ce sens que la durée de la peine privative de liberté a été ramenée à 6 ans.
Les faits à l'origine de cette condamnation sont en substance les suivants.
A._, requérant d'asile kosovar né en 1971, a été présenté par C._ à son mari, lequel l'a accueilli dans son foyer, à une époque où les trois enfants du couple étaient en bas âge. A._ s'est souvent occupé des enfants, avec lesquels il était très attentionné et s'entendait très bien. Même s'il disposait d'un studio, il dormait fréquemment au sous-sol de la villa familiale, dans une chambre située sur le même l'étage que celles des enfants, souvent à la demande de ces derniers, qui sollicitaient sa présence. Après le décès subit du père de famille, survenu le 12 septembre 2004, A._ a en principe passé ses nuits dans son studio; il est venu s'installer dans la villa familiale six à huit mois après ce décès.
C._, qui entretenait depuis de nombreuses années une relation amoureuse avec A._, a épousé celui-ci le 6 juin 2006 au Kosovo. Cette année-là, il est resté plusieurs mois au Kosovo dans l'attente des documents lui permettant de revenir en Suisse. A son retour, peu avant Noël 2006, il a regagné la villa familiale.
Vers la fin de l'année 2002, A._ a passé avec la fille de C._, B._ née en 1988, des siestes à l'occasion desquelles il a caressé les seins et les parties intimes de la jeune fille à même la peau. Elle ne l'a pas repoussé mais lui a dit qu'il n'était pas correct d'agir ainsi. Après plusieurs épisodes de ce genre, B._ a alerté sa mère, qui a interpelé A._, lequel a nié tout comportement volontaire mais a admis avoir peut-être agi ainsi pendant son sommeil. Craignant de créer des tensions dévastatrices au sein de sa famille, la jeune fille s'est ensuite rétractée.
Entre le décès du père de famille, en septembre 2004, et son départ au Kosovo au début 2006, A._ s'est rendu à de nombreuses reprises dans la chambre de B._ et l'a caressée, sans que celle-ci n'ose réagir. Il a par ailleurs obtenu d'elle des fellations; à une occasion, il l'a sodomisée.
Dès son retour en Suisse, à la fin de l'année 2006, A._ s'est installé dans la villa familiale. Après quelques semaines, il a recommencé à commettre des actes de sodomie et a obtenu de B._ qu'elle lui fasse des fellations; il a par ailleurs entretenu avec elle des relations sexuelles complètes. Ces faits se sont déroulés une ou plusieurs fois par semaine. B._ demeurait passive et n'opposait aucune résistante physique. Elle pleurait après chaque acte et répétait à A._ que ce qu'il faisait n'était pas correct. A partir d'une certaine époque, elle a commencé, notamment par dépit, d'exiger une contrepartie, sous forme d'argent ou d'un cadeau, lors de chaque rapport. Ces actes se sont poursuivis jusqu'en octobre 2011, date à laquelle B._ a fait la connaissance de son futur mari et a quitté le domicile familial pour s'installer avec lui.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement de la cour pénale II. Il conclut, avec suite de frais et dépens, à l'annulation du jugement attaqué, à sa libération de tout chef d'accusation, à sa relaxe immédiate et à ce qu'une indemnité de 46'200 fr. lui soit allouée en réparation du tort moral subi. Il sollicite par ailleurs l'assistance judiciaire et l'effet suspensif.

Considérant en droit :
1. Le recourant invoque le principe " in dubio pro reo " et reproche à la cour cantonale d'avoir procédé à une appréciation manifestement inexacte des faits de la cause.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat.
La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe " in dubio pro reo ", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large (<ref-ruling> consid. 2.2.3.1 p. 348 s.; <ref-ruling> consid. 2a p. 40 s.). Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe " in dubio pro reo ", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 2.2.3.3 p. 351 s.; <ref-ruling> consid. 1.1 p. 503; <ref-ruling> consid. 7 p. 82).
Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3 p. 30; <ref-ruling> consid. 2.4 p. 368).
1.2. Le recourant soutient que des erreurs de dates discréditent les accusations de l'intimée, qui, selon lui, livrerait à chaque interrogatoire une version des faits totalement différente et décousue.
Se ralliant à l'opinion de l'autorité de première instance, la cour cantonale a considéré que les déclarations de l'intimée avaient été constantes s'agissant des faits essentiels. Cette appréciation ne prête pas le flanc à la critique. En effet, l'intimée a toujours décrit de la même manière le déroulement et l'évolution des actes qu'elle a dénoncés. Ses déclarations n'ont varié qu'en ce qui concerne les dates, ce qui ne suffit pas à remettre en question leur crédibilité, d'autant plus que les faits sont anciens et se sont répétés sur une longue période.
Par ailleurs, le recourant se prévaut du fait que dans le SMS qu'elle a envoyé à sa mère avant de s'adresser à la police, l'intimée a fait état d'abus pendant deux ans, qui avaient pourri son adolescence, sans mentionner l'ensemble des actes qu'elle lui reproche. Cet élément n'est pas non plus de nature à jeter le doute sur ses déclarations. Un SMS étant par nature fort bref, il est dans l'ordre des choses qu'elle se soit limitée à informer sa mère de manière très lapidaire du comportement qu'avait eu le recourant.
1.3. Le recourant invoque une prétendue coordination au cours de l'instruction entre l'intimée et sa mère. Son argumentation se fonde sur la relation très étroite qui liait les deux femmes et sur le soutien que la mère aurait apporté à sa fille au cours de la présente procédure. Ces éléments ne suffisent pas pour faire admettre que la version des faits de l'intimée aurait été discutée entre elles. Par ailleurs, le recourant prétend qu'il est faux de considérer que la mère n'a pas fait de confidences à sa fille concernant ses pratiques sexuelles avec lui. Les deux déclarations qu'il invoque dans ce contexte ne sont pas de nature à remettre en question les déclarations de l'intimée. La déclaration qui a trait au fait que la mère de l'intimée aurait confié à cette dernière avoir été blessée parce que le recourant lui aurait dit qu'elle était trop vieille pour faire l'amour dans la douche n'est d'aucune pertinence puisque les actes imputés à celui-ci ne se sont pas déroulés à cet endroit. Par ailleurs, le fait que la mère de l'intimée ait réalisé que son ex-mari utilisait le même langage avec elle qu'avec sa fille ne suppose pas non plus que les deux femmes aient échangé des confidences sur le comportement sexuel du recourant. Les propos en question, que le recourant a tenus tant avec la mère lorsqu'elle trompait son mari avec lui qu'à la fille lorsqu'il abusait d'elle, à savoir que ça n'est pas sale si c'est fait avec amour et ça n'est pas mal car personne ne va le savoir n'ont en effet pas trait à son comportement sexuel proprement dit.
1.4. Le recourant se prévaut de l'absence d'une tache de naissance à proximité de son sexe, tache évoquée en premier lieu par la mère de l'intimée puis par cette dernière et dont l'examen médical du recourant n'a pas établi l'existence. Non seulement il ressort des déclarations des experts qu'il est possible de faire disparaître une telle tache par un traitement au laser mais de plus on ne voit pas pourquoi la mère de l'intimée aurait inventé et fait confirmer par sa fille un détail qui n'était pas nécessaire pour étayer ses accusations.
1.5. Le recourant soutient que, contrairement à ce qu'a admis la cour cantonale, l'intimée avait un intérêt à mentir car sa dénonciation lui a permis d'une part de se venger de sa mère qui n'avait jamais accepté son compagnon et d'autre part de se débarrasser de celui qui constituait un élément perturbateur. Sur ce point, il se contente d'opposer sa version des faits à celle retenue par la cour cantonale, de sorte que son argumentation n'est pas recevable.
Dans ce contexte, le recourant fait valoir que la cour cantonale a de manière erronée considéré que les explications de l'intimée étaient corroborées par plusieurs témoignages.
Dans la mesure où le recourant soutient que les déclarations de D._ ne corroborent pas la version de l'intimée son argument est dénué de pertinence puisque ce témoignage n'a pas été retenu par la cour cantonale parmi ceux qui étayaient ses dires.
En ce qui concerne les déclarations de E._, c'est avec raison que la cour cantonale a considéré qu'il ressortait de ce témoignage que l'intimée avait déclaré avoir eu des relations sexuelles avec le recourant et c'est par ailleurs de manière tout à fait pertinente qu'elle a relevé que le témoin avait conseillé à l'intimée d'en parler à sa maman, ce qui montre bien que ledit témoin était conscient que ces relations n'étaient pas librement consenties, cas dans lequel il n'aurait bien évidemment pas suggéré d'aviser celle qui était l'épouse de l'un des partenaires et la mère de l'autre.
Enfin, le recourant se prévaut du fait que l'intimée avait déjà dénoncé certains faits plusieurs années auparavant et s'était rétractée. Cet élément n'est pas non plus de nature à remettre ses déclarations en question. L'explication de ce comportement par la crainte de l'effet de ces révélations est parfaitement plausible.
1.6. Le recourant cherche à tirer argument du fait que, selon lui, il n'a jamais été établi que l'intimée aurait souffert des abus qu'elle dénonce. Sa critique à ce propos, qui fait au demeurant fi des constatations selon lesquelles l'intimée a été suivie par un médecin et une psychologue et a été hospitalisée pendant un mois dans un établissement psychiatrique, est de nature purement appellatoire et, partant, irrecevable.
1.7. Le recourant soutient que des mesures d'instruction auraient été nécessaires pour établir s'il était concevable, compte tenu de la configuration du sous-sol de la villa familiale où se sont déroulés une partie des faits dénoncés, que personne n'ait jamais rien vu ni entendu.
Les visites régulières effectuées par le recourant dans la chambre de l'intimée pour faire des siestes ou fumer des cigarettes ne sont pas contestées. Par ailleurs, celle-ci n'a jamais prétendu avoir tenté de chercher de l'aide auprès des personnes qui pouvaient se trouver à proximité ni même d'attirer leur attention par des cris par exemple, de sorte que même si la configuration des lieux permettait de percevoir les actes qui se déroulaient dans une des pièces, le fait que personne n'ait entendu les protagonistes ne suffirait pas à remettre en question les constatations de la cour cantonale.
1.8. Le recourant se plaint de défauts formels qui entacheraient le procès-verbal de la première audition de l'intimée par la police.
Le recours en matière pénale au Tribunal fédéral est recevable contre les décisions prises par les autorités cantonales de dernière instance et par le Tribunal pénal fédéral (<ref-law>). Il s'ensuit que le Tribunal fédéral n'entre en principe pas en matière, faute d'épuisement des instances cantonales, sur des griefs formels qui n'ont pas été préalablement examinés, alors qu'ils l'auraient pu, par l'autorité précédente (cf. <ref-ruling> consid. 2.2.3 p. 272; arrêt 6B_1151/2017 du 22 mai 2018 consid. 2.1). L'arrêt attaqué ne contient aucune motivation relative à de prétendues carences dans ledit procès-verbal et le recourant ne se plaint pas d'un déni de justice à cet égard, de sorte ce grief est irrecevable faute d'épuisement des instances cantonales (cf. <ref-law>).
2.
Le recours doit être rejeté dans la mesure où il est recevable. Comme il était dénué de chances de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>), dont le montant sera fixé en tenant compte de sa situation financière, qui n'apparaît pas favorable. Enfin, la cause étant tranchée, la demande d'effet suspensif devient sans objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour pénale II du Tribunal cantonal valaisan.
Lausanne, le 28 février 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Paquier-Boinay