Faits:
A.
Par jugement du 18 décembre 2012, le Tribunal correctionnel de l'arrondissement de Lausanne a libéré X._ de l'accusation de viol et l'a reconnu débiteur de A._ pour un montant de 2000 fr. à titre d'indemnité pour tort moral.
B.
Le 28 mai 2013, la Cour d'appel pénale du Tribunal cantonal vaudois a admis l'appel de A._ et admis partiellement celui du Ministère public. Elle a en revanche rejeté l'appel joint de X._. Elle a réformé le jugement de première instance en ce sens qu'elle a constaté que X._ s'était rendu coupable de viol. Elle l'a condamné à une peine privative de liberté de 30 mois, dont 20 assortis du sursis avec un délai d'épreuve de 2 ans. Elle a par ailleurs dit que X._ était débiteur de A._ de 20'000 fr. à titre d'indemnité pour tort moral.
Les faits à l'origine de cette condamnation sont en substance les suivants. En 2007, A._, née en 1960, a mis sa patente de cafetier-restaurateur à disposition de X._, pour lequel elle a travaillé comme serveuse. En début d'année, alors qu'ils s'étaient donné rendez-vous dans un café pour discuter de leur prochaine collaboration, X._ a demandé à A._ de l'accompagner dans un local où il entreposait de la marchandise, à Savigny. Arrivés sur place, il a fermé le local à clé, a enclenché une cassette vidéo pornographique et s'est assis à califourchon sur les genoux de A._, qu'il a tenté d'embrasser de force. Celle-ci est parvenue à se libérer en disant qu'elle devait aller récupérer sa fille.
Pensant que ce comportement était dû à un moment d'égarement, A._ a tout de même accepté de travailler pour X._. A une date indéterminée au cours de l'année 2007, alors que celui-ci la raccompagnait en voiture à son domicile car il n'y avait plus de transports publics, il a tenté de lui caresser la jambe. Elle l'a repoussé et est parvenue à sortir de la voiture.
Un soir du mois d'août 2007, A._ s'est retrouvée seule avec X._ dans le restaurant au moment de la fermeture. Elle a constaté que son patron avait un comportement étrange et semblait nerveux. Elle est allée dans les toilettes et a téléphoné à une amie pour lui faire part de son inquiétude, puis est retournée dans la salle afin de terminer de nettoyer les tables. X._ s'est alors approché d'elle par derrière et l'a enlacée puis serrée par la taille. A._ s'étant retournée pour lui faire face, X._ a essayé de l'embrasser de force puis l'a poussée. Comme elle était couchée sur le dos sur une table, il a relevé sa robe et écarté sa culotte puis, ayant baissé son pantalon et son slip, l'a pénétrée vaginalement jusqu'à éjaculation bien qu'elle ait tenté de le repousser et lui ait dit qu'il lui faisait mal. A._ a quitté l'établissement en état de choc pour rentrer chez elle en taxi. Elle n'est plus retournée travailler et a donné sa démission pour la fin du mois de septembre.
De mai 2008 à novembre 2009, A._ a suivi une thérapie auprès d'une psychologue, puis a eu cinq entretiens au CHUV entre octobre et décembre 2011; elle poursuit une thérapie de manière irrégulière et selon ses besoins. Les thérapeutes ont relevé que A._ présentait des symptômes de stress post-traumatique, d'anxiété et de retrait social ainsi que des troubles de la sexualité en lien avec une incapacité à supporter la pénétration.
Le 29 novembre 2009, A._ a porté plainte contre X._.
C.
X._ forme un recours en matière pénale contre le jugement de la Cour d'appel pénale. Il conclut principalement à ce que le jugement attaqué soit réformé en ce sens que les appels formés par le Ministère public et par A._ sont rejetés et son propre appel-joint admis. Subsidiairement, il conclut au renvoi de la cause à la cour cantonale pour qu'elle statue à nouveau. Il sollicite en outre le bénéfice de l'assistance judiciaire.

Considérant en droit:
1.
Le recourant soutient que la cour cantonale a procédé à une appréciation arbitraire des faits et des preuves et que sa condamnation viole la présomption d'innocence.
Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire dans la constatation des faits. La notion d'arbitraire a été rappelée récemment dans l'<ref-ruling> consid. 6.1 p. 379, auquel on peut se référer. En bref, une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais aussi dans son résultat.
Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs sont fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêt 6B_118/2009 du 20 décembre 2011 consid. 7.2.2 non publié à l'<ref-ruling> et les références citées).
La recevabilité du grief d'arbitraire, ainsi que de tous ceux déduits du droit constitutionnel et conventionnel, suppose l'articulation de critiques circonstanciées (<ref-ruling> consid. 3, p. 105), claires et précises, répondant aux exigences de motivation accrues déduites de l'<ref-law> (<ref-ruling> consid. 1.4 p. 287). Les critiques appellatoires sont, en particulier, irrecevables (cf. <ref-ruling> consid. 5.1 p. 356).
Dans la mesure où les développements du recours tendent, comme en l'espèce, uniquement à démontrer que l'autorité cantonale aurait dû éprouver un doute, les griefs déduits de la présomption d'innocence n'ont pas de portée propre par rapport à l'arbitraire invoqué dans l'établissement des faits (<ref-ruling> consid. 2a p. 41; <ref-ruling> consid. 2c p. 37).
2.
Le recourant s'en prend aux constatations de l'autorité cantonale relatives au lieu où le viol se serait produit, au déroulement de celui-ci, au fait que l'intimée se serait confiée à son gynécologue peu après les faits, à la date à laquelle l'intimée a cessé de travailler et enfin à la crédibilité de celle-ci, notamment sur la base d'un examen des dépositions et des notes d'entretien de la psychologue qui l'a suivie entre mai 2008 et novembre 2009.
Il faut relever tout d'abord que contrairement à ce que prétend le recourant, l'appréciation faite par la cour cantonale du témoignage de la psychologue n'est pas erronée. Certes, celle-ci a dans un premier temps situé le viol dans le local de Savigny. Elle a toutefois rectifié cette affirmation après avoir consulté les notes prises lors des entretiens avec l'intimée. Elle a par ailleurs expliqué, de manière tout à fait convaincante, l'origine de cette erreur en relevant que les déclarations de l'intimée lors de la première séance n'étaient pas très claires, ce qui n'avait rien de surprenant puisqu'à ce stade du traitement le thérapeute n'entre pas dans les détails et laisse la personne s'exprimer librement. C'est ultérieurement que l'intimée a décrit les faits de manière plus précise, indiquant que la pénétration avait eu lieu dans le restaurant.
Les extraits des notes manuscrites de la psychologue invoqués par le recourant ne font pas apparaître cette appréciation comme erronée. D'une part le passage en question est tiré des notes relatives à la première séance. D'autre part et surtout, la retranscription qu'en donne le recourant est tendancieuse puisque la mention « il me viole » suit immédiatement « la relation s'envenime », qui clôt la description des actes commis à Savigny. Or, à la lecture des notes prétendument retranscrites, il appert que « il me viole » figure en face des dates « août sept (?) 2007 » et est suivi, sous la même rubrique, de la mention d'un conflit et du congé donné par l'intimée. Ainsi, contrairement à l'idée que cherche à éveiller le recourant, il ne ressort pas de cet extrait que le viol aurait été situé dans le contexte du passage au local de Savigny, mais au contraire qu'il a été commis en août éventuellement septembre et a été suivi du congé donné par l'intimée.
Il n'y a pas lieu d'entrer en matière sur les autres éléments évoqués par le recourant, notamment le témoignage de B._ ou certaines pièces du dossier. Ce faisant, le recourant procède à une libre discussion des faits, purement appellatoire. Son argumentation est irrecevable (cf. supra consid. 1). La version des faits de l'intimée correspond aux déclarations de la psychologue. Elle est la seule compatible avec la grande souffrance constatée par les thérapeutes, qui ont relevé que l'intimée présentait des symptômes de stress post-traumatique, d'anxiété et de retrait social ainsi que des troubles de la sexualité en lien avec une impossibilité à supporter la pénétration, et qui a impliqué une longue thérapie. Il n'est pas arbitraire de la préférer à celle du recourant, qui s'est cantonné dans une attitude de déni, contestant non seulement le viol mais toute relation sexuelle avec l'intimée, sur laquelle il a cherché à jeter le discrédit, allant jusqu'à l'accuser de vol. Les autres points soulevés par le recourant, comme la date de la consultation de la gynécologue, ne sont pas susceptibles de faire apparaître cette appréciation arbitraire dans son résultat; ainsi le choix de la cour cantonale de se fonder sur la version des faits de l'intimée échappe à la critique. Il en ressort que lors du viol l'intimée a repoussé le recourant et lui a demandé d'arrêter en ajoutant qu'il lui faisait mal. L'état de fait sur lequel repose le jugement attaqué ne contrevient pas à l'interdiction de l'arbitraire, pas plus que la condamnation du recourant n'enfreint la présomption d'innocence.
3.
Mal fondé, le recours doit être rejeté dans la mesure où il est recevable. Comme les conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant, qui succombe, devra donc supporter les frais, (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal vaudois.
Lausanne, le 2 décembre 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Paquier-Boinay