Faits :
A.
Le 14 janvier 2011, A._ s'est présentée à la police pour annoncer que, dans la nuit du 18 au 19 novembre 2010 à Estavayer-le-Lac, son ami de l'époque, X._, l'avait obligée à entretenir une relation sexuelle et l'avait empêchée de partir de chez lui. Le 6 avril 2011, elle a dénoncé des menaces dont elle et son nouvel ami avaient été victimes de la part du prénommé dans un café d'Estavayer-le-Lac le soir du 1er avril 2011.
Par jugement du 14 novembre 2013, le Tribunal pénal de la Broye a reconnu X._ coupable notamment de viol, menaces et séquestration et l'a condamné à une peine privative de liberté ferme d'un an ainsi qu'au paiement d'une amende de 200 francs. Un traitement institutionnel a également été ordonné, primant la privation de liberté, dans un établissement spécialisé visant l'abstinence de toutes substances psychoactives, en particulier l'alcool, et permettant le traitement des troubles du comportement. X._ a en outre été astreint à verser à la partie plaignante une indemnité pour tort moral de 8'000 francs.
Statuant le 23 février 2015 sur appel de X._, la Cour d'appel pénale du Tribunal cantonal du canton de Fribourg a réformé le jugement précité, acquittant le prévenu du chef de prévention de séquestration. Pour le surplus, le jugement entrepris a été confirmé.
B.
Agissant par la voie du recours en matière pénale au Tribunal fédéral, X._ conclut à son acquittement des chefs d'accusation de viol et de menaces ainsi qu'à sa condamnation à une peine pécuniaire, subsidiairement à une peine privative de liberté réduite, assortie du sursis et le cas échéant de règles de conduite. Il demande également l'annulation de la mesure thérapeutique et le rejet des conclusions civiles de la partie plaignante. Subsidiairement, il conclut à l'annulation de l'arrêt de la Cour d'appel du 23 février 2015 et au renvoi de la cause à cette autorité pour nouveau jugement dans le sens des considérants. Il requiert en outre l'assistance judiciaire.

Considérant en droit :
1.
Le recourant se plaint d'une violation de son droit d'être entendu. Il reproche aux autorités cantonales d'avoir rejeté sa requête tendant à la mise en oeuvre d'une expertise psychiatrique, subsidiairement d'une expertise de crédibilité, sur la personne de l'intimée.
1.1. Dans la mesure où l'argumentation du recourant est dirigée contre le jugement de première instance elle est irrecevable, le recours en matière pénale au Tribunal fédéral n'étant ouvert que contre les décisions prises par les autorités cantonales de dernière instance (<ref-law>).
1.2. Selon l'<ref-law>, la procédure de recours se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance. L'<ref-law> règle les preuves complémentaires. Ainsi, la juridiction de recours peut administrer, d'office ou à la demande d'une partie, les preuves complémentaires nécessaires au traitement du recours. Conformément à l'<ref-law>, il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité ou déjà suffisamment prouvés. Cette disposition codifie, pour la procédure pénale, la règle jurisprudentielle déduite de l'art. 29 al. 2 Cst. en matière d'appréciation anticipée des preuves (arrêt 6B_977/2014 du 17 août 2015 consid. 1.2 et les références). Le magistrat peut renoncer à l'administration de certaines preuves, notamment lorsque les faits dont les parties veulent rapporter l'authenticité ne sont pas importants pour la solution du litige. Ce refus d'instruire ne viole ainsi le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a procédé, est entachée d'arbitraire (<ref-ruling> consid. 5.3 p. 236 s.; <ref-ruling> consid. 3 p. 157 et les arrêts cités).
1.3. En l'espèce, la cour cantonale a rejeté la réquisition de preuve formée par le recourant, au motif que l'intimée était majeure lorsqu'elle a dénoncé les faits à la police, que ses déclarations étaient aisément vérifiables, s'agissant notamment des lieux où se seraient déroulés le viol et la séquestration, et que ses propos ne présentaient en outre aucune difficulté d'interprétation qui pourrait justifier le recours à un avis d'expert. L'intimée était certes décrite comme une personne fragile et instable. Cela ne suffisait toutefois pas à susciter un doute sérieux et fondé sur sa santé ou ses capacités mentales. Il en allait de même du fait que ses déclarations contiendraient plusieurs contradictions non négligeables. Il appartenait en effet au juge d'apprécier la valeur des déclarations successives d'une partie à la procédure en cas de divergences entre elles. La mise en oeuvre d'une expertise psychiatrique ou de crédibilité ne s'avérait ainsi pas nécessaire.
Le recourant estime que la cour cantonale a favorisé de manière injustifiée les déclarations de l'intimée, alors même que les éléments du dossier indiquaient clairement que celle-ci présentait une personnalité instable ainsi qu'une instabilité émotionnelle et avait un important passé de consommation de produits stupéfiants. Ce faisant, le recourant n'explique toutefois pas en quoi la motivation précitée de la cour cantonale serait arbitraire. Quoi qu'il en soit, l'appréciation à laquelle l'autorité précédente a procédé échappe à la critique et elle pouvait, sans violer le droit d'être entendu du recourant, rejeter son offre de preuve.
2.
Invoquant le principe "in dubio pro reo", le recourant conteste les faits établis par la cour cantonale s'agissant de la nuit du 18 au 19 novembre 2010 (consid. 2.2 ci-après) et de l'épisode du 1er avril 2011 (consid. 2.3 ci-après).
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Il n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.3 p. 266). En bref, une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais aussi dans son résultat.
Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs sont fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêt 6B_563/2014 du 10 juillet 2015 consid. 1.1 et l'arrêt cité).
La présomption d'innocence, garantie par l'art. 32 al. 1 Cst., ainsi que son corollaire le principe " in dubio pro reo " concernent tant le fardeau de la preuve que l'appréciation des preuves. Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe " in dubio pro reo ", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
2.2. En l'espèce, s'agissant de l'infraction perpétrée dans la nuit du 18 au 19 novembre 2010 chez le recourant, la cour cantonale s'est ralliée à l'appréciation du tribunal pénal selon lequel, dans l'ensemble, les déclarations de l'intimée pouvaient être retenues comme l'expression de la vérité. L'intimée avait tenu des propos clairs, constants et cohérents, à savoir qu'après être revenue dans l'appartement du recourant avec de la nourriture et lui avoir fait part de son intention de cesser leur relation, celui-ci s'était énervé puis l'avait menacée avec un couteau. Par la suite, il lui avait dit qu'ils coucheraient ensemble, qu'elle soit d'accord ou pas. Après avoir tenté en vain de s'éloigner du lit, elle avait finalement accepté d'entretenir une relation sexuelle avec lui, sans opposer de résistance, car elle avait très peur.
La cour cantonale a ensuite répondu aux critiques du recourant. Elle a en particulier souligné que ses déclarations avaient varié, voire s'étaient révélées fausses, et qu'elles étaient dès lors peu crédibles. L'intimée avait au contraire été constante et cohérente sur le déroulement des événements essentiels de cette nuit-là. Son éducateur avait confirmé qu'il avait reçu ses confidences trois à quatre jours après les faits, et que, dans l'intervalle, elle était prostrée, ne mangeait plus, ce qui tendait à soutenir l'hypothèse qu'il s'était passé quelque chose de grave cette nuit-là.
Dans son recours, l'intéressé plaide à nouveau sa cause. Il précise que sa relation avec l'intimée avait été de courte durée et qu'il s'occupait d'elle avec soin. La soirée en question n'avait jamais eu lieu et il n'avait jamais été contradictoire sur ce point. Les déclarations de l'intimée comportaient en revanche plusieurs contradictions, s'agissant notamment du système de fermeture du logement du recourant et du motif de sa visite le soir en question. Le recourant se contente de discuter l'argumentation de la cour cantonale sans toutefois préciser quels faits auraient été retenus de façon arbitraire ou exposer en quoi le raisonnement des juges cantonaux serait insoutenable, ce qui n'apparaît au demeurant pas être le cas.
2.3. Quant aux menaces proférées à l'encontre de l'intimée et de son nouvel ami le 1er avril 2011 à Estavayer-le-Lac, la cour cantonale a également retenu les déclarations de l'intimée, selon laquelle le recourant s'était énervé et avait menacé de les tuer, son nouvel ami et elle, et de venir l'agresser dans son studio, lorsqu'il les avait croisés dans un café et qu'elle avait refusé de lui dire ce qu'elle avait raconté au procureur.
Le recourant relève quelques imprécisions dans les déclarations de l'intimée et rappelle que le nouvel ami de cette dernière, qui souffre certes de certains problèmes de mémoire, n'avait pas été en mesure de préciser la teneur des menaces dont il avait prétendument fait l'objet. Il apparaît cependant que la cour cantonale a répondu aux objections du recourant et expliqué pourquoi elles devaient être écartées. Le recourant ne montre pas en quoi l'appréciation de la cour cantonale serait insoutenable sur ces points et son argumentation, de nature purement appellatoire, ne permet pas de remettre en cause l'établissement des faits établis par les juges précédents.
2.4. Au vu de ce qui précède, le grief d'établissement arbitraire des faits doit être rejeté dans la mesure de sa recevabilité. Il n'y a dès lors pas lieu de remettre en cause la condamnation du recourant pour viol et menaces, celui-ci ne faisant pas valoir de violation du droit fédéral à cet égard. Cela rend sans objet l'examen des conclusions relatives à la quotité de la peine, à l'abandon de la mesure thérapeutique et au rejet des conclusions civiles formées par l'intimée, dans la mesure où elles sont toutes liées à un éventuel acquittement du recourant.
3.
Mal fondé, le recours doit être rejeté dans la mesure où il est recevable. Comme les conclusions du recourant étaient vouées à l'échec, l'assistance judiciaire ne peut lui être accordée (<ref-law>). Le recourant, qui succombe, supporte donc les frais de justice (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière. Il n'y a pas lieu d'allouer des dépens à l'intimée qui n'a pas été invitée à se déterminer (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Fribourg, Cour d'appel pénal.
Lausanne, le 14 janvier 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Mabillard