Faits : A. Le 14 janvier 2011, A._ s'est présentée à la police pour annoncer que, dans la nuit du 18 au 19 novembre 2010 à Estavayer-le-Lac, son ami de l'époque, X._, l'avait obligée à entretenir une relation sexuelle et l'avait empêchée de partir de chez lui. Le 6 avril 2011, elle a dénoncé des menaces dont elle et son nouvel ami avaient été victimes de la part du prénommé dans un café d'Estavayer-le-Lac le soir du 1er avril 2011. Par jugement du 14 novembre 2013, le Tribunal pénal de la Broye a reconnu X._ coupable notamment de viol, menaces et séquestration et l'a condamné à une peine privative de liberté ferme d'un an ainsi qu'au paiement d'une amende de 200 francs. Un traitement institutionnel a également été ordonné, primant la privation de liberté, dans un établissement spécialisé visant l'abstinence de toutes substances psychoactives, en particulier l'alcool, et permettant le traitement des troubles du comportement. X._ a en outre été astreint à verser à la partie plaignante une indemnité pour tort moral de 8'000 francs. Statuant le 23 février 2015 sur appel de X._, la Cour d'appel pénale du Tribunal cantonal du canton de Fribourg a réformé le jugement précité, acquittant le prévenu du chef de prévention de séquestration. Pour le surplus, le jugement entrepris a été confirmé. B. Agissant par la voie du recours en matière pénale au Tribunal fédéral, X._ conclut à son acquittement des chefs d'accusation de viol et de menaces ainsi qu'à sa condamnation à une peine pécuniaire, subsidiairement à une peine privative de liberté réduite, assortie du sursis et le cas échéant de règles de conduite. Il demande également l'annulation de la mesure thérapeutique et le rejet des conclusions civiles de la partie plaignante. Subsidiairement, il conclut à l'annulation de l'arrêt de la Cour d'appel du 23 février 2015 et au renvoi de la cause à cette autorité pour nouveau jugement dans le sens des considérants. Il requiert en outre l'assistance judiciaire.