Faits : A. Par jugement du 17 novembre 2016, le Tribunal pénal du Tribunal de première instance du canton du Jura a déclaré X._ coupable de contrainte sexuelle et de viol et l'a condamné à une peine privative de liberté ferme de 3 ans. B. Statuant le 8 novembre 2017, la Cour pénale du Tribunal cantonal jurassien a confirmé le jugement de première instance. Les faits à l'origine de cette condamnation sont en substance les suivants. Le 24 décembre 2013, A._ s'est rendue, vers 17 h, à la gare de B._ avec une amie car cette dernière devait prendre le train pour rentrer chez elle, à C._. Elles y ont trouvé les frères D.D._ et E.D._ ainsi que X._. A._ ne les avait jamais rencontrés mais son amie les connaissait et ils les ont invitées à boire un verre, proposition qu'elles ont acceptée après que son amie l'eut rassurée en lui disant qu'elles n'avaient rien à craindre. Ils ont bu quelque chose à la gare avant de poursuivre la soirée dans un bar en ville. Les trois hommes ont beaucoup bu; A._ n'a consommé qu'une bière. Au cours de la soirée, son amie a reçu plusieurs appels de sa mère lui demandant de rentrer. Vers 23h30, alors qu'il n'y avait plus de train, les hommes ont proposé de les ramener chez elles. A._ a dans un premier temps refusé, disant qu'elle appellerait son père, mais son amie l'a convaincue d'accepter en lui disant qu'elle était déjà rentrée avec eux et qu'ils étaient gentils. En sortant du bar, ils ont fumé un joint et ont forcé A._ à en prendre quelques bouffées. Ils ont d'abord reconduit son amie puisqu'elle s'était fait réprimander par ses parents. Arrivée chez elle, celle-ci a proposé à A._ de rester chez elle et d'appeler son père pour qu'il vienne la chercher. Elle a toutefois refusé cette proposition parce que son père, qui était sous médicaments, devait déjà dormir et n'aurait pas pu venir avant un certain temps; elle ne pouvait par ailleurs pas rester dormir chez son amie, dont la mère était fâchée par leur rentrée tardive. Sur le trajet du retour, l'attitude des hommes a changé. D.D._, qui était assis avec elle à l'arrière de la voiture, a commencé à lui toucher la poitrine puis le vagin par dessous ses habits. Lorsqu'elle résistait, il s'énervait et levait la main dans un geste qui signifiait, selon elle, qu'il voulait la frapper. Par peur, elle n'a pas réagi. Après l'avoir touchée pendant 5 minutes environ, il a baissé son pantalon, lui a pris la tête et l'a forcée à lui faire une fellation. Lorsqu'elle résistait, il lui tirait les cheveux; elle a eu peur de se faire frapper ou même tuer. D.D._ a ensuite retiré son pantalon et a cherché à la pénétrer, mais elle l'a repoussé, réussissant à lui dire qu'elle ne voulait pas. D.D._ l'a finalement poussée contre la fenêtre de la voiture et a dit aux deux autres de le ramener chez lui, ce qu'ils ont fait. Les deux frères D._ sont sortis de la voiture et il y a eu une discussion en albanais, à l'issue de laquelle les hommes ont dit en français qu'ils allaient trouver un endroit tranquille. E.D._ et X._ se sont dirigés vers une cabane située au lieu-dit F._, sur les hauteurs de B._. Pétrifiée par la peur, A._ a eu une attaque de panique. Ils sont alors retournés en ville et lui ont acheté une bouteille d'eau au distributeur d'une station-service. Ils sont ensuite remontés vers la cabane. Alors que A._ était toujours bloquée à l'arrière de la voiture à trois portes, E.D._ est venu vers elle; il a commencé à l'embrasser et à lui toucher la poitrine ainsi que le sexe par dessus ses vêtements. X._, qui était devant, s'est retourné et a essayé de lui enlever son pantalon; alors que celui-ci était à mi-hauteur, il lui touchait le sexe pendant que E.D._ lui touchait la poitrine. Constatant qu'ils n'avaient pas assez de place, ils l'ont tirée pour la faire sortir de la voiture. Comprenant qu'elle n'était pas en mesure de résister, elle s'est laissée faire. Ils l'ont alors couchée sur un banc et l'ont totalement déshabillée. X._ l'a pénétrée en premier alors que E.D._ venait s'asseoir sur elle pour qu'elle lui fasse une fellation; il lui tenait la tête relevée en lui tirant les cheveux. Ils ont ensuite échangé leurs places. Elle a dit qu'elle avait très mal à la nuque et au vagin et qu'elle n'en pouvait plus. E.D._ s'est alors couché et l'a assise sur lui; X._ a tenté de la pénétrer dans l'anus. Souffrant d'une maladie des intestins, elle l'a informé que s'il le faisait elle finirait à l'hôpital. Il a renoncé mais est resté derrière en lui touchant les seins. Dès qu'elle résistait, ils s'énervaient méchamment. Ils se sont montrés très brutaux, la mordant dans le cou ainsi que sur la poitrine et la griffant. N'en pouvant plus, elle s'est mise à pleurer et leur a demandé d'arrêter, ce à quoi E.D._ a répondu " nous on n'a pas fini, on s'est pas encore vidés ". Ils ont continué encore quelques minutes avant d'arrêter en constatant qu'elle pleurait vraiment. Ils l'ont finalement ramenée chez elle vers 2h. C. X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement de la Cour pénale. Il conclut, avec suite de frais, à l'annulation du jugement attaqué et à son acquittement, subsidiairement au renvoi de la cause à la cour cantonale pour qu'elle le libère de toutes les préventions retenues à son encontre. Il sollicite par ailleurs l'assistance judiciaire.