Faits : A. Par jugement du 2 juin 2016, le Juge pénal du Tribunal de première instance a déclaré X._ coupable de contrainte sexuelle au préjudice de A._ et l'a condamné à une peine pécuniaire de 180 jours-amende à 240 fr. chacun, avec sursis pendant deux ans, et au paiement d'une indemnité pour tort moral de 3'000 fr. avec intérêts à 5% dès le 11 juillet 2014, le tout avec suite de frais et dépens. B. Statuant sur appel de X._ et appel joint du Ministère public, la Cour pénale du Tribunal cantonal de la République et canton du Jura a condamné X._ à une peine pécuniaire de 180 jours-amende avec sursis pendant deux ans, le montant du jour-amende étant fixé à 240 fr., ainsi qu'à une amende additionnelle de 5'000 fr. dont la peine privative de liberté et de substitution est fixée à 20 jours, au paiement d'une indemnité pour tort moral de 3'000 fr., confirmé les frais et dépens de la première instance et statué sur ceux de l'instance d'appel. Sur le fond, la cour cantonale a retenu les faits suivants. A._ a été abusée entre 6 et 12 ans à plusieurs reprises par son père, condamné pour ces faits. De 15 à 18 ans, elle a été placée au sein de la famille B._. A l'âge de 18 ans, elle est partie vivre avec sa mère, tout en conservant des liens avec sa mère d'accueil, C._. En raison d'un différend, cette dernière a coupé toute relation avec A._ et a refusé de lui parler. En août 2013, A._ a fait deux séjours à l'Institut D._, puis deux séjours à l'hôpital E._. Le 6 juin 2014, alors qu'elle y était hospitalisée, elle a envoyé une lettre à C._, restée sans réponse. Au total, A._ a fait une dizaine de séjours en institution et a tenté de se suicider. Le 11 juillet 2014, A._ s'est rendue à U._ avec son ami F._. Sur le chemin du retour, elle lui a demandé de s'arrêter devant la maison de son ancienne famille d'accueil à V._ afin de rencontrer C._. Après qu'elle eut sonné à la porte, X._ lui a indiqué que son épouse était absente, tout en lui proposant d'entrer un instant. Une fois à l'intérieur, il s'est avancé vers elle et l'a contrainte à reculer contre l'armoire du corridor. X._ a placé ses mains sur ses bras qu'elle avait croisés sur son torse et lui a dit " je veux voir tes seins ". Elle a immédiatement ressenti une montée d'angoisse, ne sachant plus que faire, revivant les abus perpétrés par son père. Elle a répondu " non, je ne peux pas ". Il était placé devant elle, collé à elle, et lui a dit " allez, vas-y ", puis l'a enlacée au niveau du bas du dos. Il a passé ses deux mains sous son t-shirt. Le seul mot qu'elle arrivait à prononcer était " je peux pas ". Elle avait des flashs lui rappelant les abus dont elle avait été victime. Il était toujours très près d'elle et lui disait qu'il voulait voir ses seins et a insisté par la parole. Elle a finalement accepté parce qu'elle voulait partir. Elle a levé son t-shirt, X._ lui a touché son soutien-gorge puis son sein droit durant une ou deux minutes avec ses mains. Il a agi de la même façon pour obtenir de sa part qu'elle le laisse toucher ses fesses, baisser son pantalon puis caresser son sexe. Il lui a également imposé des caresses sur son pénis en érection ainsi qu'un baiser. A chaque fois, A._ répétait " non je ne peux pas ". Durant ces actes, X._ lui a dit " c'est bien, tu te laisses faire, je parlerai à C._ comme quoi tu es venue ", ce à quoi elle a répondu qu'elle allait le savoir. Il a rétorqué " pas forcément, car j'ai du pouvoir sur elle ". Durant ces actes, A._ ressentait des douleurs et était crispée. Lorsque finalement il lui a proposé d'entretenir une relation sexuelle complète elle a, à nouveau, répondu " non je ne peux pas, on m'attend ". A ce moment-là, il lui a ouvert la porte et lui a demandé de se taire et de ne rien dire de ce qui c'était passé entre eux. Lors d'un premier interrogatoire, X._ a nié l'ensemble des faits. Puis, le 16 juillet 2014, il a, par courrier, demandé à être entendu et a confirmé en grande partie les faits. C. X._ recourt en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut principalement à l'annulation du jugement et à son acquittement avec suite de frais et dépens et, à titre subsidiaire, à l'annulation du jugement de la Cour pénale du Tribunal cantonal de la République et canton du Jura et au renvoi du dossier à l'autorité cantonale pour nouvelle décision dans le sens des considérants, le tout avec suite de frais et dépens. D. Il n'a pas été ordonné d'échange d'écritures.