Citation: 6B_911/2017 E. B

X.________ forme un recours en matière pénale auprès du Tribunal fédéral contre ce jugement. Il requiert, avec suite de frais et dépens, l'annulation de cette décision, que les enregistrements vocaux des 2 et 24 avril 2016 soient déclarés inexploitables et retirés du dossier et que soit ordonnée l'audition de sa mère C.________, de D.________ et du Prof. E.________. Il conclut à son acquittement des chefs d'accusation de voies de fait et de séquestration pour les faits des 2 et 24 avril 2016, de lésions corporelles simples pour les faits qui se sont déroulés le 10 décembre 2014 et de viol pour les faits survenus les 30 août 2015 et 5 septembre 2015 ainsi qu'à sa condamnation à une peine privative de liberté ne dépassant pas dix-huit mois et à une mesure au sens de l'art. 59 al. 2 CP à exécuter dans une unité psychiatrique en milieu ouvert. A titre subsidiaire, il sollicite l'annulation du jugement du 9 mai 2017 et le renvoi de la cause à l'autorité précédente pour nouvelle décision. Il demande le bénéfice de l'assistance judiciaire. Invités à se déterminer, l'autorité précédente, le Ministère public de la Confédération et B.________ y ont renoncé. A.________ a conclu, avec suite de frais et dépens, au rejet du recours en ce qui la concerne.