Faits : A. X._ est entré au Ministère public de la Confédération comme procureur assistant le 1er juin 2007. Il a été nommé procureur fédéral suppléant en date du 1er juillet 2008. Le 7 février 2009, il s'est rendu au Pérou, accompagné de A._, en qualité d'interprète, afin d'assister à l'exécution d'une commission rogatoire internationale. La demande d'entraide pénale, signée par lui, visait à faire procéder à l'audition par les autorités péruviennes de B._ à titre de renseignements, dans le cadre d'une procédure pénale fédérale suisse instruite de manière autonome par ses soins. Le 9 février 2009, X._ a appris dans les bureaux du juge d'instruction péruvien chargé de l'exécution de la commission rogatoire que B._ n'était plus en détention, ayant été mis au bénéfice d'une libération conditionnelle et en ayant profité pour quitter le territoire péruvien. Le jour-même, X._ a pris contact avec un enquêteur à l'époque de la Police judiciaire fédérale suisse et obtenu le numéro de téléphone fixe de l'épouse de B._ à Lausanne. Il a alors pu parler à ce dernier qui se trouvait à Lausanne. Il lui a indiqué être au Pérou et se déplacer dans les prochains jours à Montevideo en Uruguay. Il devait en effet s'y rendre pour assister, le 12 février 2009, à l'exécution d'une demande d'entraide internationale adressée par ses soins aux autorités uruguayennes afin de faire entendre par celles-ci, en sa présence, un tiers en qualité de prévenu dans une autre procédure pénale fédérale. Lors de la conversation téléphonique du 9 février 2009, X._ a menacé B._ d'une arrestation s'il ne déférait pas à son injonction de se déplacer séance tenante et à ses frais à Montevideo pour y être auditionné à titre de renseignements dans la première procédure pénale susmentionnée. B._ a immédiatement cherché à réserver un vol pour Montevideo. Il y a atterri le 10 février 2009 et a été entendu le lendemain par X._, en compagnie de A._, dans les locaux de l'ambassade de Suisse à Montevideo. Les autorités uruguayennes n'avaient pas été informées de cette opération. B. Par jugement du 24 septembre 2014, la Cour des affaires pénales du Tribunal pénal fédéral a condamné X._ pour violation de la souveraineté territoriale étrangère (art. 299 al. 1 CP) et abus d'autorité (art. 312 CP) à une peine pécuniaire de 100 jours-amende, à 120 fr. le jour avec sursis pendant deux ans, ainsi qu'à une amende de 2'400 fr., convertible en 20 jours de peine privative de liberté de substitution en cas de non-paiement fautif. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, à l'annulation de cette décision, à son acquittement et à l'octroi d'une indemnité au sens de l'art. 429 CPP. Subsidiairement, il sollicite le renvoi de la cause au Tribunal pénal fédéral afin qu'il statue à nouveau sur frais et indemnité selon l'art. 429 CPP. Par ordonnance du 17 mars 2015, le Président de la Cour de droit pénal du Tribunal fédéral a rejeté la requête de suspension déposée par X._.