Faits :
A.
Le corps électoral de Porrentruy a adopté son nouveau plan d'aménagement local (PAL) le 15 décembre 2013 en votation populaire. Ce plan attribue la parcelle n° 3'339, propriété de A._, jusqu'alors classée en zone à bâtir, à la zone agricole. Tel est également le cas d'autres parcelles contiguës à celle-ci, qui forment ensemble le secteur M auquel se superpose un périmètre de protection du paysage.
B.
Par décision du 29 avril 2014, le Service cantonal du développement territorial (SDT) a levé l'opposition de A._ et approuvé le PAL. Statuant sur recours de l'opposant, la Cour administrative du Tribunal cantonal de la République et canton du Jura a, après notamment une visite des lieux, confirmé cette décision par arrêt du 2 février 2015.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt cantonal et de confirmer le classement de sa parcelle en zone d'habitation. La cour cantonale, le SDT et la Municipalité de Porrentruy concluent au rejet du recours. Consulté, l'Office fédéral du développement territorial considère que la décision du SDT et l'arrêt cantonal ne prêtent pas flanc à la critique. Le recourant renonce à répliquer et maintient ses conclusions.
Considérant en droit :
1.
Le recours est dirigé contre un arrêt final rendu en dernière instance cantonale confirmant l'adoption d'un plan d'affectation communal. Le recours est dès lors en principe recevable comme recours en matière de droit public selon les art. 82 ss LTF et 34 al. 1 LAT (RS 700), aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée. Le recourant est particulièrement touché par l'arrêt attaqué, le plan litigieux classant en zone agricole une parcelle dont il est propriétaire. Il dispose dès lors de la qualité pour recourir au sens de l'art. 89 al. 1 LTF. Les autres conditions de recevabilité sont réunies, si bien qu'il y a lieu d'entrer en matière sur le recours.
2.
Le recourant prétend que l'arrêt attaqué établit les faits de manière arbitraire.
2.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Selon l'art. 97 al. 1 LTF, la partie recourante ne peut critiquer la constatation de faits que si ceux-ci ont été établis en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte - en particulier en violation de l'interdiction constitutionnelle de l'arbitraire (ATF 140 III 264 consid. 2.3 p. 266; 137 I 58 consid. 4.1.2 p. 62; 137 III 226 consid. 4.2 p. 234) - et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause. Si le recourant entend se prévaloir de constatations de faits différentes de celles de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 97 al. 1 LTF seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui retenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (ATF 140 III 264 consid. 2.3 p. 266; 139 II 404 consid. 10.1 p. 445; 137 II 353 consid. 5.1 p. 356 et les arrêts cités).
2.2. Le recourant expose que le déclassement de sa parcelle serait une forme de compensation de l'extension de la zone à bâtir dans un autre secteur de la commune. La cour cantonale aurait à tort nié ce fait. Il ne démontre toutefois pas en quoi ce fait serait susceptible d'influer sur le sort de la cause. A supposer en effet que celui-ci soit avéré, on ne voit pas en quoi le principe même de la compensation serait contestable (cf. art. 52a al. 2 let. a OAT), en particulier si d'autres terrains se prêtent mieux à la construction, respectivement moins à l'exploitation agricole, que le secteur de la parcelle du recourant. Il est établi que la commune de Porrentruy disposait d'une zone constructible surdimensionnée, de sorte qu'il est inévitable que le nouveau plan déclasse certains terrains. Le fait que d'autres aient tout de même pu être nouvellement classés en zone à bâtir ne saurait avoir une incidence décisive sur le sort du terrain du recourant.
Le recourant affirme ensuite que la zone M "n'est pas la continuation d'une autre zone agricole". Or, le plan au dossier montre clairement que la zone agricole est continue jusqu'à la parcelle du recourant.
Enfin, le recourant tient pour arbitraire l'avis de la cour cantonale selon lequel l'affectation de la parcelle en zone agricole permettrait de préserver la vue sur le château, dès lors que le château est en hauteur et que de hauts arbres sont situés entre la parcelle et le château. Cela étant, on comprend des constatations de la cour cantonale qu'il s'agit plus d'éviter d'altérer cette vue par de nouvelles constructions que, comme l'affirme appellatoirement le recourant, d'empêcher que le château soit masqué par d'éventuelles constructions. Il n'y a donc pas de contradiction ni d'arbitraire dans les faits retenus dans l'arrêt attaqué.
3.
Le recourant se plaint d'une mauvaise application des art. 15 et 16 LAT. Il considère, d'une part, que la cour cantonale ne pouvait se référer à l'art. 15 al. 4 LAT, qui ne réglementerait que les nouveaux classements de terrains en zone à bâtir, ce qui n'est pas le cas de sa parcelle, jusqu'alors constructible. D'autre part, le recourant fait valoir une mauvaise application de l'art. 16 LAT au motif que sa parcelle ne présenterait pas les caractéristiques de la zone agricole.
3.1. L'art. 15 al. 2 LAT entré en vigueur le 1 er mai 2014 prévoit que les zones à bâtir surdimensionnées doivent être réduites. Cette exigence prévalait déjà avant l'entrée en vigueur de la nouvelle disposition (ATF 140 II 25 consid. 4.3 p. 31; 136 II 204 consid. 7 p. 211). Il importe par conséquent peu de déterminer si le nouveau droit, entré en vigueur en cours de procédure devant le Tribunal cantonal, doit s'appliquer ou non.
3.2. Selon le nouvel art. 15 al. 4 LAT auquel s'est référée la cour cantonale, "de nouveaux terrains peuvent être classés en zone à bâtir si les conditions suivantes sont réunies [...]". Littéralement, cette disposition traite effectivement des critères à prendre en considération pour de nouveaux classements en zone à bâtir et non pour l'examen du maintien d'un terrain en zone à bâtir. Il n'est toutefois pas contesté en l'espèce que la zone à bâtir de la Commune de Porrentruy était jusqu'alors surdimensionnée. Elle devait par conséquent être réduite, tant du point de vue du nouveau droit que de l'ancien droit (consid. 3.1). La législation, ancienne ou nouvelle, ne donnant pas les critères à examiner pour désigner les parcelles sujettes à déclassement, il se justifie de prendre en compte les critères généraux permettant de définir une zone à bâtir. Les critères du nouvel art. 15 al. 4 LAT, qui décrit les terrains se prêtant à une affectation en zone constructible, en font bien entendu partie. Aussi, la cour cantonale n'a-t-elle pas violé le droit fédéral en s'y référant dans le cadre de l'examen du maintien de la parcelle litigieuse en zone à bâtir.
Quant à l'art. 16 LAT, il n'est pas en contradiction avec la présente situation. Ainsi qu'on l'a vu, et contrairement à ce que soutient le recourant, sa parcelle et le secteur concerné jouxtent la zone agricole de manière continue. Le recourant ne fait valoir aucun obstacle concret à une exploitation agricole de son terrain. Sa critique, purement appellatoire, doit ainsi être rejetée.
4.
Le recourant expose encore que l'affectation de son terrain en zone agricole ne répond à aucun intérêt public et est disproportionnée. Il ne motive toutefois pas ces griefs, de sorte qu'ils sont irrecevables (art. 106 al. 2 LTF).
5.
Il résulte de ce qui précède que le recours doit être rejeté dans la mesure de sa recevabilité, aux frais de son auteur, qui succombe (art. 66 al. 1 LTF). La commune, qui obtient gain de cause dans l'exercice de ses attributions officielles, n'a pas droit à des dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux mandataires du recourant et de la Commune de Porrentruy, au Service du développement territorial de la République et canton du Jura, au Tribunal cantonal de la République et canton du Jura, Cour administrative, et à l'Office fédéral du développement territorial.
Lausanne, le 10 février 2016
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Fonjallaz
La Greffière : Sidi-Ali