Faits :
A.
Depuis le 25 juin 1990, A._ est propriétaire de la parcelle n° 361 du registre foncier de la commune de La Baroche, dans la localité de Charmoille. Ce bien-fonds de 4'448 m 2 était sis pour 3'250 m 2en zone à bâtir et pour 1'198 m 2en zone agricole, selon le plan d'aménagement local de 1987 (ci-après: le PAL de 1987).
Le 19 janvier 2011, l'assemblée communale de La Baroche a adopté un nouveau plan d'aménagement local, lequel avait été mis à l'enquête publique du 25 mars au 13 avril 2010. Le Service de l'aménagement du territoire du canton du Jura l'a approuvé le 7 juin 2011.
Par courrier du 11 juin 2012, le Bureau technique B._ a informé A._ du dépôt public des nouveaux plans de la mensuration officielle de la commune de La Baroche (ci-après: la commune). Consultant les plans en question, le prénommé a constaté que sa parcelle était désormais classée entièrement en zone agricole. Il a de ce fait demandé des explications aux autorités communales par lettre du 6 juillet 2012 et fait valoir une demande d'indemnisation dans le cas où son terrain ne serait pas à nouveau affecté à la zone constructible. S'en est suivi un échange de correspondance qui n'a pas permis aux parties de trouver un terrain d'entente.
Le 16 avril 2013, A._ a déposé devant la Juge administrative du Tribunal de première instance une action de droit administratif à l'encontre de la commune de La Baroche, concluant à ce que celle-ci soit condamnée à lui payer la somme de 252'590 francs (avec intérêts à 5 % dès le 7 juin 2011), à titre d'indemnité pour l'expropriation matérielle subie lors de l'adoption du nouveau plan d'aménagement local. La Juge administrative a procédé à une première audience suivie d'une inspection locale le 6 novembre 2013 puis à une seconde audience le 25 février 2014 avec notamment les auditions d'un membre du bureau C._ - mandaté par la commune pour l'élaboration technique du PAL - et du Chef du Service du département territorial du canton du Jura. Par décision du 3 mars 2014, la Juge administrative a rejeté la demande, a mis les frais de procédure à charge de la commune et a alloué à A._ une indemnité de dépens de 4'000 francs. Elle a considéré en substance que l'attribution de la parcelle litigieuse de la zone à bâtir à la zone agricole correspondait à un refus de classement et non à un déclassement, ce qui ne donnait pas droit à une indemnisation.
Par arrêt du 17 mars 2015, la Cour administrative du Tribunal cantonal du canton du Jura (ci-après: le Tribunal cantonal) a rejeté le recours déposé par A._ contre cette décision. Elle a notamment jugé que la mesure litigieuse constituait bien un refus de classement en zone à bâtir et non un déclassement.
B.
Agissant par la voie du recours en matière de droit public, A._ demande principalement au Tribunal fédéral de réformer l'arrêt du 17 mars 2015, en ce sens que la commune est condamnée à lui verser 155'090 francs (avec intérêts à 5% dès le 7 juin 2011), à titre d'indemnité pour expropriation matérielle de sa parcelle. Il conclut à titre subsidiaire à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'instance précédente pour nouvelle décision au sens des considérants.
Invités à se déterminer, le Tribunal cantonal et l'Office fédéral du développement territorial concluent au rejet du recours et la commune à son irrecevabilité. Les parties ont maintenu leurs positions à l'issue d'un second échange d'écritures.

Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine d'une demande d'indemnisation pour expropriation matérielle (<ref-law>), le recours est en principe recevable comme recours en matière de droit public selon les <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Le recourant a pris part à la procédure de recours devant le Tribunal cantonal (<ref-law>). Il est particulièrement touché par l'arrêt attaqué qui confirme le rejet de sa demande d'indemnisation pour expropriation matérielle. Il a dès lors qualité pour agir au sens de l'<ref-law>. Les autres conditions de recevabilité sont par ailleurs réunies, si bien qu'il y a lieu d'entrer en matière sur le fond.
Toutefois, dans la mesure où le recourant critique la décision du Tribunal de première instance du 3 mars 2014, son recours est irrecevable en raison de l'effet dévolutif complet du recours déposé auprès du Tribunal cantonal (cf. <ref-ruling> consid. 1.2 p. 104).
2.
Dans la première partie de son écriture, le recourant présente son propre descriptif des faits. Dans la suite de son mémoire, il allègue aussi des faits que le Tribunal cantonal n'a pas retenus. Or, le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer la constatation de faits qui importent pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (<ref-law>), en particulier en violation de l'interdiction constitutionnelle de l'arbitraire (<ref-law>; <ref-ruling> consid. 4.1.2 p. 62; Message concernant la révision totale de l'organisation judiciaire fédérale du 28 février 2001, FF 2001 p. 4135), ce qu'il lui appartient de démontrer par une argumentation répondant aux exigences de l'<ref-law>, respectivement de l'<ref-law>.
En l'espèce, le recours ne comporte aucune démonstration du caractère arbitraire de l'état de fait de la décision attaquée, de sorte qu'il n'y a pas lieu de prendre en considération d'autres faits que ceux retenus dans ladite décision.
3.
Le recourant se plaint d'abord d'une violation de la garantie de la propriété (art. 26 al. 2 Cst.) et d'une application arbitraire de l'art. 102 de la loi cantonale sur les constructions et l'aménagement du territoire du 25 juin 1987 (LCAT; RSJ 701.1). Ces griefs se confondent et seront examinés ensemble.
3.1. A teneur de l'art. 102 al. 1 LCAT, les restrictions à la propriété, telle que l'incorporation permanente d'un bien-fonds dans une zone d'utilité publique, une zone verte ou une zone à protéger, fondent le droit à indemnisation du propriétaire concerné, lorsqu'elles équivalent, par leurs effets, à une expropriation. L'alinéa 2 précise que l'indemnité est due par la collectivité qui a décidé les restrictions.
Selon la jurisprudence, il y a expropriation matérielle au sens de l'art. 26 al. 2 Cst. et de l'art. 5 al. 2 LAT lorsque l'usage actuel d'une chose ou son usage futur prévisible est interdit ou restreint de manière particulièrement grave, de sorte que l'intéressé se trouve privé d'un attribut essentiel de son droit de propriété. Une atteinte de moindre importance peut aussi constituer une expropriation matérielle si elle frappe un ou plusieurs propriétaires de manière telle qu'ils devraient supporter un sacrifice trop considérable, incompatible avec le principe de l'égalité de traitement (<ref-ruling> consid. 2.1 p. 155; <ref-ruling> consid. 3a p. 433 et les arrêts cités).
A propos de l'expropriation matérielle, la jurisprudence distingue généralement deux hypothèses: d'une part le refus de classement en zone à bâtir ("non-classement", " Nichteinzonung ") et d'autre part le déclassement (" Auszonung ").
On parle de déclassement lorsqu'un bien-fonds classé dans une zone à bâtir est frappé d'une interdiction de construire (cf. ATF <ref-ruling> consid. 3b p. 433; <ref-ruling> consid. 4c p. 330 et les arrêts cités). Cela présuppose toutefois qu'au moment de l'entrée en force de la mesure de planification qui produirait l'effet d'une expropriation matérielle, la parcelle en question se trouvait comprise dans une zone à bâtir édictée conformément aux prescriptions de la législation fédérale en matière d'aménagement du territoire (ATF <ref-ruling> consid. 4b p. 329 s.; <ref-ruling> consid. 2c p. 41 s.; <ref-ruling> consid. 3 p. 6 s.). Il y a en revanche refus de classement lorsque la modification d'un plan d'affectation, qui a pour effet de sortir une parcelle de la zone à bâtir où elle se trouvait auparavant, intervient pour adapter ce plan aux exigences de la LAT, entrée en vigueur en 1980 - et partant pour mettre en oeuvre les principes du droit constitutionnel en matière de droit foncier - (<ref-ruling> consid. 2.6 p. 161). Tel est le cas de la décision par laquelle l'autorité de planification, édictant pour la première fois un plan d'affectation conforme aux exigences constitutionnelles et légales, ne range pas un bien-fonds déterminé dans la zone à bâtir et cela même si ce terrain était constructible selon la réglementation antérieure (ATF <ref-ruling> consid. 3b p. 433; <ref-ruling> consid. 4c p. 330; <ref-ruling> consid. 2a p. 128, consid. 2d p. 129 s. et les arrêts cités).
Cela ne vaut pas seulement pour la révision des plans d'affectation adoptés avant l'entrée en vigueur de la LAT (1 er janvier 1980), mais aussi pour l'adaptation des plans de zones, entrés en vigueur sous l'empire de la LAT, mais qui, matériellement, ne respectent pas en tout point les principes de planification du droit fédéral (arrêt 1C_573/2011 du 30 août 2013 consid. 2.2 in ZBl 2015 p. 201; 1A.8/2002 du 8 juillet 2002 consid. 3.3; ATF <ref-ruling> consid. 5c p. 332).
3.2. Selon l'art. 15 LAT dans sa teneur en vigueur jusqu'au 30 avril 2014, les zones à bâtir comprennent les terrains propres à la construction qui sont déjà largement bâtis (let. a) ou seront probablement nécessaires à la construction dans les quinze ans à venir et seront équipés dans ce laps de temps (let. b).
Un plan d'affectation correspond aux exigences matérielles de la LAT, notamment lorsqu'il procède à la délimitation entre les terrains constructibles et les terrains non constructibles selon les critères des art. 15 et 1 al. 3 LAT. Si tel est le cas, les redimensionnements futurs sont en principe qualifiés de déclassement et non pas de refus de classement, en particulier lorsque la zone à bâtir a été correctement mesurée, mais que le dimensionnement ne s'est révélé qu'a posteriori trop important, en raison du développement démographique et des nouvelles possibilités de densification et de réaffectation par exemple (<ref-ruling> consid. 2.3 p. 732 et les références citées).
3.3. En l'occurrence, le Tribunal cantonal a considéré que la zone à bâtir n'avait pas été correctement appréciée lors de l'adoption du PAL de 1987 et avait été largement surdimensionnée; la zone à bâtir telle que prévue par le PAL de 1987 ne correspondait pas aux exigences matérielles de l'art. 15 LAT, dans la mesure où la clause du besoin pour les 15 années à venir n'était pas respectée. L'instance précédente en a ensuite déduit que l'affectation de la parcelle litigieuse à la zone agricole constituait un refus de classement.
Pour arriver à cette conclusion, l'instance précédente s'est fondée sur différents éléments. Elle a d'abord cité le rapport de synthèse de janvier 2011 établi par le bureau C._, mandaté par la commune pour élaborer le PAL: il en ressort que selon le PAL de 1987, la capacité de la zone à bâtir était de 19 parcelles, que les réserves disponibles devaient alors couvrir largement les besoins estimés, d'autant plus que la population était stable depuis plusieurs années. Le Tribunal cantonal a estimé que cette projection de la construction de 19 maisons familiales ne constituait pas un scénario réaliste, vu la tendance à la diminution de la population entre 1980 et 1987 à Charmoille (de 435 habitants en 1980 à 424 habitants en 1987). La cour cantonale a ensuite exposé que depuis lors la population de Charmoille avait fortement décru (352 habitants en 2006) et que seuls 7 logements avaient été construits. Elle a à nouveau cité le rapport de synthèse de janvier 2011, lequel mentionne que selon la tendance des 15 dernières années, la réserve actuelle en zone à bâtir est encore suffisante, même en prévoyant une augmentation de la population de 50 à 70 habitants. Elle a aussi mentionné que de l'aveu même des autorités communales, lors de l'élaboration du plan de zones de 1987 "des terrains avaient été mis en zone sans réfléchir (...) dans des zones de verger".
Le Tribunal cantonal s'est enfin référé à l'étude "Eclairages sur les zones à bâtir destinées à l'habitat" éditée en juillet 2009 par le Service cantonal de l'aménagement du territoire: il en ressort que les réserves de terrains libres dans la microrégion Baroche apparaissent comme manifestement surdimensionnées et qu'il conviendrait de déclasser les terrains non encore équipés situés en marge du tissu bâti, de manière à diminuer les réserves inutiles.
3.4. Le recourant ne répond pas véritablement à l'argumentation de l'instance précédente. Il se contente d'affirmer que la planification de 1987, postérieure à l'entrée en vigueur de la LAT, satisfaisait aux objectifs de planification de la LAT dans la mesure où elle procédait à une délimitation entre les zones à bâtir et les zones non constructibles. Il insiste sur le fait qu'avant d'être adopté, le PAL de 1987 avait été soumis à tous les services cantonaux compétents qui avaient contrôlé sa conformité au droit fédéral et cantonal en particulier à la LAT. Il affirme encore que "le seul prétendu surdimensionnement de la zone à bâtir ne saurait constituer une raison valable et suffisante pour conclure à un refus de classement". Partant, il ne dément pas les arguments de l'instance précédente, à savoir que la population de Charmoille avait déjà diminué entre 1980 et 1987 et que dès lors le surdimensionnement de la zone à bâtir ne s'était pas révélé a posteriori mais que le besoin en zone à bâtir pour les 15 années à venir avait été mal évalué par le PAL de 1987.
Le recourant soutient aussi que le PAL de 2011 a fortement agrandi la zone à bâtir, ce qui prouverait que l'ancien PAL était conforme à la LAT. Il relève que le PAL de 2011 a mis environ 21'000 m 2en zone à bâtir (11'425 m 2 de mise en zone à bâtir et 10'509 m 2 de mise en conformité avec l'utilisation du sol actuelle) : il prétend que les terrains "mis en conformité" sont des terrains mis en zone à bâtir, sous une appellation différente. Le recourant perd toutefois de vue que la cour cantonale a retenu à cet égard que lors de l'élaboration du PAL 2011, la zone à bâtir n'avait pas été étendue, mais compensée. Si le PAL de 2011 a mis en conformité par rapport à l'utilisation actuelle du sol une surface de 10'509 m 2et placé une nouvelle surface de 11'425 m 2en zone à bâtir, il a affecté une surface de 11'838 m 2 de la zone constructible à la zone agricole. En d'autres termes, le PAL de 1987 avait affecté une surface de 22'347 m 2en zone à bâtir (10'509 m 2 + 11'838 m 2) alors que le PAL de 2011 a placé 21'934 m 2en zone à bâtir, dont une nouvelle surface de 11'425 m 2en zone à bâtir et une surface de 10'509 m 2 de mise en conformité. Il n'y a donc pas eu d'extension de la zone à bâtir avec le PAL de 2011, contrairement à ce que prétend le recourant. Cela correspond d'ailleurs à ce qu'avait relevé le Service cantonal de l'aménagement du territoire dans son rapport d'opportunité du 4 février 2008, selon lequel l'enjeu principal de la révision du PAL portait sur le découpage de la zone à bâtir, en réalisant des échanges (passage de la zone agricole à la zone à bâtir et inversement), afin que les terrains en zone constructible soient réellement disponibles. Mal fondé, le grief doit être écarté.
En définitive, le recourant ne parvient pas à démontrer que le Tribunal cantonal a violé le droit fédéral lorsqu'il a qualifié l'affectation de la parcelle litigieuse en zone agricole de refus de classement, au motif que la zone à bâtir du PAL de 1987 n'était pas conforme aux exigences matérielles de la LAT dans la mesure où elle dépassait la clause du besoin pour les 15 ans à venir.
3.5. Il reste à examiner si ce refus de classement représente un cas d'expropriation matérielle donnant droit à une indemnisation.
3.5.1. En principe, un refus de classement ne peut pas fonder le droit à une indemnité pour expropriation matérielle. La jurisprudence reconnaît toutefois des exceptions à ce principe, quand le terrain litigieux est prêt à la construction - ou à tout le moins quand il est déjà raccordé aux installations de l'équipement général -, lorsqu'il se situe à l'intérieur du périmètre du plan directeur des égouts et lorsque son propriétaire a déjà engagé des frais importants pour l'équipement ou la construction; pour qu'une indemnité puisse entrer en considération, il faut en règle générale que ces conditions soient toutes remplies. La jurisprudence retient encore d'autres hypothèses où il faudrait accorder un caractère prépondérant à la protection de la bonne foi du propriétaire concerné et, pour ce motif, considérer que son terrain aurait dû être classé en zone à bâtir, notamment parce qu'il se trouvait dans un secteur largement bâti (<ref-ruling> consid. 2.2 p. 220 s.; <ref-ruling> consid. 4a p. 434).
3.5.2. Le jour déterminant pour savoir si l'on se trouve en présence d'une expropriation matérielle est l'entrée en vigueur du nouveau plan de zones (<ref-ruling> consid. 2.4 p. 222), soit en l'espèce début 2012 (les procédures de recours introduites contre le PAL de 2011 se sont achevées en décembre 2011).
Il y a d'abord lieu d'examiner si le terrain litigieux est prêt à la construction - ou à tout le moins s'il est déjà raccordé aux installations de l'équipement général. Il ressort de l'arrêt cantonal que la parcelle litigieuse n'est pas équipée et que "le fait que les infrastructures d'eau, d'électricité, etc. passent dans la route ne signifie pas encore que la parcelle est équipée". A nouveau, le recourant ne répond pas à l'argumentation de la cour cantonale. Il se contente d'affirmer, comme s'il plaidait devant une cour d'appel, que la parcelle n° 361 est équipée au sens de l'art. 19 LAT, dans la mesure où un terrain est réputé équipé lorsqu'il est possible de se raccorder sans frais disproportionnés aux conduites pour l'alimentation en eau et en énergie ainsi que pour l'évacuation des eaux usées. Il fait aussi valoir qu'il n'a pas besoin d'aménager un accès à sa parcelle dans la mesure où une route la longe sur plusieurs dizaines de mètres. Partant, il ne démontre pas que le bien-fonds litigieux est déjà raccordé aux installations de l'équipement général, au sens de la jurisprudence précitée. Il ne prétend pas non plus avoir fait d'autres démarches pour équiper sa parcelle, excepté une demande en 1997 pour l'eau potable qu'il avait abandonnée pour des raisons familiales.
Il s'agit ensuite de prendre en compte les frais importants consentis par le propriétaire. Les investissements qui peuvent être pris en considération à cet égard sont ceux qui ont effectivement servi à améliorer l'équipement du terrain, afin de préparer objectivement et concrètement la réalisation des constructions; les coûts d'acquisition du terrain, de même que d'autres frais engagés au moment où il existe encore objectivement un risque que la construction ne se réalise pas, ne sauraient être invoqués dans ce cadre (cf. ATF <ref-ruling> consid. 5b p. 437). En l'espèce, le propriétaire n'expose pas avoir engagé de frais importants pour l'équipement ou la construction sur ce bien-fonds, qui a toujours été utilisé comme verger. Il se contente de produire des esquisses de plans de maison. Or de simples esquisses - non datées et élaborées par ses soins sur du papier quadrillé - ne sauraient être considérées comme un investissement. Il en va de même des offres de rachat de la parcelle qu'il a reçues. Pour le reste, le recourant se borne à rappeler que sa parcelle a toujours été taxée sur la base d'une surface constructible, ce qui ne peut être considéré comme une dépense importante au sens de la jurisprudence.
Dans ces circonstances, le Tribunal cantonal peut être suivi lorsqu'il retient que le recourant n'avait aucunement l'intention de construire à brève échéance, à défaut de quoi il se serait rendu compte plus tôt du changement d'affectation de sa parcelle.
Deux des conditions cumulatives fondant le droit à une indemnité pour expropriation matérielle font donc défaut. Mal fondé, le grief doit être écarté.
4.
Le recourant estime encore avoir été victime d'une inégalité de traitement "puisqu'il a été le seul propriétaire à se voir imposer, contre sa volonté, un dézonage de sa parcelle, sans compensation financière". Il se plaint d'une violation de l'art. 8 Cst.
4.1. Une décision viole le droit à l'égalité de traitement (art. 8 Cst.) lorsqu'elle établit des distinctions juridiques qui ne se justifient par aucun motif raisonnable au regard de la situation de fait à réglementer ou lorsqu'elle omet de faire des distinctions qui s'imposent au vu des circonstances (<ref-ruling> consid. 3.4.2 p. 114; <ref-ruling> consid. 5.1 p. 125 et les arrêts cités). Ce principe n'a qu'une portée réduite dans l'élaboration des plans d'affectation. Il est en effet dans la nature même de l'aménagement local que la délimitation des zones créent des inégalités et que des terrains de mêmes situation et nature puissent être traités différemment en ce qui concerne tant leur attribution à une zone déterminée que leur possibilité d'utilisation. Du point de vue constitutionnel, il suffit que la planification soit objectivement soutenable, c'est-à-dire qu'elle ne soit pas arbitraire (arrêt 1C_76/2011 du 29 juillet 2011 consid. 4.1 in SJ 2012 p. 77; <ref-ruling> consid. 6e/bb p. 249 et les arrêts cités).
Une décision est arbitraire au sens de l'art. 9 Cst. lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou encore heurte de manière choquante le sentiment de la justice et de l'équité. Il ne suffit pas que sa motivation soit insoutenable; encore faut-il que la décision apparaisse arbitraire dans son résultat. A cet égard, le Tribunal fédéral ne s'écarte de la solution retenue que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motif objectif et en violation d'un droit certain. Il n'y a pas arbitraire du seul fait qu'une autre solution paraît également concevable, voire même préférable (<ref-ruling> consid. 6.1 p. 379 s). Dans ce contexte, le recourant est soumis aux exigences accrues de motivation de l'<ref-law>.
Le Tribunal fédéral fait preuve de retenue dans l'appréciation des circonstances locales. Dans ce domaine, les autorités locales disposent en effet d'un large pouvoir d'appréciation (cf. <ref-ruling> consid. 4.3 p. 416 et les références; arrêt 1P.678/2004 du 21 juin 2005 consid. 4, in ZBl 2006 p. 430). Tel est notamment le cas lorsque le litige porte sur la délimitation des zones d'affectation (<ref-ruling> consid. 4b/ba p. 448 et les arrêts cités).
4.2. En l'occurrence, le Tribunal cantonal a considéré que l'attribution de la parcelle du recourant à la zone non constructible apparaissait raisonnable vu sa localisation à l'extérieur du noyau bâti; elle a ajouté que, en raison de nombreux arbres fruitiers se trouvant sur cette parcelle, elle avait été colloquée en zone de protection des vergers.
Le recourant fait valoir au contraire que le bien-fonds litigieux est bordé par un cimetière, se trouve à proximité de l'église, fait face à une habitation et est longé par une route qui conduit à plusieurs maisons d'habitation. Cette argumentation, qui relève d'une appréciation subjective des lieux, ne suffit cependant pas à démontrer le caractère manifestement insoutenable de celle du Tribunal cantonal, qui est défendable, ce d'autant moins que le Tribunal de céans s'impose une retenue dans l'appréciation de circonstances locales.
Pour le surplus, le recourant ne démontre pas que les cas particuliers dont il se prévaut présenteraient les mêmes caractéristiques cumulées d'absence d'équipement, d'existence d'un verger sur la parcelle et de la localisation à l'extérieur du tissu bâti, éléments pourtant déterminants en l'espèce. Dénué de fondement, le recours doit dès lors être rejeté sur ce point également.
5.
Dans un dernier grief, le recourant conteste la répartition des frais devant la Juge administrative et devant le Tribunal cantonal. Il se plaint d'une application arbitraire de l'art. 38 al. 1 de la loi cantonale sur l'expropriation du 26 octobre 1978 (LEx/JU; RSJ 711).
5.1. L'art. 38 LEx/JU prévoit qu'en règle générale, l'expropriant supporte les frais de la procédure lors de l'attribution d'un droit d'expropriation, de la fixation des limites du devoir de cession et de l'exécution de l'expropriation; des frais d'intervention peuvent être alloués à l'exproprié dans une mesure convenable. L'alinéa 2 précise que dans la procédure de fixation de l'indemnité due par l'expropriant, ce dernier supporte en règle générale les frais de la procédure et les frais de partie de l'exproprié; en cas de conduite téméraire du procès, notamment lorsque l'exproprié a réclamé sensiblement plus que ce qui lui était offert à l'amiable ou que ce qui lui a été alloué par le juge administratif, les frais des parties et les frais de la procédure peuvent être répartis différemment.
A teneur de l'art. 230 al. 1 de la loi de procédure et de juridiction administrative et constitutionnelle du 30 novembre 1978 (CPA/JU; RSJ 175.1), il n'est pas alloué de dépens aux collectivités et organismes publics, ni aux personnes privées chargées de tâches publiques qui ont obtenu gain de cause. L'alinéa 2 prévoit que cette règle ne s'applique pas à l'action de droit administratif: exception peut en outre lui être faite lorsque ces collectivités et ces organismes ont dû faire appel à des experts ou mandataires extérieurs et qu'il en est résulté des frais élevés ou que d'autres circonstances particulières le justifient, notamment la complexité en fait ou en droit de l'affaire, le fait que la partie adverse était assistée d'un mandataire professionnel ou lorsque l'équité l'exige.
Appelé à revoir l'application faite d'une norme cantonale sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue que si celle-ci apparaît insoutenable ou en contradiction manifeste avec la situation effective, ou encore si elle a été adoptée sans motifs objectifs et en violation d'un droit certain (<ref-ruling> consid. 4.4 p. 319; voir supra consid. 4.1). Dans ce contexte, le recourant est soumis aux exigences accrues de motivation de l'<ref-law>.
5.2. En l'espèce, appliquant l'art. 38 al. 2 LEx/JU, la Juge administrative a mis les frais de procédure à charge de la commune et a alloué une participation aux dépens du recourant de 4'000 francs. Elle a estimé que les prétentions du recourant - se fondant sur un prix du terrain à bâtir de 80 francs le m 2 - étaient excessives par rapport au prix des derniers terrains vendus à Charmoille, soit 50 francs le m 2 viabilisé, alors que son terrain n'était pas équipé. Le Tribunal cantonal a jugé que ce raisonnement ne prêtait pas le flanc à la critique et qu'il n'y avait pas lieu de revoir la répartition des frais et des dépens de première instance. Sur un plan strictement juridique, cette appréciation est certes discutable, puisqu'une disposition telle que l'art. 38 al. 2 LEx/JU ne s'applique en principe pas lorsque les prétentions du requérant sont entièrement rejetées au motif que l'on ne se trouve pas en présence d'un cas d'expropriation matérielle; dans une telle situation, s'applique en effet uniquement le principe selon lequel celui qui succombe supporte les frais de la procédure (cf. MÜLLER/STUDER, Bernisches Verwaltungsrecht, 2 ème édition 2013, n. 147; arrêt A 297/1982 du 20 décembre 1982 consid. 5). Le recourant ne peut cependant rien en déduire puisque l'exclusion de l'art. 38 al. 2 LEx/JU dans la présente cause aurait dû conduire la Juge administrative à mettre à sa charge les frais et dépens de première instance. Mal fondé, le grief dirigé contre la répartition des frais de première instance doit donc être rejeté.
Quant aux frais de la procédure de deuxième instance, le Tribunal cantonal a estimé que le recours cantonal était téméraire, dans la mesure où la décision de la Juge administrative expliquait de manière circonstanciée les raisons pour lesquelles le non-classement de la parcelle du recourant ne constituait pas un cas d'expropriation matérielle donnant droit à une indemnité, au terme d'une administration de preuve conséquente comprenant notamment deux audiences et une inspection locale. Il a mis les frais judiciaires de 3'500 francs à charge du recourant et l'a condamné à verser une indemnité de dépens de 7'850 francs à la commune, correspondant à environ 25 heures de travail, soit 2'334 francs de moins que ce qu'elle avait réclamé. Il a appliqué l'art. 230 al. 2 CPA/JU, jugeant que la cause était complexe et que la commune avait dû faire appel à un mandataire extérieur. Le recourant reproche uniquement à l'instance précédente d'avoir qualifié son recours de téméraire. Il n'expose pas en quoi l'art. 230 al. 2 CPA/JU aurait été appliqué de manière arbitraire. Faute de satisfaire aux exigences accrues de motivation de l'<ref-law>, ce grief est irrecevable.
6.
Il s'ensuit que le recours est rejeté, dans la mesure de sa recevabilité.
Le recourant, qui succombe, doit supporter les frais judiciaires de la présente procédure (<ref-law>). La commune de La Baroche n'a en revanche pas droit à des dépens puisqu'elle obtient gain de cause dans l'exercice de ses attributions officielles (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure de sa recevabilité.
2.
Les frais judiciaires, arrêtés à 5'000 francs, sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux mandataires du recourant et de la commune de La Baroche, au Tribunal cantonal du canton du Jura, Cour administrative, et à l'Office fédéral du développement territorial.
Lausanne, le 7 mars 2016
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Fonjallaz
La Greffière : Tornay Schaller