Faits : A. Depuis le 25 juin 1990, A._ est propriétaire de la parcelle n° 361 du registre foncier de la commune de La Baroche, dans la localité de Charmoille. Ce bien-fonds de 4'448 m 2 était sis pour 3'250 m 2en zone à bâtir et pour 1'198 m 2en zone agricole, selon le plan d'aménagement local de 1987 (ci-après: le PAL de 1987). Le 19 janvier 2011, l'assemblée communale de La Baroche a adopté un nouveau plan d'aménagement local, lequel avait été mis à l'enquête publique du 25 mars au 13 avril 2010. Le Service de l'aménagement du territoire du canton du Jura l'a approuvé le 7 juin 2011. Par courrier du 11 juin 2012, le Bureau technique B._ a informé A._ du dépôt public des nouveaux plans de la mensuration officielle de la commune de La Baroche (ci-après: la commune). Consultant les plans en question, le prénommé a constaté que sa parcelle était désormais classée entièrement en zone agricole. Il a de ce fait demandé des explications aux autorités communales par lettre du 6 juillet 2012 et fait valoir une demande d'indemnisation dans le cas où son terrain ne serait pas à nouveau affecté à la zone constructible. S'en est suivi un échange de correspondance qui n'a pas permis aux parties de trouver un terrain d'entente. Le 16 avril 2013, A._ a déposé devant la Juge administrative du Tribunal de première instance une action de droit administratif à l'encontre de la commune de La Baroche, concluant à ce que celle-ci soit condamnée à lui payer la somme de 252'590 francs (avec intérêts à 5 % dès le 7 juin 2011), à titre d'indemnité pour l'expropriation matérielle subie lors de l'adoption du nouveau plan d'aménagement local. La Juge administrative a procédé à une première audience suivie d'une inspection locale le 6 novembre 2013 puis à une seconde audience le 25 février 2014 avec notamment les auditions d'un membre du bureau C._ - mandaté par la commune pour l'élaboration technique du PAL - et du Chef du Service du département territorial du canton du Jura. Par décision du 3 mars 2014, la Juge administrative a rejeté la demande, a mis les frais de procédure à charge de la commune et a alloué à A._ une indemnité de dépens de 4'000 francs. Elle a considéré en substance que l'attribution de la parcelle litigieuse de la zone à bâtir à la zone agricole correspondait à un refus de classement et non à un déclassement, ce qui ne donnait pas droit à une indemnisation. Par arrêt du 17 mars 2015, la Cour administrative du Tribunal cantonal du canton du Jura (ci-après: le Tribunal cantonal) a rejeté le recours déposé par A._ contre cette décision. Elle a notamment jugé que la mesure litigieuse constituait bien un refus de classement en zone à bâtir et non un déclassement. B. Agissant par la voie du recours en matière de droit public, A._ demande principalement au Tribunal fédéral de réformer l'arrêt du 17 mars 2015, en ce sens que la commune est condamnée à lui verser 155'090 francs (avec intérêts à 5% dès le 7 juin 2011), à titre d'indemnité pour expropriation matérielle de sa parcelle. Il conclut à titre subsidiaire à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'instance précédente pour nouvelle décision au sens des considérants. Invités à se déterminer, le Tribunal cantonal et l'Office fédéral du développement territorial concluent au rejet du recours et la commune à son irrecevabilité. Les parties ont maintenu leurs positions à l'issue d'un second échange d'écritures.