Faits :
A.
Le 16 octobre 2012, le Conseil communal de Pleigne a adopté le plan spécial "La Gassatte" qui prévoit notamment la construction d'habitations comprenant un total de neuf logements au minimum. Par décision du 17 mai 2013, le Service de l'aménagement du territoire du canton du Jura l'a approuvé, rejetant l'opposition de différents voisins, dont A._ et B._.
Se plaignant en particulier de la desserte de ce plan, A._ et B._ ont porté leur cause devant la Cour administrative du Tribunal cantonal du canton du Jura. Statuant par arrêt du 2 avril 2014, celle-ci a rejeté le recours, avec suite de frais à la charge de A._, de B._ et d'un autre voisin dont le recours a aussi été rejeté.
B.
Agissant par la voie du recours en matière de droit public, A._ et B._ demandent au Tribunal fédéral d'annuler la décision de la Cour administrative du 2 avril 2014 ainsi que celle d'approbation du 17 mai 2013: ils sollicitent du Tribunal fédéral de modifier le plan spécial "La Gassatte" en prévoyant un accès par le Chemin nord-ouest ou nord-est du quartier, le tout sous suite de frais et dépens. A titre subsidiaire, ils concluent au renvoi de la cause à l'instance inférieure, toujours sous suite de frais et dépens.
Le Service de l'aménagement du territoire (devenu depuis lors la Section de l'aménagement du territoire du Service du développement territorial) conclut au rejet du recours. Il expose que la desserte planifiée est jugée optimale tant du point de vue technique que du point de vue économique. De même, la Cour administrative conclut au rejet du recours, insistant sur certains motifs de son arrêt. La Commune ne s'est pas exprimée.
Les recourants ont répliqué, persistant dans les termes de leurs précédentes écritures.

Considérant en droit :
1.
L'arrêt attaqué est une décision finale (art. 90 LTF) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public de l'aménagement du territoire (art. 82 let. a LTF). Le recours est ainsi en principe recevable comme recours en matière de droit public selon les art. 82 ss LTF, aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée.
Les recourants ont pris part à la procédure devant l'autorité précédente. Ils évoquent des difficultés dans l'exploitation de leur ferme en raison de la desserte choisie; l'un des deux est propriétaire de deux parcelles, respectivement incluse ou limitrophe du plan spécial "La Gassatte": ils sont ainsi particulièrement atteints par l'adoption du plan spécial précité et disposent d'un intérêt digne de protection à la modification de celui-ci. Leur qualité pour recourir est donc donnée (art. 89 al. 1 LTF).
2.
Comme unique grief, les recourants se plaignent de l'établissement manifestement inexact des faits en relation avec la desserte du plan spécial.
2.1. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF) en se fondant sur les faits établis par l'autorité précédente (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 2.4 p. 314) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF; <ref-ruling> consid 5.2.2 p. 322 s.). A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 5.1 p. 356 et les arrêts cités).
Lorsqu'il s'agit de tenir compte de circonstances locales ou de trancher de pures questions d'appréciation, le Tribunal fédéral s'impose une certaine retenue (<ref-ruling> consid. 6.1 p. 181).
2.2. Dans la décision querellée, la cour cantonale a retenu que le nouveau plan spécial serait desservi par le chemin existant, qui est actuellement privé: celui-ci se trouve idéalement placé au centre des différentes parcelles concernées; il sera élargi et ainsi à même d'accueillir le trafic généré par les habitations prévues; devenant un chemin public, son entretien sera assuré par la Commune; sur le plan économique, il s'agit de la variante la moins onéreuse; l'aménagement d'une voie d'accès par l'est, sur le simple chemin herbeux existant, impliquerait en particulier un investissement disproportionné.
S'agissant de l'accès à la parcelle n° 225 propriété du recourant A._, la cour cantonale a concédé que la voie de circulation aurait une largeur inférieure à 4,5 mètres sur une vingtaine de mètres, ce qui demeurait conforme aux règles en la matière; en outre, la légère courbure de l'accès à cet endroit, combinée avec la réduction de largeur, aurait pour effet de réduire la vitesse des véhicules et constituerait une modération du trafic; de la sorte, on ne pouvait qualifier cette voie d'accès de dangereuse.
La cour cantonale a également pris en considération le fait que le recourant A._, qui ne dispose plus de permis de conduire, utilise aujourd'hui le chemin actuellement privé pour exploiter sa ferme avec son beau-fils, le recourant B._. Elle a toutefois considéré que son avenir économique n'était pas en péril s'il n'était plus autorisé à emprunter ce chemin puisqu'il bénéficiait déjà de la retraite; de surcroît, on pouvait douter que, au vu de la situation actuelle, le chemin, certes privé mais ouvert à un cercle indéterminé d'utilisateurs ne fût pas soumis à la LCR.
2.3. Dans un style essentiellement appellatoire, les recourants remettent en cause les constatations de fait précitées.
2.3.1. Ils prétendent que la voie d'accès prévue comporterait deux points de danger particuliers: l'un aurait été pris en compte par la cour cantonale (accès à la parcelle n° 225, qui comporterait un "virage sec sur la droite") et l'autre aurait été ignoré des autorités (carrefour, au milieu du village, entre la route principale et la voie d'accès au lotissement). Sur le premier point, la cour cantonale a retenu que la configuration des lieux réduisait suffisamment les dangers dénoncés par les recourants: cette argumentation n'est plus critiquée devant le Tribunal fédéral. Sur le second point, les recourants n'exposent pas en quoi les juges précédents seraient tombés dans l'arbitraire en ne retenant pas le carrefour incriminé comme endroit susceptible d'être dangereux pour la circulation et n'exposent pas avec suffisamment de précision pour quel motif un réel danger existerait à ce carrefour, d'ailleurs situé hors du plan spécial litigieux. Dans la mesure de sa recevabilité, le grief doit donc être rejeté.
Les recourants allèguent également qu'un nombre important d'accidents seraient survenus à ces endroits prétendument dangereux. Pour asseoir cette affirmation, ils ne visent aucune pièce du dossier; ils ne prétendent pas plus que l'instance inférieure aurait omis de prendre en compte de tels éléments. Dans ces conditions, le grief est irrecevable; en tout état de cause, il serait infondé.
Les recourants font aussi allusion au chemin, prévu sur le plan côté nord-est, qui avait permis aux agriculteurs d'exploiter pendant plusieurs années leurs terres. La cour cantonale a exposé que cet accès n'était qu'un chemin herbeux, constatation de fait qui n'est pas remise en cause et qui permettait aux juges cantonaux, sans arbitraire, de lui préférer un chemin déjà goudronné. S'agissant enfin de l'absence d'indemnisation pour l'aménagement du chemin existant, les recourants ignorent que la cour cantonale s'est prononcée sur ce point: elle a posé que cette problématique n'était pas l'objet de la décision attaquée, ce qui rendait le grief irrecevable devant l'autorité cantonale (consid. 6). A défaut de critique dirigée contre cette motivation, l'arbitraire des faits que dénoncent les recourants est sans pertinence pour l'issue du litige.
2.3.2. En ce qui concerne le caractère privé de l'actuelle voie d'accès à leur ferme, les recourants exposent que l'activité du recourant A._ - bien qu'ayant atteint l'âge de la retraite - est indispensable à l'exploitation agricole. Ils soutiennent aussi que le recourant B._ serait particulièrement atteint dans son avenir économique s'il ne pouvait plus accéder à la ferme par la route actuelle.
Ce faisant, les recourants s'écartent des constatations de l'autorité précédente: celle-ci n'a jamais retenu que l'activité du recourant A._ serait indispensable à l'exploitation de la ferme, ni que le recourant B._ pourrait être empêché d'y accéder avec la nouvelle réglementation. Sur ces deux points, les recourants se contentent d'opposer leur propre version des faits à celle retenue par l'instance inférieure. Ils ne se réfèrent en particulier pas à des pièces de la procédure qui viendraient à l'appui de leurs allégués. Quant à l'affirmation selon laquelle, de manière générale, les agriculteurs poursuivent leur activité au-delà de l'âge de la retraite, elle ne démontre pas que, dans le cas particulier, l'aide apportée par le recourant A._ conditionnerait la survie de l'entreprise; on ne discerne pas non plus en quoi la desserte des nouvelles habitations par le chemin existant empêcherait à l'avenir le recourant B._ d'accéder à l'exploitation agricole. Les griefs dirigés contre l'établissement des faits doivent ainsi être rejetés, dans la mesure de leur recevabilité.
2.4. Pour le surplus, les recourants ne critiquent pas la pesée des intérêts à laquelle ont procédé les autorités inférieures et qui a conduit - pour les motifs objectifs contenus dans la décision attaquée - à choisir la desserte litigieuse. Ils ne dénoncent pas plus une violation du droit fédéral ou cantonal en matière d'aménagement du territoire. Dans ces conditions, leur recours doit être rejeté, dans la mesure de sa recevabilité.
3.
Les frais judiciaires sont mis à la charge des recourants, qui succombent (art. 66 al. 1 LTF). Il n'y a pas lieu de prévoir de dépens au bénéfice de la Commune, qui n'a pas présenté d'observations. Il en va de même pour le Service cantonal qui a participé à la procédure, puisqu'il a agi dans l'exercice de ses attributions officielles sans que son intérêt patrimonial soit en cause (art. 68 al. 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure de sa recevabilité.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Le présent arrêt est communiqué au mandataire des recourants, à la Commune de Pleigne, à la Section de l'aménagement du territoire de la République et canton du Jura et au Tribunal cantonal de la République et canton du Jura, Cour administrative.
Lausanne, le 5 août 2014
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant : La Greffière :
Merkli Tornay Schaller