Faits : A. Le 16 octobre 2012, le Conseil communal de Pleigne a adopté le plan spécial "La Gassatte" qui prévoit notamment la construction d'habitations comprenant un total de neuf logements au minimum. Par décision du 17 mai 2013, le Service de l'aménagement du territoire du canton du Jura l'a approuvé, rejetant l'opposition de différents voisins, dont A._ et B._. Se plaignant en particulier de la desserte de ce plan, A._ et B._ ont porté leur cause devant la Cour administrative du Tribunal cantonal du canton du Jura. Statuant par arrêt du 2 avril 2014, celle-ci a rejeté le recours, avec suite de frais à la charge de A._, de B._ et d'un autre voisin dont le recours a aussi été rejeté. B. Agissant par la voie du recours en matière de droit public, A._ et B._ demandent au Tribunal fédéral d'annuler la décision de la Cour administrative du 2 avril 2014 ainsi que celle d'approbation du 17 mai 2013: ils sollicitent du Tribunal fédéral de modifier le plan spécial "La Gassatte" en prévoyant un accès par le Chemin nord-ouest ou nord-est du quartier, le tout sous suite de frais et dépens. A titre subsidiaire, ils concluent au renvoi de la cause à l'instance inférieure, toujours sous suite de frais et dépens. Le Service de l'aménagement du territoire (devenu depuis lors la Section de l'aménagement du territoire du Service du développement territorial) conclut au rejet du recours. Il expose que la desserte planifiée est jugée optimale tant du point de vue technique que du point de vue économique. De même, la Cour administrative conclut au rejet du recours, insistant sur certains motifs de son arrêt. La Commune ne s'est pas exprimée. Les recourants ont répliqué, persistant dans les termes de leurs précédentes écritures.