Faits :
A.
Le 17 juin 2014, la Section des permis de construire du canton du Jura a délivré à C._ l'autorisation de construire une étable pour genisses (29,30 m par 12,75 m et 6,90 m de hauteur) avec fenil et fosse à purin, une sortie régulière en plein air (SRPA) et un agrandissement de la place fumière sur la parcelle n° 568 de la Chaux-des-Breuleux. L'opposition formée par B.B._ et A.B._, propriétaires de la parcelle n° 569 attenante située au sud, a été rejetée par décision du même jour.
B.
Les opposants ont saisi successivement la Juge administrative du Tribunal de première instance puis la Cour administrative du Tribunal cantonal jurassien, qui ont tous deux rejeté le recours le 9 mars 2015, respectivement le 8 janvier 2016. Selon la Cour administrative, il n'était pas contesté que les constructions étaient nécessaires à l'exploitation agricole et que le bâtiment (censé remplacer les locaux loués, distants de 300 m) n'était pas surdimensionné. Il se trouvait hors de la zone ISOS, à 30 m des bâtiments existants, ce qui permettait les manoeuvres des machines agricoles en respectant le principe de concentration. Le bâtiment projeté se trouverait à environ 50 m de l'habitation des recourants et n'engendrerait aucune perte d'ensoleillement. La distance à la limite était respectée tant pour le bâtiment (6 m) que pour la fosse à purin et la SRPA (3 m), cette dernière n'étant pas assimilable à un balcon ou un perron.
C.
Par acte du 12 février 2016, B.B._ et A.B._ forment un recours en matière de droit public par lequel ils demandent au Tribunal fédéral d'annuler l'arrêt cantonal et de rejeter la demande de permis de construire, subsidiairement de renvoyer la cause à la Cour administrative pour nouveau jugement dans le sens des considérants. Ils requièrent l'effet suspensif, qui a été accordé par ordonnance du 9 mars 2016.

La Cour administrative conclut au rejet du recours et à la confirmation de son arrêt, sans autres observations. C._ conclut au rejet du recours dans la mesure où il est recevable. La Section des permis de construire conclut également au rejet du recours. Invité à se déterminer, l'Office fédéral du développement territorial (ARE) considère que les emplacements alternatifs n'auraient pas fait l'objet d'un examen suffisant et que la pratique en cours à la Chaux-des-Breuleux (distance de 30 m entre bâtiments) serait contraire au principe de concentration. Dans leurs écritures ultérieures, les recourants, l'intimé et la Section des permis de construire persistent dans leurs arguments et conclusions.
Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public des constructions (<ref-law>), le recours est en principe recevable comme recours en matière de droit public selon les <ref-law>. Les recourants ont pris part à la procédure de recours devant le Tribunal cantonal. En tant que propriétaires d'une parcelle directement voisine du projet, ils sont particulièrement touchés par l'arrêt attaqué. Ils peuvent ainsi se prévaloir d'un intérêt personnel et digne de protection à l'annulation de l'arrêt attaqué et ont dès lors qualité pour agir au sens de l'<ref-law>. Les autres conditions de recevabilité étant réunies, il y a lieu d'entrer en matière.
2.
Invoquant les art. 16a LAT et 34 al. 4 OAT, les recourants considèrent que le principe de concentration des bâtiments ne serait pas respecté dans le cas particulier. La distance de 30 m entre les bâtiments ne serait pas nécessaire; une des variantes proposées prévoyait d'ailleurs une distance réduite. La présence d'une zone ISOS n'empêcherait pas un meilleur regroupement, comme dans une autre variante proposée.
2.1. Le critère de la nécessité exprimé aux art. 16a al. 1 LAT et 34 al. 4 let. a OAT signifie que les constructions doivent être adaptées, notamment par leur importance et leur implantation, aux besoins objectifs de l'exploitation en cause (<ref-ruling> consid. 2.4 p. 17). En principe (sous réserve par exemple de la conservation d'un bâtiment digne de protection, du principe de proportionnalité ou de nouveaux besoins prévisibles), le volume total des bâtiments d'une exploitation agricole ne doit pas excéder ce que les besoins de celle-ci nécessitent (<ref-ruling> consid. 3b/cc p. 508; arrêt 1C_892/2913 du 1er avril 2015 consid. 3.2 et les arrêts cités). En ce qui concerne l'emplacement d'une construction agricole, le droit fédéral n'exige pas l'étude de variantes. Le requérant ne dispose pas pour autant d'un libre choix absolu du lieu d'implantation à l'intérieur de sa parcelle (<ref-ruling> consid. 3.2 p. 416; <ref-ruling> consid. 3a p. 281). Il faut qu'il apparaisse objectivement nécessaire que la construction soit réalisée à l'endroit prévu; cela suppose un examen de tous les intérêts en présence (arrêt 1C_892/2013 du 1er avril 2015 consid. 3.2 et les arrêts cités). Dans tous les cas, vu l'important intérêt public à éviter la dispersion des constructions, les bâtiments et installations doivent être regroupés autant que possible (" Konzentrationsprinzip "; <ref-ruling> consid. 2.5 p. 53).
2.2. La cour cantonale ainsi que la Section des permis de construire considèrent qu'un espacement de 25 à 30 m entre les bâtiments agricoles correspondrait à la manière de bâtir à la Chaux-des-Breuleux; les mesures de protection de l'ISOS concerneraient également la distance traditionnelle entre bâtiments. L'ARE considère que cette pratique locale ne pourrait être suivie dans la mesure où elle contrevient au principe de concentration. Compte tenu des considérations qui suivent pour le cas particulier, cette question générale peut demeurer indécise.
2.3. En l'occurrence, ni le besoin, ni les dimensions des installations litigieuses ne sont contestés. Le projet doit venir s'insérer dans une bande de terrain située au nord de la parcelle des recourants, à une trentaine de mètres de la ferme principale de l'intimé. L'arrêt attaqué retient que cette distance est nécessaire pour pouvoir contourner les bâtiments et manoeuvrer avec des machines agricoles dont la longueur peut atteindre 10 à 15 m avec une remorque. Les recourants font remarquer qu'une première variante avait été envisagée avec une distance réduite entre bâtiments. Cette variante n'avait pas pu se concrétiser faute d'accord d'une autre propriétaire voisine, mais cela démontrait qu'un rapprochement des bâtiments était possible. Les recourants perdent de vue que la variante en question (un décalage à l'est de l'étable) était possible en raison de la forme de la parcelle et de la présence d'une bande de terrain pouvant accueillir une partie au moins du bâtiment. Cela ne signifie donc pas que l'écurie pouvait être déplacée en n'importe quel autre endroit de la parcelle de l'intimé. Les recourants évoquent une deuxième variante portant sur un bâtiment en L situé plus à l'est. Celle-ci a toutefois été écartée par la cour cantonale car, de par sa forme et son emprise au sol, elle présentait un impact visuel plus important. Quant à un bâtiment accolé à la construction actuelle, il nécessitait selon l'intimé la construction d'un autre bâtiment pour les machines agricoles. Les recourants et l'ARE relèvent que cette affirmation n'est guère étayée. Il n'en demeure pas moins que l'on ne voit pas, sur le vu des plans au dossier, comment un bâtiment de la taille prévue pourrait être accolé à la ferme existante en respectant les distances aux limites tout en permettant la circulation des véhicules agricoles.
En définitive, les recourants ne font que reprendre les différentes variantes envisagées en cours de procédure en estimant qu'elles auraient été écartées à tort. Ils évoquent d'autres possibilités de rapprocher l'étable du bâti existant, sans toutefois démontrer que ces variantes seraient réalisables. Le projet litigieux permet un dégagement suffisant pour les manoeuvres des machines agricoles, et la distance de 30 m, justifiée par les besoins de l'exploitation, peut être considérée comme acceptable au regard des exigences du droit fédéral. Le grief doit par conséquent être écarté.
3.
Les recourants se plaignent ensuite d'arbitraire dans l'application des dispositions relatives aux distances aux limites. Ils estiment que la SRPA, entourée de murs en béton de 50 cm de hauteur et de barrières de 2 m de hauteur fixées au bâtiment, constituerait une partie saillante de l'étable à laquelle elle est rattachée, de la même manière qu'un balcon. La distance de 6 m à la limite devrait donc s'appliquer.
3.1. Appelé à revoir l'interprétation d'une norme cantonale sous l'angle restreint de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - éventuellement préférable - paraît possible (<ref-ruling> consid. 4.3.1 p. 177; <ref-ruling> consid. 2.4 p. 5). En outre, il ne suffit pas que les motifs de la décision critiquée soient insoutenables; encore faut-il que cette dernière soit arbitraire dans son résultat (<ref-ruling> consid. 3.4 p. 53 et les arrêts cités).
3.2. Selon l'art. 20 du décret concernant le règlement-norme sur les constructions (RS/JU 701.31), applicable en vertu de l'art. 47 de la loi cantonale sur les constructions et l'aménagement du territoire, la distance à la limite, pour les constructions non contiguës est de 3 m et de 6 m pour le côté le plus long exposé au soleil (al. 1). Pour les constructions à un niveau, édifiées en annexe ou en contiguïté et qui ne sont pas destinées au séjour permanent d'hommes ou d'animaux, il suffit d'observer, sur tous les côtés, une distance à la limite de 2 m, pour autant que la hauteur moyenne de ces ouvrages ne dépasse pas 4 m et que la superficie de leur plancher ne soit pas supérieure à 60 m2 (al. 3). Les parties de construction saillantes et ouvertes, telles qu'avant-toits, perrons, balcons, peuvent empiéter sur la distance à la limite, mais de 1 m 20 au maximum à compter du mur extérieur.
3.3. Les recourants ne contestent pas qu'aucune disposition cantonale ou communale sur les distances aux limites ne règle le cas spécifique d'une SRPA. En l'occurrence, la surface en question, située au-dessus de la partie extérieure de la fosse à purin, est constituée de caillebotis posés au niveau du sol. Il ne s'agit pas d'un prolongement de la dalle du bâtiment mais d'un aménagement extérieur. Le simple fait que les barrières et le socle sont rattachés au bâtiment ne fait pas de cette installation, située de plain-pied, une partie intégrante saillante et ouverte comme un avant-toit, un perron ou un balcon. L'arrêt attaqué n'est donc entaché d'aucun arbitraire sur ce point.
4.
Sur le vu de ce qui précède, le recours est rejeté. Conformément aux art. 66 al. 1 et 68 al. 2 LTF, les frais judiciaires sont mis à la charge des recourants, de même que l'indemnité de dépens allouée à l'intimé C._, qui a procédé avec un avocat.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants.
3.
Une indemnité de dépens de 3'000 fr. est allouée à l'intimé C._, à la charge solidaire des recourants.
4.
Le présent arrêt est communiqué aux mandataires des parties, à la Section des permis de construire et au Tribunal cantonal de la République et canton du Jura, Cour administrative, ainsi qu'à l'Office fédéral du développement territorial.
Lausanne, le 12 septembre 2016
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Fonjallaz
Le Greffier : Kurz