Faits :
A.
B._ et A._ sont les parents de C._, né en 2015.
Ils ont l'autorité parentale conjointe sur l'enfant, la mère ayant seule le droit de déterminer le lieu de résidence.
A._ est aussi mère de deux filles, D._ et E._, issues de précédentes relations.
B.
Par décision de mesures provisionnelles du 11 avril 2016, l'Autorité de protection de l'enfant et de l'adulte du canton du Jura (ci-après : APEA) a octroyé à B._ un droit de visite sur son fils à exercer d'abord deux fois par semaine à raison de trois heures au plus au Point Rencontre selon les disponibilités de ce service et, par la suite, sur autorisation et d'entente avec le curateur, dans un autre lieu d'accueil suivant l'évolution de la situation. Elle a en outre institué une curatelle au sens de l'art. 308 al. 1 et 2 CC, désigné le curateur et arrêté les tâches incombant à ce dernier.
Par lettre du 7 octobre 2016, rectifiée le 11 octobre suivant, l'organisation du droit de visite a été modifiée par le curateur à la suite du déménagement de A._, en ce sens que celle-là devaitemmener C._, tous les samedis des semaines paires au Point Rencontre, où le père le prendrait à 9 h 15 et le ramènerait à 17 h.
Par décision du 21 octobre 2016, l'APEA a rejeté une requête provisionnelle urgente de la mère tendant à la modification du droit de visite aménagé par le curateur, prononcé que la Cour administrative du Tribunal cantonal jurassien a confirmé le 19 décembre 2016.
C.
Dans l'intervalle, sur plaintes de A._, des procédures pénales ont été ouvertes le 1 er décembre 2016 contre B._, l'une pour voies de fait et violation du devoir d'assistance et d'éducation à l'encontre de D._ et E._ et l'autre pour voies de fait, éventuellement lésions corporelles simples et menaces à l'encontre de la mère.
D.
Par ordonnance du 20 décembre 2016, l'APEA a ordonné une expertise aux fins d'évaluer, d'une part, les capacités parentales de A._ et B._ ainsi que du père de D._ et, d'autre part, l'impact de la situation familiale sur la personnalité et le développement des enfants, dont C._.
Le 7 avril 2017, l'expert mandaté a rendu un rapport sur la base des informations figurant au dossier ou recueillies auprès du père de C._ et de celui de D._. Il y a fait état de son appréciation de la situation personnelle et familiale, tout en précisant qu'il n'avait pu établir un "diagnostic" dès lors qu'il avait été impossible de rencontrer tant la mère que les enfants.
E.
Par requête de mesures provisionnelles du 14 mars 2017, B._ a demandé un élargissement de son droit de visite sur C._.
Le 31 mai 2017, l'APEA a dit que les relations personnelles s'exerceraient, avec effet immédiat, un week-end sur deux, au départ une seule nuit pour arriver à terme, selon évaluation du curateur, à deux nuits, avec prise en charge au Point Rencontre. Elle a en outre précisé qu'un éventuel recours n'aurait pas d'effet suspensif.
Le 6 juin 2017, A._ a dénoncé B._ pour des faits prétendument commis sur C._.
Le 8 juin 2017, elle a recouru contre la décision du 31 mai 2017 concluant, à titre liminaire, à la restitution de l'effet suspensif et, à titre principal, à l'annulation du prononcé.
Par arrêt du 18 juillet 2017, la Présidente de la Cour administrative du Tribunal cantonal jurassien a rejeté la demande de restitution de l'effet suspensif.
F.
Par écriture du 15 août 2017, postée le jour suivant, A._ exerce un "recours" au Tribunal fédéral. Elle conclut, principalement, à la restitution de l'effet suspensif au recours cantonal et, subsidiairement, au renvoi pour nouvelle décision dans le sens des considérants. Elle sollicite en outre le bénéfice de l'assistance judiciaire.
Il n'a pas été demandé de réponses sur le fond.
G.
Par ordonnance du 29 août 2017, le Président de la II e Cour de droit civil du Tribunal fédéral a refusé l'effet suspensif au recours.

Considérant en droit :
1.
La décision querellée refuse de restituer l'effet suspensif au recours interjeté contre une décision de l'autorité de protection de l'enfant et de l'adulte élargissant le droit de visite du père. Il s'agit là d'une décision incidente en matière civile (<ref-law>; <ref-ruling> consid. 1 et les références).
Le recours contre une décision incidente est soumis à la même voie de droit que celle ouverte contre la décision principale (arrêts 5A_438/2015 du 25 juin 2015 consid. 1.1; 5D_55/2011 du 23septembre 2011 consid. 1.2). La cause pour laquelle l'effet suspensif est requis porte exclusivement sur la question de l'élargissement du droit de visite du père sur son fils, à savoir une cause de nature non pécuniaire, de sorte que le recours est ouvert indépendamment de la valeur litigieuse.
Le recours a en outre été déposé dans le délai légal (<ref-law>) contre une décision rendue dans le cadre d'une procédure de recours, par un tribunal supérieur ayant statué en unique instance cantonale (art. 75 al. 1 et 2 LTF; <ref-ruling> consid. 2.2, 475 consid. 1). La recourante a qualité pour recourir (<ref-law>).
2.
Hormis les décisions mentionnées à l'<ref-law>, une décision préjudicielle ou incidente peut être entreprise immédiatement notamment si elle peut causer un préjudice irréparable (<ref-law>).
Selon la jurisprudence, une décision qui modifie la réglementation du droit de visite entraîne un tel dommage, car le droit de visite est arrêté pour la durée de la procédure et, même si le parent qui s'oppose à la modification obtient finalement gain de cause au fond, aucune réparation ne sera possible pour la période écoulée (<ref-ruling> consid. 1 et les références; <ref-ruling> consid. 2b).
3.
La décision accordant l'effet suspensif, comme celle d'exécution provisoire ou de retrait de l'effet suspensif (<ref-ruling> consid. 2; <ref-ruling> consid. 1.5) est une décision de mesures provisionnelles au sens de l'<ref-law>, de sorte que seule la violation de droits constitutionnels peut être invoquée.
4.
4.1. Le Tribunal fédéral n'examine les violations de droits constitutionnels que si de tels griefs ont été invoqués et motivés par le recourant ("principe d'allégation", <ref-law>), à savoir expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.2; <ref-ruling> consid. 1.3; <ref-ruling> consid. 1.2; <ref-ruling> consid. 3.2 et les arrêts cités). Le recourant qui se plaint de la violation d'un droit fondamental ne peut donc se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité cantonale, mais doit démontrer ses allégations par une argumentation précise (<ref-ruling> consid. 3; <ref-ruling> consid. 3.2). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.3; <ref-ruling> consid. 10.1 et les références). Il doit exister un lien entre la motivation du recours et la décision attaquée. Le recourant doit se déterminer par rapport aux considérants de l'arrêt entrepris (<ref-ruling> consid. 2.1 et 2.3).
4.2. Le Tribunal fédéral statue en outre sur la base des faits établis par l'autorité précédente (<ref-law>). Dans l'hypothèse d'un recours soumis à l'<ref-law>, le recourant ne peut obtenir la rectification ou le complètement des constatations de fait de l'arrêt attaqué que s'il démontre que les faits ont été établis de manière manifestement inexacte (<ref-law>), c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.2). Le Tribunal fédéral n'examine ce grief que s'il a été invoqué et motivé par le recourant conformément au principe d'allégation susmentionné (<ref-ruling> consid. 2.8; <ref-ruling> consid. 2; <ref-ruling> consid. 2.1).
Le Tribunal fédéral se montre par ailleurs réservé en ce qui concerne l'appréciation des preuves et la constatation des faits, vu le large pouvoir qu'il reconnaît en la matière à l'autorité cantonale (<ref-ruling> consid. 4b; <ref-ruling> consid. 1b et les références). Il n'intervient, du chef de l'art. 9 Cst., que si le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans motifs objectifs de tenir compte de preuves pertinentes ou a opéré, sur la base des éléments recueillis, des déductions insoutenables (<ref-ruling> consid. 2.3; <ref-ruling> consid. 4.1.2; <ref-ruling> consid. 4.3); encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 3.3).
5.
La recourante se plaint d'une violation arbitraire de l'<ref-law>.
5.1. Lorsqu'un recours est interjeté devant l'instance judiciaire de recours compétente en matière de protection de l'enfant, l'<ref-law> prévoit, par renvoi de l'<ref-law>, que celui-ci est suspensif à moins que l'autorité de protection ou l'instance judiciaire de recours n'en décide autrement. La suspension de l'exécution de la décision constitue par conséquent la règle, de sorte que l'autorité cantonale doit motiver valablement sa décision de retrait de l'effet suspensif du recours (arrêt 5A_438/2015 du 25 juin 2015 consid. 3.1).
Selon la jurisprudence, l'octroi, le retrait ou la restitution de l'effet suspensif dépend d'une pesée, selon un examen prima facie, des divers intérêts en jeu, à savoir l'intérêt public ou privé à ce que la décision puisse être exécutée immédiatement et l'intérêt au maintien du régime antérieur (<ref-ruling> consid. 3; arrêt 5A_780/2014 du 9 janvier 2015 consid. 2.1 et les références).
5.2. En l'occurrence, la Présidente de la Cour administrative a jugé que l'intérêt de l'enfant et celui du père à ce que la décision élargissant le droit de visite soit immédiatement exécutoire apparaissaient manifestement prépondérants par rapport aux autres intérêts en jeu, notamment celui de la mère.
Elle a tout d'abord comparé les dates des décisions de l'APEA et les moments auxquels la mère avait déposé les plaintes pénales pour les prétendus actes commis sur les enfants. Elle en a conclu que celle-là adaptait vraisemblablement son attitude en fonction des décisions de l'autorité de protection. Elle a aussi relevé qu'en tout état de cause, il était étonnant que le recours du 8 juin 2017 ne fasse pas état des faits dénoncés deux jours auparavant auprès du ministère public.
Elle s'est par ailleurs référée au rapport du 7 avril 2017 du spécialiste chargé de l'expertise familiale dont il ressortait une appréciation de la situation personnelle et familiale des enfants effectuée sur la base des informations figurant au dossier ou recueillies auprès du père de C._ et de celui de D._. Elle a retenu que l'expert - qu'elle ne pouvait qualifier de partial du seul fait qu'il avait été mandaté par l'APEA - avait constaté que la mère tenait des propos allant dans le sens d'un ressenti de persécution et était incapable de se remettre en question et de cloisonner le conflit vis-à-vis de ses enfants, agissant à la manière d'un parent aliénant dans un contexte de syndrome d'aliénation parentale, et n'avait pas exclu que le développement des trois enfants soit globalement en danger du fait de cette situation.
L'autorité cantonale a encore constaté qu'aucune mise en danger concrète de l'intégrité de C._ n'avait été rendue vraisemblable. Elle a jugé qu'il fallait analyser avec circonspection les allégations de la mère au sujet des prétendus actes de maltraitance vu l'intensité du conflit opposant les parents et le caractère surprotecteur de l'intéressée. Aucun spécialiste ne s'était d'ailleurs prononcé sur le risque d'une mise en danger de l'enfant en cas d'élargissement du droit de visite du père. Au contraire, aussi bien le curateur que les intervenants du Point Rencontre n'avaient rien remarqué. Les maltraitances dont se faisait écho la mère reposaient uniquement sur les déclarations de cette dernière. Le pédiatre traitant de l'enfant n'avait fourni aucune information à cet égard. En outre, les photos que la mère avait déposées à l'appui de ses allégations n'étaient pas datées, de telle sorte que l'on ignorait à quel moment elles avaient été prises et à quels faits elles se rapportaient. De plus, aucun certificat médical n'avait été produit en relation avec les prétendues blessures, dont il apparaissait prima facie qu'elles étaient bénignes et monnaie courante chez un enfant de cet âge.
La Présidente s'est encore référée à l'avis du curateur selon lequel un droit de visite progressif serait bénéfique pour l'enfant. Elle a aussi tenu compte de l'intérêt du père à pouvoir exercer son droit aux relations personnelles, lequel était déjà fortement limité alors que l'enfant allait bientôt avoir deux ans, et ne pouvait être exercé en dépit de décisions exécutoires en raison de l'attitude de la mère qui semblait manifestement confondre son propre intérêt et celui - prépondérant selon la jurisprudence - de son fils à pouvoir nouer une relation avec son père.
5.3. La recourante soutient que, ce faisant, l'autorité cantonale a écarté de façon insoutenable les "nombreux éléments probants pénaux", les photographies des blessures et les déclarations de ses deux filles qui confirment ses craintes pour se fonder sur le rapport, pourtant vicié et dénué de force probante, de l'expert mandaté par l'APEA et sur l'avis partial du curateur. Elle affirme à cet égard que l'expert n'a eu à sa disposition que la partie du dossier pénal correspondant "à la ligne de défense de la partie adverse" et visant à la "décrédibiliser", qu'il n'a d'ailleurs pas mentionné son point de vue et qu'il n'a fait que reprendre la "position de la partie adverse en partant du postulat erroné" selon lequel elle "inventerait toutes ces histoires uniquement dans le but d'empêcher [son fils] de voir son père". S'agissant du curateur, elle argue qu'il "manque de partialité dans la mesure où il est en conflit important" avec elle.
5.4. Force est de considérer que, sous le couvert de l'application arbitraire de l'<ref-law>, la recourante s'en prend en réalité à l'appréciation des preuves par l'autorité cantonale. Elle se borne toutefois à opposer sa propre appréciation des éléments figurant au dossier sans démontrer en quoi celle de l'autorité cantonale serait insoutenable. Sa critique se répand en une suite d'affirmations péremptoires sur la force probante des moyens retenus pour déterminer l'existence d'une mise en danger concrète de l'enfant. Ne répondant pas aux exigences de motivation posées en la matière (cf. supra, consid. 4), elle est irrecevable.
6.
Vu ce qui précède, le recours doit être déclaré irrecevable. Comme il était par ailleurs d'emblée dénué de toute chance de succès, la requête d'assistance judiciaire de la recourante doit être rejetée (<ref-law>). Cette dernière supportera les frais de la procédure (<ref-law>). Il y a lieu d'allouer des dépens à l'intimé, lequel, invité à se déterminer sur la requête d'effet suspensif, a conclu à son rejet (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
La demande d'assistance judiciaire de la recourante est rejetée.
3.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge de la recourante.
4.
Une indemnité de 500 fr., à verser à l'intimé à titre de dépens, est mise à la charge de la recourante.
5.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de la République et canton du Jura, Présidente de la Cour administrative.
Lausanne, le 16 octobre 2017
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : von Werdt
La Greffière : Jordan