Faits:
A. A._ est la mère de B._, née en 2002, dont le père biologique est C._. Le 1er décembre 2005, A._ a épousé X._.
Le 16 avril 2006, la mère a déposé plainte pénale contre son mari pour actes d'ordre sexuel avec des enfants. L'instruction consécutive à cette plainte a débouché sur un non-lieu prononcé le 28 août 2007.
Les époux vivent séparés depuis le 17 avril 2006, sur la base d'une convention homologuée par le juge civil du Tribunal de première instance le 4 juillet 2006.
Par jugement du 8 février 2008, X._ a été condamné pénalement pour injures, dommages à la propriété et voies de fait commis au préjudice de A._; la peine prononcée a été assortie d'une règle de conduite lui interdisant de contacter ou d'importuner de quelque manière que ce soit A._ et sa fille et de leur parler s'il les rencontrait par hasard, faute de quoi le sursis qui lui était accordé serait révoqué.
B. Par décision du 29 octobre 2007, l'Autorité tutélaire de Delémont a refusé d'accorder à X._ un droit de visite sur l'enfant. Elle a fondé sa décision sur un rapport du Centre médico-psychologique pour enfants et adolescents (ci-après: CMPEA) du 9 octobre 2007, selon lequel le droit de visite demandé n'était pas dans l'intérêt de l'enfant.
Le 3 juin 2008, le Département des Finances, de la Justice et de la Police, agissant en sa qualité d'autorité tutélaire de surveillance de première instance, a rejeté le recours formé par X._ contre cette décision, mis les frais de procédure à sa charge et l'a condamné à verser une indemnité de dépens à A._.
Par arrêt du 6 novembre 2008, la Chambre administrative du Tribunal cantonal du canton du Jura a, entre autres points, confirmé la décision refusant au mari un droit de visite sur sa belle-fille, rejeté sa demande d'assistance judiciaire, mis les frais de procédure à sa charge et l'a condamné à payer à l'intimée une indemnité à titre de dépens.
C. X._ forme un recours en matière civile au Tribunal fédéral contre l'arrêt du 6 novembre 2008, dont il demande l'annulation. Il conclut à être autorisé à entretenir des relations personnelles avec B._, fille de A._, à ce qu'il soit constaté que la mère de l'enfant n'a pas droit à une indemnité à titre de dépens pour la procédure qui s'est déroulée devant l'Autorité tutélaire de surveillance et à ce qu'il soit mis au bénéfice de l'assistance judiciaire dans le cadre de la procédure de recours auprès de la Chambre administrative du Tribunal cantonal.
Il sollicite également l'octroi de l'assistance judiciaire pour la procédure fédérale.
Des observations n'ont pas été requises.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 117 et les arrêts cités).
1.1 Interjeté en temps utile (<ref-law>) contre une décision finale (<ref-law>) qui porte sur le droit de tiers d'entretenir des relations personnelles avec un enfant (<ref-law>), à savoir sur une mesure en matière de protection de l'enfant (art. 72 al. 2 let. b ch. 7 LTF), rendue par la dernière autorité cantonale concernant les mesures tutélaires dans le canton du Jura (art. 31 al. 3 LiCC/JU; RSJU 211.1; <ref-law>), le recours en matière civile est en principe recevable.
1.2 Le recours en matière civile peut être formé pour violation du droit tel qu'il est délimité par les art. 95 et 96 LTF; il peut donc être interjeté pour violation des droits constitutionnels, qui font partie du droit fédéral au sens de l'<ref-law> (<ref-ruling> consid. 3.1 p. 447, 462 consid. 2.3 p. 466). Sous réserve des hypothèses visées à l'art. 95 let. c et d LTF, la violation du droit cantonal n'est pas un motif de recours; il est cependant possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, parce qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels (<ref-ruling> consid. 2.3 p. 466).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>). Le recourant qui soutient que les faits ont été établis de manière manifestement inexacte (<ref-law>), à savoir que les constatations de fait sont arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.2.2 p. 252), doit démontrer, par une argumentation précise, en quoi consiste la violation. Le Tribunal fédéral n'examine en effet la violation de l'interdiction de l'arbitraire que si ce grief a été invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (principe d'allégation; <ref-ruling> consid. 1.4 p. 287). Les critiques de nature appellatoire sont irrecevables (ATF 133 IIII 585 consid. 4.1 p. 588/589; <ref-ruling> consid. 1.3 p. 262 et l'arrêt cité). Aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (<ref-law>; ATF 133 I 393 consid. 3 p. 395). Il en est ainsi même lorsque la maxime d'office ou la maxime inquisitoire est applicable, ce qui est le cas s'agissant du sort des enfants (<ref-ruling> consid. 1c p. 231/232 [ad art. 55 al. 1 let. c OJ]).
1.4 De jurisprudence constante, le Tribunal fédéral se montre réservé en matière de constatation des faits et d'appréciation des preuves, vu le large pouvoir qu'il reconnaît en ce domaine aux juridictions cantonales (<ref-ruling> consid. 4b p. 40; <ref-ruling> consid. 9 p. 399 et les arrêts cités). Il n'intervient, du chef de l'art. 9 Cst., que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte de preuves pertinentes ou a effectué, sur la base des éléments recueillis, des déductions insoutenables; encore faut-il que la décision attaquée en soit viciée dans son résultat (<ref-ruling> consid. 2.1 p. 9; <ref-ruling> consid. 2a p. 41; cf. aussi <ref-ruling> consid. 1.4.3 p. 254/255).
2. Le recourant soulève plusieurs violations de son droit d'être entendu découlant de l'art. 29 al. 2 Cst., tant sous l'angle du droit à l'administration des preuves que du droit à une décision motivée.
2.1 Le droit d'être entendu est une garantie constitutionnelle de nature formelle, dont la violation entraîne l'annulation de la décision attaquée sans égard aux chances de succès du recours sur le fond (<ref-ruling> consid. 3d/aa p. 437). Ce moyen doit par conséquent être examiné en premier lieu (<ref-ruling> consid. 1 p. 50) et avec un plein pouvoir d'examen (<ref-ruling> consid. 3 p. 194 et la jurisprudence citée).
2.2 Le recourant reproche à l'autorité cantonale son refus d'ordonner un second rapport médical.
2.2.1 Si des moyens de preuve sont invoqués en relation avec un droit subjectif privé découlant d'une norme de droit matériel fédéral, le recourant doit se plaindre de la violation de l'<ref-law>, et non de la violation de son droit d'être entendu au sens de l'art. 29 al. 2 Cst. (5A_44/2008 du 7 juillet 2008 consid. 3; 5A_403/2007 du 25 octobre 2007 consid. 3.1). En effet, l'<ref-law> confère à celui qui supporte le fardeau de la preuve le droit d'offrir ses moyens de preuve et d'obtenir qu'ils soient administrés, s'ils ont été présentés à temps et selon les formes prévues par la procédure cantonale (<ref-ruling> consid. 2a p. 291). L'<ref-law> ne permet toutefois pas de remettre en question l'appréciation des preuves du juge cantonal, ni n'exclut l'appréciation anticipée des preuves ou une administration limitée des preuves lorsque celle-ci emporte la conviction du juge quant à l'exactitude d'une allégation (<ref-ruling> consid. 2a p. 521/522; <ref-ruling> consid. 4a p. 317; <ref-ruling> consid. 3c p. 223; <ref-ruling> consid. 2a p. 291). Il ne permet pas non plus de critiquer l'appréciation du juge quant à l'aptitude d'un moyen de preuve à établir un fait pertinent (ATF <ref-ruling> consid. 3c p. 223 in fine; 5A_44/2008 du 7 juillet 2008 consid. 3; 5A_193/2008 du 13 mai 2008 consid. 3.1; 5A_403/2007 du 25 octobre 2007 consid. 3.1).
2.2.2 L'autorité cantonale a estimé que le rapport du CMPEA était corroboré par plusieurs éléments du dossier et que rien ne permettait d'établir que le médecin auteur de ce rapport eût manqué d'objectivité, contrairement à ce que soutenait le recourant. Elle en a conclu qu'il n'y avait pas lieu d'ordonner un second rapport d'expertise.
En attribuant au rapport du CMPEA une valeur probante et suffisante, la Chambre administrative du Tribunal cantonal s'est livrée à une appréciation des preuves. Sous couvert de la violation de son droit d'être entendu, le recourant s'en prend en réalité à cette appréciation, se bornant à contester de manière appellatoire la motivation de l'autorité cantonale, sans démontrer, ni même prétendre, qu'elle serait arbitraire, c'est-à-dire manifestement insoutenable (sur cette notion: <ref-ruling> consid. 5.4 p. 148 et les références citées). Faute de satisfaire aux exigences d'allégation et de motivation requises (<ref-law>), le grief est irrecevable.
2.3 Le recourant soutient en outre que l'autorité cantonale n'a pas motivé sa décision de refus d'audition du père biologique de l'enfant.
2.3.1 Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. implique notamment pour l'autorité l'obligation de motiver sa décision. Selon la jurisprudence, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 3.3 p. 445 et les arrêts cités). L'autorité n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais elle peut au contraire se limiter à ceux qui lui paraissent pertinents (<ref-ruling> consid. 3.1 p. 277; <ref-ruling> consid. 4.3 p. 540; <ref-ruling> consid. 2b). Savoir si une motivation est convaincante est une question distincte de celle du droit à une décision motivée; dès lors que l'on peut discerner les motifs qui ont guidé le juge, le droit à une décision motivée est respecté, même si la motivation est erronée (arrêt 5A_344/2008 du 28 juillet 2008 consid. 4.1 et les références citées).
2.3.2 En l'occurrence, les juges précédents ont considéré que l'audition du père biologique de l'enfant n'apparaissait pas nécessaire pour statuer sur la question litigieuse des relations personnelles à établir entre le recourant et la fillette, autrement dit, qu'elle disposait de suffisamment d'autres éléments pour statuer. Quoique succincte, cette motivation satisfait aux exigences de l'art. 29 al. 2 Cst. Ce n'est pas parce qu'elle ne convainc pas le recourant qu'elle est inexistante. Celui-ci l'a du reste parfaitement comprise puisqu'il a été en mesure de la critiquer pour exposer en quoi l'audition requise serait justifiée. Le grief de violation du droit d'être entendu est ainsi infondé. Au surplus, le recourant se limite à exposer les raisons pour lesquelles, selon lui, l'audition du père de l'enfant s'imposait, opposant ainsi son opinion à celle de l'autorité cantonale sans alléguer, ni tenter de démontrer, que la motivation de l'autorité cantonale - l'absence de nécessité d'une telle audition - reposerait sur une appréciation des faits inexacte ou incomplète, partant, qu'elle serait arbitraire (<ref-law>).
2.4 Le recourant affirme aussi que l'autorité précédente a méconnu son droit d'être entendu en refusant de procéder à l'interpellation des parties. Celle-ci se justifiait, selon lui, pour répondre à certaines allégations de l'intimée figurant dans son écriture du 15 juillet 2008, qu'il qualifie de mensongères.
Le Tribunal cantonal a refusé l'audition des parties, car il a considéré qu'elles avaient présenté leurs points de vue respectifs dans le cadre des mémoires déposés dans la procédure et avaient l'une et l'autre été entendues par le juge civil, respectivement le juge pénal, auditions dont le Tribunal avait connaissance, les dossiers des affaires civiles et pénales opposant les parties ayant été versés à la procédure. Ce refus procède d'une appréciation anticipée des preuves du Tribunal cantonal, qui a estimé que le moyen requis n'était pas de nature à modifier sa conviction. Or, le recourant ne prétend pas que cette appréciation serait arbitraire et ne la critique pas sous cet angle. Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., ne confère pas le droit d'être entendu oralement par l'autorité (<ref-ruling> consid. 2.1 p. 428 et les références citées). Il en résulte que son grief est infondé, dans la mesure de sa recevabilité.
3. Le recourant soulève une violation de l'<ref-law>, dont les conditions d'application seraient selon lui réalisées.
3.1 L'autorité cantonale a retenu que les relations entre le recourant et la mère de l'enfant étaient très conflictuelles, ce qui était largement imputable au premier. Il avait été condamné le 8 février 2008 pour voies de fait, injures et dommages à la propriété, infractions commises au préjudice de son épouse en 2007. Il n'avait par ailleurs tenu aucun compte des injonctions des juges lui interdisant de contacter ou d'importuner de quelque manière que ce soit la mère et l'enfant. Son épouse avait déposé une nouvelle plainte pénale contre lui pour des faits de même nature le 24 avril 2008. Lors de son interrogatoire du 21 août 2008, il avait admis qu'il aurait pu faire davantage d'efforts pour ne pas la croiser, et avait déclaré qu'il ne pouvait s'empêcher de parler à son épouse ou de lui répondre quand il la voyait. L'expertise mise en oeuvre par le juge d'instruction concluait à l'existence d'un trouble mixte de la personnalité chez le recourant. Selon l'expert, dans les situations conflictuelles, le recourant présentait une nette propension à faire usage de l'intimidation en provoquant l'effroi chez son interlocuteur. S'il n'y avait pas chez lui d'attrait fondamental pour la violence, il utilisait volontiers la peur comme levier psychologique pour garder le contrôle sur les personnes qui s'opposaient à sa volonté. L'expert estimait que le risque d'un comportement assimilable à du harcèlement envers la mère de l'enfant restait présent chez le recourant avec la possibilité de nouveaux comportements brutaux. Prenant en compte l'ensemble de ces éléments, le Tribunal cantonal a considéré que l'instauration d'un droit de visite en faveur du recourant irait à l'encontre de l'intérêt de l'enfant, qui devait être préservé autant que possible du conflit opposant son beau-père à sa mère. Les juges précédents se sont ainsi ralliés aux conclusions du rapport médical, selon lequel l'instauration d'un droit de visite n'était pas envisageable aussi longtemps que les relations entre le recourant et son épouse ne se seraient pas apaisées de manière significative.
3.2 Selon l'<ref-law>, dans des circonstances exceptionnelles, le droit d'entretenir des relations personnelles peut aussi être accordé à des tiers, en particulier à des membres de la parenté, à condition que ce soit dans l'intérêt de l'enfant (al. 1); les limites du droit aux relations personnelles des père et mère sont applicables par analogie (al. 2). Si la disposition concerne principalement le droit que pourraient revendiquer les grands-parents de l'enfant, le cercle des tiers visés est plus large et s'étend aussi bien dans la sphère de parenté de l'enfant qu'à l'extérieur de celle-ci; le beau-parent peut donc se prévaloir de cette disposition pour obtenir le droit d'entretenir des relations personnelles avec l'enfant de son conjoint dont il est séparé ou divorcé (Schwenzer, Commentaire bâlois, 2e éd., n. 3 ad <ref-law>; Hegnauer, Commentaire bernois, 4ème éd. 1997, n. 14 ad <ref-law>; Meier/Stettler, Droit de la filiation, tome II: Les effets de la filiation [art. 270 à 327 CC], 3ème éd., n° 253 p. 138; Pichonnaz, Contributions d'entretien des enfants et nouvelles structures familiales, III. Les liens personnels du beau-parent après le divorce, in: Enfant et divorce, Symposium en droit de la famille 2005, Université de Fribourg, p. 1 ss, p. 35).
L'<ref-law> subordonne l'octroi d'un droit aux relations personnelles à des tiers à l'existence de circonstances exceptionnelles qui doivent être rapportées par ceux qui le revendiquent, le droit constituant une exception (Stettler, TDPS III/2, p. 255 s.; SCHNEIDER, FJS n° 332 p. 2; Reday, Le droit aux relations personnelles avec l'enfant en droit français et suisse, thèse Lausanne 1981, p. 22; voir aussi Message du Conseil fédéral concernant la modification du code civil suisse [Filiation] du 5 juin 1974, FF 1974 p. 1ss, notamment p. 54 qui parle d'accorder le droit à d'autres personnes que les parents dans des cas extraordinaires et lorsque de justes motifs le justifient). La mort d'un parent constitue une circonstance exceptionnelle et justifie un droit de visite de membres de la famille du parent décédé, afin de maintenir les relations entre l'enfant et la parenté du défunt, dont les grands-parents font partie (Hegnauer, op. cit., n. 19 ad <ref-law>; Schwenzer, op. cit., n. 5 ad <ref-law>; Spühler/Frei-Maurer, Commentaire bernois, n. 314 ad art. 156 aCC). Parmi les autres exemples cités au titre de circonstances exceptionnelles figure la relation étroite que des tiers ont nouée avec l'enfant, comme ses parents nourriciers, et le vide à combler durant l'absence prolongée de l'un des parents empêché par la maladie, retenu à l'étranger ou incarcéré (Stettler, op. cit., p. 256). A ce jour, le Tribunal fédéral a confirmé l'octroi d'un droit de visite à une cousine germaine pour des enfants qui étaient orphelins de père, dont la mère s'était vu retirer le droit de garde et qui étaient placés dans un home (<ref-ruling> consid. 3.2 non publié).
La seconde condition posée par l'<ref-law> est l'intérêt de l'enfant. Seul cet intérêt est déterminant, et non celui de la personne avec laquelle celui-ci peut ou doit entretenir des relations personnelles (<ref-ruling> consid. 3.1 non publié et les références citées; voir aussi arrêt P.46/1983 du 11 mars 1983 publié in SJ 1983 p. 634; Hegnauer, op. cit., n. 15 ad <ref-law>; Schwenzer, op. cit., n. 2 ad <ref-law>). Il incombe à l'autorité saisie de la requête d'apprécier le type de relations qui s'est établi entre l'enfant et le beau-parent, et en particulier si une «relation particulière» (besondere Beziehung) s'est instaurée entre eux, notamment pour le beau-père (dans ce sens, Meier/Stettler, op. cit., n° 253 p. 138 et les auteurs cités; pour une conception plus large, Pichonnaz, op. cit., p. 36). L'autorité devra en outre faire preuve d'une circonspection particulière lorsque le droit revendiqué par des tiers viendrait s'ajouter à l'exercice de relations personnelles par les parents de l'enfant (Stettler, op. cit., p. 256 et les références citées).
3.3 Le recourant invoque l'application «arbitraire» de l'<ref-law>, au motif que l'intérêt de l'enfant commande le maintien de relations personnelles. Ce faisant, il fait valoir son point de vue dans une argumentation qui ne respecte pas les exigences de motivation d'un recours au Tribunal fédéral en tant qu'elle a trait à l'application de l'<ref-law> (<ref-law>), qui se fonde sur des faits nouveaux irrecevables (<ref-law>) ou encore qui ne satisfait pas au principe d'allégation et de motivation en matière d'arbitraire en tant qu'il critique les faits établis et l'appréciation des moyens des preuves (<ref-law>).
Le recourant souligne ainsi qu'il connaît l'enfant depuis six ans et que la fillette l'a toujours considéré comme son père jusqu'au 16 avril 2006. S'il n'avait plus entretenu de contacts avec elle depuis lors, c'était en raison de l'attitude de son épouse, qui s'y était toujours opposée. C'était lui, et non le père biologique - avec lequel l'enfant n'entretenait aucune relation -, qui s'était occupé d'elle dès sa naissance. L'enfant avait été instrumentalisé par sa mère pour qu'il n'ait plus envie de le revoir. Il lui était arrivé de lui donner des cadeaux qui lui avaient été renvoyés. Autant que la critique du recourant se fonde sur des faits non établis, elle est irrecevable (<ref-law>). Au surplus, le recourant n'expose pas en quoi l'exception de l'<ref-law> serait réalisée quant aux faits qu'il entend préciser ou compléter. Dès lors, il y a lieu de s'en tenir aux constatations de l'autorité cantonale.
Quant le recourant affirme qu'il conteste «globalement» le résultat de l'entreprise psychiatrique, qui fait état d'un trouble mixte de sa personnalité et de sa propension à user de l'intimidation en provoquant l'effroi chez son interlocuteur, il s'en prend à l'appréciation des preuves effectuées par l'autorité cantonale, sans démontrer en quoi cette appréciation serait arbitraire (<ref-law>).
Le recourant prétend encore qu'il est dans l'intérêt de l'enfant, avec qui il a noué une relation socio-affective, d'entretenir des relations personnelles avec lui pour préserver son équilibre; il affirme que l'on se trouve en présence de circonstances exceptionnelles et qu'aucun élément du dossier ne permet de retenir qu'une reprise des relations personnelles serait préjudiciable à l'intérêt de l'enfant. Cet argument n'est toutefois pas décisif, dès lors qu'il ne suffit pas que les relations ne portent pas préjudice à l'enfant; encore faut-il qu'elles servent positivement le bien de celui-ci. En tout état, et indépendamment du point de savoir si, nonobstant la brève durée du mariage jusqu'à la séparation des parties, les liens entre l'enfant et le recourant étaient suffisamment étroits pour constituer des circonstances exceptionnelles fondant un droit à entretenir des relations personnelles, le Tribunal cantonal a correctement appliqué le droit fédéral en considérant que les rapports conflictuels aigus entre le recourant et la mère de l'enfant, qui avaient débouché pour partie sur des comportements pénalement répréhensibles de la part du recourant, constituaient des motifs suffisants et convaincants, au regard du bien de l'enfant, pour ne pas donner suite à la requête en obtention d'un droit de visite de l'intéressé. L'une des conditions d'application de l'<ref-law> n'étant pas remplie, la décision querellée ne prête pas le flanc à la critique.
Le recourant ne saurait enfin se prévaloir du droit d'être entendu de l'enfant. Outre que sa critique, toute générale, est dépourvue de motivation (<ref-law>), le défaut d'audition n'enfreint pas le droit fédéral compte tenu du jeune âge de la fillette (<ref-ruling> ss).
4. Dans un autre moyen, le recourant reproche au Tribunal cantonal d'avoir confirmé la décision de l'Autorité de surveillance le condamnant au paiement de dépens en faveur de l'intimée, d'un montant de 2'000 fr., TVA non incluse. Il se plaint à cet égard de la violation de l'art. 57 al. 3 du code de procédure civile de la République et Canton du Jura (ci-après: CPC/JU; RSJU 271.1).
4.1 Le Tribunal cantonal a confirmé la décision de ne pas compenser les dépens prise par l'Autorité de surveillance en se basant sur une double motivation: il a estimé, d'une part, que le recourant n'était pas un parent de l'enfant et, d'autre part, que son comportement ne justifiait pas une telle compensation. Lorsque la décision attaquée se fonde, comme en l'espèce, sur plusieurs motivations indépendantes, alternatives ou subsidiaires, toutes suffisantes, le recourant doit, sous peine d'irrecevabilité, démontrer que chacune d'entre elles est contraire au droit (<ref-ruling> consid. 6.3 p. 120); dès qu'une des motivations permet de maintenir la décision entreprise, le recours doit être rejeté (<ref-ruling> consid. 7 p. 228; <ref-ruling> consid. 6 p. 20). Le recourant s'en prend à ces deux motivations, de sorte qu'il convient d'entrer en matière.
4.2 Conformément à ce qui a été exposé plus haut (cf. supra, consid. 1.2), le grief relatif à la violation du droit cantonal sera examiné sous l'angle restreint de l'arbitraire. L'<ref-law>/JU prévoit que la partie qui succombe sera, en règle générale, condamnée au remboursement intégral des dépens de son adversaire. L'alinéa 3 de cette même disposition précise que le juge jouit néanmoins de la faculté de compenser les dépens dans les contestations dérivant du droit de la famille. Contrairement à ce qu'affirme le recourant, le magistrat ne doit pas systématiquement compenser les dépens lorsqu'il est appelé à statuer dans une affaire relevant du droit de la famille. Il s'agit simplement d'une faculté, à l'égard de laquelle il conserve un large pouvoir d'appréciation. La compensation se justifie généralement pour des raisons d'équité, par exemple lorsque la condamnation aux dépens de la partie qui succombe serait choquante; elle peut toutefois être refusée lorsque cette même partie fait preuve d'obstination (cf. Kellerhals/Sterchi, Die Zivilprozessordnung für den Kanton Bern, 5e éd., Berne 2000, p. 234, n. 8 ad art. 58 ZPO, disposition dont la teneur est identique à celle de l'<ref-law>/JU). Le recourant ne démontre pas en quoi l'appréciation de l'autorité cantonale, qui se fonde sur son comportement pour confirmer la décision de sa condamnation aux dépens de l'intimée, serait insoutenable et, partant, arbitraire. Dans cette mesure, il n'y a pas lieu d'examiner plus avant l'autre motif avancé par le Tribunal cantonal et donc de déterminer si le recourant doit être considéré comme un tiers pour l'enfant ou, comme celui-ci le soutient, comme un membre de sa parenté au sens large. Le grief est ainsi infondé.
5. Le recourant se plaint également d'une violation de l'art. 29 al. 3 Cst. Il reproche au Tribunal cantonal de lui avoir refusé l'assistance judiciaire gratuite au motif que son recours était dénué de chances de succès.
5.1 Comme le recourant le relève, l'art. 18 de la loi de procédure et de juridiction administrative et constitutionnelle du canton du Jura (Code de procédure administrative; RSJU 175.1), qui prévoit le droit à l'assistance judiciaire, n'offre pas de protection plus étendue que celle garantie par l'art. 29 al. 3 Cst. C'est donc à la lumière des principes déduits de cette dernière norme qu'il convient d'examiner le mérite du présent grief. Selon l'art. 29 al. 3 Cst., toute personne qui ne dispose pas de ressources suffisantes a droit, à moins que sa cause paraisse dépourvue de toute chance de succès, à l'assistance judiciaire gratuite. Elle a en outre droit à l'assistance d'un défenseur, dans la mesure où la sauvegarde de ses droits le requiert. Le Tribunal fédéral vérifie librement le respect de cette disposition, mais il ne revoit que sous l'angle restreint de l'arbitraire les constatations de fait de l'autorité cantonale (<ref-ruling> consid. 2.1 p. 133).
D'après la jurisprudence, un procès est dénué de chances de succès lorsque les perspectives de le gagner sont notablement plus faibles que les risques de le perdre et qu'elles ne peuvent être considérées comme sérieuses, de sorte qu'un plaideur raisonnable et de condition aisée renoncerait à s'y engager en raison des frais qu'il s'exposerait à devoir supporter; il ne l'est en revanche pas lorsque les chances de succès et les risques d'échec sont à peu près égaux ou lorsque les premières ne sont que de peu inférieures aux seconds (<ref-ruling> consid. 5 p. 616). L'élément déterminant réside dans le fait que l'indigent ne doit pas se lancer, parce qu'il plaide aux frais de la collectivité, dans des démarches vaines qu'une personne raisonnable n'entreprendrait pas si, disposant de moyens suffisants, elle devait les financer de ses propres deniers (<ref-ruling> consid. 2.3.1 p. 136 et les références).
5.2 En l'espèce, il a été retenu ci-dessus que l'autorité intimée n'avait pas violé le droit fédéral, y compris le droit constitutionnel, en considérant que les conclusions du recourant, tendant à l'octroi d'un droit de visite sur l'enfant de son épouse et à l'annulation de la décision le condamnant aux dépens, étaient mal fondées. Son refus d'octroyer l'assistance juridique à l'intéressé au motif que le recours apparaissait dénué de chances de succès, étant donné le caractère exceptionnel du droit aux relations personnelles pour un tiers, les relations conflictuelles entre les époux et les motifs sur lesquels s'appuyait la décision attaquée, ne souffre aucune critique. Sur cette base, l'autorité cantonale pouvait retenir, sans violer l'art. 29 al. 3 Cst., que le recours interjeté devant elle se révélait d'emblée voué à l'échec. En tant que le recourant se fonde sur des faits qui ne ressortent pas de l'arrêt attaqué pour affirmer le contraire, sa critique est irrecevable. Il en va de même quand il renvoie la cour de céans à prendre connaissance dudit recours pour se convaincre des chances de succès de celui-ci: en effet, il n'appartient pas au Tribunal fédéral de compléter lui-même l'acte de recours en allant consulter les mémoires produits sur le plan cantonal (<ref-ruling> consid. 3.2 p. 400). Pour le surplus, la motivation présentée par le recourant est insuffisante. Il en découle que son grief est infondé, dans la faible mesure de sa recevabilité.
6. Vu ce qui précède, le recours ne peut qu'être rejeté dans la mesure de sa recevabilité. Comme les conclusions de l'intéressé étaient dépourvues de chances de succès, sa requête d'assistance judiciaire doit être rejetée (<ref-law>) et un émolument réduit mis à sa charge (art. 65 al. 2 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer de dépens à l'intimée, qui n'a pas été invitée à répondre.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire du recourant est rejetée.
3. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Chambre administrative du Tribunal cantonal du canton du Jura.
Lausanne, le 16 février 2009
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Hohl Mairot