Faits: A. A._ est la mère de B._, née en 2002, dont le père biologique est C._. Le 1er décembre 2005, A._ a épousé X._. Le 16 avril 2006, la mère a déposé plainte pénale contre son mari pour actes d'ordre sexuel avec des enfants. L'instruction consécutive à cette plainte a débouché sur un non-lieu prononcé le 28 août 2007. Les époux vivent séparés depuis le 17 avril 2006, sur la base d'une convention homologuée par le juge civil du Tribunal de première instance le 4 juillet 2006. Par jugement du 8 février 2008, X._ a été condamné pénalement pour injures, dommages à la propriété et voies de fait commis au préjudice de A._; la peine prononcée a été assortie d'une règle de conduite lui interdisant de contacter ou d'importuner de quelque manière que ce soit A._ et sa fille et de leur parler s'il les rencontrait par hasard, faute de quoi le sursis qui lui était accordé serait révoqué. B. Par décision du 29 octobre 2007, l'Autorité tutélaire de Delémont a refusé d'accorder à X._ un droit de visite sur l'enfant. Elle a fondé sa décision sur un rapport du Centre médico-psychologique pour enfants et adolescents (ci-après: CMPEA) du 9 octobre 2007, selon lequel le droit de visite demandé n'était pas dans l'intérêt de l'enfant. Le 3 juin 2008, le Département des Finances, de la Justice et de la Police, agissant en sa qualité d'autorité tutélaire de surveillance de première instance, a rejeté le recours formé par X._ contre cette décision, mis les frais de procédure à sa charge et l'a condamné à verser une indemnité de dépens à A._. Par arrêt du 6 novembre 2008, la Chambre administrative du Tribunal cantonal du canton du Jura a, entre autres points, confirmé la décision refusant au mari un droit de visite sur sa belle-fille, rejeté sa demande d'assistance judiciaire, mis les frais de procédure à sa charge et l'a condamné à payer à l'intimée une indemnité à titre de dépens. C. X._ forme un recours en matière civile au Tribunal fédéral contre l'arrêt du 6 novembre 2008, dont il demande l'annulation. Il conclut à être autorisé à entretenir des relations personnelles avec B._, fille de A._, à ce qu'il soit constaté que la mère de l'enfant n'a pas droit à une indemnité à titre de dépens pour la procédure qui s'est déroulée devant l'Autorité tutélaire de surveillance et à ce qu'il soit mis au bénéfice de l'assistance judiciaire dans le cadre de la procédure de recours auprès de la Chambre administrative du Tribunal cantonal. Il sollicite également l'octroi de l'assistance judiciaire pour la procédure fédérale. Des observations n'ont pas été requises.