Faits: A. A.a Par jugement rendu le 6 novembre 2006, le Tribunal d'arrondissement I de Moutier a prononcé le divorce de A._ d'avec dame B._, et condamné celui-ci à payer une contribution à l'entretien de leurs deux filles, nées respectivement le 18 décembre 2000 et le 9 décembre 2003, de 560 fr. par mois, allocations familiales en sus, ainsi qu'une pension de 400 fr. à son ex-femme. Cette pension a été supprimée par le remariage de l'ex-épouse. A.b A._ s'est remarié le 16 mai 2007 avec une compatriote macédonienne; la formation de coiffeuse de celle-ci, acquise dans son pays d'origine, n'est pas reconnue en Suisse. De cette nouvelle union sont issus des jumeaux, nés le 8 mai 2009. A.c Par jugement du 16 décembre 2009, statuant sur demande du 15 mai 2009 de A._ en modification partielle du jugement de divorce du 6 novembre 2006, la juge civile du Tribunal de première instance a fixé dès le 1er mai 2009 la contribution d'entretien mensuelle due par A._ en faveur de chacune de ses deux filles à 250 fr., allocations familiales non comprises et acquises en plus à l'attributaire de la garde. Ces montants se fondent sur un revenu et une fortune nuls de la mère, laquelle est assistée par l'aide sociale, et sur un revenu mensuel du père de 4'300 fr., sans fortune. A.d Statuant sur appel du père et sur appel joint de la mère, par arrêt du 6 avril 2010, la Cour civile du Tribunal cantonal du canton du Jura a confirmé pour l'essentiel ce jugement, en particulier les contributions d'entretien dues en faveur des enfants, précisant que le revenu mensuel du père sur la base duquel elles ont été calculées s'élève à 4'600 fr. B. Le père interjette le 7 mai 2010 un recours en matière civile au Tribunal fédéral contre cet arrêt, concluant à sa réforme en ce sens que la contribution d'entretien due en faveur de ses filles est supprimée. Il se plaint d'arbitraire dans l'appréciation des preuves et d'une violation des art. 285 et 286 CC. Il sollicite en outre le bénéfice de l'assistance judiciaire. L'intimée conclut au rejet du recours et requiert également l'octroi de l'assistance judiciaire. La cour cantonale conclut au rejet du recours.