Faits: A. A.a. Les époux X._ se sont mariés le 13 juin 1997. Deux enfants sont issus de cette union: C._, née le 20 décembre 1997 et D._, né le 3 décembre [recte: novembre] 2000. Par jugement du 7 juin 2004, le Tribunal civil du district de Neuchâtel a prononcé le divorce des conjoints et ratifié la convention du 22 octobre 2003 sur les effets accessoires de celui-ci, convention selon laquelle l'autorité parentale et la garde des enfants étaient attribuées à la mère, le père s'engageant à contribuer à leur entretien par le versement d'une pension mensuelle de 450 fr. par enfant jusqu'à l'âge de six ans, 500 fr. jusqu'à l'âge de douze ans, 550 fr. jusqu'à l'âge de seize ans et 600 fr. jusqu'à la majorité ou la fin d'une formation régulièrement menée, allocations familiales en sus. Ladite convention prévoyait en outre en faveur de l'épouse une contribution d'entretien mensuelle d'un montant de 550 fr. jusqu'à fin 2003, 500 fr. jusqu'en novembre 2006 et 450 fr. jusqu'à fin 2007. A.b. Le 12 juillet 2006, le mari a déposé une première demande en modification du jugement de divorce, rejetée par jugement du 31 octobre 2008, lequel a été confirmé par arrêt sur appel du 31 mai 2010. B. Le mari a déposé une nouvelle demande en modification du jugement de divorce le 2 décembre 2010, concluant à ce que le montant des contributions d'entretien pour ses enfants soit réduit à 135 fr. en faveur de chacun d'eux dès le 1er janvier 2010. Par jugement du 26 février 2013, le Tribunal civil du Littoral et du Val-de-Travers a rejeté la demande. Statuant par arrêt du 6 septembre 2013, la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel a rejeté l'appel du mari et confirmé le jugement de première instance. C. Par acte du 9 octobre 2013, posté le lendemain, le mari exerce un recours en matière civile contre l'arrêt du 6 septembre 2013, reprenant principalement ses conclusions de première instance et demandant, subsidiairement, le renvoi de la cause à l'autorité précédente pour qu'elle statue dans le sens des considérants. L'intimée propose le rejet du recours. Les deux parties sollicitent par ailleurs le bénéfice de l'assistance judiciaire. L'autorité cantonale s'est référée aux considérants de son arrêt. D. Par ordonnance du 31 octobre 2013, le Président de la cour de céans a rejeté la requête d'effet suspensif.