Faits : A. B.X._, née en 1980, et A.X._, né en 1970, se sont mariés le 1 er février 2003. De leur union sont issus trois enfants, soit les jumeaux C._ et D._, nés en 2005, et E._, né en 2007. B. B.a. Le 11 janvier 2013, B.X._ a saisi le Tribunal du district de Sierre d'une requête de mesures pré-provisionnelles urgentes et de mesures protectrices de l'union conjugale. Par décision du 6 février 2013, le Juge IV du district de Sierre (ci-après: le juge de district) a, entre autres, fixé provisoirement les contributions dues par A.X._ à compter du 10 février 2013 pour l'entretien de chacun de ses trois enfants ainsi que de son épouse. Par prononcé de mesures protectrices de l'union conjugale du 23 septembre 2013, le juge de district a notamment condamné A.X._ à verser d'avance, le 1 er de chaque mois, avec effet au 10 février 2013, une contribution d'entretien de 680 fr. chacun pour C._ et D._, et de 470 fr. pour E._, allocations familiales en sus. Dès lors que le solde disponible de l'époux était entièrement absorbé par les contributions des enfants, aucune pension n'a en revanche été accordée à l'épouse. B.X._ a appelé de cette dernière décision. Elle a conclu à sa réforme en ce sens que A.X._ est condamné à verser, avec effet au prononcé de la décision sur appel, une contribution de 755 fr. par mois chacun pour C._ et D._ et de 525 fr. par mois pour E._ jusqu'à l'âge de 6 ans, puis de 655 fr. par mois dès l'âge de 7 ans, allocations familiales en sus, ainsi qu'une contribution de 800 fr. par mois pour son propre entretien. A.X._ a conclu au rejet de l'appel. B.b. Statuant par arrêt du 24 mars 2014, expédié le même jour, la Cour civile II du Tribunal cantonal du Valais a partiellement admis l'appel. Elle a ainsi fixé, avec effet au 10 février 2013, la contribution à l'entretien de C._ et D._ à 755 fr. par mois chacun, et celle de E._ à 526 fr., somme portée à 655 fr. par mois à compter du 1 er juillet 2014. Elle a également condamné A.X._, toujours avec effet au 10 février 2013, à contribuer à l'entretien de son épouse par le versement de la somme de 700 fr. par mois. C. Par acte du 24 avril 2014, A.X._ exerce un recours en matière civile au Tribunal fédéral. Il conclut à la réforme de l'arrêt entrepris en ce sens qu'aucune contribution d'entretien n'est due à son épouse et que tous les frais d'appel et de première instance sont mis à la charge de cette dernière, y compris une équitable indemnité pour les dépens de son conseil. Il sollicite au préalable que l'effet suspensif soit accordé à son recours et requiert d'être mis au bénéfice de l'assistance judiciaire. Le 22 mai 2014, A.X._ a déposé une " écriture ampliative ", accompagnée de pièces nouvelles. Des réponses sur le fond n'ont pas été requises. D. Invitée à se déterminer sur la requête d'effet suspensif, B.X._ a conclu, principalement, à son rejet et, subsidiairement, à ce que l'effet suspensif ne porte que sur les contributions d'entretien échues. Elle a en outre sollicité le bénéfice de l'assistance judiciaire. Par ordonnance du 9 mai 2014, statuant en équité, le Président de la Cour de céans a accordé l'effet suspensif au recours pour les contributions dues à l'épouse du 10 février 2013 au 30 avril 2014.