Sachverhalt: A. A.A._ und B.A._ wurden mit Urteil der Amtsgerichtsstatthalterin Olten-Gösgen vom 21. Juni 2013 geschieden. Sie sind Eltern von Tochter C.A._ (1997) und Sohn D.A._ (2000). Gemäss im Scheidungsurteil übernommener Vereinbarung der Parteien lebt C.A._ bei der Mutter, D.A._ beim Vater. B. B.a. Das Scheidungsurteil verpflichtete A.A._, für die Tochter einen Unterhaltsbeitrag von monatlich Fr. 1'070.-- während sechs Monaten ab Rechtskraft des Urteils zu bezahlen, danach Fr. 1'110.-- (Ziff. 7 des Urteils). B.A._ wurde verpflichtet, für den Sohn einen Unterhaltsbeitrag zu bezahlen von monatlich Fr. 540.-- während sechs Monaten, danach Fr. 610.-- (Ziff. 8). Schliesslich sollte A.A._ seiner Ehefrau einen nachehelichen Unterhalt bezahlen von Fr. 830.-- während sechs Monaten ab Rechtskraft des Urteils, sodann Fr. 950.-- bis zur Mündigkeit des Sohnes und danach Fr. 350.--, bis zu seinem AHV-Eintritt (Ziff. 9). Weiter regelte das Urteil Punkte (Erziehungsbeistandschaft, Güterrecht, Überweisung an das Versicherungsgericht betreffend Teilung der Pensionskasse), welche vorliegend nicht mehr umstritten sind. B.b. Während der Dauer des Scheidungsverfahrens hatte A.A._ gemäss Verfügung des Amtsgerichtsstatthalters von Olten-Gösgen vom 6. Juli 2012 noch monatlich Fr. 530.-- an den Unterhalt der Tochter (Ziff. 2) sowie Fr. 1'230.-- an die Ehefrau (Ziff. 3) zu bezahlen gehabt; die Ehefrau unterlag demgegenüber keiner Unterhaltspflicht. C. C.a. A.A._ erhob am 12. August 2013 beim Obergericht des Kantons Solothurn Berufung gegen die Unterhaltsregelung im Scheidungsurteil. Er beantragte, soweit nachträglich relevant, er sei zu verpflichten, an den Unterhalt der Tochter Fr. 1'070.-- zu bezahlen. Die Ehefrau habe an den Unterhalt des Sohnes Fr. 540.-- zu bezahlen. Seine Unterhaltsverpflichtung gegenüber der Ehefrau sei aufzuheben. Sodann sei Art. 277 Abs. 2 ZGB vorzubehalten. C.b. Am 22. August 2013 reichte A.A._ ein Gesuch um Abänderung der vorsorglichen Massnahmen (vorstehend B.b) ein. Das Obergericht wies das Gesuch mit Verfügung vom 18. Oktober 2013 ab. C.c. In der Berufungsantwort vom 13. September 2013 erhob B.A._ Anschlussberufung. Sie beantragte, die Unterhaltsbeiträge an die Tochter seien auf Fr. 1'070.-- resp. nach Ablauf der Übergangsfrist von sechs Monaten auf Fr. 1'300.-- festzusetzen. Sie selbst sei zu verpflichten, Fr. 540.-- an den Unterhalt des Sohnes zu bezahlen. Der ihr geschuldete nacheheliche Unterhalt habe für die Dauer von sechs Monaten ab Rechtskraft des Scheidungsurteils Fr. 700.-- zu betragen, danach Fr. 1'125.-- bis zum AHV-Eintritt ihres Ehemannes. Art. 277 Abs. 2 ZGB sei vorzubehalten. Hierzu nahm A.A._ am 16. Oktober 2013 Stellung. C.d. Am 18. Dezember 2013 stellte A.A._ ein weiteres Gesuch um Abänderung der vorsorglichen Massnahmen. Er beantragte, Ziff. 2 und 3 der Verfügung des Amtsgerichtsstatthalters von Olten-Gösgen vom 6. Juli 2012 (Unterhaltsverpflichtung gegenüber Ehefrau und Tochter; vgl. B.b) seien mit Wirkung ab 1. Dezember 2013, eventualiter ab 20. Dezember 2013, aufzuheben. Die Ehefrau sei zu verpflichten, ab 1. Dezember 2013, eventualiter ab 20. Dezember 2013, einen Kindesunterhalt für den Sohn von Fr. 540.-- zu bezahlen. D. Das Obergericht wies beide Berufungen mit Urteil vom 23. Dezember 2013 ab. Die Ziffern zum Kindesunterhalt ergänzte es um einen Hinweis auf Art. 277 Abs. 2 ZGB. Das Gesuch um Abänderung der vorsorglichen Massnahmen erklärte das Obergericht (in den Erwägungen des Scheidungsurteils) als gegenstandslos. E. Gegen dieses Urteil gelangt A.A._ (Beschwerdeführer) mit Beschwerde in Zivilsachen vom 28. Januar 2014 an das Bundesgericht. Er beantragt, das angefochtene Urteil sei aufzuheben und die Angelegenheit zur Neubeurteilung an das Obergericht zurückzuweisen. Dieses sei sodann anzuweisen, sein Gesuch um Abänderung der vorsorglichen Massnahmen vom 18. Dezember 2013 an die Hand zu nehmen und gerichtlich zu beurteilen. Eventualiter sei das Scheidungsurteil aufzuheben und es sei durch das Bundesgericht neu zu befinden (Streichung aller Unterhaltspflichten des Beschwerdeführers, Verpflichtung der Beschwerdegegnerin zur Leistung von Unterhalt für den Sohn von monatlich Fr. 675.--). Für das bundesgerichtliche Verfahren beantragt er die unentgeltliche Rechtspflege. F. Das Obergericht verzichtete mit Stellungnahme vom 19. Dezember 2014 auf Gegenbemerkungen und verwies im Übrigen auf seinen Entscheid. Die Beschwerdegegnerin beantragt mit Vernehmlassung vom 26. Februar 2015 die vollumfängliche Abweisung der Beschwerde. Sieersucht um Gewährung der unentgeltlichen Rechtspflege. Die Eingaben wurden dem Beschwerdeführer zur Wahrung des rechtlichen Gehörs zugestellt.