Sachverhalt: A. A._ und B._ heirateten 1978. Aus ihrer Ehe sind zwei heute volljährige Töchter hervorgegangen. Seit dem 1. Januar 2010 leben A._ und B._ getrennt. B. A._ klagte am 14. März 2013 beim Bezirksgericht Lenzburg auf Scheidung gemäss Art. 114 und 115 ZGB. An der Einigungsverhandlung vom 9. Dezember 2014 unterzeichneten A._ und B._ eine umfassende Scheidungsvereinbarung. Gemäss Ziff. 2 der Vereinbarung bezahlt A._ ab 1. Januar 2015 einen persönlichen Unterhaltsbeitrag an B._ in der Höhe von Fr. 520.-- (bis 31. Mai 2015) bzw. Fr. 1'100.-- (vom 1. Juni 2015 bis zur Erreichung des AHV-Alters von B._). Da dadurch der gebührende Unterhalt von B._ nicht gedeckt sei, vereinbarten die Parteien einen Abänderungsvorbehalt gemäss Art. 129 Abs. 3 ZGB. Gemäss Ziff. 3 der Vereinbarung basieren die Unterhaltsbeiträge auf einem Einkommen von A._ von Fr. 3'981.-- (Annahme Arbeitslosenentschädigung) und von Fr. 1'565.-- von B._ (IV-Rente). Das Bezirksgericht schied die Ehe mit Entscheid vom 9. Dezember 2014 und genehmigte die Scheidungsvereinbarung. C. B._ erhob am 16. März 2015 Berufung an das Obergericht des Kantons Aargau. Sie verlangte, den Unterhaltsbeitrag zu erhöhen, A._ zur Auskunft über seine Einkommens- und Vermögensverhältnisse zu verpflichten und ihn aufzufordern, seine zu teure Wohnung zu wechseln oder bei der Unterhaltsberechnung nur eine ortsübliche Miete zu berücksichtigen. Mit Berufungsantwort und Anschlussberufung vom 18. Mai 2015 widersetzte sich A._ der Berufung und er verlangte, die Unterhaltsregelung gemäss Ziff. 2 der Scheidungskonvention abzuändern: Er habe B._ einen Unterhaltsbeitrag von Fr. 520.-- bis 31. Dezember 2015 und von Fr. 1'100.-- ab 1. Januar 2015 (recte: 2016) bis am 30. April 2016 (Erreichen des AHV-Alters von A._) zu bezahlen. Allenfalls sei die Sache an das Bezirksgericht zurückzuweisen. Mit Entscheid vom 15. Dezember 2015 wies das Obergericht die Berufung und die Anschlussberufung ab. D. Am 12. Februar 2016 hat A._ (Beschwerdeführer) Beschwerde in Zivilsachen an das Bundesgericht erhoben. Er verlangt, den obergerichtlichen Entscheid aufzuheben. Der Beschwerdeführer sei zu verpflichten, B._ (Beschwerdegegnerin) einen persönlichen Unterhaltsbeitrag von Fr. 1'100.-- längstens bis zum 30. April 2016 zu bezahlen. Allenfalls sei die Sache an das Bezirksgericht zurückzuweisen. Im Sinne einer vorsorglichen Massnahme beantragt er, ab 1. Mai 2016 keine Unterhaltsbeiträge mehr bezahlen zu müssen. Schliesslich ersucht er um unentgeltliche Rechtspflege und Verbeiständung. Am 16. Februar 2016 hat der Kindes- und Erwachsenenschutzdienst des Bezirks Brugg das Bundesgericht darüber informiert, dass die Beistandschaft für die Beschwerdegegnerin am 14. Oktober 2015 aufgehoben worden ist. Das Obergericht hat auf Stellungnahme zum Gesuch auf Erlass einer vorsorglichen Massnahme verzichtet. Die Beschwerdegegnerin hat die Abweisung des Gesuchs beantragt. Mit Präsidialverfügung vom 26. Februar 2016 hat das Bundesgericht das Gesuch abgewiesen. Mit Schreiben vom 25. Februar 2016 hat die Beschwerdegegnerin um kompetente Verteidigung ersucht. Das Bundesgericht hat ihr darauf hin mitgeteilt, dass es keine Rechtsanwälte vermittle. In der Sache hat das Obergericht auf Vernehmlassung verzichtet. Die Beschwerdegegnerin hat die zur Abholung gemeldete Einladung zur Vernehmlassung nicht abgeholt und sich dementsprechend nicht geäussert.