Sachverhalt: A. X._ (Ehemann; geb. 1974) und Y._ (Ehefrau; geb. 1978) heirateten im August 1998. Sie wurden Eltern von zwei Kindern (geb. 2001 und 2003). Im Juni 2005 leiteten die Ehegatten das Scheidungsverfahren ein. Mit Urteil vom 22. November 2005 schied der Gerichtspräsident 2 des Gerichtskreises IV Aarwangen-Wangen die Ehegatten. Er genehmigte die von den Ehegatten eingereichte Scheidungskonvention und stellte die beiden Kinder antragsgemäss unter die elterliche Sorge der Mutter. X._ verpflichtete sich z u monatlichen Kinderunterhaltsbeiträgen von je Fr. 1'000.-- (nebst Kinderzulagen) ab Rechtskraft des Ehescheidungsurteils bis zur wirtschaftlichen Selbstständigkeit, längstens bis zur Volljährigkeit der Kinder (Ziff. 3/B.3 des Scheidungsurteils). Weiter verpflichtete sich X._ zu nachehelichen Unterhaltsbeiträgen an Y._ von jährlich Fr. 22'700.-- (ab Rechtskraft des Scheidungsurteils bis 31. Dezember 2010), jährlich Fr. 15'100.-- (vom 1. Januar 2011 bis 31. Dezember 2014) und von jährlich Fr. 7'500.-- (vom 1. Januar 2015 bis 31. Dezember 2019; Ziff. 3/C.5 des Scheidungsurteils). Diese Beiträge wurden mit besonderen Zahlungsmodalitäten und verschiedenen Bedingungen (Mehrverdienst- und Konkubinatsklausel) verknüpft. B. B.a. Am 14. November 2007 erhob X._ beim Bezirksgericht Bremgarten eine Klage auf Abänderung des Scheidungsurteils. Nach diversen Klageänderungen beantragte er schliesslich, der Unterhaltsbeitrag für die beiden Kinder sei ab 15. November 2007 auf monatlich je Fr. 850.-- (nebst Kinderzulagen) zu reduzieren und es sei festzustellen, dass ab 1. Januar 2011 kein nachehelicher Unterhalt mehr geschuldet sei. B.b. Y._ beantragte, die Klage abzuweisen. Sodann machte sie widerklageweise und zusammenfassend geltend, es sei festzustellen, dass auch die von X._ bezogenen Invaliden-Kinderrenten der beruflichen Vorsorge den beiden Kindern zustehen, und es sei die Pensionskasse von X._ anzuweisen, die Invaliden-Kinderrenten ab sofort direkt an sie zu überweisen. Sodann forderte sie ausstehende Kinderunterhaltsbeiträge und nacheheliche Unterhaltsbeiträge. Schliesslich sei X._ zu verpflichten, auch ab 1. Mai 2012 weiterhin einen nachehelichen Unterhaltsbeitrag von Fr. 261.-- zu bezahlen; jedoch sei festzustellen, dass die Pflicht zur Leistung von nachehelichen Unterhaltsbeiträgen am 31. Januar 2013 entfalle, sofern sie dannzumal nach wie vor mit ihrem aktuellen Lebenspartner im Konkubinat lebe. B.c. Mit Urteil vom 13. Dezember 2012 änderte das Bezirksgericht das Scheidungsurteil dahin gehend ab, dass es die ab 1. Januar 2011 zu bezahlenden nachehelichen Unterhaltsbeiträge von Fr. 15'100.-- auf den Zeitraum bis 31. Dezember 2011 begrenzte und demnach ab 1. Januar 2012 kein nachehelicher Unterhalt mehr zu bezahlen sei. Im Übrigen wies das Bezirksgericht die Klage ab, soweit es diese nicht zufolge Gegenstandslosigkeit abschrieb. Auf die Widerklage von Y._ trat es wegen verspäteter Erhebung nicht ein. Die Gerichtskosten auferlegte es den Parteien je zur Hälfte und die Parteikosten schlug es wett. C. Gegen das bezirksgerichtliche Urteil erhob Y._ am 18. Februar 2013 Berufung an das Obergericht des Kantons Aargau. Sie beantragte, das bezirksgerichtliche Urteil sei aufzuheben, die Abänderungsklage abzuweisen und X._ sei zu verpflichten, ihr in Abänderung des Scheidungsurteils an den Unterhalt der Kinder ab 1. August 2008 die vollen Kinderrenten der Invalidenversicherung (IV) und der Pensionskasse zu bezahlen, soweit diese Renten nicht direkt von ihr bezogen würden, dies alles unter Kosten- und Entschädigungsfolge zulasten von X._ für das erst- und zweitinstanzliche Verfahren. Mit Entscheid vom 28. Mai 2013 hiess das Obergericht die Berufung teilweise gut. Es hob das bezirksgerichtliche Urteil in der Sache auf und wies die Abänderungsklage von X._ ab. Es verpflichtete X._, an den Unterhalt der Kinder ab 1. August 2008 die vollen Kinderrenten der IV sowie seiner Pensionskasse (soweit diese Renten nicht direkt von Y._ bezogen wurden oder werden) in Anrechnung an die Kinderunterhaltsbeiträge gemäss Scheidungsurteil vom 22. November 2005 an Y._ zu bezahlen. Im Übrigen wies es die Berufung ab (Ziff. 1 des Dispositivs). Das Gesuch von X._ um unentgeltliche Rechtspflege und Verbeiständung wies es ab (Ziff. 2.1 des Dispositivs) und dasjenige von Y._ hiess es gut (Ziff. 2.2 des Dispositivs). Es auferlegte die Gerichtskosten des Berufungsverfahrens zu neun Zehnteln X._ und zu einem Zehntel Y._, unter Vorbehalt der ihr gewährten unentgeltlichen Rechtspflege (Ziff. 3 des Dispositivs). Schliesslich verpflichtete es X._, der Rechtsvertreterin von Y._ vier Fünftel der zweitinstanzlichen Parteikosten zu ersetzen (Ziff. 4 des Dispositivs). D. Dem Bundesgericht beantragt X._ (nachfolgend Beschwerdeführer) in seiner Beschwerde in Zivilsachen vom 3. Juli 2013, die Ziff. 1, 2.2, 3 und 4 des obergerichtlichen Urteils aufzuheben und die Berufung abzuweisen. Eventualiter sei die Angelegenheit zu neuer Beurteilung an das Obergericht zurückzuweisen. Die Gerichtskosten des Berufungsverfahrens seien Y._ (nachfolgend Beschwerdegegnerin) aufzuerlegen und diese sei zu verpflichten, ihm seine Parteikosten für das Berufungsverfahren zu ersetzen. Eventualiter seien die zweitinstanzlichen Gerichtskosten den Parteien je zur Hälfte aufzuerlegen und die zweitinstanzlichen Parteikosten wettzuschlagen. Das Bundesgericht hat die Vorakten, jedoch keine Vernehmlassungen eingeholt.