Sachverhalt: A. X._ (geb. 1954) und Y._ (geb. 1974) haben am 28. Juli 2006 geheiratet. Sie sind die Eltern der Söhne A._ (geb. 2002) und B._ (geb. 2003). Am 15. April 2011 ersuchte die Ehefrau das zuständige Gericht um Regelung des Getrenntlebens. Mit Entscheid vom 16. Juni 2011 stellte der Gerichtspräsident 3 von Baden die gemeinsamen Kinder unter die Obhut ihres Vaters, wies diesem die eheliche Wohnung zur alleinigen Benützung zu, regelte das Besuchsrecht der Mutter und verpflichtete diese zur Leistung von Unterhaltsbeiträgen an die Kinder und - befristet bis August 2011 - an den Ehemann. B. Y._ rief darauf das Obergericht des Kantons Aargau an. Dieses wies den Antrag um Aufschub der Vollstreckung des erstinstanzlichen Urteils zunächst ab (Verfügung vom 27. Juni 2011), hob dieses Urteil in der Folge aber teilweise auf. In seinem Entscheid vom 22. September 2011 stellte es die beiden Kinder unter die Obhut der Mutter, regelte das Besuchsrecht des Vaters, verurteilte die Mutter zur Leistung von Kinderunterhaltsbeiträgen von je Fr. 1'200.-- (zzgl. allfälliger Kinderzulagen) an den Vater ab Auszug aus der ehelichen Wohnung bis zur Rechtskraft des Urteils und verpflichtete den Vater zur Bezahlung von Kinderunterhaltsbeiträgen von je Fr. 570.-- (zzgl. allfälliger Kinderzulagen) ab Rechtskraft des Urteils. C. Mit Beschwerde in Zivilsachen vom 31. Oktober 2011 (Postaufgabe) gelangt X._ (nachfolgend Beschwerdeführer) an das Bundesgericht. Er beantragt, die gemeinsamen Kinder unter seine Obhut zu stellen, das Besuchsrecht zu regeln und Y._ (nachfolgend Beschwerdegegnerin) zu verpflichten, ab Auszug aus der ehelichen Wohnung monatliche Kinderunterhaltsbeiträge von je Fr. 1'200.-- (zzgl. Kinderzulagen) zu bezahlen; eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. In prozessualer Hinsicht ersucht er um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung für das Verfahren vor Bundesgericht und beantragt, der Beschwerde die aufschiebende Wirkung zu erteilen. Zusammen mit ihrer Stellungnahme zum Gesuch um Gewährung der aufschiebenden Wirkung verlangt die Beschwerdegegnerin die Anordnung von vorsorglichen Massnahmen und ersucht ebenfalls um das Armenrecht. Mit Verfügung vom 23. November 2011 hat die Präsidentin der II. zivilrechtlichen Abteilung der Beschwerde die aufschiebende Wirkung erteilt, die sofortige Zuteilung der Obhut an die Beschwerdegegnerin verweigert und das Gesuch der Beschwerdegegnerin um vorsorgliche Massnahmen abgewiesen. Mit Schreiben vom 29. November 2011 hat die Stadt C._ dem Bundesgericht mitgeteilt, dass für die Kinder A._ und B._ eine Beistandschaft gemäss Art. 308 Abs. 1 und 2 ZGB errichtet wurde. Am 11. Januar 2012 hat sich die Beschwerdegegnerin erneut an das Bundesgericht gewandt mit dem Hinweis, dass gegen den Beschwerdeführer Strafanzeige wegen Ladendiebstahls erstattet worden sei. Der Beschwerdegegner verwahrt sich unter Beilage diverser Unterlagen gegen die erhobenen Vorwürfe (Eingaben vom 1. und 21. Februar 2012 ). Mit Schreiben vom 15. Februar 2012 ersucht die Beiständin der beiden Kinder das Bundesgericht um Bestellung eines Kinderanwalts nach Art. 299 ZPO . In der Sache sind die Akten, aber keine Vernehmlassungen eingeholt worden.