Sachverhalt: A. Z._ (geb. xxxx 1979) und X._ (geb. xxxx 1969) heirateten am 16. September 2000. Sie sind die Eltern der beiden unmündigen Kinder S._ (geb. 27. Dezember 2000) und T._ (geb. 3. Juni 2003). Am 3. März 2011 stellte die Ehefrau ein Eheschutzbegehren beim Gerichtspräsidium Lenzburg und beantragte unter anderem die Zuteilung der Obhut über beide Kinder. In seiner Klageantwort vom 27. April 2011 beantragte der Ehemann die Anordnung der gemeinsamen Obhut, eventuell die Zuteilung der Obhut an sich. Mit Verfügung vom 16. Mai 2011 wurden die Kinder superprovisorisch unter die Obhut der Ehefrau gestellt. Am 26. Mai 2011 entschied die Vizepräsidentin des Bezirksgerichts Lenzburg, die beiden Kinder für die Dauer der Trennung unter die Obhut der Ehefrau zu stellen und regelte das Besuchsrecht sowie den Kinder- und Ehegattenunterhalt. B. Gegen diesen Entscheid erhob der Ehemann am 31. Mai 2011 Berufung an das Obergericht des Kantons Aargau und verlangte namentlich die Zuteilung der Obhut über beide Kinder an sich, und zwar superprovisorisch bereits für die Dauer des obergerichtlichen Verfahrens. Am 9. Juni 2011 ersuchte er sodann um Bestellung einer Kindesvertretung gemäss Art. 299 ZPO für Sohn S._. Mit Verfügung vom 14. Juni 2011 wies der zuständige Instruktionsrichter das Begehren um superprovisorische Massnahmen ab, hörte die beiden Kinder am 17. August 2011 an und bestellte ihnen mit Verfügung vom 29. August 2011 eine Kindesvertretung in der Person von Y._. Mit Entscheid vom 13. Dezember 2011 bestätigte das Obergericht die erstinstanzliche Obhutszuteilung, hiess die Berufung aber insofern gut, als es die Kinderunterhaltsbeiträge sowie den Ehegattenunterhalt teilweise abänderte. Zudem bestellte es den Parteien einen Erziehungsbeistand im Sinne von Art. 308 Abs. 1 ZGB. Schliesslich auferlegte es die Gerichtskosten (einschliesslich Kosten der Kindesvertretung) zu 9/10 dem Ehemann und zu 1/10 der Ehefrau und sprach Letzterer eine reduzierte Parteientschädigung zu. C. Mit Beschwerde in Zivilsachen vom 15. Februar 2012 gelangt X._ (nachfolgend: Beschwerdeführer) an das Bundesgericht und verlangt im Wesentlichen die Zuteilung der Obhut über die beiden Kinder (Antrag 1) unter Einräumung eines Besuchsrechts an die Ehefrau betreffend T._ sowie Verzicht eines solchen gegenüber S._ (Antrag 2); ausserdem sei davon Vormerk zu nehmen, dass er bei Zuteilung der Obhut auf die Bezahlung von Kinderunterhaltsbeiträgen durch die Beschwerdegegnerin an ihn verzichte (Antrag 3), bzw. er selbst schulde keine solchen mehr (Antrag 4). Schliesslich seien die zweitinstanzlichen Gerichtskosten sowie die Kosten der Kindesvertretung den Parteien je zur Hälfte aufzuerlegen und die Parteikosten wettzuschlagen (Anträge 5 und 6). Superprovisorisch (eventualiter vorsorglich) beantragt der Beschwerdeführer die Übertragung der Obhut über die beiden Kinder, eventualiter die Gewährung der aufschiebenden Wirkung bezüglich der vorinstanzlich verfügten Obhutszuteilung an die Beschwerdegegnerin. Zudem sei die aufschiebende Wirkung bezüglich Kinder- und Ehegattenunterhalt, Einsetzung eines Erziehungsbeistands sowie bezüglich der Regelung von Gerichts- und Parteikosten zu erteilen. Am 29. Februar 2012 nahm die Beschwerdegegnerin zum Gesuch um aufschiebende Wirkung Stellung. Mit Datum vom 1. März 2012 unterbreitete der Beschwerdeführer dem Bundesgericht unaufgefordert eine weitere Eingabe namentlich betreffend superprovisorische Anordnungen sowie aufschiebende Wirkung. Die Präsidentin der II. zivilrechtlichen Abteilung wies das Gesuch um vorsorgliche Massnahmen am 2. März 2012 ab. Da sich die Kinder derzeit beim Beschwerdeführer aufhalten, erteilte sie der Beschwerde bezüglich der Obhutsfrage, der Kinderunterhaltsbeiträge sowie der Beistandschaft für die Dauer des bundesgerichtlichen Verfahrens die aufschiebende Wirkung. Es wurden die Akten, in der Sache selbst aber keine Vernehmlassungen eingeholt.