Sachverhalt:
A. Z._ (Ehefrau; geb. 1979) und X._ (Ehemann; geb. 1971) heirateten am xxxx 2001. Sie sind die Eltern der unmündigen Kinder R._ (geb. 2001), S._ (geb. 2003) und T._ (geb. 2005).
Der Ehemann reduzierte seine Erwerbstätigkeit "im Jahr 2003 oder 2004" - anfänglich wegen des Sports - auf 80%. Im Jahr 2007 eröffnete die Ehefrau ein Blumengeschäft, in dem sie in einem Pensum von rund 25-30% tätig war. Während der arbeitsbedingten Abwesenheit der Ehefrau übernahm der Ehemann die Betreuung der Kinder.
Im April 2011 zog der Ehemann aus der ehelichen Wohnung in A._ aus und mietete eine Wohnung in der unmittelbaren Nachbarschaft. Am 7. Juni 2011 stellte die Ehefrau beim Bezirksgericht Baden ein Gesuch um Eheschutz. Ihre Erwerbstätigkeit im Blumenladen gab sie in der Folge auf.
Mit superprovisorischer Verfügung vom 9. Juni 2011 verpflichtete das Bezirksgericht Baden den Ehemann zur Zahlung von Ehegatten- und Kindesunterhalt für die drei Söhne.
Mitte Juni 2011 kam es zu Problemen mit Sohn R._, und zwar einerseits in der Schule, anderseits mit der Mutter. Daraufhin vereinbarten die Eltern, dass der Vater einstweilen, d.h. bis zum 1. Juli 2011, die Obhut über R._ erhalten solle. Ende Juni 2011 stellte sich heraus, dass R._ fortan nicht mehr zur Mutter zurückkehren würde. Während seiner arbeitsbedingten Abwesenheiten kann der Vater die Betreuung durch verwandtschaftliche Netzwerke sicherstellen.
Mit Entscheid vom 29. Juli 2011 stellte das Bezirksgericht Baden das Kind R._ in die Obhut des Vaters, die Kinder S._ und T._ in diejenige der Mutter. Des Weiteren passte das Bezirksgericht die einstweilen angeordneten Unterhaltszahlungen entsprechend an und regelte die jeweiligen Besuchsrechte. Beim Vater ging die Vorinstanz - entsprechend einer von ihm geäusserten Absichtserklärung - von einem 60% -Arbeitspensum aus. Einem solchen geht er denn auch seit August 2011 nach.
Zur Obhutsfrage führte das Bezirksgericht Folgendes aus: Beide Eltern verfügten über die nötige Erziehungsfähigkeit. Sodann hege der zum Anhörungszeitpunkt 10-jährige R._ den starken Wunsch, in der Obhut des Vaters zu bleiben, während das Verhältnis zu seiner Mutter gestört zu sein scheine. Die Söhne S._ und T._ seien demgegenüber in ihrem Aussageverhalten zu unsicher bzw. zu jung. Zwar gelte an sich der Grundsatz, dass Geschwister nicht zu trennen seien. Zudem seien alle drei Kinder im Dorf A._ stark verwurzelt. Da jedoch der Vater im gleichen Dorf in unmittelbarer Nachbarschaft wohne, sei es unter dem Gesichtspunkt der Stabilität der Verhältnisse vorliegend sachgerecht, dem Vater die Obhut über R._ und der Mutter die Obhut über S._ und T._ zuzuteilen.
B. Gegen diesen Entscheid erhoben beide Ehegatten am 15. August 2011 Berufung an das Obergericht des Kantons Aargau.
Seit dem Besuchswochenende vom 3./4. September 2011 sind die Kinder S._ und T._ nicht mehr zu ihrer Mutter zurückgekehrt und halten sich - entgegen gerichtlicher Anordnung - beim Vater auf. Gemäss der Vormundschaftsbehörde A._ scheiterten die Versuche, die Kinder der Mutter zu übergeben am Widerstand der Kinder.
Mit Entscheid vom 12. Dezember 2011 bestätigte das Obergericht des Kantons Aargau die erstinstanzliche Obhutszuteilung und regelte den Kinder- und Ehegattenunterhalt sowie das Besuchsrecht neu, wobei es das Besuchsrecht des Vaters vorübergehend (d.h. bis Ende Mai 2012) einschränkte (und zwar auf einen vierwöchentlichen Turnus).
C. Mit Beschwerde in Zivilsachen vom 23. Dezember 2011 gelangt X._ (nachfolgend: Beschwerdeführer) an das Bundesgericht und verlangt im Wesentlichen die Zuteilung der Obhut auch über die Kinder S._ und T._ (unter entsprechender Anpassung der Besuchsrechts- und Unterhaltsregelung); weiter ersucht er um Feststellung, dass die Parteien sich mit Wirkung ab 1. August 2011 keine Ehegattenunterhaltsbeiträge mehr schulden; eventualiter, d.h. im Fall der Bestätigung der geltenden Obhutsregelung, verlangt der Beschwerdeführer eine Anpassung des Ehegattenunterhalts, und zwar Fr. 1'139.-- vom 1. Juni 2011 bis zum 31. Juli 2011, Fr. 0.-- vom 1. August 2011 bis zum 31. März 2012 sowie Fr. 1'400.-- ab April 2011 [recte: 2012].
Mit Eingabe vom 12. Januar 2012 beantragte die Vormundschaftsbehörde von A._ die Einsetzung eines Kindesvertreters im Sinne von <ref-law>.
Mit Verfügung vom 23. Januar 2012 erteilte die Präsidentin der II. zivilrechtlichen Abteilung der Beschwerde die aufschiebende Wirkung und trat auf das Gesuch um Einsetzung einer Vertretung gemäss <ref-law> nicht ein. Die von der Beschwerdegegnerin im Anschluss daran gestellten Erläuterungsbegehren betreffend die aufschiebende Wirkung wurden bereits mit Schreiben vom 30. Januar 2012 bzw. 1. Februar 2012 beantwortet und erweisen sich mit dem vorliegenden Endentscheid als gegenstandslos.
Mit Eingabe vom 12. März 2012 hat die Beschwerdegegnerin neue Urkunden eingereicht.
Es wurden die Akten, in der Sache aber keine Vernehmlassungen eingeholt.

Erwägungen:
1. 1.1 Angefochten ist ein kantonal letztinstanzlicher Eheschutzentscheid, der u.a. die Obhutszuteilung regelt; die Beschwerde in Zivilsachen steht somit unabhängig von einem Mindeststreitwert offen (Art. 72 Abs. 1, Art. 75 Abs. 2 und Art. 90 BGG).
1.2 Nach der Rechtsprechung gelten Eheschutzentscheide als vorsorgliche Massnahmen im Sinne von <ref-law> (<ref-ruling> E. 5.1 und 5.2 S. 396 f.). Daher kann in der Beschwerde nur die Verletzung verfassungsmässiger Rechte gerügt werden (s. dazu <ref-ruling> E. 4.1 S. 588). Auch eine Berichtigung oder Ergänzung der Sachverhaltsfeststellungen kommt nur dann in Frage, wenn die kantonale Instanz verfassungsmässige Rechte verletzt hat (<ref-ruling> E. 4.1 S. 588). Für alle Vorbringen betreffend die Verletzung verfassungsmässiger Rechte gilt das strenge Rügeprinzip. Die rechtssuchende Partei muss präzise angeben, welches verfassungsmässige Recht durch den angefochtenen kantonalen Entscheid verletzt wurde, und im Einzelnen darlegen, worin die Verletzung besteht (<ref-ruling> E. 3.2 S. 444). Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen. Auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein (<ref-ruling> E. 2.2 S. 246; <ref-ruling> E. 3.1 S. 399 f.).
Die Beschwerde vermag den geschilderten Rügeanforderungen über weite Strecken nicht zu genügen. Der Beschwerdeführer begnügt sich grösstenteils damit, den Sachverhalt oder die Rechtslage aus eigener Sicht darzustellen oder blosse Behauptungen aufzustellen, ohne ein konkretes verfassungsmässiges Recht zu bezeichnen und dessen Verletzung darzutun. Dies ist zur Begründung von Verfassungsrügen unzureichend, wobei jeweils im Sachzusammenhang darauf zurückzukommen sein wird.
1.3 Es ist nicht Aufgabe des Bundesgerichts, Beweise abzunehmen und Tatsachen festzustellen, über die sich das kantonale Sachgericht nicht ausgesprochen hat (<ref-ruling> E. 6.1 S. 214). Im Rahmen von <ref-law> sind neue Tatsachen und Beweismittel vor Bundesgericht grundsätzlich unzulässig (<ref-ruling> E. 2 S. 640).
Soweit die Parteien im bundesgerichtlichen Verfahren neue Behauptungen aufgestellt bzw. Beweismittel eingereicht haben, ist darauf nicht einzutreten.
2. Strittig ist vorliegend primär die Obhutszuteilung und als Folge davon die damit zusammenhängenden finanziellen Belange wie auch das Besuchsrecht.
2.1 Das mit der "Regelung des Getrenntlebens" (Marginalie zu <ref-law>) befasste Eheschutzgericht trifft nach den Bestimmungen über die Wirkungen des Kindesverhältnisses die nötigen Massnahmen, wenn die Ehegatten unmündige Kinder haben (<ref-law>). Für die Zuteilung der Obhut an einen Elternteil gelten grundsätzlich die gleichen Kriterien wie im Scheidungsfall. Nach der Rechtsprechung hat das Wohl des Kindes Vorrang vor allen anderen Überlegungen, insbesondere vor den Wünschen der Eltern.
Vorab muss die Erziehungsfähigkeit der Eltern geklärt werden. Ist diese bei beiden Elternteilen gegeben, sind vor allem Kleinkinder und grundschulpflichtige Kinder demjenigen Elternteil zuzuteilen, der die Möglichkeit hat und dazu bereit ist, sie persönlich zu betreuen. Erfüllen beide Elternteile diese Voraussetzung ungefähr in gleicher Weise, kann die Stabilität der örtlichen und familiären Verhältnisse ausschlaggebend sein. Unter Umständen kann die Möglichkeit der persönlichen Betreuung auch dahinter zurücktreten (Urteil 5C.212/2005 vom 25. Januar 2006 E. 4.2 und 4.4.1, in: FamPra.ch 2006 S. 753 ff.). Schliesslich ist - je nach Alter der Kinder - ihrem eindeutigen Wunsch Rechnung zu tragen. Diesen Kriterien lassen sich die weiteren Gesichtspunkte zuordnen, namentlich die Bereitschaft eines Elternteils, mit dem anderen in Kinderbelangen zusammenzuarbeiten oder die Forderung, dass eine Zuteilung der Obhut von einer persönlichen Bindung und echter Zuneigung getragen sein sollte (vgl. <ref-ruling> E. 4a S. 209; <ref-ruling> E. 2 und 3 S. 319 ff.; <ref-ruling> E. 3 S. 354 f.; Urteil 5A_798/2009 vom 4. März 2010 E. 5.3).
Bei der Beurteilung der für die Obhutszuteilung massgebenden Kriterien verfügt das Sachgericht über grosses Ermessen (vgl. alle soeben zitierten Urteile). Auf Willkürbeschwerde hin kann das Bundesgericht deshalb nur eingreifen, wenn das Sachgericht grundlos von in Rechtsprechung und Lehre anerkannten Grundsätzen abgewichen ist, wenn es Gesichtspunkte berücksichtigt hat, die keine Rolle hätten spielen dürfen, oder wenn es umgekehrt rechtserhebliche Umstände ausser Acht gelassen hat. Der Ermessensentscheid muss sich als im Ergebnis offensichtlich unbillig, als in stossender Weise ungerecht erweisen (BGE 109 la 107 E. 2c S. 109; <ref-ruling> E. 4b S. 6 f.; <ref-ruling> E. 1 S. 99).
2.2 In tatsächlicher und rechtlicher Hinsicht erwog die Vorinstanz, der Beschwerdeführer habe die vom erstinstanzlichen Gericht angeordnete und für vollstreckbar erklärte Obhutsregelung "aktiv hintertrieben, indem er den Kindern das Gegenteil dessen suggerierte, was ihm aufgrund des angefochtenen Urteils und der [obergerichtlichen] Instruktionsrichterverfügungen als zutreffend bekannt war". Insbesondere stehe fest, dass der Beschwerdeführer "die beiden gerade einmal acht und sechs Jahre alten Kinder S._ und T._ nicht nur falsch informiert, sondern sie auch in unverantwortlicher Art und Weise in das Trennungsverfahren und den ehelichen Konflikt einbezieht". Auch habe der Beschwerdeführer die Schreiben des Beistands vom 22. September bzw. vom 6. Oktober 2011 (namentlich betreffend Kinderübergabe) ignoriert und diese damit quittiert, dass er zumindest vorübergehend jeden Kontakt mit dem Beistand verweigere. Damit "wirkt der Beklagte in unverantwortlicher Weise auf eine Entfremdung der Kinder von der Klägerin hin". Ausserdem habe er "seine Kinder instruiert, welche Aussagen sie gegenüber Dritten zu machen haben".
Namentlich mit Blick auf das vorstehend geschilderte Verhalten des Beschwerdeführers gelangte die Vorinstanz zum Schluss, "dass der Beklagte seine Kinder auf eine dem Kindeswohl aufs Massivste widersprechende Weise für angeblich gemeinsame, aber letztlich egoistische Ziele in seinem Streit mit der Klägerin einzusetzen versucht". Die Bedenken an der Erziehungsfähigkeit des Beschwerdeführers seien "als derart gravierend zu taxieren, dass sich eine Obhutszuteilung bezüglich der jüngeren beiden Knaben an die Beklagte aufdrängt", auch wenn eine Zuweisung der Obhut an den Beschwerdeführer an sich den Vorteil böte, dass S._ und T._ "in der angestammten Umgebung verbleiben könnten und die drei Geschwister nicht getrennt würden".
Demgegenüber hat die Vorinstanz die Erziehungsfähigkeit der Beschwerdegegnerin als intakt beurteilt, zumal sie sich mit dem Wegzug aus A._ "der Konfliktsituation mit dem Beklagten und dem ihr nachstehenden Umfeld entziehen wollte", um damit auch die Kinder zu entlasten.
2.3 Der Beschwerdeführer macht diesbezüglich in verschiedener Hinsicht Willkür geltend. Es gehe nicht an, ihm die Erziehungsfähigkeit mit der Begründung abzusprechen, er habe den richterlichen Vollstreckungsentscheid missachtet, denn die erstinstanzliche Obhutszuteilung stehe im Widerspruch zur Meinung aller anderen Behörden. Sodann sei es unhaltbar, nur auf die angeblich mangelnde Erziehungsfähigkeit abzustellen und damit die beiden jüngeren Kinder aus ihrer angestammten Umgebung herauszureissen, die drei Geschwister zu trennen und überhaupt alle anderen Zuteilungskriterien, die klar zu seinen Gunsten sprechen würden, unberücksichtigt zu lassen. Immerhin habe das erstinstanzliche Urteil noch auf der Zusicherung der Beschwerdegegnerin beruht, in der ehelichen Wohnung, d.h. in unmittelbarer Umgebung von R._ bzw. des Beschwerdeführers wohnen zu bleiben. Schliesslich erblickt der Beschwerdeführer Willkür im Umstand, dass die Vorinstanz vom richterlich eingeholten Bericht des Beistandes abgewichen ist.
2.4 Die Vorinstanz hat ausführlich dargelegt, weshalb sie hinsichtlich der Erziehungsfähigkeit des Beschwerdeführers grösste Bedenken hegt (s. E. 2.2. hiervor). Mit dem Vorwurf, er habe die Kinder falsch informiert, diese in den ehelichen Konflikt einbezogen und letztlich auf eine Entfremdung der Kinder zur Mutter hingewirkt, setzt sich der Beschwerdeführer nicht auseinander. Tatsache ist, dass die Vorinstanz in einem - unangefochten gebliebenen - Zwischenentscheid vom 18. August 2011 das Begehren des Vaters um Aufschub der Vollstreckung des erstinstanzlichen Entscheids und am 22. August 2011 dessen Gesuch um superprovisorische Obhutszuteilung abwies und die Gerichtspräsidentin von Baden in einem - ebenfalls unangefochten gebliebenen - Entscheid vom 19. September 2011 die erstinstanzliche Obhutszuteilung für vollstreckbar erklärte. Wenn der Beschwerdeführer bei dieser Ausgangslage seinen Kindern erklärt, sie müssten nicht zur Mutter, und jeden Versuch einer Übergabe der Kinder an die Mutter (aktiv oder passiv) hintertreibt oder gar vereitelt, sind die Erwägungen der Vorinstanz offensichtlich nachvollziehbar.
Dass andere Behörden die erstinstanzliche Obhutszuteilung bzw. die Durchsetzung derselben für falsch halten, vermag daran nichts zu ändern. Abgesehen davon, dass unklar bleibt, welche "anderen Behörden" gemeint sein könnten, war die Meinung der für den Entscheid über die Obhutszuteilung zuständigen Behörde - hier zunächst des Bezirksgerichts und alsdann des Obergerichts - massgebend. Das einzig zulässige Verhalten wäre gewesen, sich auf dem Rechtsmittelweg zur Wehr zu setzen; für Selbstjustiz, wie sie der Beschwerdeführer ausgeübt hat, bleibt kein Platz.
Die übrigen Argumente des Beschwerdeführers gehen an der Sache vorbei. Die Erziehungsfähigkeit desjenigen Elternteils, der die Obhut ausüben soll, ist in der Tat das wichtigste Kriterium für die Zuteilung der Kinder. Es liegt auf der Hand, dass es von vornherein nicht zum Wohl der Kinder S._ und T._ sein kann, diese in die Obhut jenes Elternteils zu stellen, gegenüber dessen Erziehungsfähigkeit (mit Bezug auf diese beiden Kinder) grösste Bedenken bestehen. Wird diese Voraussetzung verneint, rücken die anderen Kriterien in den Hintergrund. Es trifft im Übrigen nicht zu, dass die Vorinstanz diese gänzlich unberücksichtigt gelassen hat. Dies gilt namentlich mit Bezug auf den Vorwurf, der Vater entfremde seine Kinder von der Mutter. Denn daraus ist zu schliessen, dass der Beschwerdeführer keine oder jedenfalls nur eine geringe Bereitschaft zeigt, mit der Mutter in Kinderbelangen zusammenzuarbeiten.
Dass die Beschwerdegegnerin nach dem erstinstanzlichen Urteil ihren Wohnort gewechselt hat, gereicht ihr nicht zum Nachteil, denn dieser Schritt war nachvollziehbar, liegen doch die Gründe hiefür beim Beschwerdeführer und dem ihm zuzurechnenden Verhalten eines Teils seiner Angehörigen.
Auch das Abweichen vom Bericht des Beistandes vom 20. Oktober 2011 bzw. dessen Beurteilung vermag keine Willkür zu begründen. Der Beistand hatte sich ja auch nicht zur Obhutszuteilung zu äussern. Seine Aufgabe war es, die aktuelle Lage zu schildern und zu gewissen Zuteilungskriterien Stellung zu nehmen. Es trifft zwar zu, dass der Beistand es nicht für angezeigt hielt, die Kinder zu trennen. Andererseits führte er aus, der Vater habe sich bislang geweigert, das Urteil des Bezirksgerichtes umzusetzen und leider müsse davon ausgegangen werden, dass der Vater sich auch in Zukunft "kaum stark darum bemühen [werde], den Kontakt zur Mutter gemäss Urteil zu gewährleisten". Im Grunde genommen bestätigt der Beistand damit nichts anderes als die vorinstanzliche Beurteilung der mangelhaften Erziehungsfähigkeit.
Nach dem Gesagten kann von Willkür in der Obhutszuteilung keine Rede sein.
2.5 Der Beschwerdeführer rügt sodann, die Vorinstanz habe den Untersuchungsgrundsatz willkürlich angewendet, indem sie in der sich stellenden Obhutsfrage, die komplex sei, kein fachärztliches Kindergutachten eingeholt habe.
Im Eheschutzverfahren geht es darum, möglichst rasch eine optimale Situation für die Kinder zu schaffen. Langwierige Abklärungen, etwa durch Gutachten, sollten auch im Streitfall nicht die Regel sein, sondern nur angeordnet werden, wenn besondere Umstände vorliegen (Urteil 5A_444/2008 vom 14. August 2008 E. 2.2, mit Hinweisen). In Kinderbelangen gilt - jedenfalls in Obhutsfragen - der Freibeweis (<ref-ruling> E. 4a S. 55). Die kinderpsychologische Begutachtung ist eine der Beweismassnahmen, die das Gericht im Eheschutzverfahren bei den von der Offizialmaxime beherrschten Kinderbelangen anordnen kann, aber nicht muss; der Entscheid darüber liegt in seinem pflichtgemässen Ermessen (Urteil 5A_160/2009 vom 13. Mai 2009 E. 2.2). Soweit sich das Obergericht gestützt auf die abgenommenen Beweismittel bereits eine Überzeugung hat bilden können, verletzt seine Weigerung, zusätzlich beantragte Beweismittel abzunehmen und eine Beweisverhandlung durchzuführen (E. 2.1 S. 8 des angefochtenen Urteils), weder den verfassungsmässigen Beweisanspruch (<ref-law>; vgl. <ref-ruling> E. 5.3 S. 148) noch den Untersuchungsgrundsatz (vgl. <ref-ruling> E. 2.2.3 S. 735). Die (vorweggenommene) Beweiswürdigung kann das Bundesgericht sodann nur auf Willkür hin überprüfen (<ref-law>; vgl. zum Begriff: <ref-ruling> E. 4.3 S. 62). Eine solche Rüge erhebt der Beschwerdeführer indes nicht.
2.6 Soweit der Beschwerdeführer eine Verletzung von Art. 299 i.V.m. <ref-law> rügt, kann darauf nicht eingetreten werden, denn er tut diesbezüglich keine Willkür dar. Dasselbe Schicksal erleidet seine Rüge, wonach die Vorinstanz mit ihrem Entscheid die UN-Kinderrechtskonvention verletzt habe, denn er behauptet nicht und legt nicht dar, inwiefern diese Konvention andere oder weiterreichende Rechte einräumt, als bereits von Bundesrechts wegen gewährleistet sind. Was der Beschwerdeführer alsdann gegen die Kindesanhörung vom 16. September 2011 vorbringt, erschöpft sich in appellatorischer Kritik an der vorinstanzlichen Beweiswürdigung, so dass auch darauf nicht eingetreten werden kann.
Schliesslich rügt der Beschwerdeführer Willkür in der Beweiswürdigung, indem die Vorinstanz ohne Grundlage davon ausgegangen sei, er werde das Kontaktrecht der Mutter auch zukünftig vereiteln. Die Vorinstanz hat sich am vergangenen Verhalten des Beschwerdeführers (Weigerung, den Kontakt der Kinder zur Mutter herzustellen bzw. zu gewährleisten) orientiert und daraus Schlussfolgerungen für die Zukunft gezogen. Der Beschwerdeführer bestreitet seine bisherige Weigerungshaltung nicht, wenngleich er allen anderen und namentlich der Vorinstanz die Schuld dafür in die Schuhe schiebt. Auf dieser Basis ist die Vorinstanz nicht in Willkür verfallen, wenn sie den Schluss gezogen hat, der Beschwerdeführer werde auch in Zukunft keine Gewähr für den Kontakt zwischen Mutter und Kinder bieten.
3. Für den Fall, dass die vorinstanzliche Obhutszuteilung bestätigt werde, rügt der Beschwerdeführer auch die zu seinen Gunsten angeordnete Besuchsrechtsregelung.
3.1 Die Vorinstanz begründete das - vorübergehend - restriktiv angeordnete Besuchsrecht mit der "massiven Beeinflussung der Kinder durch den Beklagten" und deren Entfremdung, weshalb in einem ersten Schritt die Lage beruhigt werden müsse.
3.2 Der Beschwerdeführer begründet seine Rüge einzig damit, die Vorinstanz sei von der Empfehlung des Beistandes abgewichen und sei daher in Willkür verfallen. Mit der vorinstanzlichen Begründung setzt er sich indes nicht auseinander; insbesondere legt er nicht dar, inwiefern die Begründung der Vorinstanz, zunächst der Entfremdung entgegenzuwirken und Ruhe einkehren zu lassen, unter den gegebenen Verhältnissen unhaltbar erscheine. Auf die Rüge ist nicht einzutreten.
4. Für den Fall, dass die Obhutsregelung bestätigt werden sollte, ficht der Beschwerdeführer auch den Ehegattenunterhalt an.
4.1 Soweit er rügt, die Vorinstanz sei ohne rechtsgenüglichen Rechtsmittelantrag auf die Berufung der Beschwerdegegnerin eingetreten, legt er keinerlei Willkür dar. Darauf ist nicht einzutreten.
4.2 Sodann behauptetet der Beschwerdeführer pauschal, die Vorinstanz habe der Beschwerdegegnerin willkürlich ein zu hohes Existenzminimum angerechnet und trotz simuliertem Mietvertrag die behaupteten Wohnkosten eingesetzt. Die konkret veranschlagten Wohnkosten bilden eine Tatfrage, die für das Bundesgericht verbindlich feststehen. Da der vorinstanzlich festgestellte Sachverhalt keine Anhaltspunkte enthält, die auf eine Simulation schliessen lassen, handelt es sich bei dieser Behauptung um ein unzulässiges Novum (vgl. <ref-law>).
4.3 Des Weiteren kritisiert der Beschwerdeführer, die Vorinstanz habe ihm willkürlich ein zu hohes Einkommen angerechnet, indem ihm "ungewisse Mieterträge" angerechnet worden seien. Die Vorinstanz bezeichnete die Möglichkeit, diese Mieterträge zu erzielen, als "keinesfalls unrealistisch". Damit entschied sie über eine Tatfrage, die für das Bundesgericht verbindlich feststeht, soweit keine qualifizierten Sachverhaltsrügen nach Massgabe von <ref-law> erhoben werden, was vorliegend nicht der Fall ist. Darauf ist nicht einzutreten.
4.4 Da es somit beim vorinstanzlich veranschlagten Gesamteinkommen des Beschwerdeführers sein Bewenden hat, erübrigt sich auch die vom Beschwerdeführer abschliessend beantragte entsprechende Anpassung der Kinderunterhaltsbeiträge.
5. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann.
Aufgrund der gewährten aufschiebenden Wirkung ist die Zeitspanne betreffend die vorübergehende Besuchsrechtseinschränkung väterlicherseits, die der vorinstanzliche Entscheid bis Ende Mai 2012 festgesetzt hatte (vgl. vorinstanzliche Dispositivziffern 4.2.1 bzw. 4.2.2), entsprechend neu anzusetzen, und zwar bis Ende August 2012.
Der Beschwerdeführer unterliegt und wird damit kostenpflichtig (<ref-law>). Das Gesuch des Beschwerdeführers um unentgeltliche Prozessführung ist - trotz Obsiegens im Verfahren um aufschiebende Wirkung - vollumfänglich abzuweisen, da das Massnahmeverfahren insofern der Hauptsache folgt und sich die Beschwerde, wie die vorstehenden Ausführungen zeigen, als von Anfang an aussichtslos erweist (<ref-law>).
Im Verfahren um aufschiebende Wirkung ist die Beschwerdegegnerin unterlegen. Gleichzeitig stellte sie ein Gesuch um unentgeltliche Rechtspflege. Wie die Erwägungen der Abteilungspräsidentin in der Verfügung vom 23. Januar 2012 zeigen, müssen die entsprechenden Anträge aber als von Anfang an aussichtslos bezeichnet werden. Es fehlt daher an einer Voraussetzung für die Gewährung der unentgeltlichen Rechtspflege (<ref-law>). Das entsprechende Gesuch ist abzuweisen.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf eingetreten werden kann.
Der Zeitraum betreffend vorübergehende Besuchsrechtseinschränkung des Beschwerdeführers gemäss Ziff. 4.2.1 bzw. Ziff. 4.2.2 des Entscheids des Obergerichts des Kantons Aargau vom 12. Dezember 2011 wird neu angesetzt, und zwar ab Ausfällung dieses Urteils bis Ende August 2012.
2. Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege wird abgewiesen.
3. Das Gesuch der Beschwerdegegnerin um unentgeltliche Rechtspflege wird abgewiesen.
4. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
5. Dieses Urteil wird den Parteien, dem Obergericht des Kantons Aargau, Zivilgericht, 5. Kammer, und dem Gemeinderat A._, Vormundschaftsbehörde, schriftlich mitgeteilt.
Lausanne, 28. März 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Schwander