Sachverhalt: A. X._ (geb. 8. April 1965) und Y._ (geb. 19. Mai 1964) heirateten am 28. Juni 1991. Sie sind die Eltern der sechs gemeinsamen Kinder A._ (geb. 2. November 1991), B._ (geb. 23. Oktober 1993), C._ (geb. 7. März 1995), D._ (geb. 26. September 1997), E._ (geb. 26. November 1999) und F._ (geb. 18. Februar 2002). Am 1. Februar 2011 erfolgte die Trennung. Mit Urteil vom 15. Juli 2011 teilte der Amtsgerichtspräsident des Richteramts Thal-Gäu, soweit vorliegend relevant, die elterliche Obhut über die fünf damals noch minderjährigen Kinder der Mutter zu (Ziffer 3), regelte das Besuchs- und Ferienrecht (Ziffer 4) und verpflichtete den Ehemann, ab 1. Juni 2011 für die Kinder monatlich im Voraus je Fr. 750.-- (zuzüglich Kinder- und Ausbildungszulagen) zu bezahlen sowie für die Ehefrau Fr. 2'500.-- (Ziffer 5), alsdann ab 1. Juli 2011 Fr. 700.-- pro Kind (zuzüglich Kinder- und Ausbildungszulagen) und für die Ehefrau nichts mehr (Ziffer 6). Die Liquidation der Partei- und Gerichtskosten regelte er in einer separaten Verfügung vom 6. September 2011 (vgl. Ziffer 9 des Urteils vom 15. Juli 2011), wonach der Ehefrau die unentgeltliche Rechtspflege gewährt wurde, dem Ehemann jedoch nicht. B. Gegen Ziffer 6 des Urteils vom 15. Juli 2011 erhob die Ehefrau Berufung an das Obergericht des Kantons Solothurn. Der Ehemann focht lediglich die Verfügung betreffend Partei- und Gerichtskosten mit Beschwerde an. Das Obergericht behandelte Beschwerde und Berufung gemeinsam. Mit Urteil vom 21. Dezember 2011 hiess das Obergericht die Berufung der Ehefrau gut und verpflichtete den Ehemann in Abänderung von Ziffer 6 des erstinstanzlichen Urteils, ab 1. Juli 2011 pro Kind Fr. 750.-- (zuzüglich Kinder- und Ausbildungszulagen) sowie für die Ehefrau Fr. 1'830.-- zu bezahlen (Ziffer 1). Die Beschwerde des Ehemannes hiess das Obergericht ebenfalls gut und gewährte ihm ab Gesuchseinreichung die unentgeltliche Rechtspflege einschliesslich Rechtsverbeiständung (Ziffer 4). Sodann wies es die Sache zu neuer Entscheidung über die Gerichts- und Parteikosten an die Vorinstanz zurück (Ziffer 6). C. Mit Beschwerde in Zivilsachen vom 23. Januar 2012 gelangt X._ (nachfolgend: Beschwerdeführer) an das Bundesgericht. Er verlangt im Wesentlichen, Ziffer 1 des vorinstanzlichen Urteils sei aufzuheben und er sei - in Bestätigung von Ziffer 6 des erstinstanzlichen Urteils vom 15. Juli 2011 - zu verpflichten, mit Wirkung ab 1. Juli 2011 für die Kinder je Fr. 700.-- (zuzüglich Kinder- und Ausbildungszulagen) zu bezahlen, während auf Ehegattenunterhalt zu verzichten sei; eventualiter seien die Ziffern 1-3 des vorinstanzlichen Urteils aufzuheben und die Sache zur Durchführung von Beweismassnahmen und zur Neubeurteilung im Sinne seiner Ausführungen an die Vorinstanz zurückzuweisen. Ausserdem ersucht der Beschwerdeführer für das Verfahren vor dem Bundesgericht um unentgeltliche Rechtspflege sowie um Beiordnung seines Anwalts als amtlichen Rechtsbeistand. Mit Verfügung vom 15. Februar 2012 gewährte die Präsidentin der II. zivilrechtlichen Abteilung der Beschwerde für die bis und mit Dezember 2011 geschuldeten Unterhaltsbeiträge die aufschiebende Wirkung. Es wurden die Akten, in der Sache aber keine Vernehmlassungen eingeholt.