Sachverhalt:
A. X._ (geb. xxxx 1950) und Z._ (geb. xxxx 1976) heirateten am xxxx 2000. Sie sind die Eltern der drei gemeinsamen Kinder R._ (geb. xxxx 2001), S._ (geb. xxxx 2003) und T._ (geb. xxxx 2007).
Am 16. April 2010 leitete die Ehefrau ein Eheschutzverfahren beim Kantonsgericht Zug ein, welches mit Verfügung vom 21. September 2010 zufolge Rückzugs abgeschrieben wurde.
Mit Eingaben vom 28. Februar 2011 und 2. März 2011 machte die Ehefrau am Kantonsgericht Zug ein neues Eheschutzverfahren anhängig und stellte diverse Anträge betreffend die Regelung des Getrenntlebens.
Am 12. September 2011 entschied das Kantonsgericht Zug, soweit vorliegend relevant, dass der Ehemann - mit Wirkung per 4. Februar 2011 - an den Unterhalt der Ehefrau sowie denjenigen der Kinder monatlich Fr. 5'000.-- zuzüglich allfälliger Kinderzulagen zu bezahlen habe, d.h. je Fr. 800.-- pro Kind sowie Fr. 2'600.-- für die Ehefrau (Dispositiv-Ziffer 4.1). Sodann verpflichtete es den Ehemann - ebenfalls mit Wirkung per 4. Februar 2011 - der Ehefrau für den Unterhalt der Kinder einen zusätzlichen Betrag von zurzeit Fr. 445.-- pro Monat zu bezahlen (monatliche Schulkosten für R._ und S._), zahlbar direkt an die Stiftung M._ Sprachheilschule A._ (Dispositiv-Ziffer 4.2).
B. Gegen diesen Entscheid erhoben der Ehemann am 22. September 2011 sowie die Ehefrau am 26. September 2011 Berufung. Mit Urteil vom 7. Dezember 2011 wies das Obergericht des Kantons Zug die Berufung der Ehefrau ab, jene des Ehemannes hiess es teilweise gut, indem es die erstinstanzlichen Gerichts- und Parteikosten neu regelte, den erstinstanzlichen Entscheid aber im Übrigen bestätigte.
C. Mit Beschwerde vom 23. Dezember 2011 gelangt X._ (nachfolgend: Beschwerdeführer) an das Bundesgericht. Er verlangt die Aufhebung der Ziffern 4.1 und 4.2 des Entscheids des Kantonsgerichts Zug vom 12. September 2011 sowie die Feststellung, dass er nicht zu Unterhaltszahlungen verpflichtet sei. Gleichzeitig stellt er einen Antrag auf unentgeltliche Rechtspflege für das Verfahren vor dem Bundesgericht.
Es wurden die Akten, aber keine Vernehmlassungen eingeholt.

Erwägungen:
1. 1.1 Angefochten ist ein kantonal letztinstanzlicher (Art. 75 Abs. 1 BGG), ausschliesslich finanzielle Aspekte der Trennung regelnder Eheschutzentscheid. Mithin handelt es sich um einen Endentscheid (Art. 90 BGG) in einer vermögensrechtlichen Zivilsache (Art. 72 Abs. 1 BGG). Der gemäss Art. 74 Abs. 1 lit. b BGG erforderliche Streitwert übersteigt Fr. 30'000.--. Damit sind die Voraussetzungen für die Beschwerde in Zivilsachen erfüllt.
1.2 Eheschutzentscheide sind Entscheide über vorsorgliche Massnahmen im Sinne von Art. 98 BGG (<ref-ruling> E. 5 S. 396 f.).
Im Rahmen von Art. 98 BGG kann nur die Verletzung verfassungsmässiger Rechte gerügt werden. Zur Anwendung gelangt das strenge Rügeprinzip (Art. 106 Abs. 2 BGG). Das bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft, während es auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid nicht eintritt. Die gerügten verfassungsmässigen Rechte sind namentlich zu benennen, ebenso die Gesetzesnormen, deren willkürliche Anwendung beanstandet wird. Wird die Verletzung des Willkürverbots gerügt, reicht es zudem nicht aus, die Rechtslage aus Sicht des Beschwerdeführers darzulegen und den davon abweichenden angefochtenen Entscheid als willkürlich zu bezeichnen; vielmehr ist im Einzelnen darzulegen, inwiefern das kantonale Gericht willkürlich entschieden haben soll und der angefochtene Entscheid deshalb an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 2.2 S. 246).
Die Beschwerde in Zivilsachen steht nur gegen Entscheide letzter kantonaler Instanzen offen (Art. 75 Abs. 1 BGG). Letztinstanzlichkeit gemäss Art. 75 Abs. 1 BGG bedeutet, dass der kantonale Instanzenzug für die Rügen, die dem Bundesgericht vorgetragen werden, ausgeschöpft sein muss (<ref-ruling> E. 1.3 S. 527).
1.3 Der vorinstanzlich festgestellte Sachverhalt ist für das Bundesgericht grundsätzlich verbindlich (Art. 105 Abs. 1 BGG). Es ist nicht Aufgabe des Bundesgerichts, Beweise abzunehmen und Tatsachen festzustellen, über die sich das kantonale Sachgericht nicht ausgesprochen hat (<ref-ruling> E. 6.1 S. 214). Neue Beweismittel dürfen vor Bundesgericht einzig soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG). In der Beschwerde ist darzulegen, inwiefern diese Voraussetzungen für die Abnahme neuer Beweismittel erfüllt sind (<ref-ruling> E. 3 S. 395; <ref-ruling> E. 2.2.1 S. 226 f.).
Echte Noven, d.h. Tatsachen, die sich erst nach dem Zeitpunkt zugetragen haben, nachdem vor der Vorinstanz keine neuen Tatsachen (mehr) vorgetragen werden durften, sind vor Bundesgericht - jedenfalls soweit sie den angefochtenen Entscheid in der Sache betreffen - unbeachtlich (<ref-ruling> E. 2.1 S. 344; <ref-ruling> E. 5.2.4 S. 229).
Soweit der Beschwerdeführer im bundesgerichtlichen Verfahren neue Behauptungen aufgestellt bzw. Beweismittel eingereicht hat, ist darauf nicht einzutreten.
2. 2.1 Der Beschwerdeführer führt zunächst ins Feld, die Vorinstanz habe ihm eine monatliche IV-Rente in der Höhe von Fr. 3'497.-- angerechnet. Dem sei "nicht zuzustimmen". Per 1. August 2011 sei nämlich eine Neuberechnung der Ergänzungsleistungen vorgenommen worden, so dass er ab diesem Datum lediglich eine IV-Rente von monatlich Fr. 1'094.-- erhalten habe. Nachträglich sei seine Einsprache gutgeheissen worden, so dass er nun Ergänzungsleistungen in der Höhe von Fr. 1'938.-- erhalte.
Der Beschwerdeführer legt in seiner Beschwerdeschrift nicht dar, ob bzw. wann er die Vorinstanz über die Änderungen in Sachen Ergänzungsleistungen sowie über den gutgeheissenen IV-Einspracheentscheid in Kenntnis setzte. Damit erweist sich sein Vorbringen als unzulässige neue Tatsache (dazu E. 1.3). Darauf ist nicht einzutreten.
2.2 Sodann macht der Beschwerdeführer geltend, er habe den im vorinstanzlichen Urteil erwähnten geleasten BMW X5 (monatliche Leasingraten von Fr. 1'545.40) am 20. September 2011 auf Y._ "umgeschrieben".
Diese Tatsache hat die Vorinstanz berücksichtigt und festgehalten, dass der Beschwerdeführer insofern die von der ersten Instanz aufgezeigte Einsparungsmöglichkeit realisiert hat. Damit läuft sein Einwand ins Leere.
2.3 Des weiteren "bestreitet" der Beschwerdeführer die vorinstanzliche Feststellung, wonach er in der Lage sei, mit seiner Einzelfirma monatlich mindestens ein Einkommen von Fr. 1'500.-- zu erzielen. Als Beleg dafür verweist er auf den Jahresabschluss 2010, aus dem sich ein Verlust von Fr. 52'302.12 ergebe, sowie auf die Steuererklärung 2010, wonach er über kein steuerbares Gesamteinkommen verfüge. Ausserdem werde er sein Geschäft voraussichtlich aufgeben müssen.
Der Beschwerdeführer bezeichnet es überdies als "falsch", dass die Vorinstanz von monatlichen Mindesteinkünften von Fr. 6'500.-- ausgehe. Sein monatliches Einkommen bestehe einzig aus der IV-Rente in der Höhe von Fr. 1'094.-- und aus Ergänzungsleistungen in der Höhe von Fr. 1'938.--.
Das angefochtene Urteil setzt sich im Einzelnen mit der Einkommenssituation des Beschwerdeführers auseinander, nachdem dieser bereits vor der Vorinstanz geltend gemacht hatte, er erziele kein Einkommen mehr. Indem der Beschwerdeführer letztlich einfach seine Sicht der Dinge darlegt, ohne sich mit den einschlägigen Erwägungen auseinanderzusetzen, kommt er den Substanziierungsanforderungen (dazu E. 1.2) nicht nach, weshalb darauf nicht einzutreten ist.
2.4 Der Beschwerdeführer bestreitet, über ein Sparguthaben von Fr. 166'667.-- zu verfügen; er verfüge über keinerlei Sparguthaben, Wertschriften und auch über keine Lebensversicherung. Letztere sei laut Scheidungsurteil seiner geschiedenen Frau ausbezahlt worden.
Zudem schulde er der Ausgleichskasse wegen angeblich zu viel ausbezahlter Beiträge Fr. 65'028.--. Auch der von der Vorinstanz veranschlagte Nettomietzins der Liegenschaft B._ in der Höhe von Fr. 5'000.-- sei "niemals" zu erzielen. Die Liegenschaft sei sanierungsbedürftig und die Bank im Übrigen nicht bereit, die Hypothek zu erhöhen.
Die Vorinstanz stützte sich namentlich auf das Berechnungsblatt der Ausgleichskasse vom 27. Juli 2010, wo die genannten Vermögenswerte im Einzelnen aufgeführt sind.
Vor der Vorinstanz hat der Beschwerdeführer weder den Nettomietzins noch das erwähnte Berechnungsblatt beanstandet. Seine Rüge scheitert daher an der Ausschöpfung des Instanzenzugs (dazu oben E. 1.2 Absatz 3). Darauf ist nicht einzutreten.
3. Nach dem Gesagten kann auf die Beschwerde nicht eingetreten werden. Der Beschwerdeführer wird kostenpflichtig (Art. 66 Abs. 1 BGG). Wie die vorstehenden Erwägungen zeigen, muss die Beschwerde als von Anfang an aussichtslos bezeichnet werden, weshalb es an einer materiellen Voraussetzung der unentgeltlichen Rechtspflege fehlt (Art. 64 Abs. 1 BGG) und das entsprechende Gesuch abzuweisen ist. Der Beschwerdegegnerin ist keine Parteientschädigung zuzusprechen, da sie nicht zur Vernehmlassung eingeladen wurde und ihr kein entschädigungspflichtiger Aufwand entstanden ist (Art. 68 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Das Gesuch um unentgeltliche Rechtspflege des Beschwerdeführers wird abgewiesen.
3. Die Gerichtskosten von Fr. 1'500.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zug, Zivilabteilung, schriftlich mitgeteilt.
Lausanne, 18. April 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Schwander