Sachverhalt: A. X._, deutscher Staatsangehöriger (geb. 1976), und Z._, italienische Staatsangehörige (geb. 1968), hatten am xxxx 2001 geheiratet. Sie sind die Eltern des Sohnes Y._ (geb. xxxx 2005). Seit Januar 2009 war zwischen ihnen vor dem Bezirksgericht Meilen ein Scheidungsverfahren hängig. Im Rahmen dieses Verfahrens und in Abänderung einer Eheschutzverfügung aus dem Jahre 2007 erliess die Einzelrichterin des Bezirks Meilen mit Verfügung vom 21. Februar 2011 auf X._s Gesuch hin vorsorgliche Massnahmen für die Dauer des Scheidungsverfahrens und verpflichtete diesen, Z._ monatliche Unterhaltsbeiträge von Fr. 5'220.-- (davon Fr. 1'200.-- für Y._) zuzüglich Kinderzulagen zu bezahlen. Mit Urteil vom 5. April 2011 wurde die Ehe der Parteien geschieden. B. B.a Am 15. Mai 2011 erhob X._ beim Obergericht des Kantons Zürich Berufung gegen das erstinstanzliche Scheidungsurteil vom 5. April 2011. In der Hauptsache beantragte er die Aufhebung, eventualiter die Reduktion der Unterhaltspflicht gegenüber seiner Ehefrau. Weiter beantragte er die Gewährung der unentgeltlichen Rechtspflege und ersuchte für die Dauer des Berufungsverfahrens um Anordnung vorsorglicher Massnahmen in dem Sinne, dass die von der Bezirksrichterin vorsorglich festgesetzten Unterhaltsbeiträge aufzuheben bzw. an sein aktuelles Einkommen anzupassen, das heisst zu reduzieren seien. B.b Mit Beschluss vom 31. August 2011 gewährte das Obergericht X._ die unentgeltliche Rechtspflege für das Berufungsverfahren und reduzierte die für die Dauer des Verfahrens geschuldeten Unterhaltsbeiträge rückwirkend ab 15. Mai 2011 auf Fr. 3'750.-- (davon Fr. 1'200.-- für Y._) zuzüglich Kinderzulagen. C. Mit Beschwerde in Zivilsachen vom 7. Oktober 2011 gelangt X._ (nachfolgend Beschwerdeführer) an das Bundesgericht. Er beantragt, den Beschluss des Obergerichts vom 31. August 2011 aufzuheben, ihn zu verpflichten, monatlich Fr. 1'200.-- an den Unterhalt von Y._ zuzüglich allfälliger Kinderzulagen zu bezahlen, und auf die Festsetzung eines persönlichen Unterhaltsbeitrages für Z._ (nachfolgend Beschwerdegegnerin) zu verzichten. Ferner ersucht der Beschwerdeführer um Gewährung der unentgeltlichen Rechtspflege für das Verfahren vor Bundesgericht. Mit Verfügung vom 18. November 2011 hat der Instruktionsrichter das Gesuch um aufschiebende Wirkung abgewiesen. Es wurden die Akten, aber keine Vernehmlassungen eingeholt.