Sachverhalt: A. X._ und Y._heirateten am 22. Juli 2003. Sie haben eine Tochter (geb. 2006). Im Jahre 2010 klagte X._ auf Ungültigerklärung der Ehe gestützt auf Art. 105 Ziff. 4 ZGB, eventualiter auf Scheidung. Zudem ersuchte er um Bewilligung der unentgeltlichen Prozessführung und darum, ihm Rechtsanwältin Karin Meyer zur unentgeltlichen Vertreterin zu bestellen. Mit Verfügung vom 2. Mai 2011 wies das Bezirksgericht Zürich das Gesuch um unentgeltliche Rechtspflege und Verbeiständung hinsichtlich der Ungültigkeitsklage ab, bewilligte es jedoch für die Scheidungsklage. Ein entsprechendes Gesuch von Y._ wurde vollumfänglich gutgeheissen. B. Am 6. Mai 2011 erhob X._ gegen diese Verfügung Beschwerde an das Obergericht des Kantons Zürich. Er ersuchte um Gewährung der unentgeltlichen Rechtspflege und um Beiordnung von Rechtsanwältin Meyer als unentgeltliche Vertreterin, und zwar für das bezirksgerichtliche Hauptverfahren wie auch für das obergerichtliche Beschwerdeverfahren. Mit Urteil vom 4. September 2011 wies das Obergericht die Beschwerde ab (Ziff. 3). Ebenso wies es das Gesuch um unentgeltliche Rechtspflege für das obergerichtliche Verfahren ab (Ziff. 1). Zudem verpflichtete es X._, dem unentgeltlichen Rechtsvertreter von Y._ für das Beschwerdeverfahren eine Entschädigung von Fr. 1'080.-- zu bezahlen, wobei die Entschädigung infolge Uneinbringlichkeit aus der Gerichtskasse zu leisten sei (Ziff. 5). C. Am 7. Oktober 2011 hat X._ (Beschwerdeführer) Beschwerde in Zivilsachen und eventualiter subsidiäre Verfassungsbeschwerde erhoben. Er beantragt die Aufhebung der Dispositivziffern 1, 3 und 5 des angefochtenen Urteils. Ihm sei die unentgeltliche Rechtspflege und Verbeiständung unter Beiordnung von Rechtsanwältin Meyer sowohl für das bezirksgerichtliche wie auch für das obergerichtliche Verfahren zu gewähren. Y._ sei zu verpflichten, ihm für das kantonale Beschwerdeverfahren eine angemessene Entschädigung zu entrichten. Eventualiter sei die Angelegenheit zur Neubeurteilung an die Vorinstanz zurückzuweisen. Zudem sei ihm auch für das bundesgerichtliche Verfahren die unentgeltliche Rechtspflege zu gewähren und Rechtsanwältin Meyer als unentgeltliche Vertreterin beizuordnen. Das Obergericht hat auf Stellungnahme verzichtet und das Bezirksgericht hat sich nicht vernehmen lassen.