Sachverhalt:
A. X._ und Y._heirateten am 22. Juli 2003. Sie haben eine Tochter (geb. 2006). Im Jahre 2010 klagte X._ auf Ungültigerklärung der Ehe gestützt auf <ref-law>, eventualiter auf Scheidung. Zudem ersuchte er um Bewilligung der unentgeltlichen Prozessführung und darum, ihm Rechtsanwältin Karin Meyer zur unentgeltlichen Vertreterin zu bestellen.
Mit Verfügung vom 2. Mai 2011 wies das Bezirksgericht Zürich das Gesuch um unentgeltliche Rechtspflege und Verbeiständung hinsichtlich der Ungültigkeitsklage ab, bewilligte es jedoch für die Scheidungsklage. Ein entsprechendes Gesuch von Y._ wurde vollumfänglich gutgeheissen.
B. Am 6. Mai 2011 erhob X._ gegen diese Verfügung Beschwerde an das Obergericht des Kantons Zürich. Er ersuchte um Gewährung der unentgeltlichen Rechtspflege und um Beiordnung von Rechtsanwältin Meyer als unentgeltliche Vertreterin, und zwar für das bezirksgerichtliche Hauptverfahren wie auch für das obergerichtliche Beschwerdeverfahren. Mit Urteil vom 4. September 2011 wies das Obergericht die Beschwerde ab (Ziff. 3). Ebenso wies es das Gesuch um unentgeltliche Rechtspflege für das obergerichtliche Verfahren ab (Ziff. 1). Zudem verpflichtete es X._, dem unentgeltlichen Rechtsvertreter von Y._ für das Beschwerdeverfahren eine Entschädigung von Fr. 1'080.-- zu bezahlen, wobei die Entschädigung infolge Uneinbringlichkeit aus der Gerichtskasse zu leisten sei (Ziff. 5).
C. Am 7. Oktober 2011 hat X._ (Beschwerdeführer) Beschwerde in Zivilsachen und eventualiter subsidiäre Verfassungsbeschwerde erhoben. Er beantragt die Aufhebung der Dispositivziffern 1, 3 und 5 des angefochtenen Urteils. Ihm sei die unentgeltliche Rechtspflege und Verbeiständung unter Beiordnung von Rechtsanwältin Meyer sowohl für das bezirksgerichtliche wie auch für das obergerichtliche Verfahren zu gewähren. Y._ sei zu verpflichten, ihm für das kantonale Beschwerdeverfahren eine angemessene Entschädigung zu entrichten. Eventualiter sei die Angelegenheit zur Neubeurteilung an die Vorinstanz zurückzuweisen. Zudem sei ihm auch für das bundesgerichtliche Verfahren die unentgeltliche Rechtspflege zu gewähren und Rechtsanwältin Meyer als unentgeltliche Vertreterin beizuordnen.
Das Obergericht hat auf Stellungnahme verzichtet und das Bezirksgericht hat sich nicht vernehmen lassen.

Erwägungen:
1. Angefochten ist binnen Frist (<ref-law>) ein kantonal letztinstanzlicher, auf Rechtsmittel hin ergangener Entscheid des Obergerichts (<ref-law>), mit dem die unentgeltliche Rechtspflege verweigert wurde. Es handelt sich um einen Zwischenentscheid, der einen nicht wieder gutzumachenden Nachteil bewirken kann (<ref-law>; <ref-ruling> E. 1.1 S. 131 mit Hinweis; Urteil 5A_843/2009 vom 23. Februar 2010 E. 1). Bei Zwischenentscheiden folgt der Rechtsweg jenem der Hauptsache (<ref-ruling> E. 1.1 S. 382). Hauptsache ist eine Eheungültigkeitsklage und somit eine Zivilsache (<ref-law>) ohne vermögensrechtlichen Charakter. Da die Beschwerde in Zivilsachen somit zur Verfügung steht, bleibt für die eventualiter erhobene subsidiäre Verfassungsbeschwerde kein Raum (<ref-law>). Auf die Beschwerde ist einzutreten.
2. Das Bezirks- und das Obergericht haben die auf <ref-law> gestützte Eheungültigkeitsklage als aussichtslos beurteilt. Gemäss dieser am 1. Januar 2008 in Kraft getretenen Bestimmung liegt ein Ungültigkeitsgrund vor, wenn einer der Ehegatten nicht eine Lebensgemeinschaft begründen, sondern die Bestimmungen über Zulassung und Aufenthalt von Ausländerinnen und Ausländern umgehen will. Das Obergericht ist zum Schluss gekommen, <ref-law> sei auf Ehen, die vor dem 1. Januar 2008 abgeschlossen worden seien, nicht anwendbar. Da der Beschwerdeführer die Ehe am 22. Juli 2003 eingegangen sei, könne er sich nicht auf diese Bestimmung berufen. Das Bezirksgericht hatte zusätzlich festgehalten, die Berufung des Beschwerdeführers auf <ref-law> sei rechtsmissbräuchlich und auch die Auswirkungen der Eheungültigkeit auf die Tochter spreche dagegen, diese Norm anzuwenden. Das Obergericht hat demgegenüber offengelassen, ob sich ein bösgläubiger Ehegatte auf <ref-law> berufen könne und hat die im Zusammenhang mit dem Kindesverhältnis erhobenen Rügen nicht einlässlich geprüft. Weil die Ungültigkeitsklage aussichtslos sei, gelte dies auch für die kantonale Beschwerde gegen die Verweigerung der unentgeltlichen Rechtspflege.
3. 3.1 Der Anspruch auf unentgeltliche Rechtspflege und Verbeiständung wird in erster Linie durch das anwendbare Prozessrecht geregelt, in Zivilverfahren also durch <ref-law> oder durch das übergangsrechtlich weiterhin zu berücksichtigende kantonale Recht. Vorliegend ist auf das bezirksgerichtliche Verfahren kantonales Prozessrecht angewandt worden und auf das Beschwerdeverfahren die eidgenössische ZPO. Unabhängig davon besteht ein Anspruch auf unentgeltliche Rechtspflege und Verbeiständung unmittelbar aufgrund von <ref-law>. Der Beschwerdeführer behauptet nicht, dass ihm das kantonale Recht weitergehende Ansprüche einräumt als <ref-law>. Gemäss <ref-law> hat jede Person, die nicht über die erforderlichen Mittel verfügt, Anspruch auf unentgeltliche Rechtspflege, wenn ihr Rechtsbegehren nicht aussichtslos erscheint. Soweit es zur Wahrung ihrer Rechte notwendig ist, hat sie ausserdem Anspruch auf unentgeltlichen Rechtsbeistand. Als aussichtslos sind nach der bundesgerichtlichen Rechtsprechung Prozessbegehren anzusehen, bei denen die Gewinnaussichten beträchtlich geringer sind als die Verlustgefahren und die deshalb kaum als ernsthaft bezeichnet werden können. Dagegen gilt ein Begehren nicht als aussichtslos, wenn sich Gewinnaussichten und Verlustgefahren ungefähr die Waage halten oder jene nur wenig geringer sind als diese. Massgebend ist, ob eine Partei, die über die nötigen finanziellen Mittel verfügt, sich bei vernünftiger Überlegung zu einem Prozess entschliessen würde; eine Partei soll einen Prozess, den sie auf eigene Rechnung und Gefahr nicht führen würde, nicht deshalb anstrengen können, weil er sie nichts kostet. Ob im Einzelfall genügende Erfolgsaussichten bestehen, beurteilt sich aufgrund einer summarischen Prüfung nach den Verhältnissen zur Zeit, zu der das Gesuch um unentgeltliche Rechtspflege gestellt wird (<ref-ruling> E. 5 S. 616 mit Hinweisen). Diese bundesgerichtliche Praxis zum Begriff der Aussichtslosigkeit gemäss <ref-law> gilt auch für <ref-law> (Urteil 4A_286/2011 vom 30. August 2011 E. 2).
3.2 Die Eheungültigkeitsklage des Beschwerdeführers ist nicht aussichtslos. Das Bundesgericht hatte sich bisher noch nicht mit der Auslegung von <ref-law> zu befassen und insbesondere hat es die im Vordergrund stehende Frage noch nicht beantwortet, ob diese Norm auf Ehen anzuwenden ist, die vor ihrem Inkrafttreten geschlossen worden sind, oder ob allenfalls andere Bestimmungen zur Anwendung gelangen. Das Gesetz enthält auf diese spezifische übergangsrechtliche Frage keine klare Antwort und ist demnach auslegungsbedürftig. Diese relativ neue Rechtsfrage erfordert eine eingehende Auseinandersetzung mit den Grundsätzen zur Rückwirkung von Gesetzesbestimmungen. Sie ist deshalb nicht geeignet, im Rahmen der summarischen Prüfung der Erfolgsaussichten der Eheungültigkeitsklage eindeutig beantwortet zu werden. Zur rückwirkenden Anwendung von <ref-law> gibt es - soweit ersichtlich - auch nur vereinzelte kantonale Rechtsprechung (vgl. etwa das Urteil des Kantonsgerichts Wallis vom 2. September 2010 E. 3.2, in: Zeitschrift für Walliser Rechtsprechung [ZWR] 2011 S. 302 ff.) und wenig Literatur. So stützt sich denn auch die Vorinstanz einzig auf zwei Literaturstellen, in denen die Rückwirkung abgelehnt wird (FANKHAUSER/WÜSCHER, Die neuen Eheungültigkeitsgründe nach Inkrafttreten des neuen Ausländergesetzes, Fampra.ch 2008 S. 762 f.; GEISER/LÜCHINGER, in: Basler Kommentar, Zivilgesetzbuch, 4. Aufl. 2010, N. 6a vor <ref-law>). Das Obergericht übergeht aber, dass diese Autoren ihre Ansicht zurückhaltend und vorsichtig formulieren. Die von der Vorinstanz offengelassene Frage, ob ein bösgläubiger Ehegatte sich auf die Eheungültigkeit berufen könne, stellt ebenfalls eine neue, ungeklärte Rechtsfrage dar, die nicht geeignet ist, in der summarischen Prüfung der Prozessaussichten beurteilt zu werden. Dasselbe gilt für den von der Vorinstanz nicht abschliessend beurteilten Zusammenhang der Eheungültigkeit mit dem Wegfall des Kindesverhältnisses.
Die Klage auf Eheungültigkeit des Beschwerdeführers wurde demnach zu Unrecht als aussichtslos beurteilt. Da die Vorinstanz die Beschwerde aus denselben Gründen wie die Klage als aussichtslos erachtet hat, ist auch diese Beurteilung zu Unrecht erfolgt. Die Mittellosigkeit des Beschwerdeführers ist von beiden Vorinstanzen bestätigt worden. Die Voraussetzungen für die Erteilung unentgeltlicher Rechtspflege für das bezirks- und das obergerichtliche Verfahren liegen demnach vor. Die Notwendigkeit der Verbeiständung ist offensichtlich, zumal der Ehefrau für das gesamte Verfahren ein unentgeltlicher Rechtsvertreter zur Seite gestellt wurde (<ref-law>, <ref-law>). Demgemäss ist dem Beschwerdeführer Rechtsanwältin Meyer als unentgeltliche Rechtsvertreterin zu bestellen. Die Beschwerde ist gutzuheissen.
4. Bei diesem Verfahrensausgang ist auf die Erhebung von Gerichtskosten zu verzichten (<ref-law>). Der Kanton Zürich hat den Beschwerdeführer angemessen zu entschädigen (<ref-law>). Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren wird damit gegenstandslos. Zur Neuverlegung der bisherigen kantonalen Kosten ist die Angelegenheit an das Obergericht zurückzuweisen (Art. 67, 68 Abs. 5 BGG).

Demnach erkennt das Bundesgericht:
1.1 Die Beschwerde wird gutgeheissen und die Dispositivziffern 1, 3 und 5 des Urteils des Obergerichts des Kantons Zürich, I. Zivilkammer, vom 4. September 2011 aufgehoben.
1.1 Die Beschwerde wird gutgeheissen und die Dispositivziffern 1, 3 und 5 des Urteils des Obergerichts des Kantons Zürich, I. Zivilkammer, vom 4. September 2011 aufgehoben.
1.2 Dem Beschwerdeführer wird für das vor Bezirksgericht Zürich hängige Eheungültigkeitsverfahren die unentgeltliche Rechtspflege bewilligt. Ihm wird Rechtsanwältin Karin Meyer als unentgeltliche Rechtsvertreterin beigeordnet.
1.2 Dem Beschwerdeführer wird für das vor Bezirksgericht Zürich hängige Eheungültigkeitsverfahren die unentgeltliche Rechtspflege bewilligt. Ihm wird Rechtsanwältin Karin Meyer als unentgeltliche Rechtsvertreterin beigeordnet.
1.3 Dem Beschwerdeführer wird für das obergerichtliche Beschwerdeverfahren die unentgeltliche Rechtspflege bewilligt. Ihm wird Rechtsanwältin Karin Meyer als unentgeltliche Rechtsvertreterin beigeordnet.
1.3 Dem Beschwerdeführer wird für das obergerichtliche Beschwerdeverfahren die unentgeltliche Rechtspflege bewilligt. Ihm wird Rechtsanwältin Karin Meyer als unentgeltliche Rechtsvertreterin beigeordnet.
1.4 Zur Neuverteilung der kantonalen Kosten wird die Angelegenheit an das Obergericht des Kantons Zürich zurückgewiesen.
2. Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren wird als gegenstandslos abgeschrieben.
3. Es werden keine Gerichtskosten erhoben.
4. Der Kanton Zürich hat dem Beschwerdeführer eine Parteientschädigung von Fr. 2'000.-- zu entrichten.
5. Dieses Urteil wird den Parteien schriftlich mitgeteilt.
Lausanne, 21. Dezember 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Zingg