Sachverhalt:
A._ und B._ leben in eingetragener Partnerschaft. Vor dem Bezirksgericht Zürich ist ein Verfahren auf Aufhebung des Zusammenlebens gemäss <ref-law> hängig.
Im Rahmen dieses Verfahrens beantragte A._ den Ausstand der zuständigen Bezirksrichterin C._.
Mit Beschluss vom 13. Januar 2017 wies das Bezirksgericht Zürich das Ausstandsbegehren ab.
Auf die hiergegen erhobene Beschwerde von A._ trat das Obergericht des Kantons Zürich mit Beschluss vom 28. März 2017 nicht ein, wobei es das Gesuch um unentgeltliche Rechtspflege abwies und die Kosten dem Beschwerdeführer auferlegte.
Gegen diesen Beschluss hat A._ am 13. Mai 2017 (Postaufgabe 14. Mai 2017) eine Beschwerde erhoben. Ferner wird die unentgeltliche Rechtspflege verlangt. Es wurden keine Vernehmlassungen, aber die kantonalen Akten eingeholt.

Erwägungen:
1.
Angefochten ist ein kantonal letztinstanzlicher Zwischenentscheid über ein Ausstandsbegehren in einem nicht vermögensrechtlichen Zivilverfahren; dagegen steht die Beschwerde grundsätzlich offen (Art. 72 Abs. 1, Art. 75 Abs. 1 und Art. 92 Abs. 1 BGG).
2.
Der angefochtene Entscheid wurde dem Beschwerdeführer am 30. März 2017 zugestellt. Die in der Rechtsmittelbelehrung angeführte 30-tägige Beschwerdefrist (<ref-law>) wurde damit ausgelöst und lief am 29. April 2017 aus. Die am 14. Mai 2017 der Post übergebene Beschwerde ist somit verspätet und auf sie kann nicht eingetreten werden.
Obwohl vom Beschwerdeführer nicht thematisiert, ist der Vollständigkeit halber festzuhalten, dass der Fristenstillstand gemäss <ref-law> nicht zur Anwendung kam. Beim zugrunde liegenden Verfahren geht es um die auf <ref-law> gestützte Aufhebung des Zusammenleben der Parteien, die im summarischen Verfahren abgewickelt wird (<ref-law>). Im bundesgerichtlichen Verfahren ist deshalb von einer vorsorglichen Massnahme im Sinn von <ref-law> auszugehen, wie dies auch auf das Eheschutzverfahren zutrifft (<ref-ruling> E. 5.1 S. 397; Urteile 5A_705/2013 vom 29. Juli 2014 E. 1.2; 5A_746/2014 vom 30. April 2015 E. 1.1). Im Übrigen ist der Begriff der vorsorglichen Massnahme im Sinn von <ref-law> identisch mit demjenigen gemäss <ref-law> (Urteile 5A_177/2007 vom 1. Juni 2007 E. 1.3; 5D_41/2007 vom 27. November 2007 E. 3.2; 5A_326/2009 vom 24. Dezember 2009 E. 1.1), weshalb der Fristenstillstand, wie vorstehend erwähnt, nicht zur Anwendung kommt.
3.
Infolge Ablaufes der Rechtsmittelfrist erweist sich die Beschwerde als offensichtlich unzulässig, weshalb der Präsident im vereinfachten Verfahren entscheidet (<ref-law>).
4.
Weil die Beschwerde als von Anfang an aussichtslos zu bezeichnen ist, fehlt es an den materiellen Voraussetzungen der unentgeltlichen Rechtspflege (<ref-law>) und ist das entsprechende Gesuch abzuweisen.
Angesichts der konkreten Umstände rechtfertigt es sich jedoch, auf die Erhebung von Gerichtskosten zu verzichten (<ref-law>).

Demnach erkennt der Präsident:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Es werden keine Gerichtskosten erhoben.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 23. Mai 2017
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Der Gerichtsschreiber: Möckli