Sachverhalt: A. A._ (1954), welcher in U._ eine Anwaltskanzlei betreibt, und C._ (1975), welche senegalesische Staatsangehörige ist, sind seit April 2001 verheiratet, lebten aber mehrheitlich getrennt. Sie haben die gemeinsamen Kinder D._ (2002), E._ (2004) und F._ (2009). D._ zog bereits im Sommer 2011 in die Schweiz zu ihrem Vater; im Dezember 2011 zogen die Mutter und die beiden Kinder E._ und F._ nach. Wenige Monate später wurde die Mutter nach einer tätlichen Auseinandersetzung aus der gemeinsamen Wohnung weggewiesen, wobei sie sich nach wie vor in der Schweiz aufhält. Im Rahmen eines Eheschutzverfahrens wurden die Kinder am 10. Oktober 2013 unter die Obhut des Vaters gestellt, unter Einräumung eines Besuchsrechts an die Mutter und Errichtung einer Beistandschaft. Mit Interventionen beim Migrationsamt versucht A._, die Ausweisung seiner Ehefrau zu erwirken. B. Die Besuchsrechtsausübung zwischen Mutter und Kindern ist konfliktreich. Mit Beschluss vom 20. Februar 2014 setzte die KESB Zürich Rechtsanwalt G._ als Kindesvertreter ein. A._ erhob gegen Teile dieses Beschlusses Beschwerde, wobei die Einsetzung eines Kindesvertreters nicht davon betroffen war; im Übrigen zog er die Beschwerde später wieder zurück. Mit Schreiben vom 18. August 2014 beantragte A._, "falls überhaupt ein Kinderanwalt eingesetzt wird, eine andere Vertretung zu wählen". Mit Verfügung vom 6. November 2014 wies die Vorsteherin der Abteilung 2 der KESB, B._, sowohl den Antrag auf Wechsel der Person des Kindesvertreters als auch denjenigen auf Aufhebung der Vertretung ab. C. Nachdem ein Wiedererwägungsgesuch vom 14. November 2014 am 17. November 2014 abschlägig und ein weiteres Schreiben vom 24. November 2014 nicht beantwortet worden war, verlangte A._ am 1. Dezember 2014 den Ausstand von B._. Mit Zirkulationsbeschluss vom 7. Januar 2015 wies die KESB das Ausstandsbegehren ab. Die hiergegen erhobene Beschwerde wurde vom Bezirksrat mit Beschluss vom 30. April 2015 und vom Obergericht des Kantons Zürich mit Urteil vom 5. Oktober 2015 abgewiesen. Dagegen hat A._ am 6. November 2015 die vorliegend zu behandelnde Beschwerde an das Bundesgericht erhoben, mit welcherer die Aufhebung des obergerichtlichen Urteils und den Ausstand von B._ sowie die Wiederholung der notwendigen Amtshandlungen verlangt. Ferner verlangt er die unentgeltliche Rechtspflege. Es wurden keine Vernehmlassungen eingeholt. D. Parallel hatte A._ gegen die vorerwähnte Verfügung vom 6. November 2014 Beschwerde an den Bezirksrat erhoben mit den Anträgen, das Mandat des Kindesvertreters sei ersatzlos zu beenden, eventualiter seien die Kinder anzuhören und subeventualiter sei ihnen eine Vertretung nach ihrem Wunsch zu bestellen. Die Beschwerde wurde mit Entscheid des Bezirksratspräsidenten vom 30. April 2015 und sodann mit Urteil vom 5. Oktober 2015 vom Obergericht abgewiesen. Dagegen hat A._ am 6. November 2015 ebenfalls eine Beschwerde an das Bundesgericht erhoben, welche Gegenstand des Verfahrens 5A_894/2015 bildet. Es wurden die vorinstanzlichen Akten, aber keine Vernehmlassungen eingeholt.