Sachverhalt:
A.
A._ (1954), welcher in U._ eine Anwaltskanzlei betreibt, und C._ (1975), welche senegalesische Staatsangehörige ist, sind seit April 2001 verheiratet, lebten aber mehrheitlich getrennt. Sie haben die gemeinsamen Kinder D._ (2002), E._ (2004) und F._ (2009). D._ zog bereits im Sommer 2011 in die Schweiz zu ihrem Vater; im Dezember 2011 zogen die Mutter und die beiden Kinder E._ und F._ nach. Wenige Monate später wurde die Mutter nach einer tätlichen Auseinandersetzung aus der gemeinsamen Wohnung weggewiesen, wobei sie sich nach wie vor in der Schweiz aufhält. Im Rahmen eines Eheschutzverfahrens wurden die Kinder am 10. Oktober 2013 unter die Obhut des Vaters gestellt, unter Einräumung eines Besuchsrechts an die Mutter und Errichtung einer Beistandschaft. Mit Interventionen beim Migrationsamt versucht A._, die Ausweisung seiner Ehefrau zu erwirken.
B.
Die Besuchsrechtsausübung zwischen Mutter und Kindern ist konfliktreich. Mit Beschluss vom 20. Februar 2014 setzte die KESB Zürich Rechtsanwalt G._ als Kindesvertreter ein. A._ erhob gegen Teile dieses Beschlusses Beschwerde, wobei die Einsetzung eines Kindesvertreters nicht davon betroffen war; im Übrigen zog er die Beschwerde später wieder zurück.
Mit Schreiben vom 18. August 2014 beantragte A._, "falls überhaupt ein Kinderanwalt eingesetzt wird, eine andere Vertretung zu wählen". Mit Verfügung vom 6. November 2014 wies die Vorsteherin der Abteilung 2 der KESB, B._, sowohl den Antrag auf Wechsel der Person des Kindesvertreters als auch denjenigen auf Aufhebung der Vertretung ab.
C.
Nachdem ein Wiedererwägungsgesuch vom 14. November 2014 am 17. November 2014 abschlägig und ein weiteres Schreiben vom 24. November 2014 nicht beantwortet worden war, verlangte A._ am 1. Dezember 2014 den Ausstand von B._. Mit Zirkulationsbeschluss vom 7. Januar 2015 wies die KESB das Ausstandsbegehren ab. Die hiergegen erhobene Beschwerde wurde vom Bezirksrat mit Beschluss vom 30. April 2015 und vom Obergericht des Kantons Zürich mit Urteil vom 5. Oktober 2015 abgewiesen.
Dagegen hat A._ am 6. November 2015 die vorliegend zu behandelnde Beschwerde an das Bundesgericht erhoben, mit welcherer die Aufhebung des obergerichtlichen Urteils und den Ausstand von B._ sowie die Wiederholung der notwendigen Amtshandlungen verlangt. Ferner verlangt er die unentgeltliche Rechtspflege. Es wurden keine Vernehmlassungen eingeholt.
D.
Parallel hatte A._ gegen die vorerwähnte Verfügung vom 6. November 2014 Beschwerde an den Bezirksrat erhoben mit den Anträgen, das Mandat des Kindesvertreters sei ersatzlos zu beenden, eventualiter seien die Kinder anzuhören und subeventualiter sei ihnen eine Vertretung nach ihrem Wunsch zu bestellen. Die Beschwerde wurde mit Entscheid des Bezirksratspräsidenten vom 30. April 2015 und sodann mit Urteil vom 5. Oktober 2015 vom Obergericht abgewiesen. Dagegen hat A._ am 6. November 2015 ebenfalls eine Beschwerde an das Bundesgericht erhoben, welche Gegenstand des Verfahrens 5A_894/2015 bildet.
Es wurden die vorinstanzlichen Akten, aber keine Vernehmlassungen eingeholt.

Erwägungen:
1.
Angefochten ist ein selbständig eröffneter, kantonal letztinstanzlicher Zwischenentscheid über ein Ausstandsbegehren, gegen welchen die Beschwerde zulässig ist (Art. 75 Abs. 1 und Art. 92 Abs. 1 BGG).
2.
Anlass des Ausstandsbegehrens war, dass B._ in der Verfügung vom 6. November 2014 geschrieben hatte, dass "in Würdigung der gesamten Umstände der Antrag des Vaters abzuweisen ist, sowohl mit Bezug auf Wechsel des Kindervertreters als auch mit Bezug [auf] Weiterführung der Kindervertretung, Letzteres mit dem Bemerken, dass die berechtigten Interessen der Kinder durch den Kindsvater, dessen erklärtes (eigennütziges) Ziel es ist, alles daran zu setzen, dass die Kindsmutter ohne ihre Kinder in den Senegal zurückkehren muss (vgl. u.a. act. 121, 187/10) letztlich in keiner Art und Weise wahrgenommen werden."
Gemäss dem Beschwerdeführer zeigten die Aussagen, wonach er angeblich "eigennützige Gründe" verfolge und "die berechtigten Interessen der Kinder in keiner Art und Weise" wahrnehme, dass B._ von ihm ein extrem negatives Bild habe und verbreiten wolle. Dies begründe bei objektiver Betrachtung den Anschein von Befangenheit oder die Gefahr von Voreingenommenheit, denn die Kindesinteressen seien ja uneigennützig zu wahren und das Bild des betreuenden Elternteils bei der Regelung der Kinderbelange zentral; die Aussagen seien mithin geeignet, spätere Entscheidungen zu präjudizieren. Es sei unerfindlich, welchen egoistischen Nutzen er habe, wenn er sich um die drei Kinder kümmere und allein für diese aufkomme. Es treffe auch nicht zu, dass er die Interessen der Kinder nicht wahrnehme, wenn er diesen ersparen wolle, dass sie mit den "zweifelhaften Machenschaften" der Mutter konfrontiert würden. All das wolle aber B._ nicht hören, sondern sie habe der Verfügung vom 6. November 2015 ihre vorgefasste und gegen ihn gerichtete Meinung zugrunde gelegt.
3.
Angeführt wird der Ausstandsgrund von <ref-law>, welcher im Sinn einer Generalklausel einen Auffangtatbestand darstellt (RÜETSCHI, Berner Kommentar, N. 37 zu <ref-law>). Dabei genügt, dass bei objektiver Betrachtungsweise der Anschein von Befangenheit besteht; rein subjektive Eindrücke einer Verfahrenspartei genügen hingegen nicht (Botschaft zur ZPO, BBl 2006 7272; <ref-ruling> E. 2.1 S. 144 f.; <ref-ruling> E. 2.2 S. 3; <ref-ruling> E. 2.1 S. 229; <ref-ruling> E. 3.2.1 S. 608).
Gemäss der Sachverhaltserhebung der kantonalen Instanzen, auf welche das Obergericht verweist, verfolgt der Beschwerdeführer, was er selbst nicht bestreitet, das Ziel, dass seine Ehefrau nach Senegal zurückgeschafft wird. Er hat sie durch eine Detektei observieren lassen und ist mehrmals bei der Fremdenpolizei vorstellig geworden. Das Besuchsrecht klappt schlecht. Die Kinder konnten die Mutter in der letzten Zeit nur vereinzelt sehen, wobei klare Anzeichen bestehen, dass der Vater das Besuchsrecht zu hintertreiben und die Kinder gegen die Mutter aufzubringen versucht. Demgegenüber besteht der allgemein anerkannte Grundsatz, dass aufgrund des schicksalhaften Eltern-Kind-Verhältnisses die Beziehung der Kinder zu beiden Elternteilen wichtig ist und bei deren Identitätsfindung eine entscheidende Rolle spielen kann (<ref-ruling> E. 2.2.2 S. 590; <ref-ruling> E. 4 S. 211 f.). Deshalb haben mit Blick auf das Wohl der Kinder beide Elternteile die Pflicht, eine gute Beziehung zum jeweils anderen Elternteil zu fördern; namentlich hat der hauptbetreuende Elternteil das Kind positiv auf Besuche und Kontakte beim oder mit dem anderen Elternteil vorzubereiten (Urteile 5A_505/2013 vom 20. August 2013 E. 6.3; 5A_202/2015 vom 26. November 2015 E. 3.4, zur Publ. vorgesehen).
Was nun die vom Beschwerdeführer beanstandete Textpassage angeht, so beruht die Aussage, er setze alles daran, dass die Kindsmutter ohne ihre Kinder nach Senegal zurückkehren müsse, auf den verurkundeten Akten; die Tatsache als solche wird denn vom Beschwerdeführer auch nicht bestritten. Aus was für anderen als eigennützigen Motiven dies erfolgen könnte, ist nicht ersichtlich. Das Argument, er wolle die Kinder vor ihrer Mutter - mit welcher sie notabene jahrelang zusammengelebt haben - und deren "zweifelhaften Machenschaften" schützen, ist offensichtlich vorgeschoben, und es ist nicht ersichtlich, inwiefern es zum Wohl der Kinder gereichen könnte, wenn sie von ihrer Mutter vollends entfremdet werden, indem jeglicher Kontakt unterbunden wird.
Wenn das Mitglied einer rechtsanwendenden Behörde diese entscheidrelevanten Sachumstände nennt und nicht einfach der entfremdenden Verfahrenspartei nach dem Mund spricht, so begründet dies keinen Anschein dafür, dass das betreffende Behördenmitglied negativ gegen die Verfahrenspartei eingestellt wäre, sondern vielmehr, dass sie unabhängig ist und sich objektiv von der Maxime des Kindeswohls leiten lässt. Das Obergericht hat im diesem Zusammenhang zutreffend festgehalten, dass eine sachliche Entscheidung eine wertende Auseinandersetzung mit den Positionen der Beteiligten voraussetzt. Der Standpunkt des Beschwerdeführers war, dass ein Kindesvertreter unnötig sei, weil er selbst die Kindesinteressen wahrnehmen könne. Gerade diese Behauptung des Beschwerdeführers machte es notwendig, dass sich das Behördenmitglied der KESB mit diesem Vorbringen auseinandersetzen musste. Dass es dies tat, begründet wie gesagt keinen Anschein von Befangenheit. Ein Ausstandsgrund ist mithin nicht gegeben und die Beschwerde ist abzuweisen.
4.
Wie die vorstehenden Erwägungen zeigen, konnte der Beschwerde von Anfang an kein Erfolg beschieden sein, weshalb es an den materiellen Voraussetzungen der unentgeltlichen Rechtspflege fehlt (<ref-law>) und das entsprechende Gesuch - wie dies bereits für das obergerichtliche Verfahren der Fall war - abzuweisen ist.
Ausgangsgemäss sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 16. März 2016
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Der Gerichtsschreiber: Möckli