Sachverhalt:
A._ und C._ führen vor dem Kantonsgericht St. Gallen ein Berufungsverfahren betreffend Eheschutz. Strittig ist in erster Linie das Obhuts- und Besuchsrecht für das gemeinsame Kind D._ (geb. 2012). Praktisch von Beginn weg mussten laufend superprovisorische und vorsorgliche Massnahmen getroffen und Details des Betreuungsrechts geregelt werden. Anfang 2018 wurde eine Kindesvertretung angeordnet und Ende 2018 ein kinderpsychologisches Gutachten in Auftrag gegeben.
Am 7. Juni 2019 forderte der Vater den Ausstand des (damaligen) verfahrensleitenden Kantonsrichters; das Gesuch wurde abgewiesen.
Das Ende Oktober 2019 erstattete Gutachten ergab, dass sich das Kind bei an sich guter Beziehung zu beiden Elternteilen in einer dauerhaft belasteten Situation befindet. Die Erziehungsfähigkeit der Mutter wurde als uneingeschränkt, diejenige des Vaters zufolge mangelnder Kooperationsfähigkeit und -bereitschaft als eingeschränkt bezeichnet und eine gemeinsame Obhut als ausgeschlossen betrachtet.
Im November 2019 erliess das Untersuchungsrichteramt St. Gallen betreffend die Strafanzeige des Vaters gegen die Kindesvertreterin eine Nichtanhandnahmeverfügung, wogegen dieser bei der Anklagekammer erfolglos eine Beschwerde einreichte. Überdies wurde sein Ausstandsgesuch gegen den verfahrensleitenden Staatsanwalt abgewiesen.
Im März 2020 beantragte der Vater die Entlassung der Kindesvertreterin; das Gesuch wurde abgewiesen.
Mit Eingabe vom 26. August 2020 schlug die Lebenspartnerin des Vaters ein gemeinsames Gespräch vor, was der verfahrensleitende Kantonsrichter (rubrizierter Beschwerdegegner), welcher zufolge Pensionierung des Vorgängers das Verfahren per Juni 2020 übernommen hatte, grundsätzlich befürwortete, soweit die Voraussetzungen gegeben seien. Die Mutter war nicht bereit, ohne Anwältin teilzunehmen. Der verfahrensleitende Richter verzichtete daher am 14. September 2020 vorerst auf die Einberufung einer Gesprächsrunde; vorgesehen waren demgegenüber Einzelgespräche mit den Eltern. Am 15. September 2020 forderte der Vater erneut eine Gesprächsrunde, wobei er einverstanden sei, dass daran auch die Anwältin und der Lebenspartner der Mutter teilnehmen würden. Mit Schreiben vom 21. September 2020 wies der verfahrensleitende Richter den Vater darauf hin, dass Einigungsgespräche nur dann möglich und zielführend seien, wenn sämtliche Parteien freiwillig daran teilnähmen; nach Vorliegen des Ergänzungsgutachtens seien aber Einzelanhörungen der Eltern vorgesehen. Der Vater teilte darauf am 22. September 2020 mit, er könne nicht verstehen, warum kein runder Tisch einberufen werde, und er werde an einer Einzelanhörung nicht teilnehmen. Wenige Tage später gab er bekannt, er werde sein Besuchs- und Ferienrecht nicht mehr beanspruchen.
Mit Eingabe vom 26. Oktober 2020 verlangte der Vater den Ausstand des verfahrensleitenden Kantonsrichters und der Gerichtsschreiberin. Je mit Entscheid vom 26. Januar 2021 wies der Kantonsgerichtspräsident das Ausstandsgesuch gegen den verfahrensleitenden Richter ab und trat auf dasjenige gegen die Gerichtsschreiberin nicht ein.
Gegen beide Entscheide hat der Vater am 5. März 2021 beim Bundesgericht eine Beschwerde eingereicht. In der vorliegend zu behandelnden Beschwerde fordert er, Kantonsrichter B._ habe in den Ausstand zu treten.

Erwägungen:
1.
Gegen selbständig eröffnete Zwischenentscheide über Ausstandsbegehren ist die Beschwerde in Zivilsachen zulässig (<ref-law>).
2.
Die Beschwerde hat eine Begründung zu enthalten, in welcher in gedrängter Form dargelegt wird, inwiefern der angefochtene Entscheid Recht verletzt (<ref-law>), was eine sachbezogene Auseinandersetzung mit dessen Erwägungen erfordert (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 2.4 S. 368).
3.
Der Beschwerdeführer begründete und begründet die angebliche Befangenheit des verfahrensleitenden Kantonsrichters damit, dass dieser sich geweigert habe, einen "runden Tisch" einzuberufen und einen Telefonanruf von ihm entgegenzunehmen.
In seiner Stellungnahme im kantonalen Ausstandsverfahren hatte der Beschwerdegegner festgehalten, dass er mangels des allseitigen Einverständnisses auf einen "runden Tisch" verzichtet habe, dass der Beschwerdeführer nicht sage, worüber er habe telefonieren wollen und dass Telefonate mit Verfahrensparteien ohnehin gegen Art. 39 GerG verstossen würden.
Das Kantonsgericht hat im angefochtenen Entscheid befunden, der Entscheid, vorerst auf einen "runden Tisch" zu verzichten, beruhe auf sachlichen Gründen, und im Zusammenhang mit dem gewünschten Telefonat habe sich der Beschwerdegegner an das Verbot des Berichtens gemäss Art. 39 GerG gehalten. Im Übrigen sei den Eltern immer wieder Gelegenheit geboten worden, sich schriftlich zu äussern und der Beschwerdeführer habe dies auch getan. Sodann habe der Beschwerdegegner auch zu Einzelgesprächen geladen und in deren Rahmen hätte sich der Beschwerdeführer mündlich äussern können, wenn er Einzelgespräche nicht verweigert hätte. Insgesamt sei weder eine (allfällig zu einem Ausstand führende) Gehörsverletzung noch anderweitig ein Ausstandsgrund ersichtlich.
Mit all diesen Erwägungen setzt sich der Beschwerdeführer nicht auseinander, sondern er beschränkt sich darauf, seine Vorwürfe zu wiederholen und auf dieser Grundlage eine Befangenheit zu behaupten. Dies genügt nicht (vgl. E. 2).
Ferner leitet der Beschwerdeführer eine Befangenheit auch daraus ab, dass der Beschwerdegegner alles unternehme, um ihn zur Einstellung der Betreuung der Tochter zu zwingen. Hierzu hat das Kantonsgericht im angefochtenen Entscheid erwogen, dass dieser trotz schwierigster Ausgangslage umfangreiche Bemühungen tätige, um den Kontakt zwischen Vater und Tochter aufrechtzuerhalten, und er stets Rücksicht genommen habe auf den Wunsch des Kindes, dass am bestehenden Betreuungsrecht grundsätzlich nichts geändert werde. Es sei der Beschwerdeführer gewesen, welcher im Herbst 2020 dennoch von sich aus auf Kontakte verzichtet habe. Auch mit diesen Erwägungen setzt sich der Beschwerdeführer nicht auseinander.
Hingegen macht er (wie schon im kantonsgerichtlichen Verfahren) weitläufige Ausführungen zur Genehmigung des Schlussberichtes durch die KESB. Ein Zusammenhang mit dem vorliegenden Ausstandsverfahren ist nicht ersichtlich.
4.
Nach dem Gesagten erweist sich die Beschwerde als offensichtlich nicht hinreichend begründet, weshalb im vereinfachten Verfahren nach <ref-law> auf sie nicht einzutreten ist.
Nur der Vollständigkeit halber ist festzuhalten, dass in der Sache selbst nicht ansatzweise Ausstandsgründe im Sinn von <ref-law> zu sehen wären.
5.
Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das präsidierende Mitglied:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 1'500.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, Kantonsgerichtspräsident, schriftlich mitgeteilt.
Lausanne, 12. März 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Möckli