Sachverhalt:
Die Parteien sind die nicht verheirateten Eltern des 2018 geborenen C._ und stehen sich seit September 2019 vor dem Bezirksgericht Hinwil in einem Verfahren betreffend den Unterhalt und die weiteren Kindesbelange gegenüber.
Mit vorsorglichem Massnahmeentscheid vom 10. September 2020 setzte das Bezirksgericht u.a. ein begleitetes Besuchsrecht des Vaters von 3 Stunden pro Monat fest, unter Errichtung einer Beistandschaft nach Art. 308 Abs. 1 und 2 ZGB.
Berufungsweise verlangte die Mutter, dass für die Dauer des Verfahrens weiterhin auf ein Besuchsrecht zu verzichten sei; ferner verlangte sie die aufschiebende Wirkung.
Mit Instruktionsverfügung vom 30. November 2020 erteilte das Obergericht des Kantons Zürich in Bezug auf das Besuchsrecht die aufschiebende Wirkung und stellte einen baldigen Kammerentscheid in Aussicht.
Gegen diese Verfügung hat der Vater am 7. Januar 2020 beim Bundesgericht eine Beschwerde eingereicht mit den Begehren um deren Aufhebung und Abweisung des kantonalen Gesuches um aufschiebende Wirkung. Ferner wird ein Gesuch um unentgeltliche Rechtspflege gestellt.

Erwägungen:
1.
Beschwerdegegenstand bildet eine kantonal letztinstanzliche Verfügung über die aufschiebende Wirkung (Art. 72 Abs. 1 und Art. 75 Abs. 1 BGG). Diese ist, da nicht verfahrensabschliessend, ein Zwischenentscheid (vgl. <ref-ruling> E. 1.5 S. 197; Urteil 5A_56/2019 vom 9. Mai 2019 E. 1.1), der nur unter den besonderen Voraussetzungen von <ref-law> mit Beschwerde beim Bundesgericht angefochten werden kann, wobei diese in der Beschwerde darzutun sind (<ref-ruling> E. 1.1 S. 329; <ref-ruling> E. 1.3 S. 292).
Sodann ist der Entscheid über die aufschiebende Wirkung eine vorsorgliche Massnahme im Sinn von <ref-law> (<ref-ruling> E. 1.5 S. 197; Urteil 5A_815/2019 vom 6. März 2020 E. 2.1), weshalb nur verfassungsmässige Rechte als verletzt gerügt werden können, wofür das strikte Rügeprinzip gemäss <ref-law> gilt und bloss appellatorische Ausführungen ungenügend sind (zu den diesbezüglichen Begründungsvoraussetzungen namentlich <ref-ruling> E. 2.2 S. 246; <ref-ruling> E. 2.1 S. 372; <ref-ruling> E. 2.4 S. 368).
Der Vater begründet den nicht wieder gutzumachenden Nachteil damit, dass sich verlorene Besuchsrechtszeiten nicht nachholen liessen. Sodann ruft er verschiedene verfassungsmässige Rechte als verletzt an. Vor diesem Hintergrund ist auf die Beschwerde einzutreten.
2.
In der angefochtenen Verfügung wird die Begründung der erstinstanzlichen Sachentscheidung zusammengefasst, wonach zwischen den Parteien seit dem Auszug der Mutter aus der gemeinsamen Wohnung im Februar 2019 kein Kontakt bestehe und die Mutter aufgrund der von ihr angeführten Vorfälle (Schlagen, während sie den Sohn auf dem Arm gehalten habe, und mehrfaches Schlagen auf den Hinterkopf während des Stillens) trotz psychologischer Unterstützung Mühe mit dem Wideraufbau einer Vater-Sohn-Beziehung habe, jedoch angesichts des damaligen Alters des Kindes nur mit grosser Zurückhaltung von einer Traumatisierung des Sohnes ausgegangen werden könne und auch weder eine damalige Misshandlung des Kindes behauptet noch eine entsprechende heutige Absicht vermutet werde, wonach der Abklärungsbericht vom 24. Januar 2020, welcher von Besuchskontakten bis mindestens Anfang 2022 abrate, weil das Kind massivem Stress ausgesetzt würde, aufgrund der Geheimhaltung des Wohnortes der Mutter und der damit zusammenhängenden fehlenden Einbeziehung des Vaters nur mit Vorbehalten als tauglich erscheine, und wonach einer möglichen Gefährdung des Kindes durch die Begleitung des Besuchsrechts hinreichend begegnet werden könne.
Sodann wird in der Verfügung spezifisch für die Frage der aufschiebenden Wirkung erwogen, dass das Kindeswohl oberste Priorität habe, dass C._ momentan gut zwei Jahre alt sei und damit stark von seiner Mutter als ausschliessliche Betreuungsperson abhänge, welche sehr belastet sei, dass andererseits die "Beruhigungsphase" nunmehr bereits seit fast zwei Jahren bestehe und sich die Mutter allenfalls auf ein begleitetes Besuchsrecht werde einstellen müssen, dass das "Für und Wider" in Bezug auf die Installation eines Besuchsrechts aber einer vertieften Prüfung im Berufungsverfahren bedürfe, dass keine lange Verfahrensdauer zu erwarten und im Übrigen wünschbar sei, während dieser Zeit mehrfache Veränderungen für das Kind zu verhindern, weshalb die bisherige Situation während des Berufungsverfahrens einstweilen aufrechtzuerhalten sei.
3.
Zunächst ist die über viele Seiten vorgetragene Rüge, mangels genügender Begründung der angefochtenen Verfügung sei der verfassungsmässige Anspruch auf rechtliches Gehörs und der Anspruch auf ein faires Verfahren verletzt, haltlos:
Aus dem Anspruch auf rechtliches Gehör fliesst die Pflicht, einen Entscheid so abzufassen, dass der Betroffene ihn gegebenenfalls sachgerecht anfechten kann. Daher müssen - im Sinn der entscheidwesentlichen Gesichtspunkte - wenigstens kurz die Überlegungen genannt werden, von denen sich das Gericht hat leiten lassen und auf welche sich sein Entscheid stützt (<ref-ruling> E. 2.2 S. 183; <ref-ruling> E. 3.2.4 S. 41; <ref-ruling> E. 1.3.1 S. 253).
Das Obergericht hat sehr wohl und nachvollziehbar dargelegt, von welchen Überlegungen es sich hat leiten lassen. Zu berücksichtigen ist sodann, dass es sich nicht um den Entscheid in der Sache, sondern um die Instruktionsverfügung über die aufschiebende Wirkung handelt und hier die Begründung naturgemäss summarischer ausfallen darf.
4.
In der Sache selbst wird eine Verletzung des Willkürverbotes (<ref-law>), namentlich auch eine willkürliche Anwendung von <ref-law>, sowie eine Verletzung des Anspruches auf Familienleben (Art. 8 Ziff. 1 EMRK und <ref-law>) gerügt, indes trotz der langen Ausführungen letztlich nicht konzis dargelegt, worin die Unhaltbarkeit der angefochtenen Verfügung genau bestehen soll, denn die Argumentation, Kontakte zwischen Vater und Sohn seien für diesen wichtig und ein grundsätzlicher Ausschluss unverhältnismässig, beschlägt letztlich die Sache selbst und nicht die Frage der aufschiebenden Wirkung.
Willkür liegt nicht schon vor, wenn eine andere Lösung ebenfalls vertretbar erscheint oder sogar vorzuziehen wäre; sie ist erst gegeben, wenn ein Entscheid auf einem offensichtlichen Versehen beruht, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 4.3 S. 319; <ref-ruling> E. 6.1 S. 205; <ref-ruling> E. 2.1 S. 168; <ref-ruling> E. 1.2 S. 308 f.).
Solches wird vorliegend nicht aufgezeigt und ist auch nicht ersichtlich: Die obergerichtliche Kernüberlegung geht augenfällig dahin, dass der Ausgang des (der Kammer vorbehaltenen) Beschwerdeverfahrens offen ist und dieser mit der Instruktionsverfügung möglichst wenig präjudiziert werden soll. Vor dem Hintergrund, dass ein rascher Berufungsentscheid in Aussicht gestellt wird und der bereits seit längerem bestehende Zustand für diese kurze Zeit aufrechterhalten werden soll, um ein für den Fall der Gutheissung der Berufung für das Kind nicht nachvollziehbares und allenfalls belastendes Hin und Her zu vermeiden, ist Willkür nicht erkennbar. Ferner stellt die aus den genannten Gründen für eine kurze Zeit gedachte Fortführung des bisherigen Zustandes angesichts der gesetzlichen Grundlage von <ref-law> auch keine Verletzung des Familienlebens bzw. der gerügten diesbezüglichen Verfassungsbestimmungen dar.
5.
Zusammenfassend ergibt sich, dass die Beschwerde offensichtlich unbegründet ist und sie deshalb im vereinfachten Verfahren nach <ref-law> abzuweisen ist, soweit auf sie eingetreten werden kann.
6.
Wie die vorstehenden Erwägungen zeigen, konnte der Beschwerde von Anfang an kein Erfolg beschieden sein, weshalb es an den materiellen Voraussetzungen der unentgeltlichen Rechtspflege fehlt (<ref-law>) und das entsprechende Gesuch abzuweisen ist.
Der Beschwerdeführer hat mithin die Kosten seiner rechtlichen Vertretung selbst zu tragen. Hingegen rechtfertigt es sich, angesichts der konkreten Umstände - dass nämlich der Beschwerdeführer mit seinem bescheidenen Einkommen primär die (erstinstanzlich ebenfalls festgesetzten) Kinderalimente bestreiten soll - auf die Erhebung von Gerichtskosten zu verzichten (<ref-law>). Der Gegenpartei ist kein entschädigungspflichtiger Aufwand entstanden, weil auf das Einholen von Vernehmlassungen verzichtet werden konnte.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Es werden weder Gerichtskosten erhoben noch Entschädigungen gesprochen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 14. Januar 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Möckli