Sachverhalt:
A._ und B._ haben den Sohn C._. Im Zuge der Trennung stellte die Ehefrau beim Kreisgericht Toggenburg ein Eheschutzgesuch. Mit Entscheid vom 4. Oktober 2016 genehmigte das Kreisgericht die von den Eheleuten geschlossene Trennungskonvention. Ein Gesuch des Ehemannes um Reduktion der Unterhaltsbeiträge und der Ehefrau um Anordnung begleiteter Besuche wies das Kreisgericht am 4. Juli 2017 ab. In Gutheissung eines erneuten Gesuches der Ehefrau ordnete das Kreisgericht am 22. Juni 2018 begleitete Besuchskontakte an. Auf Gesuch des Ehemannes hin modifizierte das Kreisgericht mit Teilentscheid vom 9. Januar 2019 die Unterhaltsbeiträge und mit Entscheid vom 1. Juli 2019 das Besuchsrecht (unbegleitete Besuch von jeweils sechs Stunden an jedem zweiten Wochenende).
Gegen den Entscheid vom 1. Juli 2019 erhoben beide Elternleute Berufung. Nach Abschluss des Schriftenwechsels unterbreitete ihnen das Kantonsgericht St. Gallen einen Vergleichsvorschlag. Nachdem eine gütliche Einigung gescheitert war, entschied das Kantonsgericht am 9. Januar 2020 über die aufschiebende Wirkung. Darauf stellte die Ehefrau am 17. Januar 2020 ein Ausstandsbegehren, welches mit Entscheid vom 25. Februar 2020 abgewiesen wurde. Nach dem erstinstanzlichen Vollstreckungsentscheid vom 30. März 2020 regte der verfahrensleitende Kantonsrichter eine Instruktionsverhandlung an, welche am 24. Juni 2020 stattfand. In der Folge konnten sich die Eheleute auf drei weitere Besuchstage einigen; der verfahrensleitende Kantonsrichter wies darauf hin, dass er bei fehlender oder fehlschlagender Einigung autoritativ entscheiden werde. Am 26. August 2020 unterbreitete er den Eheleuten einen weiteren Vorschlag, mit welchem sich der Ehemann am 3. September 2020 grundsätzlich einverstanden erklären konnte. Der Vorschlag scheiterte aber am Widerstand der Ehefrau und die Situation eskalierte insofern, als diese bei der Polizei erneut eine Anzeige wegen Verdachtes auf einen sexuellen Übergriff erstattete und der für den 19. September 2020 vorgesehene Besuchskontakt im Unterschied zu demjenigen vom 8. August 2020 und 5. September 2020 nicht stattfinden konnte. Mit Schreiben vom 21. September 2020 hielt der verfahrensleitende Kantonsrichter fest, dass keine einvernehmliche Lösung möglich und ein formeller Berufungsentscheid unumgänglich sei; ferner wies er darauf hin, dass er in Betracht ziehe, eine Kindesvertretung zu installieren. Mit Schreiben vom 5. Oktober 2020 teilte er noch einmal mit, dass er die Einsetzung einer Kindesvertretung vorsehe; damit verbunden sei die vorläufige Sistierung der Bemühungen um eine (Wieder-) Aufnahme der Besuchskontakte bis zum Vorliegen der Kindesvertreterin. Am 26. Oktober 2020 setzte er eine solche ein und beauftragte sie mit verschiedenen Abklärungen, wobei sie nach einem Gespräch mit dem Ehemann krankheitsbedingt während einiger Zeit nicht in der Lage war, ein solches auch mit der Ehefrau und dem Kind zu führen.
Nachdem der Ehemann mehrmals auf das seit Monaten eingeschränkte Besuchsrecht hingewiesen, eine "formlose Sistierung" moniert (d.h. dass das Besuchsrechts nie formell mit einer anfechtbaren Verfügung sistiert worden sei) und einen baldigen Berufungsentscheid verlangt hatte, reichte er am 4. Dezember 2020 beim Bundesgericht eine Rechtsverweigerungs- bzw. Rechtsverzögerungsbeschwerde ein mit dem Begehren, das Kantonsgericht sei anzuweisen, das Berufungsverfahren umgehend einem Entscheid zuzuführen. Ferner verlangte er die unentgeltliche Rechtspflege. Mit Vernehmlassung vom 30. Dezember 2020 schloss der verfahrensleitende Kantonsrichter auf Abweisung der Beschwerde und verwies darauf, dass der Berufungsentscheid unmittelbar bevorstehe. Dieser erging schliesslich am 29. Januar 2021.
Erwägungen:
1.
Gegen das unrechtmässige Verzögern oder Verweigern eines anfechtbaren Entscheides kann jederzeit Beschwerde erhoben werden (Art. 94 BGG). Es muss jedoch ein aktuelles und praktisches Interesse an der Behandlung der Beschwerde bestehen (Art. 76 Abs. 1 lit. b BGG), welches bei der Rechtsverzögerungsbeschwerde grundsätzlich entfällt, wenn in der Zwischenzeit der Entscheid ergangen ist (BGE 125 V 373 E. 1 S. 374; 130 I 312 E. 5.3 S. 333).
2.
Nachdem der Berufungsentscheid nunmehr am 29. Januar 2021 erfolgt ist, ist das Beschwerdeverfahren 5A_153/2020 gegenstandslos geworden und durch den Abteilungspräsidenten als Instruktionsrichter abzuschreiben (Art. 32 Abs. 2 und Art. 71 BGG i.V.m. Art. 72 BZP).
3.
Für die summarisch zu begründende Kostenliquidation nach dem mutmasslichen Ausgang der Sache ist festzuhalten, dass das Berufungsverfahren zwar insgesamt lange gedauert haben mag, dies aber offensichtlich auf die komplizierte und sich stets neu entwickelnde Situation zurückzuführen war und im Übrigen keine grösseren Zeitspannen von gerichtlicher Untätigkeit auszumachen sind, so dass die Beschwerdeführung nicht als gerechtfertigt anzusehen gewesen wäre. Was sodann die Kritik anbelangt, dass in Bezug auf das Besuchsrecht keine formelle Sistierungsverfügung ergangen sei, spiegelt sich dies nicht im gestellten Rechtsbegehren, welches einzig auf Anweisung zur Entscheidung in der Sache gerichtet war; diesbezüglich hätte der Beschwerde somit (unabhängig von der Frage, ob die Kritik berechtigt gewesen wäre) ebenfalls kein Erfolg beschieden sein können. Insgesamt wäre die Beschwerde im Zeitpunkt ihrer Einreichung abzuweisen gewesen, weshalb die Gerichtskosten der vorliegenden Verfügung grundsätzlich dem Beschwerdeführer aufzuerlegen sind (Art. 66 Abs. 1 BGG), dies allerdings unter Vorbehalt der unentgeltlichen Rechtspflege, welche dem prozessarmen Beschwerdeführer unter Beiordnung der ihn vertretenden Anwältin zu erteilen ist, weil die Beschwerde auch nicht als von Anfang an aussichtslos bezeichnet werden kann (Art. 64 Abs. 1 und 2 BGG).
Demnach erkennt der Präsident:
1.
Das Beschwerdeverfahren 5A_1020/2020 wird als gegenstandslos abgeschrieben.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege erteilt und er wird durch Rechtsanwältin Nicole Nobs verbeiständet.
3.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt, jedoch einstweilen auf die Bundesgerichtskasse genommen.
4.
Rechtsanwältin Nicole Nobs wird aus der Bundesgerichtskasse mit Fr. 1'000.-- entschädigt.
5.
Diese Verfügung wird den Parteien schriftlich mitgeteilt.
Lausanne, 11. Februar 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Möckli