Sachverhalt:
A.
A._ und B._ standen sich vor Bezirksgericht March in einem Scheidungsverfahren gegenüber. In diesem verlangte A._ den Ausstand von C._, Vizepräsident des Bezirksgerichts March. Mit Verfügung vom 16. September 2016 wies D._ als Einzelrichter am Bezirksgericht March das Ausstandsbegehren gegen C._ ab.
B.
Mit Verfügung vom 9. November 2016 trat der Vizepräsident des Kantonsgerichts Schwyz auf die von A._ erhobene Beschwerde nicht ein mit der Begründung, diese sei verspätet eingereicht worden.
C.
Gegen diese Verfügung hat A._ am 17. Dezember 2016 (Postaufgabe: 19. Dezember 2016) eine Beschwerde erhoben mit den Begehren, das Bundesgericht anerkenne, dass er nach Treu und Glauben gehandelt habe, halte fest, dass die Verspätung nicht ihm angelastet werden könne, erkenne die Frist als eingehalten und weise das Verfahren ans Kantonsgericht zurück. Ferner verlangt er die unentgeltliche Rechtspflege. Es wurden keine Vernehmlassungen eingeholt, aber die kantonalen Akten beigezogen.

Erwägungen:
1.
Angefochten ist der kantonal letztinstanzliche Entscheid über ein Ausstandsbegehren in einem Scheidungsverfahren; die Beschwerde in Zivilsachen ist diesbezüglich gegeben (Art. 72 Abs. 1 und Art. 92 Abs. 1 BGG). Der Beschwerdeführer nahm den angefochtenen Entscheid am 19. November 2016 in Empfang. Am 19. Dezember 2016 hat er seine Beschwerde beim Schweizerischen Generalkonsulat in München deponiert. Die Beschwerdefrist ist demnach eingehalten (Art. 48 Abs. 1 i.V.m. <ref-law>).
2.
Gemäss den Feststellungen im angefochtenen Entscheid nahm Rechtsanwalt E._ als damaliger Rechtsvertreter des Beschwerdeführers den erstinstanzlichen Entscheid am 23. September 2016 entgegen, gab der Beschwerdeführer seine kantonale Beschwerde am 30. September 2016 bei einer deutschen Poststelle auf und traf die Sendung am 5. Oktober 2016 bei der Schweizerischen Post ein.
Das Kantonsgericht erwog, der erstinstanzliche Entscheid über den Ausstand sei eine prozessleitende Verfügung, für welche die 10-tägige Rechtsmittelfrist gemäss <ref-law> gelte. Diese habe mithin am 24. September 2016 zu laufen begonnen (<ref-law>) und am 3. Oktober 2016 geendet. Die Beschwerde sei folglich um zwei Tage verspätet, weil sie bis zu diesem Datum beim Gericht hätte eingereicht oder zu dessen Handen der Schweizerischen Post oder einer schweizerischen diplomatischen oder konsularischen Vertretung hätte übergeben werden müssen (<ref-law>); die Aufgabe der Sendung bei einer ausländischen Poststelle genüge nicht.
3.
Dass nach der Rechtsmittelbelehrung des erstinstanzlichen Entscheides und der Ansicht des Kantonsgerichtes die 10-tägige Beschwerdefrist von <ref-law> zum Tragen kam, stellt der Beschwerdeführer nicht in Frage; entsprechend ist darauf nicht einzugehen (<ref-law>; <ref-ruling> E. 2 S. 116 m.w.H.).
Der Beschwerdeführer beruft sich auf den Grundsatz von Treu und Glauben und das Rechtsmissbrauchsverbot. Er habe davon ausgehen dürfen, dass eine am 30. September 2016 bei der Deutschen Post aufgegebene eingeschriebene Sendung spätestens am 3. Oktober 2016 bei der Schweizerischen Post angelange. Er habe im Übrigen nicht gewusst, dass er die Beschwerde bis zu diesem Datum der Schweizerischen Post oder einem Schweizer Konsulat hätte übergeben werden müssen, da er nicht mehr anwaltlich vertreten gewesen und als Folge nicht aufgeklärt worden sei.
Bei <ref-law> handelt es sich um gesetzliche Fristen, mithin um sog. Fatalfristen, welche nicht erstreckt werden können (Art. 144 Abs. 1ZPO). Der Beschwerdeführer kann sich mithin nicht auf die von ihm geltend gemachten Grundsätze berufen. Ohnehin wurde der erstinstanzliche Entscheid seinem damaligen schweizerischen Rechtsvertreter zugestellt, welcher über die Beschwerdefrist und die Modalitäten der Beschwerdeerhebung Bescheid wissen und seinen Mandanten entsprechend instruieren musste.
4.
Die Beschwerde erweist sich als offensichtlich unbegründet und ist deshalb im vereinfachten Verfahren abzuweisen (<ref-law>).
Der Beschwerde konnte von Anfang an kein Erfolg beschieden sein, weshalb es an den materiellen Voraussetzungen der unentgeltlichen Rechtspflege mangelt und deshalb das entsprechende Gesuch abzuweisen ist (<ref-law>).
Angesichts der konkreten Umstände rechtfertigt es sich aber, keine Gerichtskosten zu erheben (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Es werden keine Gerichtskosten erhoben.
4.
Dieses Urteil wird den Parteien, dem Bezirksgericht March und dem Kantonsgericht Schwyz schriftlich mitgeteilt.
Lausanne, 26. Januar 2017
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Der Gerichtsschreiber: Möckli