Sachverhalt: A. A._ und B._ standen sich vor Bezirksgericht March in einem Scheidungsverfahren gegenüber. In diesem verlangte A._ den Ausstand von C._, Vizepräsident des Bezirksgerichts March. Mit Verfügung vom 16. September 2016 wies D._ als Einzelrichter am Bezirksgericht March das Ausstandsbegehren gegen C._ ab. B. Mit Verfügung vom 9. November 2016 trat der Vizepräsident des Kantonsgerichts Schwyz auf die von A._ erhobene Beschwerde nicht ein mit der Begründung, diese sei verspätet eingereicht worden. C. Gegen diese Verfügung hat A._ am 17. Dezember 2016 (Postaufgabe: 19. Dezember 2016) eine Beschwerde erhoben mit den Begehren, das Bundesgericht anerkenne, dass er nach Treu und Glauben gehandelt habe, halte fest, dass die Verspätung nicht ihm angelastet werden könne, erkenne die Frist als eingehalten und weise das Verfahren ans Kantonsgericht zurück. Ferner verlangt er die unentgeltliche Rechtspflege. Es wurden keine Vernehmlassungen eingeholt, aber die kantonalen Akten beigezogen.