Sachverhalt:
Im Zusammenhang mit der Abänderung bzw. Vollstreckung eines Eheschutzentscheides zwischen den rubrizierten Parteien auferlegte das Bezirksgericht Schwyz mit Entscheid vom 24. September 2020 die Gerichtskosten von Fr. 1'000.-- dem Ehemann und es verpflichtete ihn zu einer Parteientschädigung von Fr. 4'295.30 an die Ehefrau.
Auf die hinsichtlich der Kostenverlegung erhobene Beschwerde trat das Kantonsgericht Schwyz mit Verfügung vom 6. November 2020 zufolge verspäteter Einreichung nicht ein, zumal auch keine Gründe für eine Fristwiederherstellung vorgebracht würden.
Mit zwei divergierenden Eingaben vom 23. November 2020 gelangt der Ehemann an das Bundesgericht. Er verlangt sinngemäss, dass die Kosten des erstinstanzlichen Verfahrens den Parteien je zur Hälfte aufzuerlegen seien und von einer Parteientschädigung abzusehen sei.

Erwägungen:
1.
Angefochten ist der kantonale Nichteintretensentscheid betreffend eine Kostenbeschwerde; der für die Beschwerde in Zivilsachen erforderliche Mindeststreitwert von Fr. 30'000.-- ist nicht erreicht (<ref-law>) und es steht deshalb einzig die subsidiäre Verfassungsbeschwerde offen (<ref-law>).
Mit dieser kann einzig die Verletzung verfassungsmässiger Rechte gerügt werden (<ref-law>), wofür das strenge Rügeprinzip gilt (Art. 106 Abs. 2 i.V.m. <ref-law>). Dies bedeutet, dass anhand der Erwägungen des angefochtenen Entscheids klar und detailliert darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen, während auf appellatorische Ausführungen nicht eingetreten werden kann (<ref-ruling> E. 2.2 S. 246; <ref-ruling> E. 2.3 S. 266; <ref-ruling> E. 2.4 S. 368).
2.
In der einen Eingabe hält der Beschwerdeführer fest, dass die Kostenverteilung unangenehm ausgefallen sei und der erstinstanzliche Entscheid während der ferienbedingten Büroabwesenheit seines damaligen Anwaltes eingetroffen sei; die Verspätung sei bedauerlich und er danke für allfälliges Verständnis. In der anderen Eingabe hält der Beschwerdeführer fest, dass seine Lösungsvorschläge stets abgelehnt worden seien und die Errichtung einer zutreffenden Kostenverteilung den Grundstein für eine gute Zukunft bilde.
In keiner der beiden Eingaben wird ein verfassungsmässiges Recht explizit oder auch nur dem Sinn nach als verletzt angerufen; es erfolgt nicht einmal eine sachgerichtete Auseinandersetzung mit den Erwägungen des angefochtenen Entscheides zur Fristwahrung.
3.
Nach dem Gesagten erweist sich die Beschwerde als offensichtlich nicht hinreichend begründet, weshalb auf sie nicht eingetreten werden kann und der Präsident im vereinfachten Verfahren entscheidet (<ref-law>).
4.
Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt der Präsident:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht Schwyz, Kantonsgerichtsvizepräsident, schriftlich mitgeteilt.
Lausanne, 25. November 2020
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Möckli