Sachverhalt:
A.
Die rubrizierten Parteien sind die getrennt lebenden Eltern des 2017 geborenen Kindes C._. Mit Eheschutzverfügung vom 3. Juni 2020 genehmigte das Bezirksgericht Schwyz die Parteivereinbarung, wonach die Obhut der Mutter zuzuteilen ist und dem Vater alle zwei Wochen ein Besuchsrecht von Donnerstag, 18 Uhr, bis Sonntag, 18 Uhr, zusteht. Zudem regelte das Bezirksgericht den vom Vater zu bezahlenden Kindesunterhalt.
B.
Am 29. März 2021 verlangte der Vater beim Bezirksgericht die Abänderung der Eheschutzverfügung. Nach Durchführung der Hauptverhandlung am 16. Juni 2021 wies das Bezirksgericht das Gesuch mit Entscheid vom 2. Juli 2021 ab.
Mit Beschluss vom 22. November 2021 wies das Kantonsgericht Schwyz die hiergegen von beiden Elternteilen erhobenen Berufungen ab.
C.
Gegen diesen Beschluss hat der Vater am 28. November 2021 beim Bundesgericht eine Beschwerde eingereicht, im Wesentlichen mit dem Begehren um Zuteilung der alleinigen Obhut an ihn. Sodann hat er am 6. Dezember 2021 und am 13. Dezember 2021 Beschwerdeergänzungen eingereicht.

Erwägungen:
1.
Angefochten ist ein kantonal letztinstanzlicher Entscheid in einer Eheschutzsache; die Beschwerde in Zivilsachen ist grundsätzlich zulässig (Art. 72 Abs. 1, Art. 75 Abs. 1 und Art. 90 BGG).
Bei Eheschutzsachen, wozu auch die Abänderung eines Eheschutzentscheides gehört, handelt es sich um vorsorgliche Massnahmen im Sinn von <ref-law> (<ref-ruling> E. 5.1 S. 397; statt vieler: Urteile 5A_381/2019 vom 10. Mai 2019 E. 1; 5A_1037/2019 vom 22. April 2020 E. 1.3), so dass nur die Rüge der Verletzung verfassungsmässiger Rechte möglich ist. Es gilt somit, wie dem Beschwerdeführer bereits in früheren Entscheiden mitgeteilt wurde, das strenge Rügeprinzip im Sinn von <ref-law>. Das bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft, während es auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid nicht eintritt (<ref-ruling> E. 2.2 S. 246; <ref-ruling> E. 1.3 S. 41; <ref-ruling> E. 2.1 S. 372; <ref-ruling> E. 2.4 S. 368).
2.
Zwar wird gegen Schluss der Beschwerde im Zusammenhang mit der kantonalen Kostenverteilung von "Art. 9 Schutz vor Wild Kühr und Wahrung von Treu und Glauben" gesprochen und auf der letzten Seite wird festgehalten, "möchte ich den Verstoss gegen die Rechte 273 ZGB und Art 9 als zutreffend erwähnen". Ebenso erscheint in der ersten Beschwerdeergänzung zweimal als Überschrift "Art. 9" (gemeint ist offensichtlich <ref-law>). Indes wird inhaltlich nirgends die Verletzung verfassungsmässiger Rechte substanziiert, sondern die Ausführungen bleiben rein appellatorisch. Der Beschwerdeführer reiht in einer langen Liste lose und abstrakte Vorwürfe gegenüber der Beschwerdegegnerin aneinander (Überforderung, Gewalttätigkeit, Konsum von Schnupftabak und Alkohol, fehlende Annahme von Hilfe, kein zukunftsorientiertes Denken für das Kind, ein dessen Leben schlecht prägendes Verhalten, ruppiger Umgang mit dem Kind, u.ä.m.) und macht sinngemäss geltend, dass es diesem bei ihm jeweils viel besser gehe und es bei ihm sehr gut aufgehoben sei (Verbesserung des Laufverhaltens, weniger Nervosität, bessere Ernährung, u.ä.m.). Eine irgendwie geartete konkrete Bezugnahme auf die ausführlichen Erwägungen des angefochtenen Entscheides erfolgt aber nicht.
Diese gehen zusammengefasst dahin, dass kein oder jedenfalls nicht hinreichend ein Abänderungsgrund geltend gemacht werde, weil sich die Schilderungen des Vaters auf die Zeit des früheren Zusammenlebens vor dem ersten Eheschutzentscheid bezögen, und ohnehin vor dem Hintergrund der früheren klassischen Rollenteilung keine Obhutsumteilung angezeigt wäre, zumal der Vater die subjektive Wahrnehmung des Gesundheitszustandes des Kindes nicht objektiveren könne und die Mutter als Pflegefachfrau im Kinderspital in diesem Bereich Erfahrung habe; bei den Anschuldigungen gegenüber der Mutter handle es sich um nicht belegbare Vermutungen und Behauptungen, welche der Vater äussere bzw. aufstelle, und er könne auch nicht aufzeigen, inwiefern es dem Kind bei ihm besser ginge, so dass eine Umteilung der Obhut dem Kind mehr nützen als schaden würde.
Nach dem Gesagten ist die Beschwerde in der Sache abzuweisen, soweit überhaupt auf sie eingetreten werden kann, und als Folge muss Entsprechendes für die kantonale Kostenverteilung gelten.
3.
Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 1'500.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht Schwyz, 2. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 14. Dezember 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Möckli