Sachverhalt:
A.
Die rubrizierten Parteien sind die getrennt lebenden Eltern des am 23. November 2017 geborenen Kindes C._. Mit Eheschutzverfügung vom 3. Juni 2020 genehmigte das Bezirksgericht Schwyz die Parteivereinbarung, wonach die Obhut der Mutter zuzuteilen ist und dem Vater alle zwei Wochen ein Besuchsrecht von Donnerstag, 18 Uhr, bis Sonntag, 18 Uhr, zusteht. Das bis zum Bundesgericht geführte Rechtsmittelverfahren blieb erfolglos (vgl. Urteil 5A_180/2021 vom 9. März 2021).
B.
Am 29. März 2021 verlangte der Vater beim Bezirksgericht die Abänderung der Eheschutzverfügung. Nach Durchführung der Hauptverhandlung am 16. Juni 2021 wies die Einzelrichterin am Bezirksgericht das Gesuch mit Entscheid vom 2. Juli 2021 ab.
Dagegen erhob der Vater beim Kantonsgericht Schwyz Berufung. Im Rahmen des Berufungsverfahrens verlangte er mit einer als "Schutzschrift" bezeichneten Eingabe vom 20. Juli 2021 die sofortige Herausgabe des Sohnes für den dreitägigen Aufenthalt vom 22. bis am 25. Juli 2021. Das Kantonsgericht wies am 23. Juli 2021 das Begehren im Sinn einer superprovisorischen Anordnung und nach Eingang der Vernehmlassung mit Massnahmeverfügung vom 8. November 2021 ab, indem es festhielt, das Begehren sei zwischenzeitlich gegenstandslos, weil es nur im Zusammenhang mit dem erwähnten konkreten Besuchswochenende stehe und im Übrigen keine Gefährdung des Kindes ersichtlich sei, sondern der Vater im Gegenteil festhalte, dass die Besuche ansonsten klappen würden.
C.
Gegen die Massnahmeverfügung vom 8. November 2021 hat der Vater am 15. November 2021 beim Bundesgericht eine Beschwerde eingereicht mit Begehren in der Sache selbst (Obhutszuteilung und Regelung der damit verbundenen Folgen). Beim Bundesgericht hängig ist im Übrigen die sich auf das Berufungsverfahren beziehende Rechtsverzögerungsbeschwerde, welche Gegenstand eines separaten Verfahrens bildet.

Erwägungen:
1.
Angefochten ist die Massnahmeverfügung vom 8. November 2021, mit welcher das im Rahmen des Berufungsverfahrens gestellte Gesuch um Herausgabe des Kindes für das Besuchswochenende vom 22. bis am 25. Juli 2021 als gegenstandslos abgeschrieben wurde.
Vor Bundesgericht kann der Anfechtungsgegenstand nicht ausgeweitet werden; soweit mehr oder anderes verlangt wird, als von der Vorinstanz beurteilt wurde, ist darauf nicht einzutreten (<ref-ruling> E. 4.2 S. 462 f.; <ref-ruling> E. 3.4.2 S. 365; <ref-ruling> E. 4.4.2 S. 156).
Zu beachten ist sodann, dass es nicht um das Hauptverfahren, sondern um eine während dessen Dauer getroffene Massnahmeverfügung geht. Bei vorsorglichen Massnahmen kann nur die Verletzung verfassungsmässiger Rechte gerügt werden (<ref-law>), wofür das strenge Rügeprinzip gemäss <ref-law> gilt und nicht die freie Rechtskognition gemäss <ref-law>. Das bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft, während es auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid nicht eintritt (<ref-ruling> E. 2.2 S. 246; <ref-ruling> E. 2.1 S. 372; <ref-ruling> E. 2.4 S. 368).
2.
An diesen beiden Einschränkungen scheitert die Beschwerde. Zwar wird beiläufig von "Art. 9 Schutz vor Wild Kühr und Wahrung von Treu und Glauben" gesprochen und damit sinngemäss eine Verletzung von <ref-law> geltend gemacht. Indes bleiben die Ausführungen rein appellatorisch. Zum andern beziehen sie sich nicht auf den Gegenstand des angefochtenen Entscheides, sondern betreffen sie die Sache selbst, indem der Beschwerdeführer der Beschwerdegegnerin mit langen Ausführungen vorwirft, das Kind schlecht zu betreuen und zu behandeln, während dieses bei ihm gut aufgehoben sei. Die Frage einer allfälligen Umteilung der Obhut bildet aber Gegenstand des Hauptverfahrens, in welchem der Berufungsentscheid noch nicht ergangen ist.
3.
Nach dem Gesagten ist auf die Beschwerde nicht einzutreten. Die Gerichtskosten sind bei diesem Verfahrensausgang dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 800.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht Schwyz schriftlich mitgeteilt.
Lausanne, 24. November 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Möckli