Sachverhalt:
B._ und A._ sind die unverheirateten Eltern der am 1. Juni 2015 geborenen Tochter C._. Diese wohnt üblicherweise bei der Mutter in U._, welche dort in einer Bijouterie als Verkäuferin arbeitet. Der Vater ist ebenfalls in U._ tätig, im Winter als Skilehrer und im Sommer als Gemeindearbeiter. Die Eltern teilten sich die Betreuungsaufgaben in Abhängigkeit von ihren jeweiligen Arbeitsplänen; soweit beide arbeiteten, wurde das Kind im Kindergarten oder in der Krippe betreut.
Am 12. März 2020 reisten Vater und Tochter mit Zustimmung der Mutter zu dessen Verwandtschaft in V._. Die Rückreise nach U._ war für den 16. März 2020 geplant. Aufgrund der von den Regierungen beider Länder veranlassten Einschränkungen der Reisefreiheit im Zusammenhang mit Covid-19 weigerte sich der Vater, mit dem Kind in die Schweiz zurückzureisen. Auch eine angedachte Übergabe des Kindes an der Grenze konnte nicht vollzogen werden.
Am 21. April 2020 wandte sich die Anwältin der Mutter an den Vater und an die KESB W._ mit der Forderung nach einer Übergabe an der Grenze in Konstanz am 24. April 2020. In einer Stellungnahme vom 25. April 2020 führte der Vater aus, aufgrund der Pandemie sei dem Kindeswohl mit einem Aufenthalt in Deutschland besser gedient. Die KESB forderte ihn mit E-Mail vom 28. April 2020 auf, das Kind bis spätestens am 3. Mai 2020 zurückzubringen, was er ablehnte. Am 7. Mai 2020 verlangte die Mutter die (superprovisorische) Zuteilung des alleinigen Aufenthaltsbestimmungsrechtes; gleichzeitig reichte sie ein Rückführungsgesuch nach dem Haager Kindesentführungsübereinkommen ein.
Mit superprovisorischer Verfügung vom 11. Mai 2020 stellte die KESB die Widerrechtlichkeit des Zurückhaltens des Kindes in Deutschland fest und wies den Vater an, das Kind am 17. Mai 2020 in U._ der Mutter zu übergeben; sodann übertrug sie das Aufenthaltsbestimmungsrecht bis auf Weiteres der Mutter und gab beim Amt für Kindesschutz diverse Abklärungen in Auftrag.
Mit Entscheid vom 18. Juni 2020 traf die KESB folgende vorsorglichen Massnahmen: Feststellung, dass das Zurückhalten des Kindes in Deutschland widerrechtlich sei, wobei die Beurteilung der Widerrechtlichkeit im Sinn des Haager Kindesentführungsübereinkommens nicht in der Kompetenz der KESB liege, vorübergehende Übertragung der alleinigen Obhut auf die Mutter, Verpflichtung des Vaters zur Übergabe des Reisepasses, Anweisung an beide Elternteile, das Kind nicht ausser Landes zu bringen, sowie Beauftragung des Amtes für Kindesschutz mit der Abklärung der Situation bei den Eltern.
In teilweiser Gutheissung der hiergegen vom Vater erhobenen Berufung stellte das Kantonsgericht Wallis - nach zahlreichen Zwischenentscheiden, namentlich im Zusammenhang mit Ferienwünschen bzw. Ferienaufenthalten - mit Entscheid vom 30. März 2021 fest, dass das Kind nie einen rechtmässigen Aufenthaltsort in Deutschland begründet habe und die KESB für Kindesschutzmassnahmen zuständig geblieben sei (Ziff. 3); sodann übermachte es die Akten zur Fortführung des Verfahrens, insbesondere zur Neuregelung der Obhut der KESB (Ziff. 4) und regelte für den Fall, dass sich die Eltern nicht anderweitig einigen, die zwischenzeitliche Betreuung des Kindes (Ziff. 5); ferner regelte es die Kosten (Ziff. 6-8).
In Bezug auf Ziff. 3 sowie die Kostenregelung (Ziff. 6-8) reichte der Vater am 7. Mai 2021 beim Bundesgericht eine Beschwerde ein. Ferner verlangt er die unentgeltliche Rechtspflege.

Erwägungen:
1.
Der Vater stört sich (nebst der Kostenregelung) an der Feststellung, dass das damalige Zurückbehalten des Kindes in Deutschland widerrechtlich war und er bestreitet in diesem Zusammenhang, dass die KESB W._ zum Erlass superprovisorischer bzw. vorsorglicher Massnahmen zuständig gewesen sei.
Die Beschwerdeführung in Bezug auf die Zuständigkeitsfrage ist an sich möglich (<ref-law>). Nachdem der Vater bereits am 14. Juni 2020 mit der Tochter wieder in die Schweiz zurückgekehrt war, ist aber fraglich, ob er heute an diesbezüglichen Feststellungen überhaupt ein rechtlich geschütztes Interesse hat (vgl. <ref-law>). Die Frage muss insoweit nicht vertieft werden, als zum einen die Beschwerde ohnehin offensichtlich unbegründet ist (dazu E. 4) und zum anderen die Frage so oder anders kursorisch im Zusammenhang mit der beanstandeten Kostenregelung zu behandeln wäre (dazu E. 5).
2.
Da es um eine vorsorgliche Massnahme geht, kann vor Bundesgericht ausschliesslich die Verletzung verfassungsmässiger Rechte gerügt werden (<ref-law>). Unabhängig von der Art des angefochtenen Entscheides würde dies ohnehin für die Sachverhaltsfeststellung gelten, die für das Bundesgericht grundsätzlich verbindlich ist (<ref-law>) und nur auf Willkür hin überprüft werden kann (<ref-law>; <ref-ruling> E. 2.3 S. 266), sowie für die Kostenregelung, weil das Verfahren im Bereich des Kindesschutzes weitestgehend auf kantonalem Recht beruht (vgl. <ref-law>), welches ebenfalls nur auf Willkür hin überprüft werden kann, selbst wenn der Kanton die ZPO für anwendbar erklärt, da sie diesfalls als subsidiäres kantonales Recht gilt (<ref-ruling> E. 2.3 S. 231; <ref-ruling> E. 2.3 S. 387).
Im Verfassungsbereich wendet das Bundesgericht das Recht nicht von Amtes wegen an (<ref-law>), sondern es gilt das strenge Rügeprinzip (<ref-law>), was bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft, während es auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid nicht eintritt (<ref-ruling> E. 2.2 S. 246; <ref-ruling> E. 1.3 S. 41; <ref-ruling> E. 2.1 S. 372; <ref-ruling> E. 2.4 S. 368).
3.
Die Feststellungen des Kantonsgerichts gehen dahin, dass sich aus den Äusserungen der Mutter vor und zu Beginn des Aufenthaltes des Kindes in Deutschland keine Zustimmung zu einer Änderung des gewöhnlichen Aufenthaltes ableiten lasse. Ihre Zustimmung habe sich zuerst auf den ursprünglichen Ferienaufenthalt und danach auf die pandemiebedingten Unsicherheiten bezüglich der Reisemöglichkeiten bezogen.
Diesbezüglich bringt der Vater in appellatorischer und damit nicht prozesskonformer Weise vor, dass er nie die Absicht gehabt habe, dauernd in Deutschland zu bleiben, sondern dass er pandemiebedingt als Risikopatient nicht habe zurückreisen können und er die Mutter bereits am 15. März 2020 aufgefordert habe, ebenfalls nach Deutschland zu kommen, worauf diese am Folgetag einem Verbleib von C._ in Deutschland zugestimmt habe, indem sie geschrieben habe: "Important is that C._ is safe and has a good time"; im Übrigen habe er aber auch klar kommuniziert, dass die Mutter das Kind jederzeit in Deutschland abholen könne.
Indem der Beschwerdeführer keine Verfassungsrügen vorbringt, namentlich keine willkürliche Beweiswürdigung substanziiert, hat es bei den Sachverhaltsfeststellungen des Kantonsgerichts sein Bewenden, mithin auch dabei, dass die Mutter einem längeren Verbleib des Kindes in Deutschland nicht zugestimmt hat, was im Übrigen auch ihre Intervention bei verschiedenen Behörden und schliesslich die Stellung eines Rückführungsgesuches dokumentiert.
4.
In rechtlicher Hinsicht macht der Beschwerdeführer in appellatorischer und damit nicht prozesskonformer Weise geltend, es liege kein Anwendungsfall von <ref-law> vor, da er gar nie die Absicht gehabt habe, dauerhaft nach Deutschland zu ziehen, sondern vielmehr ein solcher von <ref-law>, weshalb es auch keinen widerrechtlichen bzw. widerrechtlich verlängerten Aufenthalt in Deutschland gegeben habe. Vor diesem Hintergrund sei die KESB gar nicht zuständig gewesen, um superprovisorische bzw. vorsorgliche Massnahmen zu erlassen.
Wie gesagt, mangelt es auch hier an Verfassungsrügen. Im Übrigen müsste sich der Beschwerdeführer zur Bestreitung der Zuständigkeit der KESB W._ mit den einschlägigen Normen des Haager Kindesschutzübereinkommens betreffend die internationale Zuständigkeit in Kindesschutzsachen auseinandersetzen und mit einer substanziierten Darlegung aufzeigen, inwiefern insbesondere <ref-law> willkürlich oder in Verletzung eines anderen verfassungsmässigen Rechtes angewandt worden sein soll, indem die KESB und das Kantonsgericht in unhaltbarer Weise verkannt hätten, dass das Kind - obwohl der Vater selbst geltend macht, dass er mit diesem nie dauerhaft in Deutschland habe verbleiben wollen - dort gewöhnlichen Aufenthalt begründet hätte. Dahingehende Verfassungsrügen erfolgen nicht. Aber selbst wenn über diesen Mangel hinweggegangen würde, wäre nicht ersichtlich, inwiefern die schweizerische Zuständigkeit hätte entfallen können, denn diese Rechtsfolge tritt unmittelbar nur dann ein, wenn das Kind mit dem hauptbetreuenden Elternteil in einen Signatarstaat des Kindesschutzübereinkommens wegzieht und der betreffende Elternteil am Zuzugsort neuen Wohnsitz begründen will (<ref-ruling> E. 2.1 S. 4; <ref-ruling> E. 2 S. 196, je mit zahlreichen weiteren Hinweisen), wobei das Verbringen oder Zurückhalten des Kindes keine Sorgerechtsposition des zurückgebliebenen Elternteils verletzen und insofern nicht widerrechtlich sein darf (vgl. <ref-law> und Art. 3 Abs. 1 HKÜ), denn diesfalls können die Gerichte und Behörden am neuen Ort unabhängig von der Frage eines neuen gewöhnlichen Aufenthaltes des Kindes grundsätzlich nicht materiell zuständig werden (<ref-law>).
Ist aber mangels tauglicher Rügen davon auszugehen, dass die KESB W._ die ganze zur Debatte stehende Zeit über zuständig blieb, gilt auch für die inhaltliche Kritik an den getroffenen Massnahmen, dass es nicht reicht, in appellatorischer Weise zu behaupten, solche hätten nur bei einer eigentlichen Kindeswohlgefährdung angeordnet werden können, welche nicht vorgelegen habe, da es dem Kind immer gut gegangen sei. Vielmehr wäre aufgrund von <ref-law> auch diesbezüglich eine Verletzung verfassungsmässiger Rechte zu rügen und inhaltlich zu substanziieren.
5.
Die Kosten des KESB-Verfahrens hat das Kantonsgericht den Parteien je zur Hälfte auferlegt, diejenigen des obergerichtlichen Verfahrens den Parteien und dem Kanton je zu einem Drittel und die Parteikosten hat es wettgeschlagen; es hat dabei auf <ref-law> abgestellt und die Begründung erstreckt sich auf rund 1/3 Seite (angefochtener Entscheid E. 6.1). Die Kostenhöhe hat es unter Bezugnahme auf den kantonalen Tarif auf ungefähr einer halben Seite begründet (angefochtener Entscheid E. 6.2).
Der Beschwerdeführer rügt eine Verletzung des Anspruches auf rechtliches Gehör (<ref-law>). Insbesondere bemängelt er, dass die Wettschlagung der Parteikosten nicht spezifisch begründet worden sei. Sodann hält er fest, dass er im Beschwerdeverfahren nur deshalb keine Kostennote eingereicht habe, weil er davon ausgegangen sei, dass die Kosten der Gegenpartei auferlegt würden; die Kostennote werde deshalb als unechtes Novum nachgereicht. Im Übrigen vertritt er die Ansicht, es rechtfertige sich, der Gegenpartei 90 % der Gerichts- und Parteikosten aufzuerlegen.
Was die aus dem rechtlichen Gehör fliessende Pflicht zur Begründung des Entscheides anbelangt, hängt die Begründungsdichte stark davon ab, wie gross der Entscheidungsspielraum ist und wie stark in individuelle Rechte eingegriffen wird (vgl. <ref-ruling> E. 2b S. 109 f.; <ref-ruling> E. 3.6 S. 338). Bei der Kostenregelung kann nicht dieselbe Begründungsdichte erwartet werden wie in der Sache selbst. Unter Umständen muss der Kosten- und Entschädigungsentscheid gar nicht begründet werden oder genügt jedenfalls eine äusserst knappe Begründung, nämlich insbesondere dann, wenn es um Kosten geht, die nach Massgabe der einschlägigen kantonalen Bestimmungen pauschal, innerhalb eines gewissen Rahmentarifs, erhoben werden können; diesfalls wird eine besondere Begründung nur verlangt, wenn der Rahmen über- oder unterschritten wird oder die Parteien besondere Umstände geltend machen (<ref-ruling> E. 2a S. 1; zuletzt Urteile 5A_749/2019 vom 15. November 2019 E. 3.3; 5A_457/2019 vom 13. März 2020 E. 3.4.2; 1B_22/2020 vom 18. März 2020 E. 4).
Was die Höhe der Kosten anbelangt, hat das Kantonsgericht den GTar/VS zur Anwendung gebracht und sich auch ausführlich geäussert. Diesbezüglich bedürfte es substanziierter Willkürrügen, welche nicht ersichtlich sind.
Was die Verteilung der Kosten anbelangt (anteilsmässige Auferlegung der Gerichtskosten und Wettschlagung der Parteikosten), hat das Kantonsgericht auf <ref-law> abgestellt und sich auch textlich geäussert. Die Gehörsrüge geht deshalb an der Sache vorbei. Vielmehr wäre mit einer substanziierten Willkürrüge aufzuzeigen, inwiefern das Kantonsgericht nicht diese Norm hätte zur Anwendung bringen und die Kosten gleichmässig verteilen dürfen. Die appellatorische Behauptung, es wäre richtigerweise auf <ref-law> abzustellen und angemessen gewesen, der Gegenseite 90 % der Kosten aufzuerlegen, ist hierfür ungenügend.
6.
Nach dem Gesagten ergibt sich, dass fast durchwegs keine tauglichen Rügen erhoben werden und die Beschwerde im Übrigen offensichtlich unbegründet ist, weshalb sie im vereinfachten Verfahren nach <ref-law> abzuweisen ist, soweit überhaupt auf sie eingetreten werden kann.
7.
Wie die vorstehenden Erwägungen zeigen, konnte der mangelhaften Beschwerde von Anfang an kein Erfolg beschieden sein, weshalb es an den materiellen Voraussetzungen der unentgeltlichen Rechtspflege fehlt (<ref-law>) und das entsprechende Gesuch abzuweisen ist.
8.
Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit auf sie einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 2'500.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht des Kantons Wallis, I. Zivilrechtliche Abteilung, schriftlich mitgeteilt.
Lausanne, 7. Juni 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Möckli