Sachverhalt:
A.
Mit Urteil vom 24. Oktober 2018 schied das Kantonsgericht Zug die Ehe der rubrizierten Parteien. Die Kinder C._ (geb. 2010) und D._ (geb. 2012) stellte es unter die Obhut der Mutter (Ziff. 2.1), unter Regelung der Betreuungszeiten des Vaters (Ziff. 2.2) sowie folgender weiterer Anordnung (Ziff. 2.3) : "Der Vater wird verpflichtet, der Mutter die Schweizer Pässe von C._ und D._ auszuhändigen. Die Mutter wird verpflichtet, dem Vater jeweils die Schweizer Pässe von C._ und D._ für die Betreuungswochenenden und die Ferienzeiten auszuhändigen. Die Mutter wird verpflichtet, die noch anzufertigenden IDs von C._ und D._ dem Vater zu überlassen."
Mit Gesuch vom 20. November 2019 beantragte die Mutter beim Kantonsgericht Zug, der Vater sei zu verpflichten, ihr in Vollstreckung von Ziff. 2.3 des genannten Urteils die Schweizer Pässe der Kinder auszuhändigen. Der Vater widersetzte sich dem Gesuch mit der Begründung, in London Wohnsitz zu haben, weshalb der Schweizer Richter nicht vollstreckungszuständig sei. Mit Entscheid vom 24. Februar 2020 ordnete das Kantonsgericht die Vollstreckung an und die hiergegen erhobene Beschwerde beim Obergericht blieb ohne Erfolg; das obergerichtliche Vollstreckungsurteil erwuchs in Rechtskraft und der Vater händigte gestützt darauf die Pässe aus.
B.
Mit Eingabe vom 11. Dezember 2020 stellte die Mutter beim Kantonsgericht Zug erneut ein Vollstreckungsgesuch, nachdem der Vater im Anschluss an die Ausübung seines Ferienrechts die Pässe wiederum nicht zurückgegeben hatte. Auch in diesem Verfahren bestritt der Vater die Zuständigkeit des Schweizer Vollstreckungsrichters, diesmal aufgrund seines Wohnsitzes in U._. In Bejahung seiner Zuständigkeit verpflichtete ihn das Kantonsgericht Zug mit Entscheid vom 28. Januar 2021 zur Herausgabe der Schweizer Pässe von C._ und D._ an die Mutter, unter Androhung der Ungehorsamsstrafe. Die hiergegen erhobene Beschwerde wies das Obergericht des Kantons Zug mit Urteil vom 24. März 2021 ab.
C.
Dagegen hat der Vater am 10. Mai 2021 beim Bundesgericht eine Beschwerde eingereicht mit den Anträgen um Aufhebung der kantonalen Entscheide und Nichteintreten auf das Vollstreckungsgesuch, eventualiter um dessen Abweisung, subeventualiter um Rückweisung der Sache an das Obergericht zur Neubeurteilung.

Erwägungen:
1.
Angefochten ist ein kantonal letztinstanzliches Vollstreckungsurteil betreffend eine im Scheidungsurteil angeordnete Herausgabe der Reisepässe der Kinder und damit eine nicht vermögensrechtliche Zivilsache; die Beschwerde in Zivilsachen steht offen (Art. 72 Abs. 1 und Art. 75 Abs. 1 BGG).
2.
Das Obergericht hat sein Urteil dahingehend begründet, dass jeder Staat selbst entscheide, wann er zur Zwangsvollstreckung international zuständig sei. Staatsverträge über die direkte internationale Zuständigkeit würden nur in begrenzten Gebieten bestehen und das Lugano-Übereinkommen enthalte nur Bestimmungen über die Zuständigkeit zur Vollstreckbarerklärung, nicht aber über die Vollstreckung. Für gerichtliche Verfahren, welche die Zwangsvollstreckung zum Gegenstand hätten, bezeichne <ref-law> einen Gerichtsstand am Vollstreckungsort. Wo sich dieser befinde, bestimme sich nach nationalem Recht, also für Geldforderungen nach dem SchKG und für die Realvollstreckung nach der ZPO. Diese komme mithin auch für internationale Verhältnisse zur Anwendung und es gelte weder das Lugano-Übereinkommen noch das IPRG. Gemäss <ref-law> sei das Gericht am Ort, wo der zu vollstreckende Entscheid gefällt worden sei, für die Anordnung von Vollsteckungsmassnahmen zwingend zuständig. Im Übrigen sei das Kantonsgericht für die Ehescheidung und die Regelung der Nebenfolgen zuständig gewesen und es habe auch Befehle und Verbote erlassen dürfen, die zur grenzüberschreitenden Durchsetzung bestehender Ansprüche erforderlich seien (Art. 236 Abs. 3 und Art. 343 Abs. 1 lit. a ZPO).
3.
Der Beschwerdeführer rügt eine Verletzung von <ref-law>. Diese Norm mache klar, dass sich bei Vollstreckungsangelegenheiten die örtliche Zuständigkeit nach Lugano-Übereinkommen bestimme, und die Zuständigkeit werde demjenigen Staat zugewiesen, in dessen Hoheitsgebiet die Zwangsvollstreckung durchgeführt werden soll. Mithin sei die Ansicht des Obergerichtes des Kantons Zug, wonach der Vollstreckungsort durch die ZPO bestimmt werde, auf jeden Fall falsch. Er habe keinen Wohnsitz in der Schweiz und die Pässe könnten auch nicht in der Schweiz behändigt werden; vielmehr müsse die Zwangsvollstreckung in durchgeführt werden, wo sich folglich auch die Zuständigkeit befinde.
4.
Vorab ist zu bemerken, dass der Beschwerdeführer sich auf die Rüge einer Verletzung von Normen des Lugano-Übereinkommens beschränkt und das Bundesgericht das Recht zwar von Amtes wegen anwendet (<ref-law>), aber angesichts der aus <ref-law> fliessenden Begründungspflicht nur vorgebrachte Rechtsverletzungen prüft (vgl. <ref-ruling> E. 2 S. 116 m.w.H.). Im Folgenden hat sich die Prüfung mithin auf die Frage zu beschränken, ob <ref-law> verletzt ist.
Als Grundsatz ist festzuhalten, dass bei internationalen Sachverhalten ein Staatsvertrag die jeweilige Regelung des Bundesrechts verdrängt (<ref-law> und <ref-law>). Vorgängig zur Prüfung der behaupteten Verletzung von <ref-law> ist freilich zu klären, ob die vorliegend zu vollstreckende Anordnung überhaupt in den Anwendungsbereich des Lugano-Übereinkommens fällt, denn Statussachen, zu denen u.a. auch Sorgerechts-, Obhuts- und Besuchsrechtsregelungen gehören, sind vom Übereinkommen ausdrücklich ausgenommen (<ref-law>; <ref-ruling> E. 4 S. 180 unten; ROHNER/LERCH, in: Basler Kommentar, 3. Aufl. 2016, N. 71 zu <ref-law>; DASSER, in: Handkommentar zum Lugano-Übereinkommen, 3. Aufl. 2021, N. 67 zu <ref-law>).
Die Anordnung in Ziff. 2.3 des Scheidungsurteils, jeweils dem anderen Elternteil die Schweizer Pässe der Kinder zu übergeben, hat augenfällig weder einen obligationen- noch einen sachenrechtlichen Hintergrund, sondern steht im Zusammenhang mit der Ausübung der in Ziff. 2.1 geregelten Obhut und des in Ziff. 2.2 geregelten Besuchsrechts, denn erst die nötigen Ausweispapiere ermöglichen die transnationale Ausübung der betreffenden Rechte. Zwar ist das Ausweispapier als solches auch eine bewegliche Sache; indes geht es im Scheidungsurteil offensichtlich nicht darum oder gar um einen Sachwert, sondern um die Legitimations- und Ausweisfunktion des Reisepasses, indem gegenüber Grenz-, aber ganz allgemein auch gegenüber anderen Behörden und Institutionen die Identität des Kindes und in Verbindung mit einem eigenen Ausweispapier auch das Elternverhältnis bzw. die elterliche Zuständigkeit soll dokumentiert werden können. Mithin geht es einzig um die Ausübung der genannten Statusrechte im Rahmen des Eltern-Kind-Verhältnisses. Daraus erhellt, dass die im Scheidungsurteil enthaltene Anordnung der Übergabe der Ausweispapiere jeweils an den anderen Elternteil und mithin auch die gerichtliche Durchsetzung dieser Anordnung nicht unter das Lugano-Übereinkommen fällt.
Geht aber das Hauptvorbringen des Beschwerdeführers an der Sache vorbei, steht seine daran schliessende Verfassungsrüge, es sei <ref-law> verletzt, weil nicht der verfassungsmässige Richter entschieden habe, im leeren Raum, denn Verfassungsrügen bedürfen substanziierter Begründung (<ref-law>; zu den aus dem Rügeprinzip fliessenden Begründungsanforderungen vgl. <ref-ruling> E. 2.2 S. 246; <ref-ruling> E. 2.4 S. 368); es wäre mithin detailliert aufzuzeigen, aufgrund welcher Bestimmungen (scil. ausserhalb des Lugano-Übereinkommens) nicht eine schweizerische Instanz als Vollstreckungsgericht zuständig sein konnte.
5.
Zufolge Abweisung der Beschwerde sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zug, II. Beschwerdeabteilung, schriftlich mitgeteilt.
Lausanne, 26. August 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Möckli