Erwägungen:
1.
Am 19. Juli 2017 hat das Amt für Kindes- und Erwachsenenschutz U._ (SZ) im Namen des Kantons Schwyz gegen den Kanton St. Gallen eine Klage gemäss <ref-law> erhoben mit den Rechtsbegehren, es sei festzustellen, dass der Beklagte für die Errichtung und die Führung der Vormundschaft von A._, geb. 2017, zuständig sei (Ziff. 1), der Beklagte sei zu verpflichten, die Führung der Vormundschaft von A._ von der KESB U._ per sofort zu übernehmen (Ziff. 2), und der Beklagte sei zu verpflichten, die aufgelaufenen Kosten der Fürsorgebehörde der Gemeinde V._ (SZ) zu ersetzen respektive zurückzuerstatten.
Wie die nachfolgenden Erwägungen ergeben, ist auf die Klage nicht einzutreten. Deshalb wurde auf die Einholung von Vernehmlassungen verzichtet.
2.
Die Bestimmungen über das Verfahren vor der Erwachsenenschutzbehörde sind für Kindesschutzmassnahmen sinngemäss anwendbar (<ref-law>). Das Vorgehen bei Kompetenzkonflikten richtet sich somit nach <ref-law>. Danach prüft die KESB ihre Zuständigkeit von Amtes wegen (Abs. 1) und überweist die Sache unverzüglich der Behörde, die sie als zuständig erachtet, wenn sie sich nicht für zuständig hält (Abs. 2). Zweifelt sie an ihrer Zuständigkeit, so pflegt sie einen Meinungsaustausch mit der Behörde, deren Zuständigkeit in Frage kommt (Abs. 3). Kann im Meinungsaustausch keine Einigung erzielt werden, so unterbreitet die zuerst befasste Behörde die Frage ihrer Zuständigkeit der gerichtlichen Beschwerdeinstanz (Abs. 4).
3.
Vorliegend geht es um den 2017 im Spital B._ in W._ (SG) zur Welt gekommenen A._.
Mit Beschluss vom 6. Mai 2015 hatte die KESB U._ der damals in V._ (SZ) wohnhaften Mutter C._ die elterliche Sorge über ihren Sohn D._, geb. 2014, entzogen. Sie meldete sich in V._ nie ab, soll aber seit langem in W._ wohnen, jedoch ohne sich dort angemeldet zu haben.
Nachdem die KESB U._ von der Geburt von A._ Kenntnis erhalten hatte, telefonierte sie mit der KESB X._ (SG) bezüglich Zuständigkeit für die Errichtung einer Vormundschaft, wobei von diesem Telefonat keine Verbalisierung aktenkundig ist.
Offenbar gestützt auf dieses Telefon mailte die KESB X._ direkt an das Spital, dass nicht sie, sondern die KESB U._ zuständig sei.
Darauf mailte die KESB U._ der KESB X._: "Wir haben die Zuständigkeit übernommen. Schön, im Sinne einer guten Zusammenarbeit, wäre gewesen, wenn Sie statt einfach eine Meldung an das Spital zu machen und mich ins cc zu nehmen noch Rücksprache mit mir genommen hätten, ob das so i.O. ist." Darauf antwortete die KESB X._ per Mail: "Danke. Dafür entschuldige ich mich." Wenige Wochen später schrieb die KESB U._ per Mail: "Ich habe die Frage der Zuständigkeit an E._ unterbreitet und beigelegte Antwort erhalten. Aus meiner Sicht wären Sie für die Errichtung der Vormundschaft zuständig gewesen. Wir haben einfach auf Grund des Kindeswohls handeln müssen. Frage nun: Sind Sie bereit, dass wir Ihnen die Vormundschaft übertragen können?" Mit Mail vom Folgetag antwortete diese, die Meinung von E._ nicht zu teilen und die Zuständigkeit angesichts ungenügender Klarheit über den Schwerpunkt der Lebensverhältnisse nicht prüfen zu können.
In der Folge unterbreitete die KESB U._ mit Schreiben vom 28. Juni 2017 die Frage der Zuständigkeit gestützt auf <ref-law> dem Verwaltungsgericht des Kantons Schwyz.
Mit Schreiben vom 29. Juni 2017 weigerte sich das Verwaltungsgericht, ein Verfahren zu eröffnen mit der Begründung, gemäss <ref-ruling> nicht befugt zu sein, mit bindender Wirkung die Zuständigkeit der Behörde eines anderen Kantons zu bestimmen. Vielmehr sei der negative Kompetenzkonflikt zwischen der KESB U._ und der KESB X._ auf dem Klageweg gemäss <ref-law> auszutragen.
Darauf liess sich die KESB U._ vom Landammann zur Klageerhebung ermächtigen und reichte die vorliegende Klage ein.
4.
Wie in E. 2 dargestellt, schreibt <ref-law> für die zweifelhaften Fälle zuerst einen Meinungsaustausch zwischen den potentiell zuständigen Behörden vor; für den Fall, dass dieser fruchtlos bleibt, hat die zuerst befasste Behörde die Frage ihrer Zuständigkeit gemäss <ref-law> der gerichtlichen Beschwerdeinstanz zu unterbreiten.
Dies hat die KESB U._ in Befolgung der bundesrechtlichen Vorgaben getan. Indes ist das Verwaltungsgericht unter Berufung auf <ref-ruling> davon ausgegangen, keinen solchen Entscheid erlassen zu dürfen. Dass das Verwaltungsgericht über "die Frage ihrer Zuständigkeit", d.h. über die Zuständigkeit der KESB U._, welche die Sache zum Entscheid überwiesen hatte, befinden muss, geht aber unmittelbar aus dem Gesetzestext von <ref-law> hervor. Angesichts der unklaren Materialien (vgl. <ref-ruling> E. 3.2 S. 88 f.) war allerdings in der Lehre strittig (vgl. <ref-ruling> E. 3.4 S. 89 f.), ob die angerufene Beschwerdeinstanz darüber hinaus auch verbindlich die Zuständigkeit einer ausserkantonalen KESB festlegen kann, wenn sie zum Schluss gelangt, dass nicht die Behörde des eigenen Kantons zuständig ist. Eine solche Kompetenz hat das Bundesgericht verneint (Art. 141 III 84 E. 4 S. 91 ff.). Als zweite Frage war in jenem Entscheid darüber zu befinden, ob ein negativer Kompetenzkonflikt zwischen den Kantonen vor Bundesgericht im Beschwerde- oder im Klageverfahren auszutragen ist (vgl. <ref-ruling> E. 4.7 S. 95 f.).
Das Verwaltungsgericht ist somit zwar zutreffend davon ausgegangen, dass es die Zuständigkeit nicht verbindlich einer ausserkantonalen KESB zuweisen könnte. Soweit es jedoch die Auffassung vertritt, es dürfe auch über die Zuständigkeit der eigenen Behörde keinen Entscheid treffen, sondern es sei direkt Klage beim Bundesgericht einzuleiten, stellt es sich nicht nur in Widerspruch zum klaren Gesetzeswortlaut, sondern missversteht es auch die gegenteiligen Ausführungen in dem von ihm angerufenen Bundesgerichtsurteil (vgl. <ref-ruling> E. 3.1, 3.2.3, 3.3 und 4.4).
Weil es sich beim Entscheid der Beschwerdeinstanz gemäss <ref-law> um eine Klagevoraussetzung handelt und diese vorliegend fehlt, kann auf die Klage nicht eingetreten werden.
Was das auf Rückerstattung der aufgelaufenen Kosten an die Gemeinde V._ gerichtete Rechtsbegehren Ziff. 3 anbelangt, fehlt es nebst der bereits genannten Prozessvoraussetzung überdies an der Aktivlegitimation, weil die KESB U._ bzw. der Kanton Schwyz nicht gewissermassen im Sinn einer Drittschadensliquidation für die Gemeinde V._ und damit für ein anderes Rechtssubjekt Geldbeträge einklagen kann, ohne dass hierfür eine spezielle Grundlage oder eine rechtskonforme Ermächtigung dargelegt wird. Offen ist überdies, ob der Kanton St. Gallen der richtige Beklagte wäre.
5.
Für das weitere Vorgehen ist Folgendes festzuhalten: Das Verwaltungsgericht wird seinen Beschwerdeentscheid nachzuholen haben, wobei es vorab die beteiligten Behörden zur Durchführung des von <ref-law> vorgeschriebenen Meinungsaustausches anzuhalten hätte, wenn es zum Schluss käme, dass der bislang erfolgte, doch eher rudimentäre Mailverkehr den Anforderungen, wie sie an einen Meinungsaustausch zu stellen sind, nicht genügt. Ein solcher hat die beidseitige Darlegung der Standpunkte und ein Bemühen beider Seiten um eine Lösung zu enthalten. Insbesondere von Seiten der KESB X._ ist nur ansatzweise eine Begründung ihres Standpunktes aktenkundig, obwohl gerade im vorliegenden Kontext die Vornahme näherer Abklärungen zum Lebensmittelpunkt, in welcher Hinsicht die KESB X._ sich verweigerte, auch zu einem Meinungsaustausch gehören dürfte. Dessen Sinn ist, unbürokratisch und rasch die notwendigen Grundlagen für eine Einigung zu schaffen.
Soweit sich aufgrund der Vorverfahren, wie sie als Prozessvoraussetzung für ein Klageverfahren nach <ref-law> erforderlich sind, keine Lösung ergeben und eine erneute Klage in Aussicht genommen werden sollte, ist ferner festzuhalten, dass die Kantone die Parteien des Klageverfahrens sind und deren prozessuale Vertretung der Regierung bzw. dem Regierungsrat als oberster Exekutivbehörde obliegt (<ref-ruling> E. 5.2 S. 96; vgl. auch <ref-ruling> E. 2.2.3 S. 48), wobei der Regierungsrat ausnahmsweise nachgeordnete Behörden durch speziellen Ermächtigungsbeschluss mit der Prozessführung betrauen kann, was in der Klage im Einzelnen darzutun ist. Gemäss § 56 Abs. 1 KV/SZ und § 1 RGVO/SZ ist der Regierungsrat oberste Vollziehungs- und Verwaltungsbehörde des Kantons Schwyz und gemäss § 58 lit. f KV/SZ und § 3 Abs. 1 lit. d RGVO/SZ vertritt er den Kanton gegen aussen. Ob eine sich bloss auf eine ermächtigende Präsidialverfügung des Landammanns stützende direkte Klageeinleitung durch die KESB U._ - wie dies vorliegend erfolgt ist - hierzu genügen würde, darf bezweifelt werden. Die Vertretung des Kantons gegen aussen, wozu insbesondere auch die vor Bundesgericht erfolgende Klageerhebung gegen einen anderen Kanton gehört, ist eine regierungsrätliche Kernaufgabe. Nach <ref-ruling> E. 5.2 darf sie zwar ausnahmsweise einer nachgeordneten Behörde übertragen werden, aber § 14 Abs. 1 RGVO/SZ scheint keine zur Delegation der Prozessvertretung taugliche kantonale Norm zu sein. Ohnehin wäre für eine Notverfügung durch den Landammann auch die erforderliche Dringlichkeit nicht gegeben, kümmert sich doch die KESB U._ - in löblicher Beachtung der in <ref-ruling> E. 4.6 S. 95 verwiesenen Schutzpflichten - einstweilen, d.h. bis zur Klärung der Zuständigkeit, um das Kind (mehrere Gespräche mit den Verantwortlichen im Spital, Errichtung einer Vormundschaft, etc.), so dass dieses in keiner Weise gefährdet erscheint; ferner können auch finanzielle Erstattungen ohne Weiteres später erfolgen, wenn sich eine Zuständigkeit im Kanton St. Gallen ergeben sollte.
6.
Zusammenfassend ergibt sich, dass auf die Klage nicht einzutreten ist.
Den Kantonen werden in der Regel keine Gerichtskosten auferlegt (<ref-law>). Zwar werden in der Klage insbesondere die finanziellen Aspekte in den Vordergrund gestellt, aber dem Rechtsbegehren Ziff. 3 konnte nach dem in E. 4 Gesagten ohnehin unabhängig von allen anderen Mängeln von vornherein kein Erfolg beschieden sein, weshalb insgesamt von einer Kostenauflage abzusehen ist.

Demnach erkennt das Bundesgericht:
1.
Auf die Klage wird nicht eingetreten.
2.
Es werden keine Gerichtskosten erhoben.
3.
Dieses Urteil wird den Parteien schriftlich mitgeteilt.
Lausanne, 31. August 2017
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Der Gerichtsschreiber: Möckli