Sachverhalt:
A.
A._ (geb. 1966) ist für die B._ AG und die C._ AG tätig. Als Vater dreier Kinder (geb. 2007, 2009, 2010) hatte er Familienzulagen im Kanton Basel-Landschaft bezogen, bevor er sich auf Ende Juni 2015 aus der Schweiz abmeldete und in die USA übersiedelte. Dort kam am 2. Mai 2018 ein viertes Kind zur Welt, wofür seine schweizerische Arbeitgeberin - die C._ AG - am 17. Mai 2018 bei der Familienausgleichskasse Arbeitgeber Basel ein Gesuch um Kinder- und Ausbildungszulagen stellte. Hierauf tätigte die Verwaltung verschiedene Abklärungen, die in die Feststellung mündeten, dass für die Kinder mit Wohnsitz in den USA kein Leistungsanspruch bestehe. Nach Eröffnung einer entsprechenden Wegfallanzeige und einer Abrechnung über Rückforderungen von Fr. 18'000.- verfügte die Kasse am 18. Dezember 2018, dass ab Juli 2015 kein Anspruch auf Familienzulage bestehe und die ab dann bis Mai 2018 bezogenen Leistungen von Fr. 21'000.- zurückzuerstatten seien. Das bestätigte sie auf entsprechende Rechtsvorkehr des A._ hin mit Einspracheentscheid vom 22. Februar 2019.
B.
Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Basel-Stadt mit Entscheid vom 18. September 2019 ab.
C.
A._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten die Aufhebung des kantonalen Gerichtsentscheids beantragen. Im Einzelnen seien sein Anspruch auf Familienzulagen für alle vier Kinder zu bestätigen bzw. - im Fall des jüngsten - zu anerkennen und die verfügte Rückerstattung der bezogenen Zulagen von Fr. 21'000.- aufzuheben. Allenfalls sei die Sache zur Neubeurteilung an die Familienausgleichskasse Arbeitgeber Basel zurückzuweisen.
Die Familienausgleichskasse schloss auf Abweisung der Beschwerde, desgleichen das Sozialversicherungsgericht sowie das Bundesamt für Sozialversicherungen.

Erwägungen:
1.
Die Sachurteilsvoraussetzungen sind erfüllt, da die Beschwerde unter Einhaltung der gesetzlichen Frist (<ref-law>) und Form (<ref-law>) von einer durch die Entscheidung besonders berührten Partei mit einem schutzwürdigen Interesse an deren Aufhebung oder Änderung (<ref-law>) eingereicht wurde, das Rechtsmittel sich gegen einen von einer letzten kantonalen Instanz (<ref-law>) gefällten Endentscheid (<ref-law>) in einer Angelegenheit des öffentlichen Rechts (<ref-law>) richtet und keine der in <ref-law> erwähnten Ausnahmen greift.
2.
D ie Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
3.
Im Streit liegt, ob das kantonale Gericht Bundesrecht verletzt hat, indem es - wie von der Verwaltung verfügt - ab Juli 2015 einen Anspruch des Beschwerdeführers auf Familienzulagen für seine in den USA lebenden Kinder verneinte und eine Rückerstattung von deswegen zu Unrecht bezogenen Zulagen von Fr. 21'000.- bejahte.
4.
4.1. Familienzulagen sind einmalige oder periodische Geldleistungen, die ausgerichtet werden, um die finanzielle Belastung durch ein oder mehrere Kinder teilweise auszugleichen (Art. 2 FamZG). Die Familienzulagen umfassen unter anderem die Kinderzulage: Sie wird nach Art. 3 Abs. 1 lit. a FamZG ab dem Geburtsmonat des Kindes bis zum Ende des Monats ausgerichtet, in dem das Kind das 16. Altersjahr vollendet. Anspruch auf Familien- bzw. Kinderzulagen haben gemäss Art. 13 Abs. 1 Satz 1 FamZG die als Arbeitnehmerinnen oder Arbeitnehmer in der AHV obligatorisch versicherten Personen, die von einem diesem Gesetz unterstellten Arbeitgeber beschäftigt werden.
Zum Anspruch auf Familienzulagen berechtigen insbesondere Kinder, zu denen ein Kindesverhältnis im Sinne des Zivilgesetzbuches besteht (Art. 4 Abs. 1 lit. a FamZG). Für im Ausland wohnhafte Kinder regelt der Bundesrat die Voraussetzungen für den Anspruch auf Familienzulagen (Art. 4 Abs. 3 FamZG). In diesem Sinn sieht <ref-law> vor, dass die Ausrichtung von Leistungen für Kinder mit Wohnsitz im Ausland nur erfolgt, sofern zwischenstaatliche Vereinbarungen das vorschreiben. Diese Bestimmung hält sich gemäss Rechtsprechung an die Vorgaben des FamZG und verletzt weder Art. 8 Abs. 1 und 2 BV (Gleichbehandlungsgebot, Diskriminierungsverbot) noch das Übereinkommen vom 20. November 1989 über die Rechte des Kindes (Kinderrechtskonvention, KRK; SR 0.107; vgl. <ref-ruling> E. 2.1 S. 302 mit Hinweisen).
4.2. Darüber hinaus haben gemäss <ref-law> Arbeitnehmerinnen und Arbeitnehmer auch ohne staatsvertragliche Verpflichtung Anspruch auf Familienzulagen für Kinder mit Wohnsitz im Ausland, wenn sie nach Art. 1a Abs. 1 lit. c oder Abs. 3 lit. a AHVG oder aufgrund einer zwischenstaatlichen Vereinbarung obligatorisch in der AHV versichert sind.
4.3.
4.3.1. Die in <ref-law> genannten Bestimmungen sehen Folgendes vor:
Nach <ref-law> sind obligatorisch in der AHV versichert die im Ausland tätigen Schweizer Bürger:
1. im Dienste der Eidgenossenschaft,
2. im Dienste der internationalen Organisationen, mit denen der Bundesrat ein Sitzabkommen abgeschlossen hat und die als Arbeitgeber im Sinne von Artikel 12 gelten,
3. im Dienste privater, vom Bund namhaft subventionierter Hilfsorganisationen nach Artikel 11 des Bundesgesetzes vom 19. März 1976 über die internationale Entwicklungszusammenarbeit und humanitäre Hilfe.
Ferner können gemäss <ref-law> die Versicherung weiterführen:
a. Personen, die für einen Arbeitgeber mit Sitz in der Schweiz im Ausland tätig sind und von ihm entlöhnt werden, sofern dieser sein Einverständnis erklärt;
b. nicht erwerbstätige Studierende, die ihren Wohnsitz in der Schweiz aufgeben, um im Ausland einer Ausbildung nachzugehen, bis zum 31. Dezember des Jahres, in welchem sie das 30. Altersjahr vollenden.
4.3.2. Nach <ref-law> sind die natürlichen Personen, die in der Schweiz Wohnsitz haben (lit. a) oder die - alternativ - in der Schweiz eine Erwerbstätigkeit ausüben (lit. b) obligatorisch bei der AHV versichert (vgl. <ref-ruling> E. 3a S. 102; Michel Valterio, Droit de l'assurance-vieillesse et survivants [AVS] et de l'assurance-invalidité [AI], 2011, S. 25 Rz. 39, S. 29 Rz. 51).
4.4. Das Abkommen vom 3. Dezember 2012 zwischen der Schweizerischen Eidgenossenschaft und den Vereinigten Staaten von Amerika über soziale Sicherheit (SR 0.831.109.336.1, im Folgenden Sozialversicherungsabkommen CH-USA) regelt die Unterstellung in Art. 7 Abs. 1 Teilsatz 1 wie folgt:
"Unter Vorbehalt abweichender Bestimmungen in Abschnitt III dieses Abkommens ist ungeachtet der Staatsangehörigkeit eine Person, die im Gebiet eines oder beider Vertragsstaaten eine unselbstständige Erwerbstätigkeit ausübt, für diese Tätigkeit den Rechtsvorschriften über die Versicherungspflicht des Staates unterstellt, in dessen Gebiet sie beschäftigt ist".
5.
5.1. Das kantonale Gericht hat festgestellt, dass der Beschwerdeführer sowohl hierzulande als auch in den USA unselbstständig erwerbend ist. Mit Blick auf Art. 7 Abs. 1 Teilsatz 1 des Sozialversicherungsabkommens CH-USA unterstehe er für seine Tätigkeit in den USA den dortigen Regelungen, während er bezüglich derjenigen in der Schweiz für die C._ AG den hiesigen Vorschriften unterstellt sei. Somit sei er trotz seines Wohnsitzes in den USA aufgrund von <ref-law> als natürliche Person, die in der Schweiz eine Erwerbstätigkeit ausübe, bei der AHV versichert. Das im Sozialversicherungsabkommen hinsichtlich unselbstständiger Erwerbstätigkeit verankerte Erwerbsortsprinzip (vgl. etwa <ref-ruling> E. 4.2.1.2 S. 130; 210 E. 5.2.1 S. 215) bedeute nicht, dass der Beschwerdeführer im Sinne von <ref-law> aufgrund einer zwischenstaatlichen Vereinbarung obligatorisch in der AHV versichert sei. Vielmehr ergebe sich die obligatorische Unterstellung unter die AHV bereits aus <ref-law>, mithin aus schweizerischem Recht. Da somit kein Fall von <ref-law> vorliege, habe die Beschwerdegegnerin den Anspruch auf Familienzulagen zu Recht verneint.
5.2. Der Beschwerdeführer räumt ein, dass keine zwischenstaatliche Vereinbarung vorliegt, die im Sinne von <ref-law> die Ausrichtung von Familienzulagen im Ausland vorschreibt. Nach seiner Auffassung folgt hingegen aus Art. 7 Abs. 1 Teilsatz 1 des Sozialversicherungsabkommens CH-USA, dass er für seine unselbstständige Erwerbstätigkeit in der Schweiz den hier geltenden Rechtsvorschriften unterstellt, d.h. obligatorisch in der AHV versichert sei. Die obligatorische Unterstellung unter die AHV ergebe sich m.a.W. aus einer zwischenstaatlichen Vereinbarung, sodass er unter die dritte Kategorie des <ref-law> falle.
6.
6.1. Der Beschwerdeführer fällt unbestrittenermassen weder unter <ref-law> noch unter <ref-law>, so dass ihm diese in <ref-law> erwähnten Bestimmungen nicht weiterhelfen, wie das kantonale Gericht zu Recht erkannt hat.
6.2. Soweit er sich demgegenüber auf das Sozialversicherungsabkommen CH-USA beruft und seine Unterstellung unter die AHV aus diesem ableiten will, kann ihm nicht beigepflichtet werden. Mit der Verwaltung und der Vorinstanz ist vielmehr davon auszugehen, dass sich seine Unterstellung unter die AHV "originär" bereits aus <ref-law> und der hierzulande ausgeübten Erwerbstätigkeit ergibt. Der Umstand des Wohnsitzes in den USA bleibt diesbezüglich unerheblich. Diese Ordnung könnte zwar mittels eines Sozialversicherungsabkommens derogiert werden (vgl. <ref-ruling> E. 3a S. 103 oben), doch ist dies im hier betroffenen Abkommen - jedenfalls mit Belang für die vorliegende Konstellation - nicht geschehen. Art. 7 Abs. 1 Teilsatz 1 des Abkommens mit der USA verankert das Erwerbsortsprinzip, was in solchen Abkommen durchwegs die Regel ist (Ueli Kieser, Alters- und Hinterlassenenversicherung, in: Soziale Sicherheit, SBVR Bd. XIV, 3. Aufl. 2016, S. 1236 Rz. 117). Da keine Anhaltspunkte dafür erkennbar sind, dass es von der innerstaatlichen Gesetzgebung abweichen wollte, bleibt diese massgeblich (vgl. AHI 1994 S.134 ff. E. 6a; Kieser, a.a.O.). Zwar enthält das Sozialversicherungsabkommen CH-USA eine solche Durchbrechung, indem es in Art. 7 Abs. 4 für die selbstständige Erwerbstätigkeit eine ausschliessliche Unterstellung unter den Wohnsitzstaat vorsieht. Diese kommt im vorliegenden Fall allerdings nicht zum Zug, da hier zugestandenermassen keine selbstständige Erwerbstätigkeit gegeben ist. Entgegen dem, was der Beschwerdeführer anzunehmen scheint, kann daraus insbesondere auch nicht abgeleitet werden, dass seine obligatorische Versicherung in der AHV erst aufgrund einer zwischenstaatlichen Vereinbarung und dem darin verankerten Erwerbsortsprinzip begründet werde. Mithin verbietet sich die Annahme, die obligatorische Unterstellung des Beschwerdeführers unter die AHV folge (erst) aus dem Sozialversicherungsabkommen CH-USA.
6.3. Nach dem Gesagten sind Verwaltung und Vorinstanz - entgegen der beschwerdeweisen Behauptung - keinem unzulässigen Zirkelschluss erlegen. Von einer Verletzung der Begründungspflicht kann keine Rede sein.
7.
Was die verfügte Rückerstattung anbelangt, hat das kantonale Gericht erkannt, dass diese zu Recht und insbesondere nicht unter Missachtung der Verwirkungsfristen erfolgt sei. Diese Erwägung erging nach zutreffender Darlegung der massgeblichen Rechtsgrundlagen (Art. 1 FamZG in Verbindung mit <ref-law>) und der einschlägigen Rechtsprechung, wonach es auf ein Verschulden der versicherten Person in diesem Zusammenhang nicht ankommt (Urteile 9C_328/2015 vom 23. September 2015 E. 1; 9C_478/2013 vom 24. Juli 2013 E. 3.1). Da der Beschwerdeführer dazu nichts vorträgt, er die Höhe des verfügten Rückforderungsbetrags nicht beanstandet und keine Anhaltspunkte für eine fehlerhafte Rechtsanwendung bestehen, erübrigen sich Weiterungen.
8.
Dem Verfahrensausgang entsprechend werden die Gerichtskosten dem Beschwerdeführer auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 4. Juni 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Betschart