Sachverhalt: A. A.A._ ist der Vater von B.A._ und C.A._ (geboren 2003 und 2005). Die Kinder leben bei ihrer Mutter, D._. Beide Elternpaare sind in Frankreich ansässig. Da A.A._ bei einer schweizerischen Arbeitgeberin angestellt ist, hat er seit 1. Januar 2011 Anspruch auf Familienzulagen für seine beiden Kinder. Zuerst erhielt er die Differenz zu den in Frankreich ausgerichteten Zulagen. Ab März 2016 besteht Anspruch auf die vollen Zulagen, nachdem zufolge Trennung der Kindsmutter von ihrem Lebenspartner, mit welchem sie zwei weitere Kinder hat, der Anspruch auf Familienzulagen in Frankreich weggefallen ist. D._ stellte am 13. Mai 2016 einen Antrag auf direkte Auszahlung der Familienzulagen an sie mit der Begründung, A.A._ habe diese bis anhin nicht an sie weitergeleitet. Mit Verfügung vom 3. August 2016 wies die Familienausgleichskasse Arbeitgeber Basel (nachfolgend: Familienausgleichskasse oder FAK genannt) die Arbeitgeberin des A.A._ an, die Familienzulagen direkt an die Kindsmutter auszubezahlen. Die von ihm dagegen erhobene Einsprache wies sie ab (Einspracheentscheid vom 13. September 2016). B. In Gutheissung der hiergegen geführten Beschwerde des A.A._ hob das Sozialversicherungsgericht des Kantons Basel-Stadt den Einspracheentscheid auf und wies die Sache zur Durchführung weiterer Abklärungen im Sinne der Erwägungen an die Kasse zurück (Entscheid vom 23. Mai 2017). C. Die Familienausgleichskasse reicht Beschwerde in öffentlich-rechtlichen Angelegenheiten ein mit dem Antrag, der Entscheid des kantonalen Gerichts sei aufzuheben. A.A._ beantragt, in Nachachtung des kantonalen Gerichtsentscheids sei D._ aufzufordern, den Nachweis zu erbringen, dass sie die Unterlagen (gemeint: Zulagen) nicht zweckentfremde; die Zulagen seien einzustellen, bis die notwendigen Abklärungen gemacht seien und falls sie dennoch an D._ ausbezahlt werden sollten, sei zumindest sicherzustellen, dass die Kinder die Aktivitäten wieder aufnehmen könnten, welche ihnen durch die Zulagen ermöglicht worden seien (Skilaufen, Segeln, schulische Unterstützung von B.A._). Während das kantonale Gericht ohne weitere Ausführungen auf Abweisung der Beschwerde schliesst, folgt das Bundesamt für Sozialversicherungen (BSV) in seiner Stellungnahme der Argumentation der Kasse. D._ fordert "die Rückerstattung der Differenzzahlungen" in der Höhe von Fr. 11'309.90. Sie reicht nach Kenntnisnahme der Vernehmlassungen eine weitere Stellungnahme ein.