A.- Mit Verfügung vom 17. September 1997 lehnte die Sozialversicherungsanstalt des Kantons St. Gallen das Gesuch des 1929 geborenen deutschen Staatsbürgers Z._ um Ergänzungsleistungen zur Rente der Alters- und Hinterlassenenversicherung ab, da er sich vor der Anmeldung zum Bezug dieser Leistung nicht während 15 Jahren ununterbrochen in der Schweiz aufgehalten habe.
B.- Die dagegen eingereichte Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 3. Juni 1999 gut. Es betrachtete das Erfordernis des 15-jährigen Aufenthaltes als erfüllt, hob die Verfügung vom 17. September 1997 auf und wies die Sache zur Fortführung des Verwaltungsverfahrens an die Sozialversicherungsanstalt zurück.
C.- Die Sozialversicherungsanstalt des Kantons St. Gallen führt Verwaltungsgerichtsbeschwerde mit dem Antrag, der kantonale Entscheid sei aufzuheben. Z._ schliesst auf Abweisung, das Bundesamt für Sozialversicherung (BSV) auf Gutheissung der Verwaltungsgerichtsbeschwerde.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Das kantonale Versicherungsgericht hat das gesetzliche Erfordernis eines 15-jährigen ununterbrochenen Aufenthaltes in der Schweiz von ausländischen Staatsbürgern zum Bezug von Ergänzungsleistungen (Art. 2 Abs. 2 ELG in der bis Ende 1997 gültig gewesenen, vorliegend anwendbaren Fassung) richtig dargelegt.
2.- Der Beschwerdegegner meldete sich am 26. März 1997 zum Bezug von Ergänzungsleistungen an. Streitig und zu prüfen ist einzig, ob er sich in den 15 Jahren vor der Anmeldung, d.h. von März 1997 zurück bis März 1982, ununterbrochen im Sinne dieser Vorschrift in der Schweiz aufgehalten hat.
a) Gemäss den Auskünften mehrerer Einwohnergemeinden verzeichnete der Beschwerdegegner vom 25. August 1970 bis 30. April 1994 ohne Unterbruch Wohnsitz in der Schweiz. Im April 1994 erhielt er von der Fremdenpolizei die Erlaubnis zu einem Auslandaufenthalt von 1 1/2 Jahren ab 1. Mai 1994 mit der Zusage, dass er die Niederlassungsbewilligung C nicht verlieren werde. In der Folge hielt er sich vom 1. Mai 1994 bis 31. Oktober 1994 im Ausland auf. Dieser Aufenthalt diente nach eigenen Angaben der Verbesserung seiner Fremdsprachenkenntnisse und der Recherche über Vorkommnisse während der Besatzungszeit.
b) Die Vorinstanz erwog, der Beschwerdegegner habe durch seinen langjährigen Aufenthalt bewiesen, dass er in der Schweiz habe bleiben wollen. Er habe seine Niederlassungsbewilligung C für die geplante Dauer des Auslandaufenthaltes reservieren lassen, was seinen Willen belege, wieder in die Schweiz zurückzukehren. Der Gesetzgeber habe Ergänzungsleistungen nur an diejenigen Ausländer ausrichten wollen, welche im Zeitpunkt der Gesuchstellung bereits eine intensive Bindung an die Schweiz hätten. Vorübergehende Unterbrüche des tatsächlichen Aufenthaltes änderten an dieser Bindung nichts, solange sie unterhalb einer bestimmten Schwelle lägen. An Hand der bisherigen Rechtsprechung sei festzustellen, dass das zu tolerierende Ausmass der Dauer einer faktischen Abwesenheit einen gewissen Spielraum offen lasse. Zu beachten sei, dass Ergänzungsleistungs-Bezüger, die ihre 15-jährige Karenzzeit einmal bestanden hätten, die Schweiz für maximal ein Jahr verlassen könnten, wonach der Anspruch auf Ergänzungsleistungen wieder auflebe. Solche Versicherte seien zu Unrecht besser gestellt als diejenigen, welche die Karenzfrist bei der erstmaligen Gesuchstellung noch nicht bestanden hätten. Daher dürfe ein Aufenthaltsunterbruch von weniger als einem Jahr die angelaufene Karenzzeit nicht untergehen lassen.
Der Beschwerdegegner macht geltend, insgesamt habe er seit dem 23. Lebensjahr einundvierzigeinhalb Jahre in der Schweiz verbracht. Während des Aufenthaltes im Ausland habe er seinen Haushalt in der Schweiz eingestellt, Steuern bezahlt und sei alle vier Wochen für mehrere Tage heimgekehrt, um Post, Miete, Versicherungen und anderes zu erledigen. Er habe somit zu keiner Zeit den Mittelpunkt seiner Lebensbeziehungen in der Schweiz aufgegeben.
c) Im nicht veröffentlichten Urteil T. vom 26. Juni 1998 (P 56/97) hat das Eidgenössische Versicherungsgericht seine Rechtsprechung zur Problematik der 15-jährigen Karenzzeit dargestellt. Demnach gilt diese nicht als unterbrochen, solange die Landesabwesenheit drei Monate nicht übersteigt (<ref-ruling> Erw. 4b). Bei längerer Abwesenheit beginnt sie mit der erneuten Einreise in die Schweiz wieder von vorne zu laufen. Ausnahmsweise ist eine Erstreckung über die höchstzulässige Dauer von drei Monaten möglich, ohne dass die Karenzzeit unterbrochen wird. Hiezu müssen jedoch triftige Gründe vorliegen. In Zusammenfassung seiner bisherigen Rechtsprechung hat das Gericht festgehalten, dass anerkannte triftige Motive für eine Erstreckung der dreimonatigen Landesabwesenheit sich auf zwei Kategorien beschränken: einerseits auf zwingende krankheits- oder unfallbedingte Ursachen in der Person des Leistungsansprechers selbst, anderseits auf Tatbestände aus dem Bereich der höheren Gewalt. An dieser Limitierung ist festzuhalten, da eine Anerkennung weiterer Gründe die Rechtssicherheit gefährden und eine praktikable Grenzziehung verunmöglichen würde. Die Erstreckung der dreimonatigen Zeitspanne muss eine Ausnahme bleiben und sich an klar fassbaren Kriterien orientieren können. Motive sozialer, familiärer, persönlicher oder beruflicher Art können daher, so achtbar sie im Einzelfall sein mögen, nicht als triftig im Sinne dieser Rechtsprechung anerkannt werden.
d) Die vom Beschwerdegegner vorgelegten Gründe für die Erstreckung der dreimonatigen Landesabwesenheit lassen sich unter keine der beiden erwähnten Kategorien subsumieren. Demnach wurde die Karenzzeit bei dem hier streitigen Aufenthalt im Ausland unterbrochen mit dem Ergebnis, dass sie mit der Einreise in die Schweiz am 1. November 1994 wieder von vorne zu laufen begann. Daran vermag nach dem Gesagten der Umstand nichts zu ändern, dass der Versicherte insgesamt über 40 Jahre in der Schweiz verbracht hat und die Ausreise nach F._ am 1. Mai 1994 kurz vor Ablauf der gesetzlichen Karenzzeit stattfand. Auch im erwähnten Urteil T. trat die Unterbrechung der Karenzzeit erst kurz vor Beendigung des 15. Wartejahres ein. Die gelegentlichen Rückreisen nach Hause zur Erledigung von Post, Versicherungen und Miete vermögen ebenfalls zu keinem andern Resultat zu führen. Zudem hat das Gericht im erwähnten Urteil T. festgehalten, dass sich auch aus der Europäischen Menschenrechtskonvention kein weiter gehender Anspruch ergibt.
3.- a) Das Eidgenössische Versicherungsgericht verkennt nicht, dass dieses Ergebnis für den Beschwerdegegner hart ausfällt, zumal dieser sich vom 25. August 1970 bis 30. April 1994 ununterbrochen in der Schweiz aufgehalten und somit - im Unterschied zum Versicherten im erwähnten Urteil T. - die 15-jährige Wartezeit an sich einmal bestanden hatte. Nach seinem Wortlaut verlangt alt Art. 2 Abs. 2 ELG jedoch ausdrücklich, dass ein Leistungsansprecher sich "unmittelbar" vor dem Zeitpunkt, von welchem an er Ergänzungsleistungen verlangt, ununterbrochen 15 Jahre in der Schweiz aufgehalten haben muss. Dieser Wortlaut entspricht dem Willen des Gesetzgebers, wie sich aus der Botschaft des Bundesrates vom 21. September 1964 (BBl 1964 II 690 f.) ergibt. Die AHV/IV-Kommission lehnte damals die Gewährung von Ergänzungsleistungen an in der Schweiz wohnhafte Ausländer und Staatenlose überhaupt ab, stiess aber auf den Widerstand einer grösseren Anzahl von Kantonen, woraus sich als Kompromiss die hier umstrittene Regelung ergab.
b) Im Rahmen der 3. ELG-Revision beantragte der Bundesrat die Herabsetzung der Karenzzeit von 15 auf 10 Jahre (Botschaft vom 20. November 1996, BBl 1997 I 1203). Bei dieser Gelegenheit wurde auch das Problem der Erfüllung der Karenzzeit nach alt Art. 2 Abs. 2 ELG erörtert. Gerade das Wort "unmittelbar" war Gegenstand von Diskussionen in der vorberatenden Kommission des Nationalrates, wurde aber in der Folge beibehalten. In der Kommission wurde darauf hingewiesen, dass selbst bei einer Herabsetzung der Karenzzeit ein in vielen Vernehmlassungen genanntes Problem bestehen bleibe, nämlich dass bei einer Unterbrechung des Aufenthalts in der Schweiz der Anspruch auf Ergänzungsleistungen entfalle. Dies führe dann zu Ungerechtigkeiten, wenn beispielsweise jemand viel mehr als zehn Jahre in der Schweiz gelebt, in dieser Zeit aber einige Monate im Heimatland oder sonst im Ausland verbracht habe. Deshalb schlug sie vor, Art. 2 Abs. 2 ELG flexibler zu formulieren. Damit ein Ausländer Ergänzungsleistungen beziehen könne, solle es genügen, dass er sich unmittelbar vor dem Zeitpunkt, von welchem an er solche verlangt, "insgesamt zehn Jahre innerhalb eines Zeitraumes von fünfzehn Jahren" in der Schweiz aufgehalten hat. Indessen wurde der Antrag von Nationalrätin Baumann von der Kommission des Nationalrates (Protokoll S. 14) wie auch später vom Nationalrat selber (Amtl. Bull. 1997 N 455 ff.) abgelehnt. Der Rat teilte die Auffassung des Bundesrates, wonach der Vorschlag Baumann zu wenig klar umrissen und eine Lösung im Rahmen der Verhandlungen auf internationaler Ebene zu suchen sei. Der Ständerat folgte dem Nationalrat (Amtl. Bull. 1997 S 617).
c) Dem Gesetzgeber war somit die hier zu beurteilende Problematik sehr wohl bekannt. Dennoch hat er eine Regelung abgelehnt, welche unbefriedigende Ergebnisse der hier auftretenden Art verhindert hätte. Unter diesen Umständen besteht für das Eidgenössische Versicherungsgericht kein Raum, die Rechtsprechung zu ändern, weil der insoweit unveränderte Wortlaut dem in der nationalrätlichen Debatte mehrheitlich befürworteten Rechtssinne entspricht und damit für das Gericht massgeblich bleibt (Art. 191 BV).

Demnach erkennt das Eidg. Versicherungsgericht:
I. In Gutheissung der Verwaltungsgerichtsbeschwerde wird der Entscheid des Versicherungsgerichts des Kantons St. Gallen vom 3. Juni 1999 aufgehoben.
II. Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 6. November 2000
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der I. Kammer:
Der Gerichtsschreiber: