A.- Im Rahmen der Prüfung des Anspruchs auf eine Rente der Alters- und Hinterlassenenversicherung (AHV) ab 1. Juni 1999 der im Mai 1937 geborenen B.S._ klärte die Ausgleichskasse des Kantons St. Gallen ab, ob sie und ihr Ehemann A.S._ rückwirkend für 1997 und 1998 als Nichterwerbstätige zu betrachten seien. Unter anderem auf Grund der Angaben der Eheleute S._ über ihre Einkommens- und Vermögensverhältnisse erfasste die Kasse sie ab 1. Januar 1997 als Nichterwerbstätige und erhob mit Verfügungen vom 30. April 1999 Beiträge in der Höhe von insgesamt Fr. 46'206. 50 (A.S._: Fr. 25'591. 20 für 1997-1999, B.S._: Fr. 20'615. 30 für 1997/98 sowie für die Zeit vom 1. Januar bis 31. Mai 1999). Mit zwei weiteren Verfügungen vom 3. Mai 1999 forderte sie überdies Verzugszinsen in der Höhe von je Fr. 853.-. Schliesslich unterstellte die Ausgleichskasse A.S._ auch für die Jahre 1994-1996 der Beitragspflicht als Nichterwerbstätiger und erhob mit Verfügungen vom 25. Juni 1999 auf der Grundlage eines Vermögens von Fr. 6'052'260.- Beiträge (einschliesslich Verwaltungskostenbeitrag) von insgesamt Fr. 31'209.- sowie Verzugszinsen von Fr. 6397. 85 für die Zeit vom 1. Januar 1995 bis 31. Mai 1999.
B.- Sowohl B.S._ als auch A.S._ liessen gegen die sie betreffenden Beitrags- und Verzugszinsverfügungen Beschwerde erheben und zur Hauptsache deren Aufhebung beantragen. Nach Vernehmlassungen der Ausgleichskasse und Einsichtnahme in die Steuererklärungen und Veranlagungsprotokolle für 1991-1999 hob das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 31. März 2000 die angefochtenen Verwaltungsakte auf und wies die Sache zu ergänzender Abklärung und neuer Verfügung im Sinne der Erwägungen an die Kasse zurück.
C.- Die Ausgleichskasse führt Verwaltungsgerichtsbeschwerde mit dem Rechtsbegehren, es sei der kantonale Entscheid aufzuheben.
Während B. und A.S._ die Abweisung der Verwaltungsgerichtsbeschwerde beantragen lassen, verzichtet das Bundesamt für Sozialversicherung auf eine Vernehmlassung.
Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Das kantonale Gericht, welches die für die Beurteilung des in erster Linie und vorab in Bezug auf die Tätigkeit im Rahmen der einfachen Gesellschaft (Baukonsortium) X._ streitigen Beitragsstatutes als Nichterwerbstätiger für 1994-1999 massgebenden Rechtsgrundlagen zutreffend dargelegt hat, begründet seinen Rückweisungsentscheid mit der ungenügenden Abklärung des rechtserheblichen Sachverhalts. Es gebe zwar einige Anhaltspunkte, dass der Beschwerdeführer (und heutige Beschwerdegegner) beitragsrechtlich als Nichterwerbstätiger zu behandeln sei. So habe er gemäss den Auszügen aus dem individuellen Konto ab 1991 jeweils lediglich ein Jahreseinkommen von Fr. 3600.- für seine Tätigkeit bei der F._ AG, deren alleiniger Eigentümer er sei, gemeldet. Sodann habe die seit 1. Januar 1984 bestehende einfache Gesellschaft X._ an welcher der Versicherte seit Gründung beteiligt sei, bisher keinen Gewinn abgeworfen. Dieser Umstand spreche ebenfalls gegen die Annahme von Erwerbstätigkeit.
Anderseits zeigten die Steuerakten, dass der Beschwerdeführer für die Jahre 1991-1993 immerhin Einkommen zwischen Fr. 25'000.- und Fr. 29'000.- aus selbstständiger Nebenerwerbstätigkeit X._ deklariert habe. Auch wenn die steuerrechtliche Qualifikation als Erwerbstätiger oder Nichterwerbstätiger für die Ausgleichskassen nicht verbindlich sei, wäre dies Anlass genug gewesen, weitere Abklärungen zu treffen. Insbesondere sei weder über den Stand des Bauprojektes und dieses selber noch über die Aufgaben und die zeitliche Belastung als einfacher Gesellschafter etwas bekannt.
2.- Nach Dafürhalten der Verwaltungsgerichtsbeschwerde führenden Ausgleichskasse hingegen ist die Sache spruchreif und der Beschwerdegegner für die Beitragsjahre 1994-1999 als Nichterwerbstätiger zu betrachten.
a) Zur Begründung bringt die Verwaltung zunächst vor, der Versicherte sei für seine Tätigkeit in dem seit 1984 bestehenden Baukonsortium X._ bei ihr nie als Selbstständigerwerbender erfasst worden und habe dementsprechend nie persönliche Beiträge bezahlt. Ebenfalls habe er im Fragebogen zur Abklärung der Beitragspflicht für Nichterwerbstätige vom 19. April 1999 die angeblich selbstständige Erwerbstätigkeit im Rahmen der einfachen Gesellschaft nicht aufgeführt. Der Beschwerdegegner habe sich somit selbst nicht als Selbstständigerwerbenden angesehen.
Abgesehen davon, dass es für die Bestimmung des Beitragsstatutes nicht auf die Beurteilung durch die versicherte Person selber ankommen kann, steht nach den zutreffenden Feststellungen der Vorinstanz fest, dass der Beschwerdegegner seine Tätigkeit im Baukonsortium X._ den Steuerbehörden gegenüber als selbstständige Nebenerwerbstätigkeit deklarierte. In der Vernehmlassung wird in diesem Zusammenhang geltend gemacht, bei den gemäss Gesellschaftszweck zu überbauenden und zu verkaufenden Grundstücken handle es sich bei allen Gesellschaftern um Geschäftsvermögen.
Von den Steuerbehörden seien daher Abschreibungen in Form von Rückstellungen (ab Datum, wo die Grundstückpreise ins Schleudern geraten sind) ohne weiteres zugelassen worden. Was sodann die Angaben im Fragebogen zur Abklärung der Beitragspflicht für Nichterwerbstätige vom 19. April 1999 anbetrifft, wird dort nicht nach einer selbstständigen Erwerbstätigkeit an sich gefragt, sondern nach einer Erwerbstätigkeit als "Selbstständigerwerbender bei der Ausgleichskasse _". Diese Frage hat der Beschwerdegegner insofern zu Recht offen gelassen, als er erwiesenermassen keiner Kasse angeschlossen war.
b) Im Weitern bringt die Ausgleichskasse vor, die vorinstanzlichen Rechtsschriften samt den beigelegten Unterlagen enthielten zwar "Hinweise auf eine Beteiligung (...) an der X._, nicht aber auf eine selbstständige Erwerbstätigkeit".
Insbesondere zeigten die buchhalterisch ausgewiesenen geringen Verwaltungskosten sowie der fehlende Personalaufwand, "dass im Zusammenhang mit der X._ gar nichts gelaufen ist, bei welchem der Beschwerdegegner etwas hätte tun können". Auch der Gesellschaftsvertrag erwähne unter Art. 3 lit. c (Leistungen einzelner Gesellschafter) keine Aufgaben des Versicherten, die auf eine Arbeitstätigkeit hindeuteten. Er sei im Übrigen der einzige Gesellschafter gewesen, der nicht vom Bau-Fach stamme. Aus der Beteiligung allein und den sich daraus ergebenden gewissen Informationsrechten sei eine dauernde und volle Erwerbstätigkeit mit Sicherheit nicht abzuleiten.
Diese Argumentation verkennt, dass der Teilhaber oder die Teilhaberin einer einfachen Gesellschaft mit erwerblicher Zweckverfolgung in Bezug auf die und im Rahmen der gesellschaftlichen Tätigkeit als Selbstständigerwerbende gelten, ohne dass es auf Art und Umfang ihres Beitrages zur Erreichung des Gesellschaftszweckes ankäme (vgl. Art. 20 Abs. 3 AHVV; ZAK 1984 S. 223, bestätigt im nicht veröffentlichten Urteil R. vom 6. Juni 1994 [H 251/93]; vgl. auch BGE 121 V 82 Erw. 2a in fine, 114 V 4 Erw. 3b). Das Baukonsortium X._ bezweckt(e) gemäss Art. 2 des Gesellschaftsvertrages die Überbauung der u.a. vom Beschwerdegegner eingebrachten Parzellen sowie den Verkauf der gesamten Anlage bzw. Teilen der Überbauung oder des Grundstückes.
Dabei handelt es sich klar um eine erwerbliche, auf die Realisierung von Gewinn gerichtete Zielsetzung. Somit ist grundsätzlich der Beitragsstatus als Selbstständigerwerbender zu bejahen. Eine andere, im folgenden im Lichte der Akten sowie der Vorbringen der Parteien zu prüfende Frage ist, ob entgegen dem ursprünglichen Gesellschaftszweck die X._ im fraglichen Zeitraum 1994-1999 keine erwerblichen Zwecke (mehr) verfolgte und die Tätigkeit des Baukonsortiums spätestens ab 1994 als blosse private Vermögensverwaltung und damit nicht mehr als selbstständige Erwerbstätigkeit der einzelnen Gesellschafter zu qualifizieren ist (BGE 125 V 385 Erw. 2a [zweiter Abschnitt]; vgl. auch BGE 121 V 82 Erw. 2b sowie ZAK 1984 S. 224 Erw. 1b).
c) aa) Die Ausgleichskasse schliesst im Wesentlichen aus der Tatsache, dass gemäss den Steuerklärungen und Veranlagungsprotokollen für die Jahre 1991-1999, abgesehen von Zinszahlungen der Gesellschaft für Forderungen (Einlage und Darlehen) ihr gegenüber, aus der Tätigkeit für und im Rahmen der X._ stets, ab 1995 sogar beträchtliche Verluste resultierten, auf fehlende Erwerbsabsicht beim Beschwerdegegner.
Diese im Übrigen unbestrittenen Umstände stellen in der Tat ein gewichtiges Indiz für den Wegfall der ursprünglichen erwerblichen Zielsetzung des Unternehmens dar (vgl. BGE 115 V 172 Erw. 9c mit Hinweisen). Immerhin ist für 1989-1992 lediglich ein kleiner Verlustanteil von durchschnittlich rund Fr. 4500.- ausgewiesen. In diesem Zusammenhang ist zu beachten, dass die Verluste von allen Gesellschaftern im Verhältnis ihrer Kapitaleinlage zu tragen waren. Sodann entspricht es einer Erfahrungstatsache, dass Überbauungsprojekte wie die X._ unter Umständen während längerer Zeit keine Gewinne abwerfen. Ob sich insoweit ein Baukonsortium mit der Tätigkeit eines Maklers auf dem Liegenschaftssektor oder derjenigen eines selbstständigerwerbenden Architekten vergleichen lässt, wie die Ausgleichskasse mit dem Hinweis auf ZAK 1987 S. 418 Erw. 4a und 1986 S. 514 anzunehmen scheint, ist fraglich.
Abgesehen davon gilt es immer auch zu berücksichtigen, dass es Unternehmen mit erwerblicher Zweckverfolgung gibt, welche nie einen Gewinn abwerfen, weil beispielsweise bestimmte wirtschaftliche Rahmenbedingungen ändern oder sich schon von Beginn weg als für die erfolgreiche Entwicklung des Vorhabens ungünstig erweisen. Wenn und soweit in solchen Fällen die geschäftlichen Aktivitäten auf die Begrenzung der Verluste gerichtet sind und insofern nicht von eigentlicher gewinnorientierter Tätigkeit gesprochen werden kann, wie dies nicht selten für Betriebe im Liquidationsstadium zutrifft, kann der erwerbliche Charakter der Unternehmung nicht verneint werden (vgl. BGE 114 V 4 Erw. 3b).
bb) Im Lichte des Vorstehenden ist vorliegend in zeitlicher Hinsicht zu beachten, dass gemäss den Steuerunterlagen erstmals für 1995 Verluste aus der Tätigkeit für und im Rahmen der X._ resultierten. Bis zu diesem Zeitpunkt hatte sich die Beteiligung des Beschwerdegegners am Baukonsortium (Kapitaleinlage und Darlehen) von Fr. 502'308.- (1991) auf rund Fr. 690'000.- erhöht. 1997 betrug der Wert des Anteils an der einfachen Gesellschaft rund Fr. 442'411.-. Und ein Jahr später nach Ausscheiden des letzten Teilhabers neben dem Versicherten wurde die X._ aufgelöst und es wurden dementsprechend keine Gesellschaftsanteile mehr veranlagt. Wie diese Umstände im Hinblick auf die Festlegung des Beitragsstatutes als Nichterwerbstätiger oder Selbstständigerwerbender für 1994-1999 zu würdigen sind, kann nach zutreffender Feststellung der Vorinstanz nicht gesagt werden. Hiezu fehlen weitere Angaben zum Bauprojekt als solchem und zu den Gründen dafür, dass es nach Angaben des Beschwerdegegners Ende 1999 noch nicht abgeschlossen war. Des Weitern ist von Interesse, ob bis zu diesem Zeitpunkt die dannzumal überbauten Grundstücke oder einzelne davon oder sogar noch nicht überbaute Parzellen veräussert worden waren und wenn nein, weshalb nicht. Diesfalls fragt sich, ob die betreffenden Objekte überhaupt zum Verkauf ausgeschrieben wurden und wenn ja, aus welchen Gründen ein Verkauf nicht zu Stande kam. In diesem Zusammenhang stellt der blosse Hinweis in der Vernehmlassung, der Immobilienmarkt sei seit Jahren unter Druck, die Angebote seien sehr gross und die Konkurrenz hart, kein Indiz von Gewicht für den erwerblichen Charakter der gesellschaftlichen Tätigkeit dar. Für die Festlegung des Beitragsstatutes ist je nachdem auch die Art der Nutzung insbesondere der überbauten Grundstücke im Besitze der Gesellschaft von Bedeutung.
3.- Nach dem Gesagten lässt sich der angefochtene Rückweisungsentscheid von Bundesrechts wegen nicht beanstanden.
Die Ausgleichskasse wird im Sinne der vorstehenden Erwägungen ergänzende Abklärungen vorzunehmen haben. Dabei fallen neben einer Befragung des Beschwerdegegners und allenfalls ehemaliger Gesellschafter der X._ insbesondere die Einholung von Auskünften bei den kommunalen Behörden, wo die gemäss Gesellschaftsvertrag zu überbauenden Grundstücke liegen, in Betracht. Dass von weiteren Erhebungen von vornherein keine verwertbaren neuen Erkenntnisse zu erwarten sind, kann entgegen der Verwaltung nicht gesagt werden.
4.- Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Dem Prozessausgang entsprechend sind die Gerichtskosten der Ausgleichskasse aufzuerlegen (Art. 156 Abs. 1 OG in Verbindung mit Art. 159 OG). Die Verwaltung hat überdies dem Beschwerdegegner eine u.a. nach dem Vertretungsaufwand bemessene Parteientschädigung zu bezahlen (Art. 159 Abs. 1 und 2 OG sowie Art. 2 Abs. 1 des Tarifs über die Entschädigung an die Gegenpartei für das Verfahren vor dem Eidgenössischen Versicherungsgericht in Verbindung mit Art. 160 OG).
Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II. Die Gerichtskosten von Fr. 3000.- werden der Ausgleichskasse des Kantons St. Gallen auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
III. Die Ausgleichskasse des Kantons St. Gallen hat den Beschwerdegegnern für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung
von Fr. 800.- (einschliesslich Mehrwertsteuer) zu bezahlen.
IV. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 10. April 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Der Gerichtsschreiber: