Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- a) Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
b) Im Rahmen der Rechtsanwendung von Amtes wegen wendet der Sozialversicherungsrichter auf den festgestellten Sachverhalt jenen Rechtssatz an, den er als den zutreffenden ansieht, und gibt ihm die Auslegung, von der er überzeugt ist (<ref-ruling> Erw. 1, 52 Erw. 4a; vgl. <ref-ruling> Erw. 3c; ZAK 1988 S. 615 Erw. 2a). Der Richter hat sich nicht darauf zu beschränken, den Streitgegenstand bloss im Hinblick auf die von den Parteien aufgeworfenen Rechtsfragen zu überprüfen (Gygi, Bundesverwaltungsrechtspflege,
2. Aufl. , S. 212). Er kann eine Beschwerde gutheissen oder abweisen aus anderen Gründen als vom Beschwerdeführer vorgetragen oder von der Vorinstanz erwogen (Art. 114 Abs. 1 am Ende in Verbindung mit Art. 132 OG; <ref-ruling> Erw. 1b mit Hinweisen, 442 Erw. 1a).
2.- Im angefochtenen Entscheid werden die für die Schadenersatzpflicht nach <ref-law> geltenden Grundsätze zutreffend dargelegt, sodass darauf verwiesen werden kann (vgl. <ref-ruling> Erw. 5b, 122 V 66 Erw. 4a, 119 V 405 Erw. 2, je mit Hinweisen).
3.- a) Der Erlass einer Schadenersatzverfügung im Sinne von <ref-law> setzt voraus, dass die Ausgleichskasse Kenntnis vom Eintritt eines Schadens hat und ihr die Ersatzpflichtigen bekannt sind (ZAK 1991 S. 128 unten mit Hinweisen). Nach der Rechtsprechung gilt der Schaden als eingetreten, sobald anzunehmen ist, dass die geschuldeten Beiträge aus rechtlichen oder tatsächlichen Gründen nicht mehr erhoben werden können (<ref-ruling> Erw. 3a, 121 III 384 Erw. 3b/bb, 388 Erw. 3a, 113 V 257 f., je mit Hinweisen). Dies trifft dann zu, wenn die Beiträge im Sinne von <ref-law> verwirkt sind oder wenn sie wegen Zahlungsunfähigkeit des beitragspflichtigen Arbeitgebers nicht mehr im ordentlichen Verfahren nach <ref-law> erhoben werden können (<ref-ruling> Erw. 5b mit Hinweisen). Dieser Sachverhalt liegt u.a. vor, wenn die Beiträge gemäss <ref-law> auf dem Wege der Betreibung eingefordert werden und das Betreibungsverfahren zu einem definitiven Verlustschein führt (ZAK 1990 S. 288 Erw. 3b/cc) oder wenn das Konkursverfahren mangels Aktiven eingestellt wird (ZAK 1990 S. 289 Erw. 4b).
b) Am 8. März 1996 wurden der Ausgleichskasse in den von ihr gegen die Firma X._ eingeleiteten Betreibungen zwei definitive Pfändungsverlustscheine über den Betrag von insgesamt Fr. 35'334. 05 ausgestellt. Daraufhin teilte die Ausgleichskasse den Verwaltungsratsmitgliedern der Firma X._ mit, unter den gegebenen Umständen sei sie gezwungen, zwei weitere Forderungen von Fr. 44'906. 15 bzw.
Fr. 44'931. 35 und Fr. 23'839. 05 wegen Uneinbringlichkeit abzuschreiben (Schreiben vom 22. März und 6. Dezember 1996). Ihren Schadenersatzverfügungen vom 3. Februar 1997 und der Schadenersatzklage legte sie in der Folge ebenfalls die sich auf all diese Beitragsforderungen beziehenden Ausstände zugrunde.
Bei dieser Sachlage ist im Lichte der erwähnten Rechtsprechung ein Schaden erst in Bezug auf die Beitragsausstände im Umfange von Fr. 35'334. 05 entstanden, über welchen Betrag zwei definitive Pfändungsverlustscheine vom 8. März 1996 vorliegen. Denn was den darüber hinaus gehenden Betrag anbelangt, stand im Zeitpunkt des Erlasses der Schadenersatzverfügungen (3. Februar 1997) bzw. der Klageeinreichung noch gar nicht fest, dass dieser nicht mehr eingefordert werden kann, weil sich - wie aus den Akten hervorgeht (vgl. auch Erw. 4 nachfolgend) - noch gar keiner der in Erw. 3a hievor erwähnten Sachverhalte verwirklicht hatte. Die blosse Vermutung der Ausgleichskasse, ihre Forderungen im Umfange von Fr. 44'906. 15 bzw. Fr. 44'931. 35 und Fr. 23'839. 05 würden das gleiche Schicksal wie diejenige über Fr. 35'334. 05 erleiden, bildet keine hinreichende Grundlage für die Annahme eines Schadens. Dementsprechend fällt eine Schadenersatzpflicht von vornherein nur im Umfange von (maximal; vgl. Erw. 6) Fr. 35'334. 05 in Betracht.
4.- Streitig und zu prüfen ist vorliegend die Haftung der Beschwerdeführer für die von der Firma vor ihrem Eintritt in den Verwaltungsrat schuldig gebliebenen Beiträge.
a) Ins Leere geht der von den Beschwerdeführern erhobene Einwand, eine Haftung entfalle schon deshalb, weil den letzten Arbeitnehmern auf Ende Juli 1995 gekündigt worden sei und während ihrer Amtszeit somit keine Sozialversicherungsbeiträge mehr fällig geworden seien, sodass der "Schadensbetrag [...] um keinen Rappen gestiegen" sei. Denn diese Argumentation verkennt, dass ein Verwaltungsratsmitglied mit der Mandatsübernahme in die Verantwortung sowohl für die laufenden als auch für die verfallenen, von der Firma vor seinem Eintritt schuldig gebliebenen Beiträge eintritt (ZAK 1992 S. 254 Erw. 7b) und es sich nur anders verhält, wenn der Schaden bei Eintritt in den Verwaltungsrat bereits entstanden war (<ref-ruling>; Nussbaumer, Das Schadenersatzverfahren nach <ref-law>, in: Schaffhauser/Kieser [Hrsg. ], Aktuelle Fragen aus dem Beitragsrecht der AHV, St. Gallen 1998, S. 107).
b) Die Vorinstanz hat in für das Eidgenössische Versicherungsgericht verbindlicher Weise (vgl. Erw. 1a hievor) festgestellt, dass sich die Firma X._ im Zeitpunkt des Eintritts der Beschwerdeführer in den Verwaltungsrat im August 1995, wie diesen bekannt war, zwar in einem grösseren Liquiditätsengpass befand, jedoch nicht zahlungsunfähig war. Dass der Schuldsaldo, wie in der Verwaltungsgerichtsbeschwerde geltend gemacht wird, auf dem Kontokorrentkonto bei der Bank K._ gemäss dem in den Akten liegenden Kontoauszug in der Zeit vom 1. Juli 1995 bis 31. Dezember 1995 immer massiv höher war als der Betrag, der durch die volle Liberierung der Aktien noch hätte eingebracht werden können, lässt die vorinstanzliche Sachverhaltsdarstellung nicht als offensichtlich unrichtig erscheinen, gibt der Bankauszug die wirtschaftliche Lage der Firma doch nur unvollständig wieder. Demnach ist - entgegen der Auffassung der Beschwerdeführer - mit der Vorinstanz davon auszugehen, dass der Schaden im Zeitpunkt des Amtsantritts - mangels Verwirklichung eines der in Erw. 3a genannten Sachverhalte - noch nicht entstanden war und eine Haftung der Beschwerdeführer für die vorher fällig gewordenen Beiträge nicht bereits aus diesem Grund entfällt.
5.- Das kantonale Gericht hat das Verschulden der Beschwerdeführer als grobfahrlässig qualifiziert mit der Begründung, als Organe hätten sie darum besorgt sein müssen, dass alle ausstehenden Sozialversicherungsbeiträge bezahlt würden. Namentlich hätten sie angesichts der - wie ihnen bei ihrem Amtsantritt bekannt war - schwierigen finanziellen Situation der Firma X._ alles daran setzen müssen, wenigstens einen Teil der offenen Rechnungen bei der Ausgleichskasse zu begleichen. Dass sie diesbezüglich konkrete Anstrengungen unternommen hätten, werde nicht geltend gemacht und gehe auch nicht aus den Akten hervor. Die Beschwerdeführer wenden ein, dass sie - entgegen der Darstellung der Vorinstanz - aktiv geworden seien: Innerhalb von dreissig Tagen seit Amtsantritt hätten sie eine Freistellungserklärung von B._ und U._ eingeholt, in welcher diese sich (gegen Bezahlung des Betrages von Fr. 30'000.- aus der Nachliberierung der Aktien) verpflichteten, die gesamten AHV-Ausstände zu begleichen. Wenn es auch zutrifft, dass sich B._ und U._ mit Vertrag vom 15. September 1995 gegenüber der Firma X._ verpflichteten, die Beitragsschuld gegenüber der Ausgleichskasse zu übernehmen, ergibt sich daraus nichts zu Gunsten der Beschwerdeführer. Denn dass die Ausgleichskasse dieser Übernahme zugestimmt hätte, wird weder behauptet noch ergibt es sich aus den Akten. Unter diesen Umständen fehlt es an einer externen (privativen) Schuldübernahme im Sinne von <ref-law>, die der Ausgleichskasse entgegen gehalten werden könnte (nicht veröffentlichtes Urteil P. vom 23. Dezember 1994, H 332/93). Ebenso wenig vermag die Beschwerdeführer praxisgemäss zu entlasten, dass sie (im Rahmen der Vollliberierung der Aktien) Geld in die Firma einschossen, weil daraus kein Bemühen, die Beitragszahlungs- und Ablieferungspflicht rechtzeitig zu erfüllen, ersichtlich ist (vgl. <ref-ruling>). Soweit sodann geltend gemacht wird, die Sorgfaltspflicht werde überspannt, wenn eine Haftung auch für die gestützt auf eine im Dezember 1996 durchgeführte Arbeitgeberkontrolle erstellte Nachtragsrechnung über den Betrag von Fr. 23'839. 05 bejaht werde, ist darauf nicht weiter einzugehen, weil eine Haftung für diesen Betrag aus den in Erwägung 3b hievor erwähnten Gründen entfällt. Entgegen der in der Verwaltungsgerichtsbeschwerde vertretenen Auffassung kann die Ersatzpflicht auch nicht gestützt auf <ref-law> entsprechend der Verschuldensschwere der Verantwortlichen herabgesetzt werden, weil diese Bestimmung auf das Schadenersatzverfahren gemäss <ref-law> keine Anwendung findet (AHI 1996 S. 293 Erw. 6; vgl. auch <ref-ruling> Erw. 5a).
6.- Zusammenfassend ergibt sich, dass der die Haftungsvoraussetzungen bejahende kantonale Gerichtsentscheid - soweit er sich auf die Beitragsausstände von Fr. 35'334. 05 gemäss den Pfändungsverlustscheinen vom 8. März 1996 bezieht - vor Bundesrecht standhält. Die Sache ist indessen an die Ausgleichskasse zurückzuweisen, damit sie, nach Abzug der diesen Ausständen zuzuordnenden Zahlungen bzw. nach Verrechnung mit dem entsprechenden EO-Anspruch und nach Ausscheidung der FAK-Beiträge und FAK-Zahlungen, über den Schadenersatzbetrag neu verfüge (SVR 1999 AHV Nr. 10 S. 29 Erw. 3b).
7.- Bei diesem Verfahrensausgang rechtfertigt es sich, die Gerichtskosten zu zwei Dritteln der Ausgleichskasse und zu einem Drittel den Beschwerdeführern aufzuerlegen (Art. 135 in Verbindung mit Art. 156 Abs. 3 OG). Überdies steht den anwaltlich vertretenen Beschwerdeführern zu Lasten der Ausgleichskasse eine reduzierte Parteientschädigung zu (Art. 135 in Verbindung mit Art. 159 Abs. 3 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne
teilweise gutgeheissen, dass der Entscheid des Sozialversicherungsgerichts
des Kantons Zürich vom 22. November
2000 aufgehoben und die Sache an die Ausgleichskasse
des Kantons St. Gallen zurückgewiesen
wird, damit sie, nach erfolgter Abklärung im Sinne der
Erwägungen, über die Schadenersatzpflicht der Beschwerdeführer
in masslicher Hinsicht verfüge.
II. Die Gerichtskosten von Fr. 9000.- werden zu 1/3 (Fr. 3000.-) den Beschwerdeführern und zu 2/3 (Fr. 6000.-) der Beschwerdegegnerin auferlegt. Der Anteil
der Beschwerdeführer ist durch den geleisteten
Kostenvorschuss von Fr. 13'500.- gedeckt; der Differenzbetrag
von Fr. 10'500.- (je Fr. 3500.-) wird ihnen
zurückerstattet.
III. Die Ausgleichskasse des Kantons St. Gallen hat den Beschwerdeführern für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung
von Fr. 2000.- (einschliesslich Mehrwertsteuer) zu
bezahlen.
IV. Das Sozialversicherungsgericht des Kantons Zürich wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen
Prozesses zu befinden haben.
V. Dieses Urteil wird den Parteien, dem Sozialversiche- rungsgericht des Kantons Zürich, dem Bundesamt für
Sozialversicherung sowie B._ und U._
zugestellt.
Luzern, 17. August 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer:
Die Gerichtsschreiberin: