A.- B._ war neben C._ und E._, Präsident des Verwaltungsrates, Verwaltungsratsmitglied der Firma X._ AG. Am 29. Januar 1997 wurde der Gesellschaft eine Nachlassstundung von sechs Monaten bewilligt.
Nach dem Widerruf der Nachlassstundung wurde am 12. August 1997 der Konkurs eröffnet, welcher im summarischen Verfahren nach <ref-law> durchgeführt wurde. In diesem Verfahren gab die Ausgleichskasse Schweizerischer Baumeisterverband eine Forderung für nicht entrichtete bundesrechtliche Sozialversicherungsbeiträge, einschliesslich Mahngebühren, Betreibungs- und Verwaltungskosten sowie Verzugszins, im Betrag von Fr. 200'877. 40 ein. Am 20. Februar 1998 teilte das Konkursamt Y._ der Ausgleichskasse mit, dass der Kollokationsplan, das Lastenverzeichnis und das Inventar vom 24. Februar bis 16. März 1998 zur Einsicht auflägen und für die Gläubiger der 3. Klasse keine Konkursdividende resultiere.
Mit Verfügung vom 10. August 1998 verpflichtete die Ausgleichskasse B._ unter solidarischer Haftbarkeit mit E._ und C._ zur Bezahlung von Schadenersatz in der Höhe von Fr. 194'695. 05. Der Betroffene erhob hiegegen Einspruch.
B.- Am 28. September 1998 reichte die Ausgleichskasse beim Versicherungsgericht des Kantons St. Gallen Klage ein mit dem Begehren, B._ sei als Solidarschuldner zur Bezahlung von Schadenersatz in der Höhe von Fr. 194'695. 05 zu verpflichten. Mit Entscheid vom 23. November 2000 hiess dieses die Klage im reduzierten Betrag von Fr. 120'000.- gut, nachdem es die Ausgleichskasse aufgefordert hatte, ihre Schadensberechnung zu belegen.
C.- B._ lässt Verwaltungsgerichtsbeschwerde erheben mit dem Rechtsbegehren, die Klage sei abzuweisen; eventuell sei die Sache zur Neubeurteilung an das kantonale Versicherungsgericht zurückzuweisen.
Die Ausgleichskasse äussert sich zur Herabsetzung der Schadenersatzforderung. Das Bundesamt für Sozialversicherung hat sich nicht vernehmen lassen. Die als Mitinteressierte zur Stellungnahme eingeladenen C._ und E._ lassen sich in abweisendem Sinne vernehmen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2.- a) Das kantonale Gericht hat die in materiellrechtlicher Hinsicht massgebenden Normen (<ref-law>, <ref-law> in Verbindung mit <ref-law>) und die Rechtsprechung zur subsidiären Haftbarkeit der Organe (<ref-ruling> Erw. 5b), zur Haftungsvoraussetzung des zumindest grobfahrlässigen Verschuldens (<ref-ruling> Erw. 1b, 193 Erw. 2b) sowie bezüglich des dabei zu berücksichtigenden - differenzierten - Sorgfaltsmassstabes (<ref-ruling> Erw. 3a; vgl. auch Nussbaumer, Die Haftung des Verwaltungsrates nach <ref-law>, in: AJP 9/96, S. 1081) zutreffend wiedergegeben. Darauf kann verwiesen werden.
b) Unbestritten ist, dass sowohl die Schadenersatzverfügung als auch die Klage rechtzeitig erfolgt sind (Art. 81 Abs. 3 und Art. 82 Abs. 1 AHVV). Fest steht auch, dass dem Beschwerdeführer als ehemaligem Verwaltungsratsmitglied der X._ AG Organstellung im Sinne der Rechtsprechung zu <ref-law> zukam. Streitig und zu prüfen ist, ob er den der Ausgleichskasse entstandenen Schaden grobfahrlässig (mit)verursacht hat.
3.- Die konkursite Gesellschaft befand sich seit Beginn der Neunzigerjahre in wirtschaftlichen Schwierigkeiten.
Ab Anfang 1994 ist sie der Beitragszahlungspflicht nicht mehr ordnungsgemäss nachgekommen und musste betrieben und wiederholt gemahnt werden. Mit Ausnahme der Jahresrechnung 1994 wurden jedoch die bis Juni 1995 geschuldeten Beiträge noch beglichen, bevor die Zahlungen an die Ausgleichskasse ab Februar 1996 gänzlich eingestellt wurden.
Ab 1991 gewährte der Beschwerdeführer der Firma wiederholt Darlehen, um ihr das wirtschaftliche Fortkommen zu sichern. Auch nahm er an den Generalversammlungen teil, an denen über die finanziellen Probleme jeweils gesprochen wurde. Die kritische Lage, in welcher die Firma sich befand, war ihm somit bekannt. Daraus erwuchs ihm zusammen mit den andern Verwaltungsräten, ungeachtet der Stellung und des Aufgabenbereiches, die Pflicht, durch Erteilung von Weisungen an die Geschäftsleitung und deren Kontrolle in kurzen Abständen dafür zu sorgen, dass bei fortgesetzten Lohnzahlungen die darauf ex lege geschuldeten paritätischen Beiträge abgeliefert und nicht zu anderen Zwecken verwendet würden. Aus diesem Grund hatte er sich monatlich, d.h. jeweils nach Ablauf einer Beitragszahlungsperiode (<ref-law>), die entsprechenden Zahlungsbelege von der Buchhaltung vorweisen zu lassen. Dass - wie in der Verwaltungsgerichtsbeschwerde geltend gemacht - die Erfüllung der Verbindlichkeiten gegenüber der Ausgleichskasse nicht dem für die technische Leitung und die Führung der Baustellen verantwortlich zeichnenden Beschwerdeführer, sondern dem Präsidenten des Verwaltungsrates sowie der mit den administrativen Aufgaben befassten Mitverwaltungsrätin oblag, ändert nichts. In seiner Eigenschaft als Mitglied des Verwaltungsrates und der damit verbundenen gesetzlichen Pflichten (Art. 716 f. OR) hatte er sich u.a. über die Ausstände gegenüber der Ausgleichskasse ins Bild zu setzen und nötigenfalls Massnahmen für eine fristgerechte Bezahlung der geschuldeten Beiträge in die Wege zu leiten. Ihm ist somit nicht vorzuwerfen, dass er sich nicht selber mit der Buchführung befasst hat, sondern dass er sich trotz Kenntnis der angespannten Geschäftslage nicht über die bestehenden Verbindlichkeiten und deren korrekte Erfüllung informiert und nötigenfalls Massnahmen für eine ordnungsgemässe Bezahlung getroffen hat. Indem er diesen Pflichten nicht nachgekommen ist, hat er den eingetretenen Schaden grobfahrlässig mitverschuldet, was seine Schadenersatzpflicht nach sich zieht. Zu bejahen ist auch der Kausalzusammenhang zwischen dem Verschulden und dem eingetretenen Schaden.
Dass der Beschwerdeführer sich um eine Sanierung der Firma bemüht und dabei private Mittel investiert hat, vermag zu keinem anderen Ergebnis zu führen. Diese Umstände vermögen ihn nicht von der Haftung zu befreien, da daraus allein ein Bemühen, die Beitragszahlungs- und Ablieferungspflicht rechtzeitig zu erfüllen, nicht ersichtlich ist.
Auch vermag das schwierige wirtschaftliche Umfeld den Beschwerdeführer nicht zu entlasten. Nach der Rechtsprechung des Eidgenössischen Versicherungsgerichts darf bei derartigen finanziellen Schwierigkeiten nur so viel Lohn ausbezahlt werden, als die darauf unmittelbar entstandenen Beitragsforderungen gedeckt sind (SVR 1995 AHV Nr. 70 S. 214 Erw. 5).
4.- Streitig ist des Weitern die Höhe des ersatzpflichtigen Schadens, welcher von der Vorinstanz auf Fr. 120'000.- festgesetzt worden ist.
a) Wie bereits im vorinstanzlichen Verfahren rügt der Beschwerdeführer, die Schadenersatzsumme sei nicht überprüfbar.
Seinem Begehren um Edition ergänzender Unterlagen sei vom kantonalen Gericht in Verletzung des rechtlichen Gehörs nicht stattgegeben worden.
Der Schadenersatzprozess gemäss <ref-law> ist vom Untersuchungsgrundsatz beherrscht (<ref-law> in Verbindung mit <ref-law>), welcher besagt, dass der Richter von Amtes wegen für die richtige und vollständige Abklärung des rechtserheblichen Sachverhaltes zu sorgen hat (vgl. <ref-ruling> Erw. 5). Der Untersuchungsgrundsatz gilt aber nicht uneingeschränkt, sondern wird durch die verschiedenen Mitwirkungspflichten der Parteien ergänzt (<ref-ruling> Erw. 2, 122 V 158 Erw. 1a mit Hinweisen).
Dazu gehört auch die Substanziierungspflicht, welche beinhaltet, dass die wesentlichen Tatsachenbehauptungen und -bestreitungen in den Rechtsschriften enthalten sein müssen (Gygi, Bundesverwaltungsrechtspflege, 2. Aufl. , Bern 1983, S. 208). Dementsprechend ist es Sache der Ausgleichskasse, die Schadenersatzforderung soweit zu substanziieren, dass sie überprüft werden kann. Anderseits obliegt es im Bestreitungsfall dem Beklagten, darzulegen, weshalb der von der Kasse ermittelte Schadensbetrag unzutreffend ist (ZAK 1991 S. 126 Erw. II/1b).
Die Ausgleichskasse hat im vorinstanzlichen Verfahren unter Hinweis auf die entsprechenden Belege dargetan, dass ihre Forderung auf der Schlussabrechnung des Jahres 1994, den von ihrem Revisor im Jahre 1995 ermittelten Lohndifferenzen, den Monatsrechnungen Juli bis Dezember 1995 einschliesslich der Schlussabrechnung 1995 und den für das Jahr 1996 in Rechnung gestellten Beiträgen beruht. Ebenso hat sie die Verzugszinsberechnung begründet. Weder im vor- noch im letztinstanzlichen Verfahren hat der Beschwerdeführer die von der Kasse im kantonalen Verfahren nachträglich belegte Abrechnung substanziiert bestritten. Es ist daher nicht zu beanstanden, dass die Vorinstanz auf die vorhandenen Akten abgestellt und von näheren Abklärungen abgesehen hat. Auch die Vorbringen in der Verwaltungsgerichtsbeschwerde lassen die Sachverhaltsfeststellung im angefochtenen Entscheid nicht als mangelhaft im Sinne von Art. 105 Abs. 2 OG erscheinen, zumal nicht konkret dargelegt wird, welche Abrechnungspositionen die Ausgleichskasse nicht korrekt vorgenommen hätte.
b) Laut <ref-ruling> ist die Schadenersatzpflicht nach <ref-law> einer Herabsetzung wegen Mitverschuldens der Verwaltung zugänglich, sofern sich diese einer groben Pflichtverletzung schuldig gemacht hat, was namentlich dann der Fall ist, wenn sie elementare Vorschriften der Beitragsveranlagung und des Beitragsbezugs missachtet hat. Zudem muss zwischen dem rechtswidrigen Verhalten und dem Schaden ein adäquater Kausalzusammenhang bestehen. Eine Herabsetzung kann daher nur erfolgen, wenn und soweit das pflichtwidrige Verhalten der Verwaltung für die Entstehung oder Verschlimmerung des Schadens adäquat kausal gewesen ist (<ref-ruling> Erw. 3c).
Nach Auffassung des Beschwerdeführers ist die von der Vorinstanz vorgenommene Herabsetzung der Schadenersatzpflicht um rund Fr. 80'000.- ungenügend. In der Verwaltungsgerichtsbeschwerde bringt er jedoch nichts vor, was die tatsächlichen Feststellungen der Vorinstanz als mangelhaft oder die rechtliche Würdigung als bundesrechtswidrig erscheinen liesse. Da die Herabsetzung aufgrund des von der Vorinstanz der Ausgleichskasse zur Last gelegten schuldhaften Verhaltens als an der oberen Grenze liegend zu bezeichnen ist, bleibt für eine Erhöhung des Herabsetzungsbetrages zum Vornherein kein Raum.
5.- Dem Ausgang des Verfahrens entsprechend gehen die Kosten zu Lasten der Beschwerde führenden Person (Art. 134 OG e contrario; Art. 156 Abs. 1 in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Die Gerichtskosten von Fr. 5000.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
III. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, dem Bundesamt für Sozialversicherung, E._ und C._ zugestellt.
Luzern, 26. September 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Die Gerichtsschreiberin: