A.- B._ war neben C._ und E._, Präsident des Verwaltungsrates, Verwaltungsratsmitglied der Firma X._ AG. Am 29. Januar 1997 wurde der Gesellschaft eine Nachlassstundung von sechs Monaten bewilligt. Nach dem Widerruf der Nachlassstundung wurde am 12. August 1997 der Konkurs eröffnet, welcher im summarischen Verfahren nach Art. 231 SchKG durchgeführt wurde. In diesem Verfahren gab die Ausgleichskasse Schweizerischer Baumeisterverband eine Forderung für nicht entrichtete bundesrechtliche Sozialversicherungsbeiträge, einschliesslich Mahngebühren, Betreibungs- und Verwaltungskosten sowie Verzugszins, im Betrag von Fr. 200'877. 40 ein. Am 20. Februar 1998 teilte das Konkursamt Y._ der Ausgleichskasse mit, dass der Kollokationsplan, das Lastenverzeichnis und das Inventar vom 24. Februar bis 16. März 1998 zur Einsicht auflägen und für die Gläubiger der 3. Klasse keine Konkursdividende resultiere. Mit Verfügung vom 10. August 1998 verpflichtete die Ausgleichskasse B._ unter solidarischer Haftbarkeit mit E._ und C._ zur Bezahlung von Schadenersatz in der Höhe von Fr. 194'695. 05. Der Betroffene erhob hiegegen Einspruch. B.- Am 28. September 1998 reichte die Ausgleichskasse beim Versicherungsgericht des Kantons St. Gallen Klage ein mit dem Begehren, B._ sei als Solidarschuldner zur Bezahlung von Schadenersatz in der Höhe von Fr. 194'695. 05 zu verpflichten. Mit Entscheid vom 23. November 2000 hiess dieses die Klage im reduzierten Betrag von Fr. 120'000.- gut, nachdem es die Ausgleichskasse aufgefordert hatte, ihre Schadensberechnung zu belegen. C.- B._ lässt Verwaltungsgerichtsbeschwerde erheben mit dem Rechtsbegehren, die Klage sei abzuweisen; eventuell sei die Sache zur Neubeurteilung an das kantonale Versicherungsgericht zurückzuweisen. Die Ausgleichskasse äussert sich zur Herabsetzung der Schadenersatzforderung. Das Bundesamt für Sozialversicherung hat sich nicht vernehmen lassen. Die als Mitinteressierte zur Stellungnahme eingeladenen C._ und E._ lassen sich in abweisendem Sinne vernehmen.