A.- E._ war Präsident, A._ Vizepräsident und B._, C._ sowie D._ waren Mitglieder des Verwaltungsrates der X._ AG. Mit Kaufvertrag vom 7. Oktober 1994 erwarb die Gesellschaft vom Baugeschäft X._ AG die Geräte und das gesamte Inventar. Gleichzeitig übernahm sie auch das gesamte Personal, womit sich der Personalbestand von 15 Personen auf rund 70 Mitarbeiter erhöhte. Daraus resultierte für das Geschäftsjahr 1994 eine Nachzahlung für paritätische Sozialversicherungsbeiträge in der Höhe von Fr. 65'693. 95. Im Geschäftsjahr 1995 rechnete die Gesellschaft im Pauschalverfahren ab, wobei sie der Ausgleichskasse Schweizerischer Baumeisterverband (nachfolgend Ausgleichskasse) eine Lohnsumme von rund 2 Mio.
Franken gemeldet hatte. Da die Lohnsumme im Jahr 1995 jedoch rund 4 Mio. Franken betrug, ergab die Schlussrechnung für 1995 ausstehende Sozialversicherungsbeiträge in der Höhe von Fr. 322'584. 25 (ohne Beiträge an die Militärdienstkasse).
Ab Dezember 1995 blieb die Gesellschaft auch die monatlichen Pauschalzahlungen schuldig. Per
15. März 1996 traten A._, B._, C._ und D._ aus dem Verwaltungsrat zurück. Mit Verfügung vom 10. Oktober 1996 eröffnete der Konkursrichter des Bezirksgerichts Y._ über die Gesellschaft den Konkurs. Die Ausgleichskasse meldete ausstehende Sozialversicherungsbeiträge in Höhe von Fr. 512'301.- an, inklusive Mahn- und Betreibungskosten, Verzugszinsen und Beiträge an die Militärdienstkasse (MDK) des Schweizerischen Baumeisterverbandes.
Am 19. März 1997 wurde der Kollokationsplan aufgelegt.
Mit Verfügungen vom 11. Dezember 1997 machte die Ausgleichskasse gegenüber E._ eine Schadenersatzforderung von Fr. 494'555. 65 und gegenüber A._, B._, C._ und D._ eine solche von Fr. 384'806. 70 unter solidarischer Haftbarkeit für letzteren Betrag geltend.
B.- Die auf Einspruch hin von der Ausgleichskasse Schweizerischer Baumeisterverband gegen die fünf belangten Organe eingereichten Klagen hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 3. Februar 2000 teilweise gut und verpflichtete E._, Fr. 480'223. 80, A._, B._, C._ und D._, je Fr. 380'273.- unter solidarischer Haftung untereinander bis zum Betrag von Fr. 380'273.- der Ausgleichskasse als Schadenersatz zu bezahlen. Im Mehrbetrag wies es die Klage ab, soweit sie nicht gegenstandslos geworden war.
C.- A._, B._, C._ und D._ lassen mit einer gemeinsamen Eingabe Verwaltungsgerichtsbeschwerde führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei die Klage abzuweisen.
A._ stellt überdies das Gesuch um unentgeltliche Prozessführung und Verbeiständung.
Ausgleichskasse, Bundesamt für Sozialversicherung und der beigeladene E._ verzichten auf eine Vernehmlassung.
D.- E._ lässt ebenfalls eine Verwaltungsgerichtsbeschwerde einreichen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei die Schadenersatzklage abzuweisen. Eventuell sei Letztere im Maximalbetrage von Fr. 50'000.- gutzuheissen. Ferner stellt er das Gesuch um unentgeltliche Prozessführung und Verbeiständung.
Ausgleichskasse und Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung. A._, B._, C._ und D._ lassen eine Vernehmlassung einreichen, ohne einen bestimmten Antrag zu stellen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Da den beiden Verwaltungsgerichtsbeschwerden derselbe Sachverhalt zu Grunde liegt, sich die gleichen Rechtsfragen stellen und die Rechtsmittel den nämlichen vorinstanzlichen Entscheid betreffen, rechtfertigt es sich, die beiden Verfahren zu vereinigen und in einem einzigen Urteil zu erledigen (<ref-ruling> Erw. 1, 120 V 466 Erw. 1 mit Hinweisen; vgl. auch <ref-ruling> Erw. 1, 157 Erw. 1, 126 V 285 Erw. 1; Poudret, Commentaire de la loi fédérale d'organisation judiciaire, Bd. 1, S. 343 unten f.).
2.- Im Verwaltungsgerichtsbeschwerdeverfahren kann das Eidgenössische Versicherungsgericht lediglich die auf Bundesrecht beruhende Schadenersatzforderung überprüfen (Art. 128 OG in Verbindung mit Art. 97 OG und <ref-law>).
Zu Recht haben die Beschwerdeführer in ihrem Rechtsbegehren die auf dem kantonalen Recht beruhende Schadenersatzforderung für entgangene Beiträge an die kantonale Familienausgleichskasse in Höhe von Fr. 199. 70 ausgenommen (vgl.
BGE 119 V 80 Erw. 1b, 118 V 69 Erw. 1b mit Hinweis).
3.- a) Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
b) Im Rahmen von Art. 105 Abs. 2 OG ist die Möglichkeit, im Verfahren vor dem Eidgenössischen Versicherungsgericht neue tatsächliche Behauptungen aufzustellen oder neue Beweismittel geltend zu machen, weitgehend eingeschränkt.
Nach der Rechtsprechung sind nur jene neuen Beweismittel zulässig, welche die Vorinstanz von Amtes wegen hätte erheben müssen und deren Nichterheben eine Verletzung wesentlicher Verfahrensvorschriften darstellt (<ref-ruling> Erw. 1c, 120 V 485 Erw. 1b, je mit Hinweisen).
Soweit die Beschwerdeführer A._, B._, C._ und D._ in der Verwaltungsgerichtsbeschwerde unter Beilegung neuer Beweismittel erstmals geltend machen, der Verwaltungsratspräsident E._ habe gegenüber der Ausgleichskasse für das Jahr 1995 bewusst eine zu tiefe Lohnsumme gemeldet und dies ihnen gegenüber in täuschender Weise verheimlicht, handelt es sich um ein unzulässiges neues Vorbringen.
4.- Die rechtlichen Grundlagen (<ref-law>, <ref-law> in Verbindung mit <ref-law>) und die zur subsidiären Haftbarkeit der Organe (vgl. statt vieler <ref-ruling> Erw. 5b) sowie zur Haftungsvoraussetzung des zumindest grobfahrlässigen Verschuldens (<ref-ruling> Erw. 1b, 193 Erw. 2b; ZAK 1985 S. 576 Erw. 2, 619 Erw. 3a und b) ergangene Rechtsprechung findet sich im kantonalen Entscheid zutreffend wiedergegeben. Darauf wird verwiesen.
5.- a) Das kantonale Gericht hat im angefochtenen Entscheid die Höhe des Schadens eingehend berechnet und die rechtzeitige Geltendmachung des Schadenersatzes festgestellt (vgl. auch <ref-ruling> und 450). Zu diesen Punkten wird in den beiden Verwaltungsgerichtsbeschwerden nichts vorgebracht, noch erscheint die vorinstanzliche Betrachtungsweise als bundesrechtswidrig.
b) Soweit die Beschwerdeführer grundsätzliche Kritik an der Rechtsprechung zu <ref-law> vorbringen, kann auf <ref-ruling> ff. hingewiesen werden. Das Eidgenössische Versicherungsgericht hat in diesem Urteil mit einlässlicher Begründung dargelegt, weshalb an der subsidiären solidarischen Haftbarkeit der Organe eines Arbeitgebers festzuhalten ist. Was in der Verwaltungsgerichtsbeschwerde hiegegen vorgebracht wird, vermag jene Erwägungen, welche zu bestätigen sind, nicht als unzutreffend erscheinen zu lassen.
Die in der Beschwerde vertretene Auffassung würde im Gegenteil zu Ergebnissen führen, die mit Sinn und Zweck von <ref-law> nicht zu vereinbaren wären. Von einer das Legalitätsprinzip oder der durch das - im Übrigen von der Schweiz nicht unterzeichnete - Zusatzprotokoll Nr. 1 zur EMRK garantierten Eigentumsfreiheit verletzenden Auslegung kann im Lichte des in <ref-ruling> ff. Gesagten nicht gesprochen werden. Schliesslich richtet sich die Haftung auch nicht nach den Grundsätzen der <ref-law>.
c) Fehl geht sodann der Einwand, der angefochtene Entscheid verletze insofern Bundesrecht, als er und die höchstrichterliche Rechtsprechung faktisch von einer Kausalhaftung ausgingen. Hinzuweisen ist auf die Rechtsprechung, worin unmissverständlich festgehalten wird, dass es sich bei der Haftung nach <ref-law> nicht um eine Kausalhaftung handelt und die Schadenersatzpflicht der Organe ein qualifiziertes Verschulden voraussetzt. Die Nichtabrechnung oder Nichtbezahlung der Beiträge als solche kann deshalb nicht bereits einem haftungsbegründenden Verschulden gleichgesetzt werden (<ref-ruling> Erw. 4b).
Im Folgenden ist daher zu prüfen, ob den Beschwerdeführern ein zumindest grobfahrlässiges Verhalten vorzuwerfen ist.
6.- a) Nach der Rechtsprechung zu <ref-law> darf dem Arbeitgeber, welcher die geschuldeten Beiträge im Pauschalverfahren nach <ref-law> (in der bis Ende 2000 gültig gewesenen und hier anwendbaren Fassung) entrichtet, für die nicht der Beitragshöhe entsprechenden Akontozahlungen nicht von vornherein ein Vorwurf gemacht werden, entspricht es doch gerade diesem Pauschalverfahren, dass der Arbeitgeber je nach den Umständen vorübergehend zu geringe oder zu hohe Zahlungen leistet. Daher berechtigt die Differenz zwischen der Summe der geleisteten Akontozahlungen und den für das Kalenderjahr tatsächlich geschuldeten Beiträgen, so bedeutend sie auch sein mag, nicht zum Vorwurf an den Arbeitgeber, er habe schwerwiegend gegen seine Obliegenheiten verstossen, indem er während des laufenden Jahres die Höhe der Zahlungen nicht an die steigende Lohnsumme angepasst oder nicht für eine bei der Endabrechnung verfügbare Rückstellung gesorgt habe. Der Arbeitgeber kann daher für die Differenz zwischen den geleisteten und den tatsächlich geschuldeten Beiträgen nicht haftbar gemacht werden, es sei denn, er leiste eindeutig zu niedrige Akontozahlungen mit dem Ziel, die Fälligkeit der Beitragsschuld möglichst hinauszuschieben, und im Wissen, dass er anlässlich der Schlussabrechnung möglicherweise nicht in der Lage sein werde, die Restschuld zu begleichen (ZAK 1992 S. 247 Erw. 3b). Im Übrigen hat die Ausgleichskasse, welche in das Pauschalverfahren ausdrücklich einwilligen muss, ohne weiteres die Möglichkeit, ihre Einwilligung mit Bedingungen oder Auflagen zu verknüpfen und beispielsweise die periodische Meldung der Lohnsummen während des Kalenderjahres oder den Nachweis von Sicherstellungen zu verlangen (SVR 1999 AHV Nr. 13 S. 38 Erw. 2a; AHI 1993 S. 165 Erw. 4c).
b) Aus den Akten geht hervor, dass die konkursite Arbeitgeberin nach der Übernahme einer andern Baufirma im Oktober 1994 eine Erhöhung des Personalbestandes von rund 15 auf 70 Arbeitnehmende hatte. Diese Erhöhung des Personalbestandes führte bereits für die letzten drei Monate des Jahres 1994 zu einer Nachforderung aufgrund der Schlussrechnung 1994 von Fr. 65'693. 95. Für das Jahr 1995 meldete die Arbeitgeberin anstelle der tatsächlichen Lohnsumme von 4,15 Mio. Franken lediglich eine solche von knapp unter 2 Mio. Franken, sodass die Beschwerdegegnerin die Pauschalzahlungen zu tief ansetzte, was Ende 1995 aufgrund der Schlussabrechnung vom 5. Januar 1996 zu einer Differenz von Fr. 331'371. 20 (ohne MDK-Beiträge) zu den bewilligten Pauschalzahlungen führte. Dieses Verhalten der konkursiten Firma als Arbeitgeberin bedeutet eine grobfahrlässige Verletzung der Beitragsabrechnungs- und Beitragszahlungspflicht, namentlich der Vorschriften über das Pauschalverfahren.
Zwar ist ein Arbeitgeber grundsätzlich nicht verpflichtet, während des laufenden Kalenderjahres eine Erhöhung des Personalbestandes zu melden (vgl. jedoch <ref-law> in der ab 1. Januar 2001 in Kraft stehenden Fassung), hingegen hat er zu Beginn des Jahres die Lohnsumme möglichst genau anzugeben, damit er "statt der genauen Beiträge einen diesen ungefähr entsprechenden Betrag" (<ref-law> in der bis Ende 2000 gültigen Fassung) entrichten kann. Missachtet ein Arbeitgeber diese Pflicht zur möglichst genauen Angabe und trifft er keinerlei Vorkehrungen, um die Beiträge sicherzustellen, so handelt er grobfahrlässig. Es geht daher nicht an, dass ein Arbeitgeber - wie im vorliegenden Fall - nicht einmal die Hälfte der voraussichtlichen Lohnsumme meldet und in der Folge die viel zu tief angesetzten Pauschalzahlungen stillschweigend leistet. Damit umgeht er den Zweck der Pauschalzahlungen und verhält sich in krasser Weise vorschriftswidrig.
Er nimmt mit diesem Verhalten gleichzeitig in Kauf, zumal wenn er keine Rückstellungen für die Beiträge macht, dass er vielleicht später nicht in der Lage sein wird, die Restschuld zu bezahlen (ZAK 1992 S. 247 Erw. 3b; nicht veröffentlichtes Urteil der II. Öffentlichrechtlichen Abteilung des Bundesgerichts in Sachen A. vom 30. Juni 1997, 2P.251/1996).
c) Im Folgenden ist zu prüfen, ob die Beschwerdeführer ihrerseits ein grobfahrlässiges Verhalten als verantwortliche Organe trifft.
aa) Der Beschwerdeführer E._ hat als ehemaliger Verwaltungsratspräsident, der überdies mit der Geschäftsführung betraut war, nicht nur die Lohnsummenmeldung direkt zu verantworten, sondern er hat es zugelassen, dass ab Dezember 1995 selbst die Pauschalzahlungen nicht mehr geleistet wurden, und hat die Beitragsausstände im Jahre 1996 trotz Mahnungen und Betreibungen weiter anwachsen lassen.
Namentlich hat er jeweils bei den Zahlungsbefehlen, so auch bereits am 8. März 1995 für die in Betreibung gesetzte Pauschale für November 1994, Rechtsvorschlag erhoben. Unter diesen Umständen kann keine Rede davon sein, dass er versucht hätte, das Beitragswesen mit der AHV straff zu handhaben.
Im Gegenteil hat er bereits für die Pauschalzahlung des Monats November 1994 unbegründet Rechtsvorschlag erhoben und damit praktisch ab Beginn der Vervielfachung des Personalbestandes die Pflichten mit der AHV sträflich vernachlässigt und bis zur Konkurseröffnung am 10. Oktober 1996 Beitragsschulden von rund einer halben Million entstehen lassen. Aufgrund des mehr als ein Jahr andauernden Verstosses gegen die AHV-rechtlichen Pflichten liegt auch keine verschuldensmindernde kurze Dauer des Beitragsausstandes vor (vgl. <ref-ruling>). Namentlich kann er sich nicht damit exkulpieren, dass er sozial gehandelt und die Löhne den Arbeitnehmenden ausbezahlt habe. Insbesondere hat er in diesem Zusammenhang gegen die Pflicht verstossen, in finanziell angespannten Zeiten nur so viel Lohn zur Auszahlung zu bringen, als die darauf unmittelbar ex lege entstandenen Beitragsforderungen gedeckt gewesen wären (SVR 1995 AHV Nr. 70 S. 214 Erw. 5). Angesichts des lang andauernden Verstosses gegen die AHV-Vorschriften liegen auch keine Umstände vor, die die ausnahmsweise Nichtbezahlung der Sozialversicherungsbeiträge zur Rettung der Firma rechtfertigen würden. Ebenso wenig vermag ihn die Krise in der Bauwirtschaft zu entlasten (Urteile V. vom 1. Juni 2001 [H 51/01] und J. vom 28. Februar 2000 [H 252/99]) und der Umstand, dass er als einziger bis am Schluss im Verwaltungsrat verblieben ist. Sämtliche weiteren Einwendungen in der Verwaltungsgerichtsbeschwerde vermögen am grobfahrlässigen Verhalten des Beschwerdeführers Brack oder an dessen Schadenersatzpflicht nichts zu ändern.
bb) Die vier andern Beschwerdeführer, welche als nicht geschäftsführende Mitglieder bis am 15. März 1996 dem Verwaltungsrat der konkursiten Firma angehört hatten, haben im vorinstanzlichen Verfahren nicht geltend gemacht, sie hätten namentlich in Bezug auf die AHV konkrete Anfragen getätigt oder in diesem Bereich die Geschäftsführung speziell überwacht. Sie machen lediglich geltend, sie hätten keinen Anlass zur Annahme gehabt, eine ausreichende Anpassung der monatlichen Pauschalzahlungen sei nicht vorgenommen worden.
Zudem seien sie nicht orientiert worden über die bis Ende Januar 1996 offenen Beitragsforderungen. Sie hätten auch keine Kenntnis von der am 26. Februar 1995 eingeleiteten Betreibung für die Monatspauschale November 1994 gehabt.
Bereits diese Vorbringen zeigen, dass sie sich im Beitragswesen mit der AHV zu passiv verhalten haben (ZAK 1989 S. 104). Vorzuwerfen ist den vier Beschwerdeführern insbesondere ihr Verhalten nach der Übernahme der andern Baufirma.
Infolge dieser Übernahme stieg die Beschäftigungszahl um ein Vielfaches von rund 15 auf 70. Unter solchen Umständen sind die leitenden Organe verpflichtet, dem Beitragswesen erhöhte Aufmerksamkeit zu schenken und namentlich sicherzustellen, dass bei Anwendung des Pauschalverfahrens keine zu hohen Rückstände entstehen. Einerseits hätte sofort die überproportionale Erhöhung des Personalbestandes gemeldet und anderseits darauf geachtet werden müssen, dass für das neue Geschäftsjahr eine realistische Lohnsumme deklariert wird. Die vier Beschwerdeführer haben in dieser Beziehung die beiden geschäftsführenden Personen nicht überwacht und keine Kontrollfragen gestellt.
Sie haben vielmehr darauf vertraut, dass sie von den beiden geschäftsführenden Mitgliedern richtig orientiert worden sind. Unter diesen Umständen ist das Verhalten der vier Beschwerdeführer ebenfalls als grobfahrlässig anzusehen, weil sie im Rahmen des Beitragswesens ihren Überwachungspflichten nicht nachgekommen sind. Daran ändern sämtliche Einwendungen in der Verwaltungsgerichtsbeschwerde nichts, soweit sie überhaupt zulässig sind.
7.- Die Beschwerdeführer erblicken im Verhalten der Beschwerdegegnerin ein zur Reduktion des Schadenersatzes führendes Verhalten (<ref-ruling>). Sie stellen sich auf den Standpunkt, die Beschwerdegegnerin hätte aufgrund der Meldung der kinderzulagen-berechtigten Arbeitnehmer merken müssen, dass die für das Jahr 1995 angegebene Lohnsumme nicht stimmen könne. Dieser Betrachtungsweise kann nicht gefolgt werden. Die Ausgleichskasse ist - offensichtliche und leicht erkennbare Fehler vorbehalten - nicht verpflichtet, die Lohnsummenmeldung auf ihre tatsächliche Richtigkeit hin zu überprüfen. Das Verfahren der pauschalen Beitragsabrechnung stellt für den Arbeitgeber eine administrative Vereinfachung dar und berücksichtigt den Umstand, dass namentlich bei grösseren Betrieben kurzfristige Schwankungen in der Lohnsumme üblich sind (SVR 1994 AHV Nr. 39 S. 105). Da die Ausgleichskasse auch keine Kenntnis haben konnte, wie sich der mutmassliche Personalbestand im Jahre 1995 entwickeln würde, kann ihr nicht vorgehalten werden, sie habe grobfahrlässig gehandelt. Schliesslich hat sie auch konsequent die ausstehenden Beiträge gemahnt und in Betreibung gesetzt. Eine Schadensreduktion kommt daher nicht Betracht.
8.- Soweit die Beschwerdeführer geltend machen, die Ausgleichskasse habe das zweite geschäftsführende Mitglied nicht für schadenersatzpflichtig erklärt, weshalb die Rechtsgleichheit verletzt sei, kann diesem Einwand nicht gefolgt werden. Es entspricht der Solidarhaftung, namentlich auch im Bereich von <ref-law>, dass es im Belieben des Gläubigers, hier der Ausgleichskasse, steht, ob und gegen wie viele Solidarschuldner er vorgehen will (<ref-ruling> Erw. 5a, 114 V 214 oben, 109 V 89 Erw. 7).
9.- Bei diesem Verfahrensausgang werden die Beschwerdeführer kostenpflichtig (Art. 134 OG e contrario, Art. 135 in Verbindung mit Art. 156 Abs. 1 OG).
10.- Den Beschwerdeführern A._ und E._ kann die unentgeltliche Prozessführung und Verbeiständung gewährt werden (Art. 152 in Verbindung mit Art. 135 OG), da die Bedürftigkeit aktenkundig ist, die Beschwerde nicht als aussichtslos zu bezeichnen und die Vertretung geboten war (<ref-ruling> Erw. 4a und 372 Erw. 5b, je mit Hinweisen).
Es wird indessen ausdrücklich auf Art. 152 Abs. 3 OG aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verfahren H 142/00 und H 149/00 werden vereinigt.
II.Die beiden Verwaltungsgerichtsbeschwerden werden abgewiesen.
III. Die Gerichtskosten von Fr. 10'000.- werden den Beschwerdeführern zu gleichen Teilen auferlegt. Zufolge Gewährung der unentgeltlichen Prozessführung werden
die Anteile von A._ und E._ von je
Fr. 2000.- einstweilen auf die Gerichtskasse genommen.
Hinsichtlich der drei andern Beschwerdeführer werden
deren Anteile von je Fr. 2000.- mit den geleisteten
Kostenvorschüssen verrechnet. Die Differenzbeträge von
je Fr. 7000.- werden den Beschwerdeführern B._,
C._ und D._ zurückerstattet.
IV.Zufolge Gewährung der unentgeltlichen Verbeiständung werden den Rechtsanwälten Thomas Gattlen und Christof Brack für das Verfahren vor dem Eidgenössischen Versicherungsgericht
aus der Gerichtskasse je eine Entschädigung
(einschliesslich Mehrwertsteuer) von
Fr. 2500.- ausgerichtet.
V.Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht
des Kantons Zürich und dem Bundesamt für
Sozialversicherung zugestellt.
Luzern, 22. Februar 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Die Präsidentin der IV. Kammer:
Der Gerichtsschreiber: