A.- Mit Verfügungen vom 18. Dezember 1998 verpflichtete die Ausgleichskasse des Kantons Zürich (nachfolgend:
Kasse) F._, vormals Präsident des Verwaltungsrates der infolge Konkurses aus dem Handelsregister gelöschten Firma X._ AG, und E._, vormals Mitglied des Verwaltungsrates, für nicht mehr erhältliche Sozialversicherungsbeiträge als Solidarschuldner Schadenersatz im Ausmass von insgesamt Fr. 100'346. 50 (eingeschlossen Beiträge an die kantonale Familienausgleichskasse, Verwaltungskosten, Verzugszinsen und Gebühren) zu leisten.
B.- Auf Einspruch der Betroffenen hin machte die Kasse ihre Forderung beim Sozialversicherungsgericht des Kantons Zürich klageweise geltend. Dieses hiess die Klage mit Entscheid vom 2. Oktober 2000 teilweise gut, indem es die solidarische Haftung der beiden Beklagten unter Reduktion des Umfangs der Haftung auf Fr. 86'736. 35 bejahte.
C.- Mit Verwaltungsgerichtsbeschwerde lässt F._ beantragen, der angefochtene Entscheid sei aufzuheben und die Klage sei abzuweisen.
Die Kasse und das Bundesamt für Sozialversicherung verzichten auf eine Stellungnahme. Der als Mitinteressierter zur Vernehmlassung beigeladene E._ beantragt, der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 2. Oktober 2000 sei aufzuheben, soweit er ihn betrifft. Aus der Begründung ergibt sich, dass damit sinngemäss die gänzliche Abweisung der Klage beantragt wird.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- a) Auf die Verwaltungsgerichtsbeschwerde kann nur so weit eingetreten werden, als die Schadenersatzforderung kraft Bundesrechts streitig ist. Im vorliegenden Verfahren ist deshalb auf die Verwaltungsgerichtsbeschwerde in dem Umfang nicht einzutreten, als sie sich gegen die Schadenersatzforderung für entgangene Beiträge an die kantonale Familienausgleichskasse richtet (vgl. <ref-ruling> Erw. 1b, 118 V 69 Erw. 1b mit Hinweis).
Auf den Antrag des Mitinteressierten E._ kann nicht eingetreten werden, da er den vorinstanzlichen Entscheid nicht mit Verwaltungsgerichtsbeschwerde angefochten hat, weshalb er in der Vernehmlassung kein selbstständiges Begehren im Sinne eines Antrages mehr stellen kann, der über den durch die Verwaltungsgerichtsbeschwerde bestimmten Streitgegenstand hinausgeht. Denn das verwaltungsrechtliche Beschwerdeverfahren kennt - von hier nicht gegebenen spezialgesetzlichen Ausnahmen abgesehen - das Institut der Anschlussbeschwerde nicht (<ref-ruling> Erw. 1 mit Hinweis).
b) Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2.- Das kantonale Gericht hat unter Hinweis auf Gesetz (<ref-law>) und Rechtsprechung (<ref-ruling> Erw. 5b) die Voraussetzungen richtig dargelegt, unter welchen Organe juristischer Personen den der Ausgleichskasse infolge Verletzung der Vorschriften über die Beitragsabrechnung und -zahlung (<ref-law>; <ref-law> in der bis
31. Dezember 2000 geltenden Fassung) qualifiziert schuldhaft verursachten Schaden zu ersetzen haben. Zutreffend wiedergegeben ist auch die Rechtsprechung zur solidarischen Haftung mehrerer juristischer Organe (<ref-ruling> Erw. 3 mit Hinweisen). Darauf wird verwiesen.
3.- a) In der Verwaltungsgerichtsbeschwerde wird geltend gemacht, der Umstand, dass die Pauschalbeiträge für die Jahre 1995 und 1996 zu tief angesetzt wurden, habe der Beschwerdeführer nicht zu vertreten. Das geht an den Erwägungen der Vorinstanz vorbei. Wie diese unter Verweis auf die Rechtsprechung (AHI 1993 S. 165 Erw. 3c mit Hinweisen) zutreffend dargelegt hat, berechtigt eine Differenz zwischen den geleisteten Akontozahlungen und den für das Beitragsjahr geschuldeten Beiträgen nicht zum Vorwurf an den Arbeitgeber, er habe schwerwiegend gegen seine Obliegenheiten verstossen. Vorgeworfen wird dem Beschwerdeführer vielmehr, dass er durch Vernachlässigung seiner Kontroll- und Aufsichtspflichten zugelassen hat, dass die Lohnabrechnungen für diese Jahre verspätet eingereicht wurden, sodass die Rechnungstellung erst in einem Zeitpunkt erfolgen konnte, in welchem sich die Firma X._ AG bereits in erheblichen Liquiditätsschwierigkeiten befand. Dadurch hat er den daraus entstandenen Schaden der Kasse verursacht.
Was dagegen in der Verwaltungsgerichtsbeschwerde vorgebracht wird, vermag nicht zu einer anderen Beurteilung zu führen. In den übersichtlichen Verhältnissen der Firma X._ AG, die nur über zwei Verwaltungsräte verfügte, welche dazu noch geschäftsführend waren, kann sich der Beschwerdeführer nicht mit dem Hinweis auf die firmeninterne Arbeitsaufteilung von seiner Verantwortung entlasten, zumal diese nach der Rechtsprechung (<ref-ruling> Erw. 4a mit Hinweisen) selbst bei einer Übertragung der Geschäftsführung an Delegierte oder Direktoren bei ihm verbliebe.
b) Was die nicht bezahlten Beiträge für die Monate April bis Juli 1997 betrifft, ist zu beachten, dass sich der Beschwerdeführer während dieser Zeit aus geschäftlichen Gründen in Y._ befand. Nachdem die Pauschalzahlungen bis zu dieser Zeit immer - wenn auch gelegentlich mit Verzögerung und einmal erst auf Betreibung - bezahlt worden waren, durfte sich der Beschwerdeführer darauf verlassen, dass die von ihm instruierten Mitarbeiter und Mitarbeiterinnen die notwendigen Überweisungen veranlassen würden.
Besondere Kontrollmassnahmen hinsichtlich einzelner Zahlungen konnten von ihm in Landesabwesenheit nicht verlangt werden. Bezüglich dieser Beiträge kann ihm daher kein grobes Verschulden vorgeworfen werden, womit eine Haftung für den daraus entstandenen Schaden entfällt.
Die Sache ist zur verfügungsweisen Festsetzung des Umfanges der Haftung an die Kasse zurückzuweisen (vgl. SVR 1999 AHV Nr. 10 S. 29 Erw. 3b mit Hinweisen).
4.- Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Nach dem Gesagten obsiegt der Beschwerdeführer teilweise, indem das Bestehen einer Haftpflicht bejaht, jedoch deren Umfang eingeschränkt wird. Es rechtfertigt sich deshalb, die Gerichtskosten anteilmässig auf Beschwerdeführer und Beschwerdegegnerin zu verlegen (Art. 156 Abs. 1 und 3 OG). Der Beschwerdeführer hat überdies Anspruch auf eine reduzierte Parteientschädigung (Art. 159 Abs. 3 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird, soweit darauf
einzutreten ist, in dem Sinne teilweise gutgeheissen,
dass der Entscheid des Sozialversicherungsgerichts des
Kantons Zürich vom 2. Oktober 2000, soweit er den
Beschwerdeführer betrifft, aufgehoben und die Sache an
die Ausgleichskasse des Kantons Zürich zurückgewiesen
wird, damit sie, im Sinne der Erwägungen, über die
Schadenersatzforderung neu verfüge.
II. Die Gerichtskosten von Fr. 4500.- werden zu zwei Fünfteln der Beschwerdegegnerin und zu drei Fünfteln dem Beschwerdeführer, diesem unter Anrechnung des von ihm
geleisteten Kostenvorschusses von Fr. 4500.-, auferlegt;
der Differenzbetrag von Fr. 1800.- wird dem Beschwerdeführer
zurückerstattet.
III. Die Ausgleichskasse des Kantons Zürich hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung
von Fr. 1000.- (einschliesslich Mehrwertsteuer) zu
bezahlen.
IV. Das Sozialversicherungsgericht des Kantons Zürich wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen
Prozesses zu befinden haben.
V. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht
des Kantons Zürich, E._ und dem
Bundesamt für Sozialversicherung zugestellt.
Luzern, 20. Dezember 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer:
Der Gerichtsschreiber:
i.V.