A.- Mit Verfügung vom 31. März 1998 forderte die Ausgleichskasse des Schweizer Hotelier-Vereins und des Schweizer Reisebüro-Verbandes (Hotela) von B._ in seiner Eigenschaft als einziges Mitglied des Verwaltungsrates der am 19. Dezember 1996 in Konkurs gefallenen Hotel X._ AG Schadenersatz in der Höhe von Fr. 142'170. 90 für nicht abgelieferte bundesrechtliche Sozialversicherungsbeiträge (einschliesslich Verwaltungskosten, Mahngebühren und Verzugszinsen).
B.- Dagegen erhob der Belangte Einspruch, worauf die Kasse den verfügten Schadenersatz beim Sozialversicherungsgericht des Kantons Zürich klageweise geltend machte. Mit Entscheid vom 29. September 2000 hiess das Gericht die Klage gut.
C.- B._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, es seien der kantonale Gerichtsentscheid aufzuheben und die Angelegenheit zur Neubeurteilung an die Vorinstanz zurückzuweisen, eventuell sei die Schadenersatzpflicht in teilweiser Aufhebung des kantonalen Entscheides auf Fr. 67'968. 10 herabzusetzen.
Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde.
Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2.- Die Vorinstanz hat die in materiellrechtlicher Hinsicht massgebenden Normen (<ref-law>, <ref-law> in Verbindung mit <ref-law>) und die Rechtsprechung zu den Voraussetzungen der Arbeitgeberhaftung, zur subsidiären Haftbarkeit der Organe, zur Haftungsvoraussetzung des qualifizierten Verschuldens und zum erforderlichen adäquaten Kausalzusammenhang zwischen der absichtlichen oder grobfahrlässigen Missachtung von Vorschriften und dem eingetretenen Schaden zutreffend dargelegt. Darauf wird verwiesen.
3.- a) Wie das kantonale Gericht verbindlich festgestellt hat (vgl. Erw. 1 hievor), beruht die strittige Schadenersatzforderung auf ausgefallenen Sozialversicherungsbeiträgen im Zusammenhang mit dem von der Hotel X._ AG geführten Betrieb der Hotels Y._ und Z._. Die konkursite Gesellschaft war der Beschwerdegegnerin für das Hotel Y._ vom 1. November 1980 bis
30. September 1996 angeschlossen, für das Hotel Z._ für die Dauer vom 1. Oktober 1995 bis 30. November 1996.
b) Nach den Akten liegen dem Schaden, soweit das Hotel Y._ betreffend, die am 11. Oktober 1996 in Rechnung gestellten, unbezahlt gebliebenen "Schlussabrechnungen Winter 1996 und Sommer 1996" im Betrag von insgesamt Fr. 16'943. 70 zu Grunde. Die letztinstanzlich erneuerte, nicht belegte Behauptung sticht nicht, die konkursite Gesellschaft habe das Hotel Y._ per 1. Oktober 1996 "abgegeben" (Verwaltungsgerichtsbeschwerde, S. 6 oben). Es liegen keinerlei Anhaltspunkte dafür vor, dass über den allfälligen Verkauf des Hotels Y._ hinaus die Käuferschaft die von der konkursiten Gesellschaft für die Zeit ihrer Mitgliedschaft bei der Beschwerdegegnerin bis zum 30. September 1996 geschuldeten Beiträge übernommen hat.
c) Mit der Vorinstanz kann sich der Beschwerdeführer seiner persönlichen Haftung nicht dadurch entschlagen, dass er erhebliche Eigenmittel in die konkursite Gesellschaft investiert hat und um eine Sanierung der Hotels bestrebt war.
4.- a) Der Beschwerdeführer erneuert seine bereits mit Einspruch sowie im kantonalen Verfahren erhobene Einwendung, das Kontokorrentkonto der Hotel X._ AG sei am 6. November 1996 gesperrt worden. Damit sei der Gesellschaft verunmöglicht worden, die offenen Rechnungen aus den eigenen Betriebsmitteln zu bezahlen. Die Kontosperre sei kurzfristig erfolgt, nachdem die Kredit gewährende Bank tags zuvor über den Verkauf des Grand Hotel Q._ und den damit verbundenen massiven Wertverlust der entsprechenden Beteiligung der Hotel X._ AG orientiert worden sei.
b) Das kantonale Gericht hielt dazu fest, die Kontosperre vermöge, selbst wenn sie überraschend erfolgt wäre, den Beschwerdeführer nicht von seiner Schadenersatzpflicht zu befreien. Fehlende finanzielle Mittel der Gesellschaft würden für sich allein keinen Rechtfertigungs- oder Exkulpationsgrund darstellen.
c) Den vorinstanzlichen Erwägungen kann in dieser Form nicht beigepflichtet werden. Hinsichtlich der Haftungsvoraussetzung des qualifizierten Verschuldens ist vielmehr wie folgt zu differenzieren:
aa) Die ausgefallenen Sozialversicherungsbeiträge im Zusammenhang mit dem Betrieb des Hotels Z._ betreffen die Jahre 1995 und 1996. Nach den Akten blieben, nebst den Schluss-, Nachtrags- und Orchesterrechnungen für die genannten Jahre, die Rechnungen für die Monate März bis November 1996 unbezahlt. Der älteste Teil der eingeklagten Schadenersatzforderung hat die am 13. März 1996 für den nämlichen Monat gestellte Rechnung im Betrag von Fr. 4527. 40 zum Gegenstand. Rechtsprechungsgemäss müssen Exkulpationsgründe für den Zeitraum gegeben sein, in welchem die entgangenen Beiträge zu entrichten waren (<ref-ruling> bestätigt in <ref-ruling>; ZAK 1986 S. 222). Die geltend gemachte Kontosperre vom 6. November 1996 vermag die konkursite Gesellschaft deshalb unter keinen Umständen dafür zu entlasten, dass sie vorgängig über mehrere Monate (Rechnungen für die Monate März bis September 1996, jeweils fällig am zehnten Tag des folgenden Monats) hinweg ihren AHV-rechtlichen Verpflichtungen nicht nachgekommen ist (vgl. auch Urteil M. vom 8. September 2000, H 379/99). Es kann jedenfalls nicht von einer bloss kurzen Dauer der Beitragsausstände gesprochen werden, welche, immer unter Würdigung sämtlicher konkreter Umstände des Einzelfalls, ein Verschulden der konkursiten Gesellschaft allenfalls auszuschliessen vermag (<ref-ruling> Erw. 4b). Die Vorinstanz hat daher im Ergebnis zu Recht auf einen schweren Normenverstoss - grobe Fahrlässigkeit - hinsichtlich der eingeklagten Beitragsausstände für das Hotel Z._ erkannt.
bb) Gestützt auf die Akten betrifft die Schadenersatzforderung, soweit ihr Beiträge im Zusammenhang mit dem Betrieb des Hotels Y._ zu Grunde liegen, die jeweils am 11. Oktober 1996 gestellten Schlussabrechnungen für "Sommer 1996" und "Winter 1996". Gemäss ZAK 1992 S. 246 ff.
Erw. 3b kann dem Arbeitgeber für die nicht der Beitragshöhe entsprechenden Akontozahlungen nicht a priori ein Vorwurf gemacht werden. Die Möglichkeit, für die Zahlungsperiode statt der genauen Beiträge einen diesen ungefähr entsprechenden Betrag zu entrichten, ist in <ref-law> (in der bis 31. Dezember 2000 gültig gewesenen Fassung) ausdrücklich vorbehalten. In diesem Falle hat der Ausgleich zugunsten oder zuungunsten des Arbeitgebers am Ende des Kalenderjahres zu erfolgen. Diesem kommt indessen ein qualifiziertes Verschulden zu, wenn er wegen finanzieller Schwierigkeiten und um die Fälligkeit seiner Schulden weit möglichst hinauszuschieben deutlich ungenügende Akontozahlungen leisten würde, im Wissen, dass er vielleicht dannzumal nicht in der Lage sein würde, die verbleibende Restschuld zu bezahlen. Wie es sich damit hinsichtlich der im Zusammenhang mit dem Betrieb des Hotels Y._ ausgefallenen Beiträge verhält, kann auf Grund der Akten nicht abschliessend beurteilt werden. Die Umstände, die zur behaupteten Kontosperre vom 6. November 1996 führten, sind insofern bedeutsam, als die Kündigung eines seit längerem "überzogenen" Kredits verschuldensmässig anders zu würdigen ist, als wenn die Bank von der Möglichkeit Gebrauch machte, einen "offenen" Kredit, z.B.
wegen Wegfalls einer Sicherheit, zu kündigen. Sofern der konkursiten Gesellschaft im Zusammenhang mit der Leistung zu tiefer Akontozahlungen kein grober Normenverstoss anzulasten ist, entfiele insoweit eine Haftung mit Blick darauf, dass die Restschuld am 10. November 1996 zur Zahlung fällig und der Konkurs am 19. Dezember 1996 eröffnet wurde.
5.- Nach dem eben Gesagten (vgl. Erw. 4c/bb) geht die Sache zur vollständigen Abklärung des rechtserheblichen Sachverhaltes an die Vorinstanz zurück. Gestützt auf die entsprechenden Ergebnisse wird sie das Verschulden der konkursiten Gesellschaft und des Beschwerdeführers neu beurteilen.
Sofern eine Exkulpation für Beitragsausstände im Zusammenhang mit dem Betrieb des Hotel Y._ bejaht würde, bliebe darüber zu befinden, ob und inwieweit Insolvenzentschädigungen ausgerichtet und welche Beiträge welches Zeitraums damit gedeckt worden sind (nicht veröffentlichtes Urteil B./V. vom 1. Oktober 1999, H 89 und 90/99).
6.- Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Dem Prozessausgang entsprechend - die Rückweisung zur ergänzenden Abklärung des Sachverhalts betrifft nur einen kleineren Teil der strittigen Schadenersatzforderung - sind die Gerichtskosten dem Beschwerdeführer zu vier Fünfteln und der Beschwerdegegnerin zu einem Fünftel aufzuerlegen (Art. 156 Abs. 1 OG in Verbindung mit Art. 135 OG). Überdies steht dem anwaltlich vertretenen Beschwerdeführer zu Lasten der Ausgleichskasse eine reduzierte Parteientschädigung zu (Art. 159 Abs. 3 OG in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird in dem Sinne
teilweise gutgeheissen, dass der Entscheid des Sozialversicherungsgerichts
des Kantons Zürich vom 29. September
2000 aufgehoben und die Sache an die Vorinstanz
zurückgewiesen wird, damit sie im Sinne der Erwägungen
verfahre und über die Klage neu entscheide.
II.Die Gerichtskosten von Fr. 5000.- werden dem Beschwerdeführer zu vier Fünfteln (Fr. 4000.-) und der Ausgleichskasse des Schweizer Hotelier-Vereins und des
Schweizer Reisebüro-Verbandes (Hotela) zu einem Fünftel
(Fr. 1000.-) auferlegt. Der Anteil des Beschwerdeführers
ist durch den von ihm geleisteten Kostenvorschuss
von Fr. 5000.- gedeckt; der Differenzbetrag von
Fr. 1000.- wird ihm zurückerstattet.
III. Die Ausgleichskasse des Schweizer Hotelier-Vereins und des Schweizer Reisebüro-Verbandes (Hotela) hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen
Versicherungsgericht eine Parteientschädigung
von Fr. 800.- (einschliesslich Mehrwertsteuer)
zu bezahlen.
IV.Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 28. Juni 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Die Präsidentin der IV. Kammer:
Der Gerichtsschreiber: