A.- B._ war seit 13. Juli 1990 Direktor mit Einzelzeichnungsberechtigung der Hotel X._ AG, der Betriebsgesellschaft des Hotels Y._. Am 10. Dezember 1997 wurde der Ausgleichskasse Hotela (nachfolgend: Ausgleichskasse) im Rahmen der Betreibung für ausstehende Beiträge des Wintersemesters 1996/1997 ein Pfändungsverlustschein über Fr. 10'556. 40 ausgestellt. Dieser wurde auf Grund einer eingegangenen Zahlung in der Höhe von Fr. 4357. 55 durch einen zweiten Verlustschein vom 2. Februar 1998 über Fr. 6296. 50 ersetzt. Am 12. Februar 1998 wurde über die Gesellschaft der Konkurs eröffnet und am 16. März 1998 mangels Aktiven eingestellt. Mit Verfügung vom 27. Oktober 1998 verpflichtete die Ausgleichskasse B._, Schadenersatz für nicht entrichtete paritätische AHV/IV/EO/ALV-Beiträge in der Höhe von Fr. 60'319. 25 zu leisten. Hiegegen liess B._ Einspruch erheben.
B.- Am 22. Dezember 1998 reichte die Ausgleichskasse beim Verwaltungsgericht des Kantons Graubünden Klage ein mit dem Begehren, B._ sei zur Bezahlung von Schadenersatz in der verfügten Höhe zu verpflichten. Nach entsprechenden Einwendungen von B._ in der Klageantwort und einer schriftlichen Anfrage des kantonalen Gerichts gab die Ausgleichskasse mit Schreiben vom 22. März 1999 an, irrtümlich seien bei der Berechnung des Schadens beide Verlustscheine berücksichtigt worden, weshalb sich die Klage um Fr. 4357. 55 reduziere.
In teilweiser Gutheissung der Klage verpflichtete das kantonale Gericht B._ mit Entscheid vom 16. November 1999, Fr. 50'608. 15 zu bezahlen.
C.- B._ lässt dagegen Verwaltungsgerichtsbeschwerde führen mit den Rechtsbegehren, der kantonale Entscheid sei aufzuheben und die Schadenersatzklage der Ausgleichskasse abzuweisen; eventualiter sei die Schadenersatzforderung zu reduzieren.
Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während sich das Bundesamt für
Sozialversicherung nicht vernehmen lässt.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- a) Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
b) Die Vorinstanz hat die in materiellrechtlicher Hinsicht massgebenden Normen (<ref-law>, <ref-law> in Verbindung mit <ref-law>) und die Rechtsprechung zur subsidiären Haftbarkeit der Organe (<ref-ruling> Erw. 5b), zur Haftungsvoraussetzung des qualifizierten Verschuldens (<ref-ruling> Erw. 1b, 193 Erw. 2b) sowie bezüglich dem dabei zu berücksichtigenden - differenzierten - Sorgfaltsmassstab (<ref-ruling> Erw. 3a; vgl. auch Thomas Nussbaumer, Die Haftung des Verwaltungsrates nach <ref-law>, in: AJP 9/96, S. 1081) zutreffend wiedergegeben. Darauf kann verwiesen werden.
2.- Streitig und zu prüfen ist, ob und gegebenenfalls in welchem Umfang der Beschwerdeführer Schadenersatz zu leisten hat.
a) Was zunächst die Verantwortung im Bereich der Beitrags- und Abrechnungspflicht betrifft, hat die Vorinstanz zutreffend erkannt, dass dem Beschwerdeführer in seiner Eigenschaft als Direktor der Hotel X._ AG diesbezüglich Organstellung zukommt. Die Einwände des Beschwerdeführers sind nicht stichhaltig. Nach den verbindlichen Feststellungen des kantonalen Gerichts (vgl. Erw. 1a hievor) umfasste die Tätigkeit des Beschwerdeführers gemäss Arbeitsvertrag vom 22. März 1990 die gesamte Leitung des Hotels Y._, wozu auch das Einstellen und Entlassen des Personals gehörte. Dies beinhaltet notwendigerweise auch die entsprechenden administrativen Belange im Bereich der Löhne und damit die Abrechnung der Sozialversicherungsbeiträge. Dabei kann es entgegen der Auffassung des Beschwerdeführers keine Rolle spielen, ob er das Schreiben von S._, Verwaltungsratsmitglied der Hotel X._ AG, vom 6. Januar 1997 erhalten hat oder nicht. Auf Grund der weitreichenden Kompetenzen, die mit einer solchen Stellung verbunden sind, besitzt ein im Handelsregister als einzelzeichnungsberechtigter eingetragener Direktor einer Gesellschaft ohnehin Organstellung (<ref-ruling> Erw. 3b; Forstmoser/Meyer-Hayoz/Nobel, Schweizerisches Aktienrecht, § 37 N 17; Böckli, Schweizer Aktienrecht, 2. Aufl. , N 1969 S. 1072).
b) Auch hinsichtlich des Zeitraums der Beiträge, für deren Nichtbezahlung der Beschwerdeführer verantwortlich ist, kann auf die zutreffenden Ausführungen der Vorinstanz verwiesen werden. Die Zahlungsperioden wurden entsprechend dem Betrieb des Hotels von Juni bis Oktober und Dezember bis April saisonweise festgelegt. Mit Ablauf der Zahlungsperiode (<ref-law>), mithin im Zeitpunkt des Austritts des Beschwerdeführers aus der Gesellschaft im Dezember 1997 waren die Beiträge bis Sommersemester 1997 deshalb jedenfalls fällig, auch wenn die Schussabrechnung noch nicht erstellt war.
c) Weiter macht der Beschwerdeführer geltend, auf Grund des Mitverschuldens der Ausgleichskasse sei die Schadenersatzforderung herabzusetzen. Zwar trifft es zu, dass das kantonale Gericht sich nicht mit dem im vorinstanzlichen Verfahren vorgebrachten Argument, die Beschwerdegegnerin müsse sich ihr Verhalten als schadenminderndes Verschulden anrechnen lassen, auseinander gesetzt und keine Sachverhaltsfeststellungen zum Selbstverschulden getroffen hat, sodass das Eidgenössische Versicherungsgericht nicht gebunden ist (vgl. Erw. 1a hievor). Indes sind die Voraussetzungen für eine Herabsetzung im Rahmen eines Mitverschuldens der Ausgleichskasse (<ref-ruling>; SZS 2000 S. 91; Pra 1997 Nr. 48 S. 251 Erw. 3a) nicht gegeben. Wohl hat die Beschwerdegegnerin während der Tätigkeit des Beschwerdeführers nur für Akontozahlungen betreffend das Wintersemester 1996/1997 - erfolglos - Vollzugshandlungen vorgenommen. Es kann jedoch offen gelassen werden, ob dieses zögerliche Verhalten bereits Anlass zur Reduktion des Schadenersatzes geben könnte, da auf Grund der Akten keinerlei konkrete Anhaltspunkte dafür bestehen, dass bei Vorgehen nach den gesetzlichen Bestimmungen und der bundesamtlichen Wegleitung über den Bezug der Beiträge (WBB) ein kleinerer Schaden entstanden wäre.
3.- a) Hinsichtlich der Schadenhöhe hat der Beschwerdeführer bereits vor Vorinstanz eingewendet, dass der Beschwerdegegnerin nicht Beitragsausfälle im geltend gemachten Umfang entstanden seien, da die Lohnsummen überschätzt worden seien, was die Beschwerdegegnerin anerkannt hat. Das kantonale Gericht hat dazu weder Abklärungen noch Feststellungen getroffen, sodass das Eidgenössische Versicherungsgericht nicht gebunden ist (vgl. Erw. 1a hievor).
b) Die Beschwerdegegnerin leitete vorerst über unbezahlt gebliebene Akontozahlungen für das Wintersemester 1996/1997 in der Höhe von Fr. 8919. 05 die Zwangsvollstreckung ein. Über den Gesamtbetrag erliess sie keine Veranlagungsverfügungen, sondern - zum Teil nach Konkurseröffnung - Schlussabrechnungen, welche nicht als Verfügungen bezeichnet waren und keine Rechtsmittelbelehrung, sondern nur einen Hinweis auf eine Beanstandungsmöglichkeit gegenüber der Beschwerdegegnerin enthielten. Die Höhe der Beiträge ist damit überprüfbar (nicht veröffentlichtes Urteil in Sachen L. vom 15. Dezember 1998, H 63/98).
c) Die Beiträge für die Wintersemester 1995/1996 und 1996/1997 wurden ermessensweise festgesetzt, wobei die Lohnsumme der Vorjahresperiode verdoppelt wurde, ohne dass indes Hinweise dafür bestanden hätten, dass sich die Lohnsumme zum Beispiel durch Neuanstellungen in dieser Richtung verändert hätte. Die Beschwerdegegnerin räumte im Übrigen selbst ein, Ziel dieser Ermessenstaxation sei es, den beitragspflichtigen Arbeitgeber zur Einreichung der Lohnabrechnungen zu bewegen. Damit ging die Beschwerdegegnerin nicht gemäss WBB Rz 5028 ff. über die Ermittlung der Beiträge zur Veranlagung bei fehlender Beitragszahlung in der vom 1. Januar 1994 bis 31. Dezember 2000 gültig gewesenen Fassung vor, und die Beiträge entsprechen nicht den tatsächlich ausgerichteten Löhnen. Soweit aus den Akten ersichtlich, hat es die Beschwerdegegnerin auch unterlassen, bei Auflösung des Unternehmens eine Arbeitgeberkontrolle durchzuführen (<ref-law>). Die Sache ist deshalb an die Beschwerdegegnerin zurückzuweisen, damit diese die tatsächlich geschuldeten Beiträge festsetze. Indes basieren die Beiträge für das Sommersemester 1997 im Betrage von Fr. 4387. 80 auf den Angaben der Arbeitgeberin, wogegen der Beschwerdeführer keine substanziierten Einwände vorbringt. Sie sind betragsmässig nicht zu beanstanden.
Mit der Neufestsetzung der Beiträge wird die Beschwerdegegnerin auch die Verzugszinsen neu zu berechnen haben. Soweit es sich nicht um solche auf der Schadenersatzforderung handelt (<ref-ruling>), sondern auf den unbezahlt gebliebenen Beiträgen (<ref-law> in Verbindung mit <ref-law>), sind diese entgegen der Auffassung des Beschwerdeführers durchaus zulässig.
4.- Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Nach Art. 135 in Verbindung mit Art. 156 Abs. 1 OG werden die Gerichtskosten in der Regel der unterliegenden Partei auferlegt. Als vollständiges Obsiegen im Sinne von Art. 156 Abs. 3 OG gilt dabei unter anderem auch Rückweisung der Sache zur weiteren Abklärung, weshalb die Gerichtskosten der Beschwerdegegnerin aufzuerlegen sind.

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Verwaltungsgerichtes des Kantons Graubünden vom 25. Juni/16. November 1999 aufgehoben und die Sache an die Ausgleichskasse Hotela zurückgewiesen wird, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über den Schadenersatz neu verfüge.
II.Die Gerichtskosten von Fr. 4000. - werden der Ausgleichskasse Hotela auferlegt.
III. Der geleistete Kostenvorschuss von Fr. 4000. - wird dem Beschwerdeführer zurückerstattet.
IV.Die Ausgleichskasse Hotela hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 1500. - (einschliesslich Mehrwertsteuer) zu bezahlen.
V.Das Verwaltungsgericht des Kantons Graubünden wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
VI.Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 22. März 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Die Gerichtsschreiberin: