Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2.- a) Im vorinstanzlichen Entscheid wird unter Hinweis auf das Gesetz (<ref-law>; Art. 81 und 82 AHVV) und die Rechtsprechung (vgl. statt vieler <ref-ruling> Erw. 5b, 122 V 66 Erw. 4a, 119 V 405 Erw. 2, je mit Hinweisen) zutreffend dargelegt, unter welchen Voraussetzungen ein Arbeitgeber und gegebenenfalls seine Organe gegenüber der Ausgleichskasse schadenersatzpflichtig sind, sodass darauf verwiesen werden kann.
b) Zu ergänzen ist, dass es sich bei der Haftung nach <ref-law> nicht um eine Kausalhaftung, sondern um eine Verschuldenshaftung handelt, wobei die Schadenersatzpflicht ein qualifiziertes Verschulden voraussetzt. Dementsprechend ist die Nichtabrechnung oder Nichtbezahlung der Beiträge für sich allein nicht haftungsbegründend; vielmehr bedarf es zusätzlich zur Widerrechtlichkeit (Missachtung von <ref-law>) eines Verschuldens in Form von Absicht oder grober Fahrlässigkeit. Verwaltung und Sozialversicherungsgerichte dürfen sich bei festgestellter Verletzung der AHV-Vorschriften daher nicht auf die Prüfung beschränken, ob Exkulpations- oder Rechtfertigungsgründe vorliegen, sondern haben vorgängig festzustellen, ob ein qualifiziertes Verschulden im Sinne von <ref-law> anzunehmen ist (<ref-ruling> Erw. 5).
3.- Es ist unbestritten, dass die Ausgleichskasse im Konkurs der X._ AG mit Sozialversicherungsbeiträgen im Betrag von Fr. 53'398. 95 (einschliesslich Verwaltungskosten, Mahngebühren, Betreibungskosten und Verzugszinsen) zu Verlust gekommen ist. Streitig und zu prüfen ist, ob die Beschwerdeführer den der Ausgleichskasse entstandenen Schaden im Sinne von <ref-law> schuldhaft verursacht haben.
a) Aus den Akten geht hervor, dass die X._ AG, welche unter anderem ein Wohn- und Geschäftshaus mit Restaurant/Bar ("Z. _") in der Altstadt von A._ betrieb, spätestens seit Anfang 1996 der Beitragszahlungspflicht nurmehr nach Mahnungen und teilweise erst auf Betreibungen hin nachgekommen ist. Gemäss Schlussabrechnung der Ausgleichskasse vom 13. Februar 1997 belief sich der Beitragsausstand auf Fr. 26'989. 10. Nach Mahnung vom 7. April 1997 und Zahlungsbefehl vom 22. Mai 1997, gegen welchen Rechtsvorschlag erhoben wurde, erliess die Ausgleichskasse am 30. Mai 1997 eine Veranlagungsverfügung, mit der sie die Forderung auf Fr. 27'489. 10 festsetzte. Auf das Begehren um Fortsetzung der Betreibung vom 25. Juli 1997 hin ersuchte die Gesellschaft um Zahlungsaufschub.
Dieser wurde mit Verfügung der Ausgleichskasse vom 12. August 1997 in der Weise gewährt, dass der Ausstand in monatlichen Teilzahlungen von Fr. 3400.- ab 31. August 1997 und einer Schlusszahlung von Fr. 3489. 10 zu tilgen war unter gleichzeitiger Bezahlung der laufenden Beiträge. Die Gesellschaft kam der Zahlungspflicht lediglich insofern nach, als sie die per 31. August und 30. September 1997 fälligen Teilzahlungen leistete. Die Zahlung per 31. Oktober 1997 blieb aus; auch kam die Gesellschaft der Pflicht zur Entrichtung der laufenden Beiträge nicht nach. Die Beiträge für Januar und Februar 1997 bezahlte sie nach erfolgter Betreibung im Juli bzw. August 1997, diejenigen für März und April 1997 ebenfalls auf Betreibung hin kurz vor Eröffnung des Konkurses im November 1997. Unbezahlt blieben die Beiträge ab Mai 1997, was zu einer Schlussabrechnung für 1997 von Fr. 34'888. 15 führte.
b) Als Präsidentin des Verwaltungsrats und Haupt- bzw.
Alleinaktionärin der X._ AG muss sich L._ die Missachtung der Beitragszahlungspflicht durch die Gesellschaft entgegenhalten lassen, zumal sie sich persönlich mit der Geschäftsführung und insbesondere auch mit der Beitragsabrechnungs- und Zahlungspflicht gegenüber der Ausgleichskasse befasst hat. Dass die Gesellschaft über keine Mittel zur Bezahlung der fälligen Beiträge mehr verfügte, ist nicht erstellt, macht die Beschwerdeführerin doch selber geltend, dass im Rahmen der bestehenden Bankkredite selbst kurz vor Eröffnung des Konkurses noch genügend Deckung für die Verbindlichkeiten gegenüber der Ausgleichskasse vorhanden war. Daraus ist zu schliessen, dass die bestehenden Mittel, einschliesslich der von den Löhnen in Abzug gebrachten Sozialversicherungsbeiträge, zu andern Zwecken verwendet wurden und der Betrieb zumindest teilweise auf Kosten der Sozialversicherung weitergeführt wurde, was der Beschwerdeführerin als Verschulden anzurechnen ist. Wenn die Vorinstanz das Verhalten als Grobfahrlässigkeit im Sinne von <ref-law> qualifiziert hat, so beruht dies weder auf einer mangelhaften Feststellung des Sachverhalts noch sonst wie auf einer Verletzung von Bundesrecht. Fraglich kann lediglich sein, ob Exkulpations- oder Rechtfertigungsgründe gegeben sind, welche eine Haftung auszuschliessen vermögen (siehe Erw. 4).
c) K._ war neben der Verwaltungsratspräsidentin L._ einziges und kollektiv zeichnungsberechtigtes Mitglied des Verwaltungsrates der X._ AG. Im Rahmen der dem Verwaltungsrat obliegenden Oberaufsicht über die Geschäftsführung (<ref-law>) hatte er nicht nur die Pflicht, an den Verwaltungsratssitzungen teilzunehmen, sondern war auch gehalten, sich periodisch über den Geschäftsgang informieren zu lassen und geeignete Massnahmen zu treffen, wenn Anhaltspunkte für Unregelmässigkeiten in der Geschäftsführung bestanden (vgl. Forstmoser/Meier-Hayoz/Nobel, Schweizerisches Aktienrecht, § 30 N 49; Kammerer, Die unübertragbaren und unentziehbaren Kompetenzen des Verwaltungsrates, Diss. Zürich 1997, S. 186). Im vorliegenden Fall gab es durchaus Gründe, welche zur Wahrnehmung der gesetzlichen Aufsichtsbefugnisse und -pflichten veranlassten. Selbst wenn dem Beschwerdeführer die Beitragsausstände nicht im Einzelnen bekannt waren, hatte er jedenfalls Kenntnis vom ungünstigen Geschäftsverlauf und den Zahlungsschwierigkeiten der Gesellschaft.
Es wäre daher seine Pflicht gewesen, sich unter anderem über die Verbindlichkeiten gegenüber der Ausgleichskasse ins Bild zu setzen und nötigenfalls Massnahmen für eine ordnungsgemässe Bezahlung der Beiträge in die Wege zu leiten. An die Sorgfaltspflicht des Beschwerdeführers sind umso höhere Anforderungen zu stellen, als es sich bei der X._ AG um ein kleineres Unternehmen mit einfachen und überschaubaren Verhältnissen handelte. In solchen Fällen muss vom Verwaltungsrat in der Regel der Überblick über alle wesentlichen Belange der Gesellschaft verlangt werden, selbst wenn er die Befugnisse weitgehend an einen Geschäftsführer delegiert hat (<ref-ruling> f. Erw. 4a, 108 V 203 Erw. 3b; vgl. auch Nussbaumer, Die Haftung des Verwaltungsrates nach <ref-law>, in: AJP 1996 S. 1078).
Der Umstand, dass der Beschwerdeführer seiner Aufsichtspflicht nicht nachgekommen ist und es zugelassen hat, dass die Gesellschaft die vorhandenen Mittel, einschliesslich der von den Löhnen in Abzug gebrachten Sozialversicherungsbeiträge, zu andern Zwecken verwendet hat, ist ihm als grobe Fahrlässigkeit anzurechnen, was seine Haftung nach sich zieht.
4.- Zu prüfen bleibt, ob Exkulpations- und Rechtfertigungsgründe gegeben sind, welche die Missachtung der Vorschriften ausnahmsweise als nicht schuldhaft erscheinen lassen.
a) Die Beschwerdeführer machen geltend, sie hätten in guten Treuen davon ausgehen dürfen, dass die Forderungen der Ausgleichskasse bezahlt werden könnten. Die Gesellschaft hätte ihren Verbindlichkeiten nachkommen können, wenn die kreditgebende Bank die Zahlungsaufträge im Rahmen der bestehenden Kreditlimiten ausgeführt hätte, die Liegenschaft "Castel Pub" freihändig verkauft worden wäre oder der Restaurantbetrieb nicht durch die Konkursverwaltung vorzeitig geschlossen worden wäre.
Zu den Vorbringen der Beschwerdeführer ist festzustellen, dass die für den entstandenen Schaden relevanten Beitragsausstände bereits lange vor den geltend gemachten Tatsachen eingetreten sind. Fraglich kann lediglich sein, ob die Nichtbezahlung der Beiträge im Sinne der Rechtsprechung ausnahmsweise gerechtfertigt war, weil sie im Hinblick auf eine nicht zum Vornherein aussichtslose Rettung des Betriebes durch Befriedigung lebenswichtiger Forderungen in der begründeten Meinung erfolgte, die geschuldeten Beiträge später ebenfalls bezahlen zu können. Voraussetzung ist, dass der Arbeitgeber im Zeitpunkt, in welchem die Zahlungen erfolgen sollten, nach den Umständen damit rechnen durfte, dass er die Beitragsschuld innert nützlicher Frist werde tilgen können (<ref-ruling>, ZAK 1992 S. 248 Erw. 4b). Diese Voraussetzungen waren hier nicht gegeben. Denn es bestand kein Anlass zur Annahme, dass es sich lediglich um einen vorübergehenden Liquiditätsengpass handelte, war der Geschäftsgang doch schon seit längerer Zeit ungünstig und war den Beschwerdeführern bereits nach Ablehnung der beantragten Erhöhung der Hypotheken durch die kreditgebende Bank Ende 1995 klar, dass die notwendigen Mittel für eine Sanierung des Gastwirtschaftsbetriebes fehlten. Weil die X._ AG auch die ihr bis März beziehungsweise Juli 1996 gewährten Überbrückungskredite nicht zurückbezahlen konnte und die Bank der Gesellschaft weitere Kredite verweigerte, wurde der Verkauf der Liegenschaft in die Wege geleitet. Aufgrund dieser Massnahme durften die Beschwerdeführer aber nicht damit rechnen, die ausstehenden Beiträge innert nützlicher Frist bezahlen zu können. Abgesehen davon, dass ein entsprechender Verkaufsauftrag erst im Mai 1997 abgeschlossen wurde, konnte nicht von einem raschen Verkauf der Liegenschaft ausgegangen werden, zumal die Aufrechterhaltung des Gastwirtschaftsbetriebes und die Substanzerhaltung sowie Aktivierung des sanierungsbedürftigen Wohnteils laut Schätzungsbericht vom 28. März 1995 hohe Investitionen erforderte. Unter den gegebenen Umständen vermögen die geltend gemachten, in der Liegenschaft enthaltenen "stillen Reserven" die Nichtbezahlung der geschuldeten Beiträge jedenfalls nicht zu rechtfertigen. Es kann daher offen bleiben, ob der erwartete Verkaufspreis realistischerweise zu erzielen war, womit sich weitere Abklärungen zum Wert der Liegenschaft erübrigen.
Keine Exkulpation bewirkt sodann das Argument der Beschwerdeführer, die Bank habe ihre Zahlungsaufträge nicht ausgeführt. Dass das Geschäftskonto bereits einige Tage vor der Konkurseröffnung gesperrt wurde, ist für die Beitragsausstände nicht entscheidend. Aus dem Beitragskonto geht zudem hervor, dass selbst nach der Konkurseröffnung am 10. November 1997 noch Zahlungen bei der Ausgleichskasse eingingen. Wenn in der Verwaltungsgerichtsbeschwerde geltend gemacht wird, die Bank habe wiederholt Zahlungsaufträge nicht ausgeführt oder zurückgestellt, so ist dem entgegenzuhalten, dass es diesfalls Sache der Beschwerdeführer gewesen wäre, zu intervenieren und auf eine umgehende Ausführung der Zahlungsaufträge zu drängen. Dies wurde offenbar unterlassen. So wird lediglich vorgebracht, mangels einer gegenteiligen Benachrichtigung habe davon ausgegangen werden dürfen, die entsprechenden Zahlungen seien ausgeführt worden. Damit sind die Beschwerdeführer ihrer Sorgfaltspflicht indessen nicht nachgekommen. Weitere Abklärungen, einschliesslich der beantragten Zeugeneinvernahmen, bedarf es nicht. Fehl geht dementsprechend auch die in diesem Zusammenhang erhobene Rüge einer Verletzung des rechtlichen Gehörs durch die Vorinstanz.
Hinsichtlich der beanstandeten vorzeitigen Schliessung des Betriebes durch die Konkursverwaltung ist festzustellen, dass diese für die Beitragsausstände nicht ursächlich war, zumal nicht mit überwiegender Wahrscheinlichkeit angenommen werden kann, der Schaden wäre durch ein Zuwarten vermieden oder auch nur vermindert worden. Zu bejahen ist dagegen der adäquate Kausalzusammenhang zwischen der schuldhaften Missachtung der Vorschriften und dem eingetretenen Schaden (<ref-ruling> Erw. 4a mit Hinweisen).
b) Dass die Beschwerdeführer eigene Anstrengungen zur Rettung des Betriebes unternommen haben und namentlich L._ auch wirtschaftliche Opfer (Lohnverzicht, persönliche Investitionen, Rangrücktrittserklärung) erbracht hat, vermag zu keinem andern Ergebnis zu führen.
Für die Beurteilung der Verschuldensfrage ist nicht entscheidend, was die Beschwerdeführer zur Aufrechterhaltung des Betriebes und der Vermeidung eines Konkurses unternommen haben, sondern ob sie der Pflicht, für eine ordnungsgemässe Abrechnung und Bezahlung der Sozialversicherungsbeiträge zu sorgen, nachgekommen sind. Dies ist nach dem Gesagten zu verneinen.
c) Der Vorinstanz ist schliesslich darin beizupflichten, dass der am 12. August 1997 gewährte Zahlungsaufschub das Verhalten der Beschwerdeführer weder rechtfertigt noch deren Verschulden mindert. Bei der Beurteilung der Frage, ob die verantwortlichen Arbeitgeberorgane ihren Sorgfaltspflichten in Zusammenhang mit der Einhaltung der Beitragszahlungspflicht nachgekommen sind, ist eine Zahlungsvereinbarung mit zu berücksichtigen, soweit dem Beitragspflichtigen damit ein Abweichen von den ordentlichen Zahlungsterminen zugestanden wird (<ref-ruling> Erw. 3b). Vorbehalten bleiben Fälle, in welchen der Zahlungsaufschub beantragt wird, obschon der Beitragspflichtige damit rechnen musste, dass die Firma in Konkurs gehen werde und er die Zahlungsvereinbarung nicht werde einhalten können (<ref-ruling> Erw. 4b, AHI 1999 S. 26). Mit dem Zahlungsaufschub vom 12. August 1997 ist den Beschwerdeführern nicht ein Abweichen von den ordentlichen Zahlungsterminen zugestanden worden; vielmehr ging es um die Zahlung einer längst fälligen, gemahnten und in Betreibung gesetzten Beitragsschuld.
Ob der Zahlungsaufschub nach <ref-law> zu Recht erfolgte, ist nicht Gegenstand des vorliegenden Verfahrens.
Es genügt die Feststellung, dass der gewährte Zahlungsaufschub weder für die Tatsache noch den Umfang des eingetretenen Schadens ursächlich war. Es liegt weder in dieser noch in anderer Hinsicht ein Mitverschulden der Verwaltung vor, welches zu einer Herabsetzung des Schadenersatzes Anlass zu geben vermöchte (<ref-ruling> Erw. 3c).

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Die Gerichtskosten von Fr. 6000.- werden den Beschwerdeführern auferlegt und mit den geleisteten Kostenvorschüssen verrechnet. Der Mehrbetrag von je Fr. 1000.-
wird den Beschwerdeführern zurückerstattet.
III. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 10. August 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident Die Gerichts- der IV. Kammer: schreiberin: