A.- Die Garage X._ AG war der Ausgleichskasse für das schweizerische Auto-, Motorrad- und Fahrradgewerbe angeschlossen und rechnete mit ihr die paritätischen Beiträge ab. Mit Verfügung vom 3. Februar 1997 eröffnete der Konkursrichter des Bezirksgerichts über die Gesellschaft den Konkurs. Zu diesem Zeitpunkt waren Sozialversicherungsbeiträge in der Höhe von Fr. 269'819. 10 (einschliesslich Verwaltungskosten, Mahngebühren, Betreibungskosten und Verzugszinsen) ausstehend. Die Ausgleichskasse erliess am 19. Mai 1998 zwei Verfügungen, mit der sie den ehemaligen Verwaltungsratspräsidenten der konkursiten Firma, A._, und das ehemalige Verwaltungsratsmitglied B._ solidarisch zur Bezahlung des entstandenen Schadens verpflichtete. B.- Nachdem die Verpflichteten dagegen Einspruch erhoben hatten, liess die Ausgleichskasse beim Sozialversicherungsgericht des Kantons Zürich Klage auf Schadenersatz einreichen. Dieses hiess die Klage mit Entscheid vom 29. Dezember 2000 gut. C.- A._ und B._ lassen Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, der Entscheid der Vorinstanz sei aufzuheben und die Klage der Ausgleichskasse abzuweisen. Eventualiter sei die Schadenersatzforderung auf Fr. 67'454. 80 zu reduzieren; subeventualiter sei die Sache an die Vorinstanz zurückzuweisen. Die Ausgleichskasse lässt auf Abweisung der Verwaltungsgerichtsbeschwerde schliessen, während das Bundesamt für Sozialversicherung auf eine Stellungnahme verzichtet.