A.- Seit Februar 1995 war A._ Verwaltungsratspräsident mit Einzelunterschrift der seit 1973 im Handelsregister eingetragenen S._ AG und H._ Mitglied des Verwaltungsrates, ebenfalls mit Einzelunterschrift. Die S._ AG rechnete seit Beitritt zum Schweizerischen Baumeisterverband am 1. Januar 1995 mit der Ausgleichskasse Schweizerischer Baumeisterverband (nachfolgend: Ausgleichskasse) ab. Am 9. April 1996 wurde über die Gesellschaft der Konkurs eröffnet. Der Ausgleichskasse wurde am 15. Mai 1998 ein Konkursverlustschein über Fr. 155'298. 55 ausgestellt. Mit Verfügungen vom 6. Oktober 1997 verpflichtete die Ausgleichskasse A._ sowie H._, in solidarischer Haftung Schadenersatz für nicht entrichtete paritätische AHV/IV/EO/ALV-Beiträge in der Höhe von Fr. 135'105. 30 minus einer allfälligen Dividende zu leisten. Hiegegen liessen A._ wie auch H._ Einspruch erheben. B.- Während die Ausgleichskasse den Einspruch von H._ guthiess, machte sie am 14. November 1997 ihre Schadenersatzforderung gegenüber A._ beim Sozialversicherungsgericht des Kantons Zürich klageweise geltend. In Gutheissung der Klage verpflichtete das kantonale Gericht A._ mit Entscheid vom 3. Januar 2000, Fr. 135'105. 30 zu bezahlen. C.- A._ lässt dagegen Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, die Schadenersatzklage sei abzuweisen; unter Kosten- und Entschädigungsfolgen. Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während sich das Bundesamt für Sozialversicherung nicht vernehmen lässt. Die als Mitinteressierte H._ hat eine Stellungnahme eingereicht, ohne einen Antrag zu stellen.