A.- Seit Februar 1995 war A._ Verwaltungsratspräsident mit Einzelunterschrift der seit 1973 im Handelsregister eingetragenen S._ AG und H._ Mitglied des Verwaltungsrates, ebenfalls mit Einzelunterschrift. Die S._ AG rechnete seit Beitritt zum Schweizerischen Baumeisterverband am 1. Januar 1995 mit der Ausgleichskasse Schweizerischer Baumeisterverband (nachfolgend: Ausgleichskasse) ab. Am 9. April 1996 wurde über die Gesellschaft der Konkurs eröffnet. Der Ausgleichskasse wurde am 15. Mai 1998 ein Konkursverlustschein über Fr. 155'298. 55 ausgestellt. Mit Verfügungen vom 6. Oktober 1997 verpflichtete die Ausgleichskasse A._ sowie H._, in solidarischer Haftung Schadenersatz für nicht entrichtete paritätische AHV/IV/EO/ALV-Beiträge in der Höhe von Fr. 135'105. 30 minus einer allfälligen Dividende zu leisten. Hiegegen liessen A._ wie auch H._ Einspruch erheben.
B.- Während die Ausgleichskasse den Einspruch von H._ guthiess, machte sie am 14. November 1997 ihre Schadenersatzforderung gegenüber A._ beim Sozialversicherungsgericht des Kantons Zürich klageweise geltend. In Gutheissung der Klage verpflichtete das kantonale Gericht A._ mit Entscheid vom 3. Januar 2000, Fr. 135'105. 30 zu bezahlen.
C.- A._ lässt dagegen Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, die Schadenersatzklage sei abzuweisen; unter Kosten- und Entschädigungsfolgen.
Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während sich das Bundesamt für Sozialversicherung nicht vernehmen lässt. Die als Mitinteressierte H._ hat eine Stellungnahme eingereicht, ohne einen Antrag zu stellen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- a) Auf die Verwaltungsgerichtsbeschwerde kann nur soweit eingetreten werden, als eine Schadenersatzforderung kraft Bundesrechts streitig ist. Es fragt sich, ob die Verwaltungsgerichtsbeschwerde auch eine Schadenersatzforderung für entgangene Beiträge an die kantonale Familienausgleichskasse (FAK) betrifft (Art. 128 OG; vgl. <ref-ruling> Erw. 1b, 118 V 69 Erw. 1b mit Hinweis).
b) Wie sich aus dem Vergleich der einzelnen Positionen des Konto-Auszuges vom 3. Oktober 1997 mit den jeweiligen Monats- und Schlussabrechnungen ergibt, sind in den Positionen "Abrechnung AHV/IV/EO" entgegen der Bezeichnung auch FAK-Beiträge (1.5 % der Lohnsumme) für 1995 und 1996 enthalten.
Ebenso geht indes aus dem Konto-Auszug hervor, dass die Gesellschaft für den gleichen Zeitraum ein Guthaben von insgesamt Fr. 49'260.- gegenüber der FAK hatte; dieses überstieg die Höhe der geschuldeten FAK-Beiträge bei weitem.
Demgemäss hatte die AG gegenüber der FAK nicht eine Schuld, sondern eine Forderung. Daraus folgt, dass die eingeklagte Schadenersatzforderung von Fr. 135'105. 30 ausschliesslich bundesrechtliche Sozialversicherungsbeiträge zum Gegenstand hat, weshalb auf die Verwaltungsgerichtsbeschwerde vollumfänglich einzutreten ist (Urteil A. vom 2. März 2000, H 338/99, nicht veröffentlichte Urteile St.
vom 26. Juni 1995, H 60/95, und C. vom 17. Juli 1996, H 155/94).
2.- Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
3.- Die Vorinstanz hat die in materiellrechtlicher Hinsicht massgebenden Normen (<ref-law>, <ref-law> in Verbindung mit <ref-law>) und die Rechtsprechung zu den Voraussetzungen der Arbeitgeberorganhaftung, insbesondere zum Begriff der Grobfahrlässigkeit (siehe auch <ref-ruling> Erw. 4; ZAK 1988 S. 599 Erw. 5a), zur subsidiären Haftbarkeit der Organe (<ref-ruling> Erw. 5b), zur Haftungsvoraussetzung des qualifizierten Verschuldens (<ref-ruling> Erw. 1b, 193 Erw. 2b) sowie zum dabei zu berücksichtigenden - differenzierten - Sorgfaltsmassstab (<ref-ruling> Erw. 3a; vgl. auch Thomas Nussbaumer, Die Haftung des Verwaltungsrates nach <ref-law>, in: AJP 9/96, S. 1081) zutreffend wiedergegeben. Richtig sind auch die Ausführungen zum Eintritt des Schadens und zum Zeitpunkt der Kenntnis des Schadens (<ref-ruling> Erw. 3). Darauf kann verwiesen werden.
4.- a) Zu prüfen ist, ob der Beschwerdeführer der Ausgleichskasse Schadenersatz zu leisten hat. Als einzige Haftungsvoraussetzung ist sein Verschulden streitig. Zudem macht der Beschwerdeführer geltend, die Ausgleichskasse treffe ein krasses Mitverschulden an der Entstehung des Schadens.
b) Die Vorinstanz hat in für das Eidgenössische Versicherungsgericht verbindlicher Weise festgestellt (vgl.
Erw. 2 hievor), dass die S._ AG seit 1. Januar 1995 der Ausgleichskasse Schweizerischer Baumeisterverband angeschlossen war und an die ab diesem Zeitpunkt bis zur Konkurseröffnung am 9. April 1996 unter Verrechnung der Kinderzulagen geschuldeten Beiträge (inkl. Mahngebühren, Verzugszins und Spesen) in der Höhe von Fr. 155'298. 55 lediglich zwei Zahlungen von jeweils Fr. 15'000.- am 24. Januar und 20. Februar 1996 geleistet hat.
c) Mit diesem Verhalten verstiess die konkursite Firma klarerweise gegen ihre Beitragszahlungs- und Abrechnungspflichten gemäss <ref-law> und <ref-law> und missachtete dadurch Vorschriften im Sinne von <ref-law>. Sich während rund 10 Monaten in keiner Weise um die Abrechnung und Bezahlung der Sozialversicherungsbeiträge zu kümmern, obwohl beträchtliche Lohnsummen ausbezahlt werden, muss als grobfahrlässig qualifiziert werden. Dies wiegt umso schwerer, als die AG bereits vor 1995 mit einer anderen Ausgleichskasse abrechnete und damit sehr wohl ihre grundsätzliche Pflicht zur Abrechnung und Beitragszahlung wie auch das entsprechende Verfahren kannte. Dabei sind entgegen der Auffassung des Beschwerdeführers weder Abrechnungspflicht, Beitragsschuld noch Fälligkeit von der Zustellung einer Rechnung, einer Veranlagungs- oder Nachzahlungsverfügung seitens der Ausgleichskasse abhängig; vielmehr entstehen Abrechnungspflicht sowie Beitragsschuld unmittelbar im Zeitpunkt der Lohnzahlung (Art. 14 und Art. 51 AHVG; <ref-ruling> Erw. 3a) und die geschuldeten Beiträge werden mit dem Ablauf der Zahlungsperiode fällig (<ref-law>), was bei fortlaufender Lohnzahlung die Arbeitgeberin jedenfalls zu entsprechenden Rückstellungen verpflichtet.
d) Dieses Verschulden der Arbeitgeberin hat das kantonale Gericht zu Recht auch dem Beschwerdeführer als grobfahrlässiges Verhalten angerechnet; es kann dazu auf die zutreffenden Erwägungen der Vorinstanz verwiesen werden.
Was der Beschwerdeführer dagegen vorbringt, ist nicht stichhaltig. Weder entlastet ihn die Delegation der Lohnbuchhaltung an Frau H._, da er gerade in Kenntnis ihrer Krankheit die ihm als Verwaltungsratspräsident und Geschäftsführer ohnehin obliegenden Überwachungs- und Kontrollpflichten umso sorgfältiger hätte wahrnehmen und umso nachhaltiger für die Erledigung der übertragenen Aufgaben (pünktliche Abrechnung und Bezahlung der Beiträge) hätte besorgt sein müssen (<ref-ruling>). Indem er dies unterliess, hat er die mit seinem Mandat verbundenen Pflichten verkannt und sich in grobfahrlässiger Weise passiv verhalten (ZAK 1989 S. 104). Noch kann er aus dem Fehlen flüssiger Mittel etwas zu seinen Gunsten ableiten (<ref-ruling> Erw. 3b), darf ein Betrieb doch nur so viel Lohn auszahlen, dass auch die darauf entfallenden Sozialversicherungsbeiträge noch gedeckt sind (SVR 1995 AHV Nr. 70 S. 214).
e) Unter diesen Umständen ist es mit Blick auf den Untersuchungsgrundsatz nicht zu beanstanden, dass die Vorinstanz von weiteren Beweisabnahmen abgesehen hat. Weder die Aussage des offerierten Zeugen W._ noch der Beizug von Akten des Konkursamtes vermöchten etwas daran zu ändern, dass die Gesellschaft beträchtliche Löhne auszahlte, sich indes um die Beitragsabrechnung nicht kümmerte und auch keine entsprechenden Rückstellungen tätigte.
Eine solche antizipierte Beweiswürdigung ist zulässig und verstösst insbesondere nicht gegen die Verfassung, wie die ständige Rechtsprechung zu Art. 4 Abs. 1 aBV zeigt (<ref-ruling> Erw. 4b, 122 V 162 Erw. 1d mit Hinweis). Diese Rechtsprechung gilt im Übrigen auch unter der Herrschaft von Art. 29 Abs. 2 der auf den 1. Januar 2000 in Kraft getretenen neuen BV, welcher das rechtliche Gehör ausdrücklich gewährleistet. Die neue Bestimmung hat im Vergleich zur erwähnten Rechtsprechung keine beweisrechtlich erheblichen Änderungen bei der antizipierten Beweiswürdigung gebracht (Urteil O. vom 9. Juni 2000, H 369/99).
Daher kann vorliegend offen bleiben, ob die alte oder die neue BV anzuwenden ist; die Sachverhaltsfeststellungen der Vorinstanz sind für das Eidgenössische Versicherungsgericht jedenfalls verbindlich (vgl. Erw. 2 hievor).
5.- Zu prüfen bleibt, ob die Ausgleichskasse ein Mitverschulden an der Entstehung oder Verschlimmerung des Schadens trifft, wie das der Beschwerdeführer geltend macht.
a) Laut <ref-ruling> ist die Schadenersatzpflicht nach <ref-law> einer Herabsetzung wegen Mitverschuldens der Verwaltung zugänglich, sofern sich diese einer groben Pflichtverletzung schuldig gemacht hat, was namentlich dann der Fall ist, wenn sie elementare Vorschriften der Beitragsveranlagung und des Beitragsbezugs missachtet hat. Zudem muss zwischen dem rechtswidrigen Verhalten und dem Schaden ein adäquater Kausalzusammenhang bestehen. Eine Herabsetzung kann daher nur erfolgen, wenn und soweit das pflichtwidrige Verhalten der Verwaltung für die Entstehung oder Verschlimmerung des Schadens adäquat kausal gewesen ist (<ref-ruling> Erw. 3c).
b) Aus den Akten ergibt sich, dass die Ausgleichskasse der S._ AG mit Schreiben vom 10. Januar 1995 den Wechsel der Ausgleichskasse bestätigte, von welchem sie - wie aus diesem Schreiben hervorgeht - offenbar bereits Ende 1994 Kenntnis erhielt. Die erste Beitragsrechnung erstellte sie erst am 15. November 1995 für die Beiträge Januar bis Oktober 1995 in der Höhe von Fr. 159'879. 25. Ein Grund für diese späte Fakturierung der an sich monatlich abzurechnenden Beiträge ist nicht ersichtlich. Zu Recht wird seitens der Ausgleichskasse nicht geltend gemacht, sie hätte die Angaben der voraussichtlichen Lohnsumme von der Arbeitgeberin trotz entsprechender Mahnungen nicht früher erhalten, sind doch aus den Akten keinerlei Bemühungen der Ausgleichskasse ersichtlich, von der Arbeitgeberin raschmöglichst Angaben über Löhne für die Pauschalabrechnung zu erhalten, und wäre ohne Lohnangaben ein Veranlagungsverfahren durchzuführen gewesen. Es fehlt denn auch ein Fragebogen für juristische Personen mit Angaben wie der voraussichtlichen Lohnsumme und Anzahl Arbeitnehmer. Das Zuwarten der Verwaltung mit Massnahmen zur Sicherstellung der Abrechnungs- und Zahlungspflicht der Gesellschaft ist umso weniger verständlich, als es sich bei der Arbeitgeberin nicht um eine neue Gesellschaft, sondern um eine ältere Baufirma handelte, die bereits bei einer anderen Ausgleichskasse Sozialversicherungsbeiträge abgerechnet hatte. Unter diesen Umständen konnte es der Ausgleichskasse nicht entgangen sein, dass die Gesellschaft Arbeitnehmer beschäftigte, deren Löhne wenn nicht sogar monatlich, so doch mindestens vierteljährlich abzurechnen waren.
Die lange Untätigkeit der Verwaltung muss deshalb als grobe Pflichtverletzung qualifiziert werden, welche als Herabsetzungsgrund zu berücksichtigen ist.
c) Der vom Beschwerdeführer zu leistende Schadenersatz ist nur dann und soweit herabzusetzen, als das pflichtwidrige Verhalten der Ausgleichskasse für die Entstehung oder Verschlimmerung des Schadens kausal war. Auch wenn sich die Auswirkungen des pflichtwidrigen Verhaltens der Verwaltung vorliegend auf den Schaden nicht im Einzelnen bestimmen lassen, ist davon auszugehen, dass der Schaden geringer ausgefallen wäre, wenn die Ausgleichskasse pflichtgemäss und rechtzeitig die erforderlichen Massnahmen zum Beitragsbezug vorgenommen hätte, weshalb der adäquate Kausalzusammenhang zwischen dem pflichtwidrigen Verhalten und der Entstehung bzw. Verschlimmerung des Schadens zu bejahen ist.
Vorliegend rechtfertigt sich unter Berücksichtigung der gesamten Umstände eine Kürzung um 20 %; der Schadenersatz ist deshalb auf rund vier Fünftel des bundesrechtlich geschuldeten Betrages von Fr. 135'105. 30, d.h. auf Fr. 108'084. 25 herabzusetzen.
6.- Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Dem Prozessausgang entsprechend hat der Beschwerdeführer die Gerichtskosten verhältnismässig zu vier Fünfteln, die Ausgleichskasse zu einem Fünftel zu tragen (Art. 156 Abs. 3 in Verbindung mit Art. 135 OG).
Die Ausgleichskasse hat dem teilweise obsiegenden Beschwerdeführer eine dementsprechend reduzierte Parteientschädigung auszurichten (Art. 159 Abs. 2 in Verbindung mit Art. 135 OG, vgl. <ref-ruling>9).

Demnach erkennt das Eidg. Versicherungsgericht:
I. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde
wird der Entscheid des Sozialversicherungsgerichts
des Kantons Zürich vom 3. Januar 2000 dahingehend
geändert, dass der Beschwerdeführer verpflichtet
wird, der Ausgleichskasse Schweizerischer Baumeisterverband
den Betrag von Fr. 108'084. 25 zu bezahlen.
II. Die Gerichtskosten von total Fr. 5'000.- werden zu vier Fünfteln dem Beschwerdeführer und zu einem Fünftel der Ausgleichskasse Schweizerischer Baumeisterverband
auferlegt. Der vom Beschwerdeführer zu tragende
Anteil ist durch den geleisteten Kostenvorschuss von
Fr. 5'000.- gedeckt; der Differenzbetrag von
Fr. 1'000.- wird zurückerstattet.
III. Die Ausgleichskasse Schweizerischer Baumeisterverband hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung
von Fr. 500.- zu bezahlen.
IV. Das Sozialversicherungsgericht des Kantons Zürich wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen
Prozesses zu befinden haben.
V. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht
des Kantons Zürich, dem Bundesamt für
Sozialversicherung und H._ zugestellt.
Luzern, 20. Juni 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer:
Die Gerichtsschreiberin: