A.- Die Ausgleichskasse des Kantons Zürich hatte im Konkurs der Firma K._ AG eine Forderung ausstehender paritätischer Sozialversicherungsbeiträge in Höhe von Fr. 52'539. 40 (zuzüglich Verzugszinsen) eingegeben. Am 19. März 1988 erfolgte im Schweizerischen Handelsamtsblatt eine Mitteilung, wonach der Kollokationsplan mitsamt Inventar aufliege und innert 10 Tagen anzufechten sei. Mit Schreiben vom 24. März 1988 teilte das Konkursamt der Ausgleichskasse mit, sie werde vermutlich voll zu Schaden kommen. Daraufhin verpflichtete die Ausgleichskasse mit Verfügung vom 10. März 1989 G._ als Verwaltungsrat der konkursiten Firma, ihr Schadenersatz im Betrage von Fr. 44'577. 85 zu bezahlen. Mit Eingabe vom 5. April 1989 erhob G._ Einspruch. Die in der Folge von der Ausgleichskasse am 12. April 1989 eingereichte Klage für den Betrag von Fr. 44'577. 85 wies die AHV-Rekurskommission des Kantons Zürich mit Entscheid vom 8. November 1991 ab, da der Schadenersatzanspruch verwirkt sei. Die daraufhin eingereichte Verwaltungsgerichtsbeschwerde der Ausgleichskasse hiess das Eidgenössische Versicherungsgericht mit Urteil vom 25. Januar 1993 (= BGE 119 V 89) gut, hob den vorinstanzlichen Entscheid vom 8. November 1991 auf und wies die Sache an die AHV-Rekurskommission des Kantons Zürich zurück, damit diese nach Prüfung der weiteren materiellen Haftungsvoraussetzungen über die Schadenersatzklage der Ausgleichskasse, soweit es um entgangene bundesrechtliche Beiträge geht, neu entscheide. Mit Entscheid vom 21. Juni 1993 hiess die AHV-Rekurskommission die Klage teilweise gut und verpflichtete G._, der Ausgleichskasse des Kantons Zürich Schadenersatz im Betrag von Fr. 40'368. 80 zu bezahlen. Auf Verwaltungsgerichtsbeschwerde hin hob das Eidgenössische Versicherungsgericht mit Urteil vom 23. August 1994 den vorinstanzlichen Entscheid vom 21. Juni 1993 auf und wies die Sache an die AHV-Rekurskommission des Kantons Zürich zurück, damit diese, nach Aktenergänzungen im Sinne der Erwägungen, über die Schadenersatzklage der Ausgleichskasse im bundesrechtlichen Umfange von Fr. 40'368. 80 neu entscheide. B.- Nach Einvernahme von L._ und A._ als Zeugen sowie nach Beizug des Konkursprotokolls und der Akten in der Strafsache gegen den früheren Buchhalter H._ hiess das nunmehr in der Sache zuständige Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 4. November 1998 die Klage teilweise gut und verpflichtete G._, der Ausgleichskasse Schadenersatz im Umfang von Fr. 37'317. 80 zu bezahlen. C.- G._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei die Klage unter Kosten- und Entschädigungsfolge zu Lasten der Ausgleichskasse abzuweisen. Ausgleichskasse und Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung.