A.- Die Ausgleichskasse des Kantons Zürich hatte im Konkurs der Firma K._ AG eine Forderung ausstehender paritätischer Sozialversicherungsbeiträge in Höhe von Fr. 52'539. 40 (zuzüglich Verzugszinsen) eingegeben. Am 19. März 1988 erfolgte im Schweizerischen Handelsamtsblatt eine Mitteilung, wonach der Kollokationsplan mitsamt Inventar aufliege und innert 10 Tagen anzufechten sei. Mit Schreiben vom 24. März 1988 teilte das Konkursamt der Ausgleichskasse mit, sie werde vermutlich voll zu Schaden kommen. Daraufhin verpflichtete die Ausgleichskasse mit Verfügung vom 10. März 1989 G._ als Verwaltungsrat der konkursiten Firma, ihr Schadenersatz im Betrage von Fr. 44'577. 85 zu bezahlen. Mit Eingabe vom 5. April 1989 erhob G._ Einspruch. Die in der Folge von der Ausgleichskasse am 12. April 1989 eingereichte Klage für den Betrag von Fr. 44'577. 85 wies die AHV-Rekurskommission des Kantons Zürich mit Entscheid vom 8. November 1991 ab, da der Schadenersatzanspruch verwirkt sei. Die daraufhin eingereichte Verwaltungsgerichtsbeschwerde der Ausgleichskasse hiess das Eidgenössische Versicherungsgericht mit Urteil vom 25. Januar 1993 (= <ref-ruling>) gut, hob den vorinstanzlichen Entscheid vom 8. November 1991 auf und wies die Sache an die AHV-Rekurskommission des Kantons Zürich zurück, damit diese nach Prüfung der weiteren materiellen Haftungsvoraussetzungen über die Schadenersatzklage der Ausgleichskasse, soweit es um entgangene bundesrechtliche Beiträge geht, neu entscheide.
Mit Entscheid vom 21. Juni 1993 hiess die AHV-Rekurskommission die Klage teilweise gut und verpflichtete G._, der Ausgleichskasse des Kantons Zürich Schadenersatz im Betrag von Fr. 40'368. 80 zu bezahlen. Auf Verwaltungsgerichtsbeschwerde hin hob das Eidgenössische Versicherungsgericht mit Urteil vom 23. August 1994 den vorinstanzlichen Entscheid vom 21. Juni 1993 auf und wies die Sache an die AHV-Rekurskommission des Kantons Zürich zurück, damit diese, nach Aktenergänzungen im Sinne der Erwägungen, über die Schadenersatzklage der Ausgleichskasse im bundesrechtlichen Umfange von Fr. 40'368. 80 neu entscheide.
B.- Nach Einvernahme von L._ und A._ als Zeugen sowie nach Beizug des Konkursprotokolls und der Akten in der Strafsache gegen den früheren Buchhalter H._ hiess das nunmehr in der Sache zuständige Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 4. November 1998 die Klage teilweise gut und verpflichtete G._, der Ausgleichskasse Schadenersatz im Umfang von Fr. 37'317. 80 zu bezahlen.
C.- G._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei die Klage unter Kosten- und Entschädigungsfolge zu Lasten der Ausgleichskasse abzuweisen.
Ausgleichskasse und Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2.- a) Die im vorliegenden Fall massgebenden rechtlichen Grundlagen (<ref-law>, <ref-law> in Verbindung mit <ref-law>) und die zur subsidiären Haftbarkeit der Organe (vgl. auch noch <ref-ruling> Erw. 5b) sowie zur hier in erster Linie interessierenden Haftungsvoraussetzung des zumindest grobfahrlässigen Verschuldens (<ref-ruling> Erw. 1b, 193 Erw. 2b; ZAK 1985 S. 576 Erw. 2, 619 Erw. 3a) ergangene Rechtsprechung sind bereits im Urteil des Eidgenössischen Versicherungsgerichts vom 23. August 1994 wiedergegeben. Darauf kann verwiesen werden.
b) Zu wiederholen ist, dass nicht jedes einer Firma als solcher anzulastendes Verschulden auch ein solches ihrer sämtlichen Organe sein muss. Vielmehr hat man abzuwägen, ob und inwieweit eine Handlung der Firma einem bestimmten Organ im Hinblick auf dessen rechtliche und faktische Stellung innerhalb der Firma zuzurechnen ist. Ob ein Organ schuldhaft gehandelt hat, hängt demnach entscheidend von der Verantwortung und den Kompetenzen ab, die ihm von der juristischen Person übertragen wurden (<ref-ruling> Erw. 3a; ZAK 1985 S. 620 Erw. 3b). Gehören dem Verwaltungsrat mehrere Personen an, so ist für jede von ihnen einzeln zu prüfen, ob sie am Schaden der Ausgleichskasse ein Verschulden trifft. Obliegt die Geschäftsführung einem Mitglied des Verwaltungsrats, so handeln weitere Mitglieder schuldhaft, wenn sie die nach den Umständen gebotene Aufsicht nicht ausüben. Setzt sich der Verwaltungsrat aus nur zwei Mitgliedern zusammen, so beurteilen sich - insbesondere wenn sie lediglich kollektiv unterschriftsberechtigt sind - die Anforderungen an die gegenseitige Kontrolle nach einem strengen Massstab (in <ref-ruling> nicht publizierte Erw. 2c des Urteils S. vom 4. März 1993 [H 94/91], nicht veröffentlichte Urteile D. vom 7. Dezember 1987 [H 171/87] und K. vom 4. August 1987 [H 25/87]).
3.- a) Im Urteil vom 23. August 1994 (H 248/93) hat das Eidgenössische Versicherungsgericht festgehalten, dass die konkursite Firma, indem sie die für die Zeit ab Januar 1986 geschuldeten paritätischen Sozialversicherungsbeiträge nicht ablieferte, gegen die Beitragszahlungs- und Abrechnungspflicht verstossen und damit Vorschriften im Sinne von <ref-law> missachtet habe. Dieses Verschulden der Arbeitgeberin sei dem Beschwerdeführer in seiner Eigenschaft als verantwortliches Organ der Gesellschaft anzurechnen, zumal es sich bei der konkursiten Firma um eine kleine Gesellschaft gehandelt habe, weshalb an die Verantwortlichkeit strenge Anforderungen zu stellen seien (vgl. auch Erw. 2b hievor). Der Umstand, dass der Beschwerdeführer infolge der Einzelzeichnungsberechtigung des andern Verwaltungsratsmitgliedes nie namens der Gesellschaft unterzeichnet habe, entlaste ihn gerade nicht. Fraglich könne unter den gegebenen Umständen lediglich sein, ob Rechtfertigungs- oder Exkulpationsgründe im Sinne der Rechtsprechung vorlägen. Da die Vorinstanz zu den vom Beschwerdeführer geltend gemachten verschuldensmildernden Umständen keine Abklärungen durchgeführt und nur am Rande dazu Stellung genommen hatte, wies das Eidgenössische Versicherungsgericht die Sache an das kantonale Gericht zurück, damit es in diesem Punkt den Sachverhalt näher abkläre, beispielsweise durch Beizug der Konkurs- und Strafakten und Einvernahme des ehemaligen Verwaltungsratspräsidenten L._ und des A._ als Zeugen, und hernach neu entscheide.
b) Nach Durchführung der angeordneten Beweismassnahmen hat sich das kantonale Gericht im nachfolgenden Entscheid vom 4. November 1998 eingehend mit den vorgebrachten Entlastungsgründen in Würdigung der neu erhobenen Beweismittel auseinandergesetzt und ist zum Schluss gekommen, der Beschwerdeführer habe sich die Verletzung der Abrechnungs- und Zahlungspflicht der konkursiten Firma als deren Verwaltungsrat anzurechnen, da er es in grobfahrlässiger Verletzung seiner Pflichten als Verwaltungsrat unterlassen habe, für einen ordnungsgemässen Geschäftsgang besorgt zu sein. Das Eidgenössische Versicherungsgericht pflichtet den einlässlichen vorinstanzlichen Erwägungen, auf welche verwiesen wird, bei.
Aus den Aussagen des Zeugen A._ ergibt sich, dass während dessen Beratungstätigkeit für die konkursite Gesellschaft und insbesondere beim Sanierungsversuch im Jahre 1986 die Abrechnungen mit der AHV nie zur Diskussion standen und auch nicht Thema der höchstens fünf Kontakte und Begegnungen zwischen dem Zeugen A._ und dem Beschwerdeführer waren. Der frühere Verwaltungsratspräsident L._ sagte als Zeuge aus, es treffe zu, dass der Beschwerdeführer sich mehrmals bei ihm über die Situation der Firma erkundigt habe, dass sie jedoch nie über die von der Gesellschaft abzuliefernden AHV-Beiträge gesprochen oder korrespondiert hätten. Auch aus den übrigen Akten geht nicht hervor, dass sich der Beschwerdeführer bei seinen Rückfragen über die Situation der Gesellschaft, insbesondere nach der Kapitalerhöhung im Juni 1996, über das Abrechnungswesen der Gesellschaft und über ausstehende Sozialversicherungsbeiträge erkundigt hat. Vielmehr lässt sich aus den Akten und den Zeugeneinvernahmen schliessen, dass die mit der Geschäftsführung betrauten Personen dem Abrechnungswesen mit der AHV nicht die nötige Beachtung geschenkt haben und der Beschwerdeführer als nicht geschäftsführendes Mitglied des Verwaltungsrats in diesem Punkt seiner Überwachungspflicht nicht nachgekommen ist. Aus diesem Grund kann sich der Beschwerdeführer auch nicht mit dem Hinweis entlasten, mit dem Treuhänder und Steuerexperten A._ sei eine fachlich qualifizierte Person beigezogen worden. Was das strafbare Verhalten des Buchhalters H._ betrifft, folgt aus dem Urteil des Obergerichts des Kantons Zürich vom 10. Mai 1989, dass der Verurteilung wegen wiederholter Veruntreuung ein Gesamtdeliktsbetrag von rund Fr. 30'000. - zugrunde liegt. Diese Deliktsumme lässt nicht den Schluss zu, die strafbaren Handlungen des Buchhalters H._ seien kausal für den finanziellen Untergang der Gesellschaft gewesen. Es kann auch nicht angenommen werden, H._ sei aufgrund der geltend gemachten absichtlich unrichtig geführten Buchhaltung alleine für den Konkurs verantwortlich. So hält das Konkursamt Bassersdorf im Schlussbericht vom 14. August 1990 fest, nach seiner Auffassung gebe es neben dem Verhalten des Buchhalters noch weitere Gründe wie z.B. die Übernahme einer verlustreichen brasilianischen Gesellschaft, der angebliche Vertragsbruch einer deutschen Firma, die schmale Kapitalbasis der Konkursitin oder die ungenügende Kostenkontrolle. Letztlich kamen denn auch bei einem Gesamtverlust sämtlicher Gläubiger von Fr. 2'869'740. - mit Ausnahme eines Retentions- und zweier Abtretungsgläubiger selbst die Gläubiger der I. Klasse gänzlich zu Verlust. Die Einschätzung des Zeugen A._, wonach H._ den Liquiditätsengpass durch seine Machenschaften wesentlich mitverursacht habe und eine Deliktsprüfung erforderlich gewesen wäre, um dem ungetreuen Buchhalter auf die Spur zu kommen, ändert deshalb nichts. Immerhin führt auch A._ den Liquiditätsmangel als Hauptproblem an, der durch den behaupteten Vertragsbruch einer deutschen Firma verschärft wurde. Durch die mangelnden Ertragszahlen konnten die Planzahlen der Banken nicht erreicht werden, sodass die Banken von einem Tag auf den andern und ohne Einhaltung der Kündigungsfrist keine Zahlungsaufträge der Gesellschaft mehr ausführten. Unmassgeblich ist sodann, ob dem Beschwerdeführer im Zusammenhang mit der Einstellung von H._ ein Vorwurf gemacht werden kann. Entscheidend ist, dass aus den Akten nicht ersichtlich ist, die konkursite Gesellschaft oder der Beschwerdeführer im Rahmen seiner Überwachungspflicht als Verwaltungsrat hätten dem AHV-Beitragswesen die erforderliche Aufmerksamkeit geschenkt und irgendwelche substanziellen Massnahmen getroffen, um die Beitragsforderungen der Ausgleichskasse sicherzustellen oder nicht weiter anwachsen zu lassen. Unter diesen Umständen entlasten den
Beschwerdeführer auch die strafbaren Handlungen oder die geltend gemachte mangelhafte Buchführung des H._ nicht. Das kantonale Gericht durfte daher ohne Verletzung von Bundesrecht das Verhalten des Beschwerdeführers als grobfahrlässig qualifizieren.
c) Mangels entsprechender Ausführungen und Rügen in der Verwaltungsgerichtsbeschwerde sowie Anhaltspunkten in den Akten ist im Übrigen nicht näher zu prüfen, wie es sich mit der Schadenshöhe verhält (<ref-ruling> vor Erw. 4b).
4.- Da es nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen geht, ist das Verfahren kostenpflichtig (Art. 134 OG e contrario). Entsprechend dem Ausgang des Prozesses gehen die Kosten zu Lasten des Beschwerdeführers (Art. 156 Abs. 1 in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Die Gerichtskosten von total Fr. 3500. - werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
III. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 26. Januar 2000
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Der Gerichtsschreiber: