A.- B._ war vom 23. September 1993 bis zu seinem Rücktrittsschreiben vom 28. April 1994 mit H._ Verwaltungsrat der Firma J._ AG. Der am 8. Juli 1994 über die Firma eröffnete Konkurs wurde am 6. Oktober 1994 mangels Aktiven wieder eingestellt.
Mit Verfügungen vom 29. September 1995 verpflichtete die Ausgleichskasse des Kantons Zürich, welcher die Firma als beitragspflichtige Arbeitgeberin angeschlossen gewesen war, B._ und die Verwaltungsratspräsidentin, H._, in ihrer Eigenschaft als Organe der Firma Schadenersatz u.a. für entgangene Sozialversicherungsbeiträge und FAK-Beiträge in Höhe von Fr. 11'547. 90 in solidarischer Haftbarkeit zu bezahlen.
B.- Auf Einspruch hin reichte die Ausgleichskasse Klage an das Sozialversicherungsgericht des Kantons Zürich ein mit dem Rechtsbegehren auf Verpflichtung von H._ und B._ zur Zahlung von Schadenersatz im verfügten Umfang. Mit Entscheid vom 4. Mai 1999 hiess das Sozialversicherungsgericht des Kantons Zürich die Klage gut.
C.- B._ führt Verwaltungsgerichtsbeschwerde, in der er "um die bedingungslose Aufhebung der Klage gegen meine Person" ersucht.
Die Ausgleichskasse des Kantons Zürich verzichtet auf eine Stellungnahme.
Das Bundesamt für Sozialversicherung und H._ (als Mitinteressierte) haben sich nicht vernehmen lassen.
D.- Mit Urteil vom 8. Oktober 1999 ist das Eidgenössische Versicherungsgericht auf die von H._ erhobene Verwaltungsgerichtsbeschwerde nicht eingetreten.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Auf die Verwaltungsgerichtsbeschwerde kann nur so weit eingetreten werden, als die Schadenersatzforderung kraft Bundesrechts streitig ist. Im vorliegenden Verfahren ist deshalb auf die Verwaltungsgerichtsbeschwerde in dem Umfang nicht einzutreten, als sie sich gegen die Schadenersatzforderung für entgangene Beiträge an die kantonale Familienausgleichskasse richtet (vgl. <ref-ruling> Erw. 1b, 118 V 69 Erw. 1b mit Hinweis).
2.- In materiellrechtlicher Hinsicht hat das kantonale Gericht die zu den Haftungsvoraussetzungen gemäss <ref-law> nach der Rechtsprechung geltenden Grundsätze in allen Teilen zutreffend dargelegt. Darauf wird verwiesen.
3.- a) Der Beschwerdeführer bringt, soweit wesentlich, vor, er habe im Zusammenhang mit den Pflichten eines Verwaltungsrates weder absichtlich noch grobfahrlässig gehandelt. Er verweist auf die Rechtsprechung, welche für die Haftung aus Nichtbezahlung von AHV-Beiträgen einen Normverstoss von einer gewissen Schwere verlangt (<ref-ruling> Erw. 4b). Er habe mit all seinen "zur Verfügung stehenden Möglichkeiten (Einholen von Auskünften bei Lieferanten, Kunden etc. , Verhandlungen mit Banken, diversen Schreiben und Aufforderungen etc. ) und auch unter Einsatz persönlicher finanzieller Mittel [...] versucht, das kleine Unternehmen J._ AG auf Kurs zu bringen". Er habe, "um eine eigentliche Sanierung der Gesellschaft herbeizuführen, [...] ein Konzept mit tiefgreifenden Massnahmen finanzieller Natur (AK-Erhöhung, Umschuldung in Investitionskredit, intensivere Debitorenkontrolle, Debitorenzession, Verkauf von Anlagevermögen und Investition auf Basis variabler Kosten bzw. und Bezahlung ausstehender Kreditoren etc. )" erstellt. Die aktive Hilfe und Unterstützung eines Verwaltungsratsmitglieds zur Rettung einer Firma und damit von Arbeitsplätzen dürfe nicht noch bestraft werden und verstosse gegen sein Rechtsempfinden. Es sei ihm gelungen, "in mühsamer und aufwendiger Kleinarbeit einige wenige Puzzlestücke zusammenzubauen", da er in Erfüllung seiner Pflicht "als VR der J._ AG in kurzer Zeit feststellen musste, dass kaum ein Kunde, keine Zeile und keine Buchung und keine Belege, die vom Geschäftsführer A._ beigebracht wurden, weder der Realität noch der Wahrheit entsprachen (obwohl diese selbst von der Revisionsstelle verabschiedet wurden)". Nachdem auch "eine direkte Gegenüberstellung mit Herrn A._ betr. der unwahren Angaben, Lügen und Fälschungen (für die es im übrigen Zeugen gibt) keine Wende zur Besserung der Situation ergab", habe er "nach kurzer Zeit den Austritt aus dem VR bekannt gegeben". Aus den eingereichten Unterlagen sei ersichtlich, dass er "alles Menschenmögliche unternommen" habe, um "der Firma J._ AG zu helfen".
b) Diesen Vorbringen sind folgende, teils von der Vorinstanz schon verbindlich festgestellte (Art. 105 Abs. 2 OG), teils sich aus den Akten ergebende Umstände entgegenzuhalten. Tatsache ist, dass die Firma J._ AG, die erst 1992 gegründet worden war, schon im Frühjahr 1993 in erheblichen finanziellen Schwierigkeiten steckte, wie der Abschluss des 1. Quartals 1993 und die damit im Zusammenhang stehende Korrespondenz belegen. Wegen der angespannten Liquidität und der offenbar nicht befriedigenden Kundenstruktur war eine Erhöhung des Betriebskapitals notwendig. Dabei war im Schreiben der Firma an die Hausbank vom 6. August 1993 von der Aufstockung des Aktienkapitals durch eine Bareinlage des als "VR" ebenfalls unterzeichneten Beschwerdeführers in der Höhe von Fr. 50'000. - die Rede. Wie seine Vorbringen und einzelne Aktenstücke zeigen - z.B. die mit der Hausbank gewechselte Korrespondenz (Meldung der Debitoren und der offenen Rechnungen) -, hat sich der Beschwerdeführer tatsächlich mit der Unternehmensführung befasst, dies mit dem Ziel, für eine Besserung oder Sanierung zu sorgen. In dieser Lage war es seine Pflicht als Verwaltungsrat, der faktisch geschäftsführende Funktionen, jedenfalls in Bezug auf die unternehmenswichtigen strategischen Ziele, innehatte, zumindest ein Augenmerk auf der mit der Beschäftigung von arbeitnehmenden Personen einhergehenden, ex lege geschuldeten Ablieferung der AHV- Beiträge zu richten. Es gibt indessen kein Aktenstück, das in die Richtung deutete, geschweige denn bewiese, dass sich der Beschwerdeführer in der Zeit nach seinem Eintritt in den Verwaltungsrat Ende September 1993 - faktisch schon viel früher - je um die Bezahlung der AHV-Beiträge gekümmert hätte, und sei es auch nur durch eine Rückfrage beim geschäftsführenden A._ im Rahmen der nicht delegierbaren Oberaufsicht nach <ref-law>. Der erste Schritt überhaupt, der in diese Richtung weist, ist das aktenkundig im Februar 1994 dem Geschäftsführer und Ehemann der Präsidentin des Verwaltungsrats gewährte Darlehen von Fr. 4900. -, welcher Betrag u.a. zur Begleichung der Beitragspauschale für das 2. Quartal 1993 samt Zins und Betreibungskosten von Fr. 2387. 50 verwendet wurde (vgl. Kontenauszug der Ausgleichskasse vom 26. September 1995).
Es stellt, entgegen dem was der Beschwerdeführer mit dem Begriff grober Fahrlässigkeit zu verbinden scheint, keinen moralischen Vorwurf, hingegen eine qualifizierte Pflichtwidrigkeit dar, wenn ein sich in die Geschäftsführung einlassender Verwaltungsrat eines Kleinbetriebes in der Zeit, da die Quartalsbeiträge fällig werden, sich nicht um deren Bezahlung kümmert. Ein solches Bemühen ist vorliegend, wie dargetan, bis zum 10. Januar 1994, als die Zahlung schon für das 4. Quartal 1993 fällig wurde (<ref-law>), nicht erstellt. Hierin liegt der qualifiziert schuldhafte Verstoss gegen die AHV-Vorschriften begründet, weshalb der Tatbestand des <ref-law> erfüllt ist. Dass der Beschwerdeführer, wie er vorbringt, seitens der Verwaltungsratspräsidentin und/oder deren Ehemann, in gegen Treu und Glauben verstossender Weise über die wahre finanzielle Situation der Firma lange in Unkenntnis gelassen wurde, mag zutreffen und macht verständlich, dass er es als ungerecht empfindet, unter diesen Umständen für die ausgefallenen AHV-Beiträge einstehen zu müssen. Auch hier ist aber dem Beschwerdeführer entgegenzuhalten, dass gerade die Beteiligung an Kleinfirmen familiären Charakters und das Eingehen von Geschäftsbeziehungen in, wie sich aus den Akten ergibt, durch freundschaftliche Beziehungen geprägten Verhältnissen zu besonderer Aufmerksamkeit ruft. An dieser kritischen Grundhaltung hat es der Beschwerdeführer bis zu seinem Ausscheiden aus dem Verwaltungsrat eindeutig fehlen lassen, hätte ihm doch zumindest auffallen müssen, dass gemäss Akten die Ausgleichskasse mit den ausstehenden Forderungen auf keiner der bis Februar 1994 erstellten Listen figurierte. Der Umstand, dass die Revisionsstelle die Rechnung 1993, welche noch mit einem geringfügigen Ertragsüberschuss von rund Fr. 200. - abschloss, genehmigte, vermag den Beschwerdeführer nicht zu entlasten. Denn diese Rechnung wurde erst im Februar 1994 erstellt, wogegen es seine Aufgabe gewesen wäre, als mit der Wahrnehmung der Unternehmensinteressen unmittelbar Betrauter schon im Verlaufe des Herbstes 1993 allen Gläubigern der Firma die erforderliche Aufmerksamkeit zu schenken, auch der Ausgleichskasse, was unterblieben ist.
4.-Bei diesem Verfahrensausgang hat der Beschwerdeführer die Kosten zu tragen (Art. 134 OG econtrario, Art. 135 in Verbindung mit Art. 156 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
II.Die Gerichtskosten in Höhe von Fr. 1200. - werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
III. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, dem Bundesamt für Sozialversicherung und H._ zugestellt.
Luzern, 5. März 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Der Gerichtsschreiber: