A.- B._ war vom 23. September 1993 bis zu seinem Rücktrittsschreiben vom 28. April 1994 mit H._ Verwaltungsrat der Firma J._ AG. Der am 8. Juli 1994 über die Firma eröffnete Konkurs wurde am 6. Oktober 1994 mangels Aktiven wieder eingestellt. Mit Verfügungen vom 29. September 1995 verpflichtete die Ausgleichskasse des Kantons Zürich, welcher die Firma als beitragspflichtige Arbeitgeberin angeschlossen gewesen war, B._ und die Verwaltungsratspräsidentin, H._, in ihrer Eigenschaft als Organe der Firma Schadenersatz u.a. für entgangene Sozialversicherungsbeiträge und FAK-Beiträge in Höhe von Fr. 11'547. 90 in solidarischer Haftbarkeit zu bezahlen. B.- Auf Einspruch hin reichte die Ausgleichskasse Klage an das Sozialversicherungsgericht des Kantons Zürich ein mit dem Rechtsbegehren auf Verpflichtung von H._ und B._ zur Zahlung von Schadenersatz im verfügten Umfang. Mit Entscheid vom 4. Mai 1999 hiess das Sozialversicherungsgericht des Kantons Zürich die Klage gut. C.- B._ führt Verwaltungsgerichtsbeschwerde, in der er "um die bedingungslose Aufhebung der Klage gegen meine Person" ersucht. Die Ausgleichskasse des Kantons Zürich verzichtet auf eine Stellungnahme. Das Bundesamt für Sozialversicherung und H._ (als Mitinteressierte) haben sich nicht vernehmen lassen. D.- Mit Urteil vom 8. Oktober 1999 ist das Eidgenössische Versicherungsgericht auf die von H._ erhobene Verwaltungsgerichtsbeschwerde nicht eingetreten.