A.- Der 1933 geborene M._ ist unbeschränkt haftender Gesellschafter der Kommanditgesellschaft X._, welche den Import chemischer Rohstoffe bezweckt. Er war als Selbstständigerwerbender der Ausgleichskasse Mineralia (ab 1. Januar 1996 Ausgleichskasse Promea) angeschlossen. Gemäss Meldung des kantonalen Steueramtes vom 30. September 1995 erzielte er in den Jahren 1991 und 1992 aus seiner Geschäftstätigkeit Verluste von Fr. 16 689. - und Fr. 13 117. -. Gestützt darauf setzte die Ausgleichskasse Mineralia mit Verfügung vom 20. November 1995 die persönlichen AHV/IV/EO-Beiträge für die Jahre 1994 und 1995 auf den Mindestbeitrag fest. Mit Verfügung vom 10. Januar 1996 setzte die Ausgleichskasse Promea die persönlichen AHV/IV/EO-Beiträge für die Jahre 1996 und 1997 ebenfalls auf den Mindestbeitrag fest, überwies aber die Sache an die Zweigstelle Zürich der kantonalen Ausgleichskasse. Diese zog die Bilanzen sowie Gewinn- und Verlustrechnungen der X._ für die Jahre 1987, 1988 und 1990 bis 1994 sowie die Steuererklärung des Versicherten für die direkte Bundessteuerperiode 1991/1992 bei. Gestützt darauf erfasste sie M._ rückwirkend ab 1991 als Nichterwerbstätigen und setzte mit Verfügungen vom 14. Februar 1996 die persönlichen Beiträge für die Jahre 1991 bis 1995 auf je Fr. 10 100. - zuzüglich Verwaltungskosten sowie mit Verfügung vom 14. März 1996 für die Jahre 1996 und 1997 in gleicher Weise fest. B.- Gegen diese Verfügungen liess M._ Beschwerde erheben mit dem Antrag, er sei als Selbstständigerwerbender zu veranlagen. Das Sozialversicherungsgericht des Kantons Zürich vereinigte die Beschwerdeverfahren und wies beide Beschwerden mit Entscheid vom 10. September 1998 ab. C.- M._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag: "Die angefochtenen Verfügungen für die Jahre 1991 bis 1995 seien ersatzlos aufzuheben; im Übrigen sei die Streitsache an die Ausgleichskasse zurückzuweisen, damit diese neue Verfügungen für die Zeit ab 1.1.1996 bis zum Eintritt des Beschwerdeführers ins Rentenalter erlasse und für die entsprechende Anrechnung der bereits bezahlten Beiträge bei der Ausgleichskasse Promea besorgt sei; alles unter Kosten- und Entschädigungsfolge für dieses und das vorinstanzliche Verfahren zulasten der Beschwerdegegnerin. " Die Ausgleichskasse des Kantons Zürich beantragt Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung hat sich nicht vernehmen lassen.