A.- Der 1933 geborene M._ ist unbeschränkt haftender Gesellschafter der Kommanditgesellschaft X._, welche den Import chemischer Rohstoffe bezweckt. Er war als Selbstständigerwerbender der Ausgleichskasse Mineralia (ab 1. Januar 1996 Ausgleichskasse Promea) angeschlossen. Gemäss Meldung des kantonalen Steueramtes vom 30. September 1995 erzielte er in den Jahren 1991 und 1992 aus seiner Geschäftstätigkeit Verluste von Fr. 16 689. - und Fr. 13 117. -. Gestützt darauf setzte die Ausgleichskasse Mineralia mit Verfügung vom 20. November 1995 die persönlichen AHV/IV/EO-Beiträge für die Jahre 1994 und 1995 auf den Mindestbeitrag fest. Mit Verfügung vom 10. Januar 1996 setzte die Ausgleichskasse Promea die persönlichen AHV/IV/EO-Beiträge für die Jahre 1996 und 1997 ebenfalls auf den Mindestbeitrag fest, überwies aber die Sache an die Zweigstelle Zürich der kantonalen Ausgleichskasse. Diese zog die Bilanzen sowie Gewinn- und Verlustrechnungen der X._ für die Jahre 1987, 1988 und 1990 bis 1994 sowie die Steuererklärung des Versicherten für die direkte Bundessteuerperiode 1991/1992 bei. Gestützt darauf erfasste sie M._ rückwirkend ab 1991 als Nichterwerbstätigen und setzte mit Verfügungen vom 14. Februar 1996 die persönlichen Beiträge für die Jahre 1991 bis 1995 auf je Fr. 10 100. - zuzüglich Verwaltungskosten sowie mit Verfügung vom 14. März 1996 für die Jahre 1996 und 1997 in gleicher Weise fest.
B.- Gegen diese Verfügungen liess M._ Beschwerde erheben mit dem Antrag, er sei als Selbstständigerwerbender zu veranlagen. Das Sozialversicherungsgericht des Kantons Zürich vereinigte die Beschwerdeverfahren und wies beide Beschwerden mit Entscheid vom 10. September 1998 ab.
C.- M._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag:
"Die angefochtenen Verfügungen für die Jahre 1991 bis 1995 seien ersatzlos aufzuheben;
im Übrigen sei die Streitsache an die Ausgleichskasse zurückzuweisen, damit diese neue Verfügungen für die Zeit ab 1.1.1996 bis zum Eintritt des Beschwerdeführers ins Rentenalter erlasse und für die entsprechende Anrechnung der bereits bezahlten Beiträge bei der Ausgleichskasse Promea besorgt sei; alles unter Kosten- und Entschädigungsfolge für dieses und das vorinstanzliche Verfahren zulasten der Beschwerdegegnerin. "
Die Ausgleichskasse des Kantons Zürich beantragt Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung hat sich nicht vernehmen lassen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Da keine Versicherungsleistungen streitig sind, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob der vorinstanzliche Entscheid Bundesrecht verletzt, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2
OG).
Ferner ist Art. 114 Abs. 1 OG zu beachten, wonach das Eidgenössische Versicherungsgericht in Abgabestreitigkeiten an die Parteibegehren nicht gebunden ist, wenn es im Prozess um die Verletzung von Bundesrecht oder um die unrichtige oder unvollständige Feststellung des Sachverhalts geht.
2.- a) Streitig und zu prüfen ist, ob der rückwirkende Wechsel des Beitragsstatuts vom Selbstständigerwerbenden zum Nichterwerbstätigem für die Jahre 1991 bis 1995 bundesrechtskonform ist oder nicht. Nicht mehr streitig ist, dass der Beschwerdeführer ab 1. Januar 1996 dem Beitragsstatut als Nichterwerbstätiger untersteht.
b) Soweit der Beschwerdeführer weitergehend mit seinem Rechtsbegehren die Neubemessung der als Nichterwerbstätiger ab 1. Januar 1996 geschuldeten Beiträge durch Rückweisung der Sache an die Ausgleichskasse beantragt, fehlt es an einem Anfechtungsgegenstand und damit an einer Sachurteilsvoraussetzung. Die Bemessung der ab 1. Januar 1996 festgesetzten Beiträge wurde im vorinstanzlichen Verfahren nicht gerügt und, weil nach der Aktenlage keine Anhaltspunkte für deren Unrichtigkeit bestanden, von der Vorinstanz zu Recht auch nicht geprüft. Dementsprechend bildet der angefochtene Entscheid diesbezüglich keinen Anfechtungsgegenstand, der beschwerdeweise an das Eidgenössische Versicherungsgericht weitergezogen werden könnte. Auf die Verwaltungsgerichtsbeschwerde ist daher insoweit nicht einzutreten, als damit die Rückweisung der Sache an die Ausgleichskasse zur Neubemessung der vom Beschwerdeführer ab 1. Januar 1996 als Nichterwerbstätiger geschuldeten Beiträge verlangt wird.
3.- a) Die Versicherten sind beitragspflichtig, solange sie eine Erwerbstätigkeit ausüben (<ref-law>). Die Beiträge der erwerbstätigen Versicherten werden in Prozenten des Einkommens aus unselbstständiger und selbstständiger Erwerbstätigkeit festgesetzt (<ref-law>). Erreicht das Einkommen aus selbstständiger Erwerbstätigkeit einen vom Gesetz, ab 1982 von der Verordnung über Anpassungen an die Lohn- und Preisentwicklung bestimmten Betrag nicht, so ist ein jährlicher Mindestbeitrag zu entrichten (<ref-law>).
b) Nichterwerbstätige bezahlen Beiträge je nach ihren sozialen Verhältnissen. Erwerbstätige, die im Kalenderjahr, gegebenenfalls mit Einschluss des Arbeitgeberbeitrages, weniger als Fr. 168. - entrichten, gelten als Nichterwerbstätige (<ref-law>).
c) Nichterwerbstätige, für die nicht der jährliche Mindestbeitrag vorgesehen ist, bezahlen die Beiträge aufgrund ihres Vermögens und Renteneinkommens (<ref-law>).
d) Ob ein Versicherter dem Beitragsstatut eines Erwerbstätigen oder Nichterwerbstätigen untersteht, hängt davon ab, ob er im Zeitraum, auf den sich die Beitragserfassung bezieht, eine Erwerbstätigkeit mit gewissen Beiträgen auf dem Arbeitserwerb (<ref-law>) und von bestimmtem zeitlichem Umfang (Art. 10 Abs. 1 Satz 3
AHVG in Verbindung mit <ref-law>) ausübte oder nicht (<ref-ruling> Erw. 2b).
e) Nach <ref-law> obliegt es in der Regel den Steuerbehörden, das für die Berechnung der Beiträge Selbstständigerwerbender massgebende Erwerbseinkommen aufgrund der rechtskräftigen Veranlagung für die direkte Bundessteuer und das im Betrieb investierte Eigenkapital aufgrund der entsprechenden rechtskräftigen kantonalen Veranlagung zu ermitteln. Die Angaben der Steuerbehörden sind für die Ausgleichskassen verbindlich (<ref-law>). Die Vorinstanz hat aber zutreffend dargelegt, dass die absolute Verbindlichkeit der Angaben der Steuerbehörden auf die Bemessung des massgebenden Einkommens (und des betrieblichen Eigenkapitals) beschränkt ist. Diese Bindung beschlägt daher die Frage nicht, ob überhaupt Erwerbseinkommen vorliegt oder nicht. Diese Frage ist von den Ausgleichskassen selbstständig ohne Bindung an die Steuermeldung aufgrund des AHV-Rechts zu beurteilen (<ref-ruling> Erw. 2, 110 V 86 Erw. 4 und 370 Erw. 2a, 102 V 30 Erw. 3b mit Hinweis; SVR 1994 AHV Nr. 13 S. 31 Erw. 3c).
4.- a) Selbstständige Erwerbstätigkeit liegt im Regelfall vor, wenn der Beitragspflichtige durch Einsatz von Arbeit und Kapital in frei bestimmter Selbstorganisation und nach aussen sichtbar am wirtschaftlichen Verkehr teilnimmt mit dem Ziel, Dienstleistungen zu erbringen oder Produkte zu schaffen, deren Inanspruchnahme oder Erwerb durch finanzielle oder geldwerte Gegenleistungen abgegolten wird (<ref-ruling> Erw. 9a mit Hinweisen).
b) Nicht als selbstständige Erwerbstätigkeit kann anerkannt werden, wenn eine solche nur zum Schein besteht oder sonstwie keinen erwerblichen Charakter aufweist, wie das für die blosse Liebhaberei zutrifft, die von rein persönlichen
Neigungen beherrscht wird. Für die Abgrenzung solcher Tätigkeitsformen von selbstständiger Erwerbstätigkeit kommt der Erwerbsabsicht im Sinne der oben genannten
Zielsetzung entscheidende Bedeutung zu. Es genügt für sich allein noch nicht, dass der Beitragspflichtige subjektiv eine Erwerbsabsicht für sich in Anspruch nimmt. Die behauptete persönliche Absicht muss aufgrund konkreter wirtschaftlicher
Tatsachen, wie sie für selbstständige Erwerbstätigkeit kennzeichnend sind, auch nachgewiesen sein (<ref-ruling> Erw. 9b).
c) Auch unter dem Blickwinkel dieser Grundsätze beginnt indessen selbstständige Erwerbstätigkeit nicht erst mit dem Fliessen von Einkünften; denn es ist durchaus möglich, dass eine Betätigung, die im Übrigen alle Merkmale selbstständiger Erwerbstätigkeit erfüllt, unter Umständen erst nach längerer Zeit zu Einkünften führt. Es wäre kaum verständlich, wenn beispielsweise ein Beitragspflichtiger, der zu Beginn seiner Geschäftstätigkeit während längerer Zeit in grossem Umfang eigene oder fremde Arbeitskraft einsetzt und erhebliche finanzielle Mittel investiert, um ein Produkt zur Marktreife zu entwickeln, bis zum Fliessen der ersten Einkünfte als Nichterwerbstätiger zu gelten hätte (<ref-ruling> Erw. 9c). Werden keine Einkünfte erzielt, kann das allerdings ein deutlicher Hinweis dafür sein, dass Nichterwerbstätigkeit, bloss vorgegebene Erwerbstätigkeit oder allenfalls Erwerbstätigkeit unbedeutenden Umfangs vorliegt, was von Fall zu Fall aufgrund der tatsächlichen wirtschaftlichen Gegebenheiten zu prüfen ist. Wird eine üblicherweise erwerbliche Tätigkeit auf Dauer ohne Gewinn ausgeübt, so lässt das Ausbleiben des finanziellen Erfolges regelmässig auf das Fehlen erwerblicher Zielsetzung schliessen; denn wer wirklich Erwerbstätigkeit ausübt, wird sich in der Regel nach längeren beruflichen Misserfolgen von der Zwecklosigkeit seines Unterfangens überzeugen und die betreffende Tätigkeit aufgeben. So hat das Eidgenössische Versicherungsgericht erkannt, dass nach 10 bis 15 Jahren ohne jegliche betriebliche Einkünfte offensichtlich nicht mehr Erwerbstätigkeit angenommen werden kann. Im Weiteren hat das Eidgenössische Versicherungsgericht entschieden, dass ein selbstständigerwerbender Architekt, der während Jahren nur geringfügige Einkommen erzielte, nicht überzeugend behaupten kann, dauernd voll erwerbstätig gewesen zu sein (ZAK 1987 S. 418, 1986 S. 514).
5.- Die Vorinstanz hat zutreffend dargelegt, dass in jenen Fällen, in denen über die in Frage stehenden Sozialversicherungsbeiträge bereits eine rechtskräftige Verfügung vorliegt, für eine rückwirkende Änderung des Beitragsstatuts ein Rückkommenstitel (Wiedererwägung oder prozessuale Revision) erforderlich ist. Sie hat auch die hiefür massgebenden sozialversicherungsrechtlichen Grundsätze richtig wiedergegeben. Diesbezüglich wird auf Erw. 2 des angefochtenen Entscheides sowie auf <ref-ruling> Erw. 4 mit Hinweis verwiesen.
6.- a) Es steht fest, dass der Beschwerdeführer in den Jahresabschlüssen 1987 bis 1993 seiner Kommanditgesellschaft X._ nur noch Verluste von insgesamt rund Fr. 218 000. - ausgewiesen hat. Aus den bei den Akten liegenden Erfolgsrechnungen für die Jahre 1987 und 1988 sowie 1990 bis 1993 geht überdies hervor, dass er in diesen Jahren keinerlei Handelserträge mehr erzielte. Hingegen belief sich sein Reinvermögen per 1. Januar 1993 auf Fr. 5 224 273. -. Daraus muss geschlossen werden, dass er seit 1987 ausschliesslich von seinem Vermögen oder Vermögensertrag gelebt hat. Da der Beschwerdeführer weder behauptet noch belegt, dass sich in den Jahren 1994 und 1995 an der Inaktivität der X._ etwas geändert hat, muss davon ausgegangen werden, dass er während neun Jahren aus seiner Geschäftstätigkeit keinerlei Erträge mehr erzielt hat. Bei so langem Festhalten an einer ertragslosen Geschäftstätigkeit muss angenommen werden, dass diese offensichtlich anderen als erwerblichen Zwecken dient und keinen erwerblichen Charakter hat. Dass die Steuerbehörden die Tätigkeit des Beschwerdeführers als Geschäftsführer der X._ dennoch bis 1996 als selbstständige Erwerbstätigkeit qualifiziert haben, ist - wie in Erw. 3e hievor dargelegt - für die AHV-rechtliche Beurteilung nicht massgebend. Vorinstanz und Verwaltung haben demgemäss zu Recht die zweifellose Unrichtigkeit der rechtskräftigen Beitragsverfügungen vom 20. November 1995 und 10. Januar 1996, mit welchen der Status des Beschwerdeführers als Selbstständigerwerbender noch anerkannt worden war, und damit die Voraussetzungen für deren Wiedererwägung bejaht. Denn auch die erhebliche Bedeutung der Berichtigung der beiden Beitragsverfügungen vom 20. November 1995 und 10. Januar 1996 ist gegeben und zu Recht nicht streitig.
b) Der Beschwerdeführer bestreitet die Rechtmässigkeit einer rückwirkenden Wiedererwägung von rechtskräftigen Beitragsverfügungen. Er übersieht, dass die Wiedererwägung der Verwirklichung des objektiven Rechts dient, weshalb die zweifellose Unrichtigkeit sich nach Massgabe des im Zeitpunkt der Wiedererwägung bekannten und allenfalls nachträglich ergänzten Sachverhalts beurteilt. Die Korrektur einer unrichtigen Rechtsanwendung auf dem Wege der Wiedererwägung kann daher auch gestützt auf erst nachträglich bekannt gewordene Tatsachen erfolgen. Ergibt sich daraus die zweifellose Unrichtigkeit der ursprünglichen Rechtsanwendung und ist ihre Berichtigung von erheblicher Bedeutung, geht das Interesse an der Verwirklichung des objektiven Rechts dem Rechtssicherheitsinteresse des Betroffenen vor.
7.- Zu prüfen bleibt, ob mit den Beitragsverfügungen vom 20. November 1995 und 10. Januar 1996 nach dem Grundsatz von Treu und Glauben eine Vertrauensposition geschaffen worden ist, die einer Änderung des Beitragsstatuts entgegensteht.
a) Der Grundsatz von Treu und Glauben schützt den Bürger und die Bürgerin in ihrem berechtigten Vertrauen auf behördliches Verhalten und bedeutet u.a., dass falsche Auskünfte von Verwaltungsbehörden unter bestimmten Voraussetzungen eine vom materiellen Recht abweichende Behandlung der Rechtsuchenden gebieten. Gemäss Rechtsprechung und Doktrin ist eine falsche Auskunft bindend, 1. wenn die Behörde in einer konkreten Situation mit Bezug auf bestimmte Personen gehandelt hat; 2. wenn sie für die Erteilung der betreffenden Auskunft zuständig war oder wenn die rechtsuchende Person die Behörde aus zureichenden Gründen als zuständig betrachten durfte; 3. wenn die Person die Unrichtigkeit der Auskunft nicht ohne weiteres erkennen konnte; 4. wenn sie im Vertrauen auf die Richtigkeit der Auskunft Dispositionen getroffen hat, die nicht ohne Nachteil rückgängig gemacht werden können; 5. wenn die gesetzliche Ordnung seit der Auskunfterteilung keine Änderung erfahren hat (<ref-ruling> Erw. 2a mit Hinweisen).
Das Eidgenössische Versicherungsgericht hat wiederholt festgehalten, dass diese Grundsätze um so mehr gelten, wenn die Behörde nicht nur eine Auskunft erteilt, sondern eine unrichtige Verfügung erlassen hat (<ref-ruling> Erw. 2, 111 V 71 Erw. 4c, 110 V 156 Erw. 4b, 107 V 160 Erw. 2). Sodann gilt das Vertrauensprinzip nicht nur dann, wenn der Bürger Dispositionen getroffen hat, die nicht ohne Nachteil rückgängig gemacht werden können, sondern auch, wenn er im Vertrauen auf die Richtigkeit einer behördlichen Auskunft oder Anordnung es unterlassen hat, Dispositionen zu treffen, die nicht mit dem früher möglichen Erfolg nachgeholt werden können (<ref-ruling> Erw. 4c, 110 V 156 Erw. 4b, 106 V 72 Erw. 3b; RKUV 1988 Nr. K 768 S. 207).
b) Vorliegend sind die Voraussetzungen gemäss den Ziff. 1, 2 und 5 erfüllt. So hat die Ausgleichskasse beim Erlass der Verfügungen vom 20. November 1995 und 10. Januar 1996 in einer konkreten Situation (hinsichtlich der Beitragspflicht für die Jahre 1994 bis 1997) und mit Bezug auf eine bestimmte Person (den Beschwerdeführer) gehandelt (Ziff. 1). Sie war für den Erlass der Verfügung zuständig (Ziff. 2). Die beitragsrechtlich massgebende Rechtsordnung hat sich bis zum Erlass der Wiedererwägungsverfügungen vom 14. Februar 1996 nicht verändert (Ziff. 5). Hingegen fehlt es an der vierten Voraussetzung. Der Beschwerdeführer hat keinerlei Umstände namhaft gemacht, wonach er im Vertrauen auf die Rechtsbeständigkeit der Verfügungen vom 20. November 1995 und 10. Januar 1996 irgendwelche irreversible Dispositionen getroffen oder solche unterlassen hat. Vielmehr vertritt er die Auffassung, der Vertrauensschutz in die Rechtsbeständigkeit einer Verfügung sei nicht davon abhängig, dass der Beitragspflichtige irreversible Dispositionen getroffen habe. Dem kann nicht beigepflichtet werden.
8.- Da das vorliegende Verfahren nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand hat, fällt es nicht unter die Kostenfreiheit gemäss Art. 134 OG.

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
II. Die Gerichtskosten von Fr. 4000. - werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
III. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 4. Mai 2000
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Der Gerichtsschreiber: