A.- Der 1931 geborene H._ gab seine Erwerbstätigkeit per 30. November 1993 auf und liess sich auf den 1. Dezember 1993 vorzeitig in seiner Tätigkeit als Schul- und Departementssekretär des Schulamtes X._ pensionieren. Er meldete sich bei der AHV-Zweigstelle als Selbstständigerwerbender per 1. Oktober 1994. Per 30. November 1996 wurde er mit Eintritt in das ordentliche Rentenalter wieder aus der Kassenmitgliedschaft entlassen. Mit Nachtragsverfügungen vom 8. November 1999 stufte die Ausgleichskasse des Kantons Zürich H._ für die Jahre 1995 und 1996 als Nichterwerbstätigen ein mit entsprechenden Nachtragszahlungen (abzüglich des bereits bezahlten Minimalbetrages) von Fr. 5506. 70 für das Jahr 1995 und Fr. 4733. 30 für das Jahr 1996. B.- Gegen beide Verfügungen erhob H._ Beschwerde beim Sozialversicherungsgericht des Kantons Zürich mit dem Antrag, sie seien aufzuheben und er sei als Selbstständigerwerbender zu veranlagen; die Beitragsnachforderung von total Fr. 10'240.- sei abzuweisen. Die Vorinstanz sistierte das Verfahren auf Antrag der Ausgleichskasse, um Informationen über die rechtskräftige Steuereinschätzung abzuwarten. Das Steueramt Y._, Abteilung Direkte Bundessteuer, AHV-Taxationen, meldete mit Schreiben vom 16. Februar 2000 neben dem gesamten Reinvermögen von Fr. 155'700.- ein Renteneinkommen für das Jahr 1995 von Fr. 126'568.- und für das Jahr 1996 von Fr. 120'604.-. Die Beträge wurden als Pensionskassenleistungen bezeichnet. Mit Entscheid vom 28. Februar 2001 wies die Vorinstanz die Beschwerde gegen beide Verfügungen ab. C.- Mit Verwaltungsgerichtsbeschwerde beantragt H._ die Aufhebung des kantonalen Entscheides und die Rückweisung der Sache zur Neubeurteilung an die Vorinstanz. Die Ausgleichskasse und das Bundesamt für Sozialversicherung verzichten auf eine Stellungnahme.