Sachverhalt:
A.
A.a. A.A._, geboren 1948, trat per 1. November 2007 vorzeitig in den Ruhestand. Im Rahmen der flexiblen Alterspensionierung erhielt er von seiner Arbeitgeberin eine freiwillige Leistung an die mit dem vorzeitigen Rücktritt verbundenen Kosten der Pensionskasse von Fr. 85'000.-.
A.b. Mit Einspracheentscheiden vom 28. Oktober 2013 und vom 29. Oktober 2014 bestätigte die Ausgleichskasse des Kantons Zürich ihre Verfügungen vom 7. Mai 2012, 25. Juli 2014 und 29. August 2014, womit sie A.A._ und seine Ehefrau B.A._, geboren 1954, als Nichterwerbstätige erfasste und die 2008 bis 2011 geschuldeten Beiträge festsetzte.
B.
Die Beschwerden von A.A._ und B.A._ wies das Sozialversicherungsgericht des Kantons Zürich nach Vereinigung der beiden Verfahren mit Entscheid vom 29. Juni 2015 ab.
C.
A.A._ und B.A._ führen Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragen sinngemäss die Aufhebung des vorinstanzlichen Entscheids.
Die Ausgleichskasse des Kantons Zürich und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1.
Die Beschwerdeführenden machen einen unnötig verursachten administrativen Aufwand im Zusammenhang mit der Anfechtung von Akonto-Beitragsverfügungen für 2010 bis 2013 geltend. Darauf ist mangels eines Anfechtungsgegenstandes nicht einzutreten (<ref-ruling> E. 2.1 S. 164, 125 V 413 E. 1a S. 414). Im Übrigen ist auf <ref-law> und die diesbezügliche Rechtsprechung (<ref-ruling> E. 3.3 S. 119) hinzuweisen, wonach das Einspracheverfahren kostenlos ist und in der Regel keine Parteientschädigung ausgerichtet wird.
2.
Streitgegenstand bildet die Beitragspflicht der Beschwerdeführenden als Nichterwerbstätige nach <ref-law> für 2008 bis 2011.
Die Vorinstanz bestätigte deren Status als Nichterwerbstätige für 2008 bis 2011. Soweit sie diese Qualifikation bestreiten, erschöpfen sich ihre Vorbringen in appellatorischer Kritik am angefochtenen Entscheid. Eine Beitragsbefreiung von Nichterwerbstätigen kennt das Gesetz nicht, woran die rechtsanwendenden Behörden gebunden sind (<ref-law>).
3.
In tatsächlicher Hinsicht steht fest (Art. 105 Abs. 1 und 2 BGG), dass der Beschwerdeführer per 1. November 2007 vorzeitig in den Ruhestand getreten war und danach keine Erwerbstätigkeit mehr ausübte. Die Arbeitgeberin leistete 2007 einen freiwilligen Beitrag von Fr. 85'000.- an die mit dem vorzeitigen Rücktritt verbundenen Kosten der Pensionskasse. Darauf wurden auch Sozialversicherungsbeiträge erhoben. In der definitiven Berechnung der Jahresrente vom 7. November 2007 schlug sich diese Leistung in einem "Rentenzuschlag durch Einkauf" von jährlich Fr. 5'679.- nieder. Diesen Feststellungen des kantonalen Gerichts ist nichts beizufügen. Sie sind aktenkundig und für das Bundesgericht verbindlich (<ref-law>).
Bei der von der Vorinstanz bestätigten Ermittlung der Nichterwerbstätigenbeiträge nach <ref-law> berücksichtigte die Beschwerdegegnerin die gesamte Jahresrente der beruflichen Vorsorge einschliesslich des Rentenzuschlages.
4.
Die Beschwerdeführenden bringen zur Hauptsache vor, auf der infolge der freiwilligen Leistung der Arbeitgeberin nach Art. 7 lit. q AHVV höher ausfallenden Pensionskassenrente dürften nicht nochmals im Rahmen von <ref-law> Beiträge als Nichterwerbstätige erhoben werden.
4.1. Das kantonale Versicherungsgericht hat dazu Folgendes erwogen: Die (höher ausgefallene) Pensionskassenrente sei als Renteneinkommen im Sinne von <ref-law> zu betrachten. Dabei handle es sich nicht um eine Arbeitgeberleistung, sondern vielmehr um eine der zweiten Säule. Sodann könne den Beschwerdeführenden nicht beigepflichtet werden, dass beitragsrechtlich eine doppelte Berücksichtigung des nämlichen Substrats stattfinde, wenn die Beiträge einerseits auf der Arbeitgeberleistung (Einzahlung in die berufliche Vorsorge) als massgebender Lohn und andererseits auf der (dadurch höher ausfallenden) Pensionskassenrente im Rahmen der Beitragspflicht als Nichterwerbstätige erhoben werden. Die beitragsrechtliche Belastung des Erwerbseinkommens einerseits und - zu einem späteren Zeitpunkt - diejenige der (nicht vom Arbeitgeber ausgerichteten) Rente der zweiten Säule andererseits würden an zwei voneinander unterscheidbare sachverhaltsmässige Vorgänge anknüpfen. Hierzu verwies es auf das Urteil des Eidg. Versicherungsgerichts H 242/04 vom 8. September 2005.
4.2. Gemäss der Spezialbestimmung von Art. 7 lit. q AHVV stellen Leistungen des Arbeitgebers bei Beendigung des Arbeitsverhältnisses massgebenden Lohn und damit Einkommen aus unselbständiger Erwerbstätigkeit dar, sofern sie nicht unter <ref-law> (in der bis 31. Dezember 2007 gültig gewesenen Fassung) fallen. Wird die Leistung in Rentenform ausgerichtet, findet eine Umrechnung in einen Kapitalbetrag statt, der in die Berechnung des massgebenden Lohns (des betreffenden Jahres) einbezogen wird. Diesfalls erfolgt die Erhebung der Beiträge somit ausnahmsweise bereits zu einem Zeitpunkt vor Realisierung des relevanten Einkommens. Damit ist die Leistung des Arbeitgebers in ihrer Eigenschaft als Einkommen abschliessend erfasst und die einzelnen Rentenbetreffnisse unterliegen nicht mehr der Beitragspflicht. Sie verlieren jedoch ihren durch Art. 7 lit. q AHVV festgelegten Charakter als massgebender Lohn nicht und stellen deshalb insbesondere kein Renteneinkommen im Sinne von <ref-law> dar. Zu einem späteren Zeitpunkt kommt eine Erfassung dieser Einkünfte nur noch insoweit in Betracht, als dadurch Vermögen gebildet wird (Urteil H 242/04 vom 8. September 2005 E. 2.1).
4.3. Die Verordnungsbestimmung (Art. 7 lit. q AHVV) unterscheidet hinsichtlich der Folgen nicht zwischen der (Kapital- oder Renten-) Form der Leistung des Arbeitgebers, ebenso nicht bezüglich des Rechtsgrundes der Leistung. Folglich müsste grundsätzlich das Gleiche wie im vorgenannten Urteil auch gelten, wenn, wie vorliegend, der Arbeitgeber die Leistung in Kapitalform erbringt und diese in die berufliche Vorsorge einzahlt, woraus eine masslich genau bestimmbare höhere Pensionskassenrente resultiert. Denn im Ergebnis dient auch die eingekaufte höhere Rente der beruflichen Vorsorge demselben Zweck wie die Arbeitgeberleistung in Rentenform, nämlich als (zusätzliches) Ersatzeinkommen für die Zeit von der frühzeitigen Pensionierung bis zum Erreichen des ordentlichen AHV-Alters.
4.4. Entgegen der Auffassung der Vorinstanz lässt sich aus dem Urteil H 242/04 vom 8. September 2005 E. 2.2 nichts ableiten, was eine unterschiedliche Betrachtungsweise rechtfertigen könnte. Das Eidg. Versicherungsgericht hielt zwar fest, die beitragsrechtliche Belastung des Erwerbseinkommens einerseits und - zu einem späteren Zeitpunkt - eines allenfalls dadurch gebildeten Vermögens oder einer durch darauf entrichtete Beiträge begründeten Rente der zweiten Säule andererseits knüpfe an zwei voneinander unterscheidbare sachverhaltsmässige Vorgänge an (Urteil H 242/04 vom 8. September 2005 E. 2.2). Es hielt aber abschliessend - für den vorliegenden Fall entscheidend - Folgendes fest: "Demgegenüber steht hier zur Diskussion, ob ein und dieselben Einkünfte (in Rentenform ausgerichtete Leistung des Arbeitgebers bei Beendigung des Arbeitsverhältnisses) zweimal, nämlich zunächst gestützt auf Art. 7 lit. q AHVV als massgebender Lohn und später nochmals gestützt auf <ref-law> als Renteneinkommen einer nichterwerbstätigen Person, beitragspflichtig sind."
In besagtem Urteil wurde weiter festgehalten, es sei keine stossende Ungleichbehandlung von Empfängern von Leistungen des Arbeitgebers in Kapitalform einerseits und in Rentenform andererseits ersichtlich. In beiden Fällen liege massgebender Lohn vor; es ergebe sich einzig daraus ein tatsächlicher Unterschied, dass die Kapitalzahlung sofort und die Rente - gegebenenfalls - erst allmählich zur Bildung von Vermögen führe.
4.5. Vorliegend hat der Beschwerdeführer wohl kein Vermögen gebildet, wurden doch die Fr. 85'000.- in die Pensionskasse einbezahlt. Dies ändert jedoch am Charakter eines Arbeitgeberbeitrags nichts. Daher stellt gemäss der Rechtsprechung (Urteil H 242/04 vom 8. September 2005) der Arbeitgeberbeitrag resp. der darauf zurückzuführende Rentenzuschlag kein Renteneinkommen im Sinne von <ref-law> dar. Damit besteht auch kein Raum für eine (sinngemässe) Anwendung von <ref-law>.
4.6. Der vorinstanzliche Entscheid und die Einspracheentscheide vom 28. Oktober 2013 und 29. Oktober 2014 sind aufzuheben und die Sache ist an die Beschwerdegegnerin zurückzuweisen, damit sie im Sinne der Erwägungen über die Beiträge der Beschwerdeführenden als Nichterwerbstätige für 2008 bis 2011 neu verfüge.
5.
Bei diesem Verfahrensausgang rechtfertigt es sich, die Gerichtskosten hälftig zu teilen (<ref-law>). Die Beschwerdeführenden unterliegen in ihrem Standpunkt betreffend Beitragsbefreiung für Nichterwerbstätige; die Beschwerdegegnerin betreffend die Qualifikation des Arbeitgeberbeitrags.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 29. Juni 2015 und der Einspracheentscheid der Ausgleichskasse des Kantons Zürich vom 28. Oktober 2015 werden aufgehoben. Die Sache wird zu neuer Verfügung an die Ausgleichskasse des Kantons Zürich zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 1'300.- werden zu Fr. 650.- den Beschwerdeführer und zu Fr. 650.- der Beschwerdegegnerin auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. Februar 2016
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Glanzmann
Der Gerichtsschreiber: Trütsch