Sachverhalt:
A.
A._ ist Eigentümer der Liegenschaft B._. Bis 1973 führte er das Restaurant B._ als Selbstständigerwerbender. Auf den 1. April 1973 gab er diese Tätigkeit auf und vermietete die Liegenschaft. Mit Revers vom 15. Dezember 1976 erklärte er, das Gebäude Restaurant B._ und die Betriebseinrichtungen blieben auch nach dieser Vermietung Bestandteil des Geschäftsvermögens. Die in diesen Wirtschaftsgütern allenfalls enthaltenen stillen Reserven würden daher erst dann als Einkommen oder Liquidationsgewinn steuerbar, wenn die Güter ihre Eigenschaft als Bestandteile seines Geschäftsvermögens verlören.
Gestützt auf Meldungen des kantonalen Steueramtes Aargau setzte die Ausgleichskasse mit Verfügungen vom 4. Juli 2016 die von A._ für die Jahre 2009 bis 2012 geschuldeten Beiträge aus selbstständiger Erwerbstätigkeit auf Fr. 9'148.80 (2009), Fr. 12'768.- (2010), Fr. 10'951.20 (2011) und Fr. 12'872.40 (2012), je zuzüglich Verwaltungskosten, fest. Den Beitragsverfügungen zugrunde lagen die mit der Vermietung der Liegenschaft B._ erzielten Erträge.
Auf Einsprache von A._ hin hielt die Ausgleichskasse an ihren Beitragsverfügungen fest (Entscheid vom 12. September 2016).
B.
Die hiegegen eingereichte Beschwerde, mit welcher A._ die Aufhebung des Einspracheentscheids und der Beitragsverfügungen für die Jahre 2009 bis 2012 hatte beantragen lassen, wies das Versicherungsgericht des Kantons Aargau ab (Entscheid vom 12. Dezember 2016).
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ in formeller Hinsicht das Rechtsbegehren um Rückweisung der Sache an die Ausgleichskasse stellen, damit diese auf die im Einspracheverfahren erhobenen Einwände eingehe und in der Folge neu verfüge; in materieller Hinsicht lässt er den vorinstanzlich gestellten Antrag erneuern.
Während die Ausgleichskasse auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1.
Mit dem formellen Antrag macht der Beschwerdeführer eine Verletzung der Begründungspflicht und des Anspruchs auf rechtliches Gehör durch das kantonale Gericht geltend. Dabei wiederholt er die im kantonalen Verfahren gegenüber dem Einspracheentscheid der Ausgleichskasse erhobenen Einwendungen, welche die Vorinstanz bereits entkräftet hat. Ferner stellt er die Rechtmässigkeit des Sonderbeitrags auf dem Überführungsgewinn in Frage, der nicht Streitgegenstand bildet. Schliesslich wendet er sich gegen die fehlende Begründung dafür, dass seit 1973 bis 2008 keine Steuermeldungen erstellt und damit auch keine Beiträge auf Einkommen aus selbstständiger Erwerbstätigkeit erhoben wurden. Er begründet jedoch nicht, inwiefern sich dieser Umstand auf die im angefochtenen Entscheid bestätigte Beitragspflicht für die Jahre 2009 bis 2012 auswirken könnte, die allein Streitgegenstand bildet. Dass sodann die Steuermeldungen an einem relevanten formellen Mangel leiden sollten, ist nicht erkennbar, wie bereits das kantonale Gericht festgestellt hat, während allfällige Fragen im Zusammenhang mit dem Revers vom 15. Dezember 1976 materielles und nicht formelles Recht beschlagen.
2.
Im angefochtenen Entscheid sind die massgebenden Bestimmungen über das Einkommen aus selbstständiger Erwerbstätigkeit (<ref-law>; <ref-law>), dessen Ermittlung durch die kantonalen Steuerbehörden und Meldung an die Ausgleichskassen (<ref-law>) sowie die Rechtsprechung zur beitragsrechtlichen Qualifikation von Liegenschaften, die als Alternativgüter zum Geschäfts- oder zum Privatvermögen gehören können (Urteil 2A.52/2003 vom 23. Januar 2004 E. 2.3) richtig wiedergegeben. Zutreffend dargelegt hat die Vorinstanz auch die Rechtsprechung, wonach bei fehlender Abrechnung über die stillen Reserven auf den zum Geschäftsvermögen gehörenden Liegenschaften bei Geschäftsaufgabe die Liegenschaften im Geschäftsvermögen bleiben und die laufenden Erträge der AHV-Beitragspflicht unterliegen (<ref-ruling>).
3.
3.1. Das kantonale Gericht hat die Beschwerde abgewiesen und sämtliche Einwände des Beschwerdeführers gegen die mit dem Einspracheentscheid bestätigten Beitragsverfügungen vom 4. Juli 2016 für die Jahre 2009 bis 2012 verworfen. So erachtete es die Tatsache, dass zum Zeitpunkt der Unterzeichnung des Reverses noch keine gesetzliche Grundlage für die Erhebung von Beiträgen vorgelegen habe, als unerheblich. Es fänden sich im Gesetz, in den Materialien oder der Rechtsprechung keine Hinweise darauf, dass vor 1984 abgeschlossene Reverse für die Frage der Beitragspflicht verbindlich wären. Für die Beitragsveranlagung 2009 bis 2012 kämen demnach auch für den Beschwerdeführer und seine sich aus steuer- und AHV-rechtlicher Sicht im Geschäftsvermögen befindliche Liegenschaft B._ die im Zeitpunkt der jeweiligen Beitragsperiode gültigen Normen zur Anwendung. Entgegen den Behauptungen des Beschwerdeführers liege vor diesem Hintergrund weder ein Verstoss gegen das Rückwirkungsverbot noch gegen das Gebot von Treu und Glauben vor. Echte Rückwirkung läge nur vor, wenn vom Beschwerdeführer persönliche Beiträge für einen Zeitraum vor dem für ihn massgeblichen Stichtag (1. Januar 1984) gefordert würden; ob von unechter Rückwirkung, d.h. der Anwendung neuen Rechts auf Dauersachverhalte, die schon unter der Herrschaft des alten Rechts entstanden und bei Inkrafttreten des neuen Rechts noch andauern, auszugehen ist, könne offen bleiben. Unechte Rückwirkung sei grundsätzlich zulässig, es sei denn, die betroffene Person habe im Vertrauen auf die Weitergeltung des bisherigen Rechts Dispositionen getroffen, die sich ohne Nachteil nicht wieder rückgängig machen lassen. In solchen Fällen sei den Betroffenen eine angemessene Übergangszeit zu gewähren. Eine entsprechende Übergangszeit wäre 2009, rund 25 Jahre nach der vom Beschwerdeführer genannten Gesetzesänderung, längst abgelaufen gewesen. Dass bis 2009 nie AHV-Beiträge auf dem Ertrag aus der Liegenschaft B._ erhoben wurden, sei darauf zurückzuführen, dass die Ausgleichskasse mangels Steuermeldung keine Kenntnis von einem Ertrag aus der Vermietung der Liegenschaft hatte. Von einem Verzicht auf die entsprechenden Beiträge könne keine Rede sein.
4.
4.1. Der Auffassung der Vorinstanz ist beizupflichten. Die in der Beschwerde unter dem Titel "Materielles" vorgebrachten Einwendungen sind nicht geeignet, zu einem abweichenden Ergebnis zu führen. Die Steuermeldungen für die Beitragsjahre 2009 bis 2012 waren für die Ausgleichskasse verbindlich. Sie enthalten keine klar ausgewiesenen Irrtümer, die ein Abweichen hievon erlauben würden (<ref-ruling> E. 4 S. 86; E. 6 des in <ref-ruling> auszugsweise publizierten Urteils 9C_797/2014 vom 28. Mai 2015). Vielmehr waren darin die Einkünfte aus der Vermietung der Liegenschaft B._ aufgeführt. Ob der Beschwerdeführer nach 35 Jahren ohne Beitragszahlung auf den genannten Einkünften aus der Liegenschaft durch die Verfügungen überrascht wurde, wie er geltend macht, ist unerheblich. Ein gesetzwidriges Verhalten hat ihm die Vorinstanz sodann nicht vorgeworfen, und die Tatsache, dass er während 35 Jahren keine Beiträge als Selbstständigerwerbender entrichtet hat, entbindet ihn nicht von der Beitragszahlung für die Jahre 2009 bis 2012. Es mag zutreffen, dass die Veranlagung für die direkte Bundessteuer neu Einkommen aus selbstständiger Erwerbstätigkeit enthalten hat. Dies ist jedoch unerheblich und auch für die Belange des AHV-Beitragsrechts nicht entscheidend. Nach ständiger Praxis des Bundesgerichts kommt einer Veranlagung bei periodischen Steuern nur für die betreffende Periode Rechtskraft zu; die tatsächlichen und rechtlichen Verhältnisse können daher in einem späteren Veranlagungszeitraum durchaus anders gewürdigt werden (Urteil 2C_361/2011 vom 8. November 2011 E. 3.3 mit Hinweisen). Im Übrigen hätte der Beschwerdeführer Unklarheiten in der Steuerveranlagung direkt mit der Veranlagungsbehörde bereinigen oder im Steuerjustizverfahren geltend machen müssen. Beim erst letztinstanzlich erhobenen Einwand, Steuerveranlagung und Steuermeldung stimmten hinsichtlich der Höhe des Einkommens aus dem Liegenschaftsvermögen nicht überein, handelt es sich um eine unzulässige neue Tatsachenbehauptung, die bereits im erstinstanzlichen Beschwerdeverfahren hätte vorgebracht werden können (<ref-law>).
4.2. Wie sich der Ausgang des vorliegenden AHV-rechtlichen Beschwerdeverfahrens auf die Steuerveranlagungen für die Jahre 2009 bis 2012 auswirkt, namentlich bezüglich der Frage, ob die Einkünfte aus der Vermietung der Liegenschaft als Einkommen aus selbstständiger oder unselbstständiger Erwerbstätigkeit zu gelten haben, ist hier nicht zu prüfen.
4.3. Unerheblich ist sodann der Rechtszustand, wie er 1976, bei Unterzeichnung des Reverses, gegolten hat. Für die Beitragsfestsetzung für die Jahre 2009 bis 2012 finden die Rechtssätze Anwendung, die in diesem Zeitraum gegolten haben. Im Übrigen scheint der Beschwerdeführer zu verkennen, dass es im vorliegenden Fall nicht um einen Überführungsgewinn geht, der beim Übergang der Liegenschaft vom Geschäfts- ins Privatvermögen entsteht, sondern um den Ertrag aus der Vermietung der Liegenschaft B._, welcher als Einkommen aus selbstständiger Erwerbstätigkeit der Beitragspflicht unterliegt, solange die Liegenschaft zum Geschäftsvermögen gehört. Entgegen der beschwerdeweise vorgetragenen Behauptung ist nirgends ersichtlich, dass die Ausgleichskasse den Versicherten schon im Jahre 1973 qualifiziert und in Kenntnis der Steuerveranlagungen - sei es ausdrücklich, stillschweigend oder konkludent - aus der Beitragspflicht entlassen hat. Der Beschwerdeführer vermag denn auch keine Beweismittel für eine solche Handlungsweise der Ausgleichskasse zu nennen.
4.4. Schliesslich ist die wiederholte Berufung des Beschwerdeführers auf den Grundsatz von Treu und Glauben, der den Bürger unter bestimmten Voraussetzungen in seinem berechtigten Vertrauen auf behördliches Verhalten schützt, auch im Zusammenhang mit der materiellen Seite des Rechtsstreits unbegründet. Dass die Ausgleichskasse AHV-Beiträge verfügt hat, die bei Unterzeichnung des Reverses im Jahre 1976 nicht absehbar waren, verletzt diesen Grundsatz nicht. Ebenso wenig lässt sich ein Verstoss gegen den Vertrauensschutz im Umstand erkennen, dass die Ausgleichskasse vor 2009 keine Beiträge erhoben hat und die nunmehr festgesetzten AHV-Beiträge nicht mehr rentenbildend sind. Immerhin ist darauf hinzuweisen, dass nach <ref-law> Männer, die das 65. Altersjahr vollendet haben, vom Einkommen aus selbstständiger Erwerbstätigkeit nur für den Teil Beiträge entrichten, der Fr. 16'800.- im Jahr übersteigt. Nach den verbindlichen Feststellungen der Vorinstanz (Art. 97 Abs. 1 und 105 Abs. 1 BGG) hatte die Ausgleichskasse bis zur erstmaligen Meldung der Liegenschaftserträge durch die Steuerbehörden keine Kenntnis von einem beitragspflichtigen Einkommen aus selbstständiger Erwerbstätigkeit, weshalb ihr kein Fehlverhalten vorgeworfen werden kann, das für den Beschwerdeführer unter Umständen eine Vertrauensposition des Inhalts hätte schaffen können, dass er nach Treu und Glauben auch in den Jahren 2009 bis 2012 keine Beiträge auf den Liegenschaftseinkommen zu bezahlen hat. Aus einer allfälligen, während Jahren andauernden Unterlassung der Steuerverwaltung, entsprechende Liegenschaftserträge der Ausgleichskasse zu melden, könnte der Beschwerdeführer im AHV-Beitragsverfahren nicht zu seinen Gunsten ableiten. Ob ein solches Fehlverhalten vorliegt, ist daher nicht zu prüfen.
5.
Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 3'500.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 15. Mai 2017
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Der Gerichtsschreiber: Widmer