Sachverhalt:
A.
Die Ausgleichskasse des Kantons Bern verpflichtete A._, basierend auf den Steuermeldungen der Steuerverwaltung des Kantons Bern vom 23. August 2018 zur Bezahlung von AHV/IV/EO-Beiträgen für Nichterwerbstätige für die Jahre 2003 bis 2006 samt eines Verwaltungskostenbeitrags und Verzugszinsen (Verfügungen vom 3. September 2018, Einspracheentscheid vom 28. November 2018).
B.
Soweit das Verwaltungsgericht des Kantons Bern auf die dagegen erhobene Beschwerde eintrat, wies es diese mit Entscheid vom 23. August 2019 ab.
C.
A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt (sinngemäss) zur Hauptsache, der vorinstanzliche Entscheid sei aufzuheben, die Beiträge seien verwirkt (verjährt).

Erwägungen:
1.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
2.
Der Anfechtungsgegenstand wird durch den Einspracheentscheid vom 28. November 2018 definiert (<ref-ruling> E. 1b S. 414; Urteil 9C_865/2017 vom 4. Juni 2018 E. 5.1). Darin entschied die Beschwerdegegnerin über die Beitragspflicht des Beschwerdeführers betreffend die Jahre 2003 bis 2006 (inkl. Verzugszinspflicht). Soweit der Beschwerdeführer Feststellungen zum Jahr 2007 oder zu den Einträgen im Individuellen Konto fordert, ist darauf nicht einzutreten. Es wird in diesem Zusammenhang auch auf die zutreffenden vorinstanzlichen Erwägungen verwiesen.
3.
3.1. Die Vorinstanz ermittelte die zu bezahlenden AHV/IV/EO-Beiträge für die Jahre 2003 bis 2006 für den Beschwerdeführer, der als Nichterwerbstätiger zu qualifizieren ist, basierend auf den rechtskräftigen Ermessenstaxationen. Gemäss den Steuermeldungen vom 23. August 2018 seien diese doch für die Ausgleichskassen - vorbehalten klar ausgewiesener Irrtümer - verbindlich. Diese Beiträge seien nicht verjährt, nachdem die Steuerveranlagungen erst am 25. Juni 2018 rechtskräftig geworden seien. Zudem seien sie mit Blick auf die mit Verfügung vom 9. Oktober 2007 festgesetzten provisorischen Beiträge (Bestätigung mit Entscheid des Verwaltungsgerichts des Kantons Bern vom 12. März 2009) auch nicht verwirkt. Schliesslich stellte das kantonale Gericht fest, auf die Beiträge sei nach Ablauf des Kalenderjahrs, für welches die Beiträge geschuldet seien, ein Verzugszins von 5 % zu entrichten.
3.2.
3.2.1. Der Beschwerdeführer rügt eine Verletzung von <ref-law>.
Gemäss dieser Bestimmung schätzen die Ausgleichskassen das für die Beitragsfestsetzung massgebende Erwerbseinkommen und das im Betrieb investierte Eigenkapital auf Grund der ihnen zur Verfügung stehenden Daten selbst ein, wenn die kantonalen Steuerbehörden keine Meldung erstatten können (<ref-law>). Nachdem vorliegend die kantonale Steuerbehörde am 23. August 2018 eine Meldung gemacht hat, besteht kein Grund zum Verfahren nach <ref-law> zu schreiten.
3.2.2. Der Beschwerdeführer beanstandet erneut die Steuerveranlagungen, auf denen die AHV/IV/EO-Beiträge beruhen.
Die Vorinstanz hat den Beschwerdeführer diesbezüglich korrekt darauf hingewiesen, dass die Angaben der kantonalen Steuerbehörden für die Ausgleichskassen grundsätzlich verbindlich sind (<ref-law>). Vorbehalten sind klar ausgewiesene ohne weiteres richtigstellbare Irrtümer (Urteil 9C_215/2014 vom 3. September 2014 E. 2.5 mit Hinweisen), sachliche Umstände, die in sozialversicherungsrechtlicher Hinsicht anders zu würdigen sind (<ref-ruling> E. 2a S. 368 f.; SVR 2016 Nr. 4 S. 11, 9C_441/2015 E. 6.4) oder die Nichtigkeit der Ermessensveranlagung (Urteil 9C_329/2019 vom 17. Oktober 2019 E. 4). Der Beschwerdeführer zeigt weder auf, dass die Vorinstanz einen klar ausgewiesenen Irrtum der Steuerbehörden übersehen hat, noch macht er geltend oder ist anhand seiner Ausführungen ersichtlich, dass Umstände vorliegen, die hier anders zu beurteilen sind oder dass die Verfügung an einem derart gravierenden Mangel leidet, welcher deren Nichtigkeit zu begründen vermöchte. Die Beschwerde ist in diesem Punkt nicht hinreichend im Sinne von Art. 42 Abs. 1 und 2 BGG begründet. Unter diesen Umständen hat die Vorinstanz auch kein Bundesrecht verletzt, indem sie auf den Beizug der Akten des Steuerverfahrens verzichtete. Der beantragte Beizug dieser Akten im Verfahren vor Bundesgericht ist zudem mit Blick auf das Novenverbot gemäss <ref-law> abzuweisen.
3.2.3. Schliesslich fordert der Beschwerdeführer eine erneute Prüfung der Verjährung/Verwirkung und Verzugszinspflicht. Aber auch betreffend diese Vorbringen legt er nicht dar, inwiefern die vorinstanzlichen Erwägungen gegen Bundesrecht verstossen, weshalb darauf nicht weiter einzugehen ist.
4.
Die im Sinne von <ref-law> offensichtlich unbegründete Beschwerde ist im vereinfachten Verfahren abzuweisen.
5.
Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. November 2019
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Die Gerichtsschreiberin: Möckli