Sachverhalt:
A.
Der 1950 geborene A._ bezieht mit Wirkung ab 1. April 2005 eine halbe Rente der Invalidenversicherung und war bei der Ausgleichskasse des Kantons Graubünden (nachfolgend: Ausgleichskasse) ab 1. Januar 2007 als Nichterwerbstätiger erfasst. Aufgrund von Steuermeldungen für die Jahre 2008 und 2009, wonach er ein Einkommen aus selbstständiger Erwerbstätigkeit von Fr. 483'093.- resp. Fr. 1'109'472.- erzielt hatte, erfasste ihn die Ausgleichskasse am 18. Januar 2013 zwangsweise per 1. Januar 2008 als Selbstständigerwerbender. Mit zwei Verfügungen vom 24. Januar 2013 setzte die Ausgleichskasse die AHV-/IV-/EO-Beiträge (inkl. Verwaltungskosten) für 2008 auf Fr. 43'440.- und für 2009 auf Fr. 114'611.40 fest. Zudem verfügte sie am 28. Januar 2013 Verzugszinsen für dieselben Beitragsjahre in der Höhe von Fr. 8'856.95 und Fr. 17'637.40. Auf Einsprache hin bestätigte die Ausgleichskasse mit Einspracheentscheid vom 7. Juni 2013 die Beitrags- und Verzugszinsverfügungen.
B.
Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 11. März 2014 ab, soweit es darauf eintrat.
C.
A._ erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, der angefochtene Entscheid sowie der Einspracheentscheid vom 7. Juni 2013 seien aufzuheben und es sei festzustellen, dass er in den Jahren 2008 und 2009 aus einfachen Gesellschaften kein AHV-pflichtiges Einkommen als Selbstständigerwerbender erzielt habe.

Erwägungen:
1.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>), die Feststellung des Sachverhalts nur, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
2.
Im Streit liegt die Frage, ob die Erträge, welche der Beschwerdeführer aus den Beteiligungen an einfachen Gesellschaften erzielt hat, als Einkommen aus selbstständiger Erwerbstätigkeit oder aus privater Vermögensverwaltung zu qualifizieren sind. Hiebei handelt es sich um eine Rechtsfrage, welche das Bundesgericht nach <ref-law> mit uneingeschränkter Kognition prüft (<ref-ruling> E. 2 S. 252).
Die Vorinstanz hat im angefochtenen Entscheid zutreffend dargelegt, welche Einkünfte als Einkommen aus selbstständiger Erwerbstätigkeit im Sinne von <ref-law> und <ref-law> gelten. Nicht unter den Begriff der selbstständigen Erwerbstätigkeit fällt die blosse Verwaltung des eigenen Vermögens, weshalb der daraus resultierende reine Kapitalertrag nicht der Beitragspflicht unterliegt. Richtig wiedergegeben hat sie auch die zur Abgrenzung zwischen privater Vermögensverwaltung und selbstständiger Erwerbstätigkeit entwickelte Rechtsprechung (<ref-ruling> E. 2.2.2 S. 261; <ref-ruling> E. 3.1 S. 253; <ref-ruling> E. 2a S. 385; <ref-ruling> E. 3c S. 118 f.; Urteil 9C_455/2008 vom 5. November 2008 E. 4). Darauf wird verwiesen.
3.
3.1. Das kantonale Gericht erwog, der Beschwerdeführer sei an vier einfachen Gesellschaften beteiligt gewesen, welche 2008 und 2009 erhebliche Gewinne erzielt hätten. Gemäss <ref-law> handle es sich bei solchen Einkünften um Einkommen aus selbstständiger Erwerbstätigkeit, wenn die einfachen Gesellschaften einen Erwerbszweck verfolgten. Einen solchen bejahte das Gericht zunächst betreffend die Gesellschaft B._, bestehend aus dem Beschwerdeführer, C._ und D._. Die Gesellschaft habe die Bebauung der in E._ gelegenen Parzelle Nr. ........ sowie den Verkauf oder die feste Vermietung der Wohnungen bezweckt, was über eine schlichte Vermögensverwaltung hinausgehe bzw. auf Gewinn ausgerichtet sei wie die Tätigkeit eines Liegenschaftshändlers. Ferner seien die anfallenden Baumanagementarbeiten der F._ AG übertragen worden. Gemäss Handelsregistereintrag sei C._ Verwaltungsratspräsident dieser Unternehmung und D._ Mitglied des Verwaltungsrats. Die Geschäftsführung der einfachen Gesellschaft habe C._ oblegen, wobei seine Aufwendungen gemäss Gesellschaftsvertrag im Baumanagementhonorar enthalten seien. Diese gesellschaftsvertraglichen Abreden liessen den Schluss zu, dass sich C._ und D._ im Rahmen ihrer beruflichen Tätigkeit an der einfachen Gesellschaft B._ beteiligt hätten, was eine erwerbliche Ausrichtung der Gesellschaft bestätige. Auch beim Beschwerdeführer bestehe ein Zusammenhang zur seiner vormaligen Tätigkeit, weil die Elektroingenieur- und Elektroinstallationsarbeiten an die A._ AG, die vormals ihm gehört habe, vergeben worden seien. Die einfachen Gesellschaften G._, H._ und I._, bestehend aus dem Beschwerdeführer und J._, hätten den Grundstückskauf und -Verkauf, die Überbauung sowie die Vermietung und den Verkauf der Neu- bzw. Umbauten bezweckt. Damit verfolgten diese Gesellschaften ebenfalls einen Erwerbszweck. J._, welche ein Architekturbüro betreibe, habe sich in Ausübung ihrer beruflichen Tätigkeit an den einfachen Gesellschaften beteiligt und deren Geschäftsführung besorgt. Ihre Tätigkeit habe sich der Beschwerdeführer wie eine eigene Erwerbstätigkeit anrechnen zu lassen. Zusammenfassend habe sich der Beschwerdeführer in relativ rascher Abfolge an Baugesellschaften beteiligt, was als planmässiges Vorgehen zu werten sei. Zudem habe er sich jeweils mit Personen zusammengeschlossen, die sich in Ausübung ihrer beruflichen Tätigkeit an den Gesellschaften beteiligt und in seinem Einverständnis die Geschäftsführung übernommen hätten. Aufgrund des Erwerbszwecks der Gesellschaften seien die aus seinem Privatvermögen stammenden Finanzmittel, die in die Gesellschaften eingebracht wurden, zu Geschäftsvermögen geworden und der daraus fliessende Gewinnanteil stelle Einkommen aus selbstständiger Erwerbstätigkeit dar.
3.2. Der Beschwerdeführer rügt, das kantonale Gericht verletze Bundesrecht (<ref-law>), indem es die Unterstellung unter die AHV-Beitragspflicht als Selbstständigerwerbender geschützt habe. Er vermag - soweit sich seine Einwände nicht ohnehin in unzulässiger appellatorischer Kritik (<ref-ruling> E. 2.2 S. 246 mit Hinweis) erschöpfen - jedoch weder darzutun, dass die vorinstanzlichen Erwägungen Bundesrecht verletzen noch die tatsächlichen Feststellungen, soweit sie für die beitragsrechtliche Qualifikation relevant sind, offensichtlich unrichtig im Sinne von <ref-law> sind:
3.2.1. Zunächst moniert der Beschwerdeführer, entgegen den Feststellungen der Vorinstanz habe die Steuerverwaltung seine Anteile an den Gesellschaften gerade nicht als Geschäftsaktiven qualifiziert. Dieser Einwand ist unbehelflich. In den definitiven Steuerveranlagungsverfügungen 2008 und 2009 sind die Beteiligungen an den einfachen Gesellschaften unter der Ziff. 30.3 ("Beteiligung an einfachen Gesellschaften") ausgewiesen. Die Ziffer 30 beinhaltet, wie dem Hauptformular (S. 4) entnommen werden kann, nicht Privatvermögen (vgl. Ziff. 32), sondern verschiedene Bestandteile des Geschäftsvermögens. Sofern sich die Rüge auf die Liegenschaften bezieht, trifft zu, dass diese (mit Ausnahme der Liegenschaft K._) steuerrechtlich offenbar als Privatvermögen betrachtet werden. Dies ist indessen nur ein Indiz, welches im Lichte der übrigen Abgrenzungskriterien nicht ausschlaggebend ist (Urteil 9C_455/2008 vom 5. November 2008 E. 6).
3.2.2. Weiter stellt der Beschwerdeführer einen Zusammenhang der einfachen Gesellschaft B._ mit der beruflichen Tätigkeit der Gesellschafter in Abrede. Namentlich sei unerheblich, dass Aufträge zu Konkurrenzpreisen an Betriebe vergeben worden seien, welche den Gesellschaftern emotional (Beschwerdeführer) oder finanziell (Mitgesellschafter) nahestünden. Dem kann nicht gefolgt werden. Das kantonale Gericht hat mit Blick auf den Gesellschaftsvertrag, wonach die Baumanagementarbeiten der F._ AG übertragen werden, welche (nebst einer weiteren Person) von den Mitgesellschaftern C._ (Verwaltungsratspräsident) und D._ (Mitglied des Verwaltungsrats) geleitet wird (Internet-Auszug aus dem Handelsregister des Kantons Graubünden; www.zefix.ch), zu Recht auf einen engen Zusammenhang mit der beruflichen Tätigkeit geschlossen. Durch dieses Vorgehen war es den Mitgesellschaftern möglich, dem von ihnen geleiteten Unternehmen und damit sich selbst ein gewisses Arbeitsvolumen zu beschaffen. In diesem Zusammenhang hob die Vorinstanz ferner die gesellschaftsvertragliche Abrede hervor, gemäss welcher die Aufwendungen des C._, der mit der Geschäftsführung der einfachen Gesellschaft betraut wurde, im Honorar der F._ AG "enthalten" seien (Ziff. 14 des Gesellschaftsvertrags). Gerade mit Blick auf diese Regelung kann nicht ernsthaft am Schluss des kantonalen Gerichts gezweifelt werden, die Mitgesellschafter hätten sich in Ausübung ihrer beruflichen Tätigkeit an der einfachen Gesellschaft beteiligt. Bei dieser Sachlage kann die Frage nach einem engen Zusammenhang mit der (ehemaligen) beruflichen Tätigkeit des Beschwerdeführers offen bleiben.
Überdies ist mit der Vorinstanz eine private Vermögensverwaltung betreffend die Gesellschaft B._ auch deshalb zu verneinen, da es sich bei deren Zweck - die Überbauung der Liegenschaft und der Verkauf bzw. die feste Vermietung der Nutzfläche, wobei die Gesellschaft "einen möglichst hohen Gesellschaftsgewinn" anstrebe (Ziff. 2 und 3 des Gesellschaftsvertrags) - zweifellos um eine erwerbliche, auf die Realisierung von Gewinn gerichtete Zielsetzung im Sinne von Art. 9 Absatz 1 AHVG i.V.m. Art. 17 und 20 Abs. 3 AHVV handelt (Urteile H 35/69 vom 13. Oktober 1969 E. 2, in: ZAK 1970 S. 157; H 235/82 vom 20. Februar 1984 E. 2, in: ZAK 1984 S. 223; H 243/00 vom 10. April 2002 E. 2b; Ueli Kieser, Rechtsprechung des Bundesgerichts zum Sozialversicherungsrecht, Alters- und Hinterlassenenversicherung, 3. Aufl. 2012, Rz. 18 und 41 zu <ref-law>).
3.2.3. Hinsichtlich der einfachen Gesellschaften G._, H._ und I._ anerkennt der Beschwerdeführer ausdrücklich, die zu je 50 % beteiligte Mitgesellschafterin J._ habe sich in Ausübung ihrer beruflichen Tätigkeit an den Gesellschaften beteiligt. Gleichzeitig hebt er jedoch hervor, er sei nur als passiver, Kapital gebender Gesellschafter zu betrachten, welcher weder nach aussen aufgetreten sei noch seine Arbeitskraft zur Verfügung gestellt habe, womit seinerseits keine Erwerbstätigkeit vorliege. Dieser Einwand zielt ins Leere. Nach <ref-law> und der gestützt darauf ergangenen Rechtsprechung bildet der von einer einfachen Gesellschaft durch Erwerbstätigkeit erzielte Gewinn beitragspflichtiges Erwerbseinkommen der Anteilhaber, und zwar unabhängig von einer persönlichen Arbeitsleistung. Wer sich an auf Erwerb ausgerichteten einfachen Gesellschaft als Teilhaber bloss finanziell beteiligt, hat sich deshalb den ihm zukommenden Gesellschaftsgewinn als Erwerbseinkommen anrechnen zu lassen, obgleich er als Gesellschafter persönlich keine auf Verdienst ausgerichtete Tätigkeit für gemeinsame Rechnung ausgeübt hatte. Es genügt, dass eine solche Betätigung auf der Ebene der Gesellschaft vorliegt (<ref-ruling> E. 4.8 S. 267; Urteile H 243/00 vom 10. April 2002 E. 2b; Urteil H 235/82 vom 20. Februar 1982 E. 2b; vgl. auch Michel Valterio, Droit de l'assurance-veillesse et survivants [AVS] et de l'assurance-invalidité [AI], 2011, S. 134 Rz. 428). Soweit der Beschwerdeführer darin einen klaren Widerspruch zu <ref-law> erblickt, ist festzustellen, dass das Bundesgericht die Gesetzmässigkeit von <ref-law> in konstanter Rechtsprechung bejaht hat (<ref-ruling> E. 4 S. 264 ff. mit zahlreichen Hinweisen).
4.
Der unterliegende Beschwerdeführer trägt die Verfahrenskosten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 6'000.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 13. November 2014
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Der Gerichtsschreiber: Furrer