Sachverhalt:
A. Der 1948 geborene H._, beruflich im Anlagewesen bei einer Bank tätig, verwaltet das Stockwerkeigentum X._ und ist zusammen mit drei weiteren Personen am Baukonsortium Y._ beteiligt. Aufgrund von Steuermeldungen wurde er der SVA Aargau, Ausgleichskasse (hiernach: Ausgleichskasse) zwangsweise angeschlossen. Am 3. Dezember 2008 erliess diese vier Beitragsverfügungen für die Beitragsperioden 2003, 2004, 2005 und 2006, worin sie die Beiträge von H._ auf Einkommen aus selbstständiger (Neben-)Erwerbstätigkeit von Fr. 12'560.- (2003), Fr. 9'516.- (2004), Fr. 10'342.- (2005) und Fr. 3'834.- (2006) festsetzte. Dies bestätigte sie mit Einspracheentscheid vom 2. Juni 2009.
B. Die von H._ dagegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons Aargau mit Entscheid vom 26. Oktober 2010 gut, indem es den Einspracheentscheid der Ausgleichskasse aufhob.
C. Das Bundesamt für Sozialversicherungen (BSV) führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt die Aufhebung des angefochtenen Entscheides.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung im Sinne von Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; vgl. <ref-ruling>).
2. Streitig ist die Zuteilung der Liegenschaft des Baukonsortiums Y._ resp. die entsprechende Beteiligung zum Privat- oder Geschäftsvermögen des Beschwerdegegners. Zu prüfen ist dabei, inwieweit der fragliche Vermögenswert einer selbstständigen Erwerbstätigkeit dient (vgl. <ref-ruling> E. 4.2 S. 254). Hiebei handelt es sich um eine Rechtsfrage, welche das Bundesgericht nach <ref-law> mit uneingeschränkter Kognition prüft (vgl. <ref-ruling> E. 2 S. 252; Urteil 9C_455/2008 vom 5. November 2008 E. 2).
Im angefochtenen Entscheid hat die Vorinstanz dargelegt, welche Einkünfte als Einkommen aus selbstständiger Erwerbstätigkeit im Sinne von <ref-law> und nach <ref-law> gelten. Nicht unter den Begriff der selbstständigen Erwerbstätigkeit fällt die blosse Verwaltung des eigenen Vermögens, weshalb der daraus resultierende reine Kapitalertrag nicht der Beitragspflicht unterliegt. Das kantonale Gericht hat auch die zur Abgrenzung zwischen privater Vermögensverwaltung und selbstständiger Erwerbstätigkeit entwickelte Rechtsprechung dargelegt (<ref-ruling> E. 3.1 S. 252 f.; Urteil 9C_455/2008 vom 5. November 2008, E. 3.1 mit Hinweis auf <ref-ruling> E. 2a S. 385). Darauf wird verwiesen.
3. 3.1 Der zwangsweise Anschluss des Beschwerdegegners an die Ausgleichskasse des Kantons Aargau basiert auf Steuermeldungen des kantonalen Steueramtes. Dass die Beteiligung am Baukonsortium Y._ nach steuerlicher Betrachtungsweise kein Geschäftsvermögen des Beschwerdegegners darstelle, wie die Vorinstanz festhält, lässt sich auf Grund der von ihr herangezogenen Steuerveranlagungen 2003 bis 2006 nicht sagen. Die "0" unter dem Titel "Total Geschäftsaktiven" bezieht sich auf die - nicht streitige - Verwaltungstätigkeit betreffend das Stockwerkeigentum X._. Die Beteiligung am Baukonsortium Y._ ist unter dem Titel "Anteile an Personengesellschaften" ausgewiesen. Ihre Qualifikation als Privat- oder Geschäftsvermögen ist daraus nicht ersichtlich. Richtigerweise hat die Vorinstanz denn auch nicht (allein) darauf abgestellt. Vielmehr ist sie (letztlich) auf Grund einer einlässlichen Würdigung der Umstände von den Steuermeldungen abgewichen.
3.2 Das kantonale Gericht hat erwogen, nicht jedes aus einfacher Gesellschaft erzielte Einkommen sei automatisch Einkommen aus selbstständiger Erwerbstätigkeit. Vorausgesetzt sei vielmehr, dass die einfache Gesellschaft eine Erwerbstätigkeit ausübe. Beschränke sie sich jedoch auf die gemeinsame Verwaltung privater Vermögen, seien die Gewinne aus der Veräusserung von Liegenschaften nicht beitragspflichtiges Einkommen. Es gebe auch keine Vermutung, wonach eine einfache Gesellschaft einen Erwerbszweck verfolge. Im vorliegenden Fall gehe aus den Akten hervor, dass die vier Gesellschafter das Baukonsortium Y._ bilden und jeder Gesellschafter daran mit Einlagen von je Fr. 200'000.- beteiligt sei. Der Ertrag dieses Baukonsortiums werde fast ausschliesslich aus den Mieteinnahmen generiert. Die Beteiligung von H._ am Baukonsortium und die Erwirtschaftung eines Mietzinsüberschusses zusammen mit den anderen Gesellschaftern stelle keine selbstständige (Neben-)Erwerbstätigkeit dar, da er damit lediglich das eigene Vermögen verwalte. Auch die nach der Praxis des Bundesgerichts in Betracht zu nehmenden Indizien würden nahe legen, dass er in den fraglichen Jahren keine selbstständige (Neben-)Erwerbstätigkeit ausgeübt habe. Er sei ausschliesslich als Gesellschafter des Baukonsortiums aufgetreten, wobei kein systematisches oder planmässiges Vorgehen erkennbar sei. Es handle sich dabei um eine einmalige Beteiligung am Baukonsortium, welche der privaten Vermögensanlage diene. Von einer Teilnahme am Wirtschaftsverkehr mit Gewinnabsicht könne nicht gesprochen werden, zumal H._ sein Haupteinkommen im Rahmen einer unselbstständigen Erwerbstätigkeit erziele und der Gewinnanteil eines Gesellschafters des Baukonsortiums relativ bescheiden sei. Seine Tätigkeit sei somit eine blosse Kapitalanlage in Immobilien und habe daher keinen betrieblichen Charakter.
Demgegenüber macht das BSV geltend, H._ habe sich mit drei anderen Personen in einem Baukonsortium zu einer einfachen Gesellschaft zusammengeschlossen, wobei der Zweck der Gesellschaft unter anderem in der Verwaltung verschiedener Liegenschaften bestehe. Damit verfolge sie einen Erwerbszweck. Umso mehr sei dies vor dem Hintergrund zu betrachten, dass das Baukonsortium Y._ vier Gesellschafter aufweise, weshalb davon auszugehen sei, dass es sich bei den Liegenschaften um solche handle, die zwecks Erzielung von Einnahmen respektive Mieterträgen in eine einfache Gesellschaft eingebracht wurden. Dafür spreche auch die Höhe der in den Jahren 2003-2006 generierten Mietzinseinnahmen. Es handle sich daher eindeutig um eine Tätigkeit, die in ihrer Gesamtheit auf Erwerb ausgerichtet sei. Folglich sei der aus dem Baukonsortium erzielte Ertrag als Einkommen aus selbstständiger Erwerbstätigkeit zu qualifizieren.
3.3 Damit vermag das BSV die Begründung der Vorinstanz nicht als bundesrechtswidrig in Frage zu stellen. Aus der blossen Beteiligung an einem Konsortium lässt sich noch nichts Entscheidendes hinsichtlich Erwerbstätigkeit oder Vermögensverwaltung bzw. über Geschäfts- oder Privatvermögen ableiten. Es kommt auf die konkreten Gegebenheiten an. Hier ist der Zusammenschluss zu einem Baukonsortium vor allem mit dem Anlagevolumen (ein Haus mit sieben Stockwerkeinheiten) zu erklären (vgl. Urteil des Eidg. Versicherungsgerichts H 72/01 vom 2. Mai 2002 E. 4a). Der Beschwerdegegner ist auch nicht im Liegenschaftshandel, sondern als Bankangestellter bzw. Bankverwalter tätig, also dem Anlagewesen nahe. Nach den Feststellungen des kantonalen Gerichts, welche das Beschwerde führende Amt nicht als offensichtlich unrichtig anzugreifen vermag und die folglich für das Bundesgericht verbindlich bleiben (E. 1), ist keine Tätigkeit (<ref-law>) des Beschwerdegegners ausgewiesen, welche über die Konsortialbeteiligung hinausgeht. Ohne diese würden die (um die Gewinnungskosten zu bereinigenden) Mietzinseinnahmen als beitragsfreier Vermögensertrag aus Grundeigentum erscheinen. Bei dieser Sachlage gelangte die Vorinstanz ohne Verletzung von Bundesrecht zum Schluss, auf den von H._ erzielten Erträgen seien keine Beiträge auf Einkommen aus selbstständiger (Neben-)Erwerbstätigkeit zu erheben.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, der Ausgleichskasse des Kantons Aargau und dem Versicherungsgericht des Kantons Aargau schriftlich mitgeteilt.
Luzern, 24. März 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Scartazzini