Sachverhalt:
A. Gestützt auf die Meldung des Steueramtes des Kantons Zürich vom 4. April 2007 und nach Einholung weiterer Auskünfte erfasste die Ausgleichskasse des Kantons Zürich B._ am 17. Dezember 2008 rückwirkend als Selbstständigerwerbenden und setzte mit Verfügung vom 12. Dezember 2008 die von diesem als gewerbsmässiger Liegenschaftenhändler im Nebenerwerb geschuldeten persönlichen Beiträge für 2003 auf Fr. 68'217.- fest, basierend auf einem Einkommen von Fr. 704'093.- und einem im Betrieb investierten Eigenkapital von Null. Am 7. Januar 2009 erhob B._ dagegen Einsprache und beantragte, das Einkommen auf Fr. -91'373.- und das investierte Kapital auf Fr. 5'800'000.- festzusetzen.
Am 14. August 2009 verfügte die Ausgleichskasse gestützt auf eine Steuermeldung vom 25. Juli 2009 die für das Jahr 2007 geschuldeten persönlichen Beiträge von Fr. 3'652.20, basierend auf einem Einkommen von Fr. 84'102.- und einem im Betrieb investierten Eigenkapital von Fr. 1'307'000.-. Auch gegen diese Verfügung erhob B._ am 21. August 2009 Einsprache und beantragte, das Einkommen aus selbstständiger Erwerbstätigkeit sei auf Null Franken festzusetzen. Schliesslich ergingen im Dezember 2009 die Steuermeldungen für die Jahre 2004, 2005 und 2006.
Am 18. Dezember 2009 erliess die Ausgleichskasse ein Rektifikat der Verfügung für 2003, mit welchem sie die geschuldeten Beiträge auf Fr. 41'959.- festsetzte (gestützt auf die bereits am 17. Dezember 2008 ergangene rektifizierte Steuermeldung, basierend auf einem Einkommen aus selbstständiger Erwerbstätigkeit für 2003 von Fr. 408'963.- und einem im Betrieb investierten Eigenkapital von Fr. 1'307'000.-), und teilte B._ mit, diese Verfügung sei "von der bereits erhobenen Einsprache miterfasst". Gleichzeitig verfügte sie die persönlichen Beiträge für die Jahre 2004 von Fr. 5'636.40 (beitragspflichtiges Einkommen: Fr. 57'600.-, investiertes Eigenkapital: Fr. 1'007'000.-), für 2005 von Fr. 5'596.80 (Einkommen: Fr. 57'200.-, Eigenkapital: Fr. 1'307'000.-) und für 2006 von Fr. 5'186.40 (Einkommen: Fr. 53'000.-, Eigenkapital: Fr. 1'307'000.-).
Mit Einspracheentscheid vom 21. Dezember 2009 wies die Ausgleichskasse die Einsprachen von B._ ab und bestätigte die Beitragsverfügungen betreffend die Jahre 2003 und 2007.
Am 20. Januar 2010 erhob B._ Einsprache gegen die Verfügungen vom 18. Dezember 2009 betreffend die Beitragsjahre 2003 bis 2006 mit dem Antrag, "die Verzugszinsen über Fr. 16'883.70 gemäss Rechnung vom 12. Dezember 2008 zu korrigieren und einen Vergütungszins für die zuviel bezahlten Beiträge 2003 gutzuschreiben". Gleichzeitig erhob er Beschwerde gegen die Beitragsverfügungen 2004 bis 2006 und stellte den Antrag auf Sistierung der Einsprache, bis ein rechtskräftiger Entscheid des Sozialversicherungsgerichts betreffend die Jahre 2003 und 2007 vorliege; die entsprechende Beschwerde hatte er gleichentags erhoben. Am 8. März 2010 erfolgte eine ergänzende Einsprache. Im Einspracheentscheid vom 16. März 2010 lehnte die Ausgleichskasse den Antrag auf eine Sistierung ab und bestätigte die Verfügungen betreffend die Jahre 2004-2006.
B. Die von B._ dagegen und gegen den Einspracheentscheid vom 21. Dezember 2009 erhobenen Beschwerden vereinigte das Sozialversicherungsgericht des Kantons Zürich formlos und wies diese mit Entscheid vom 23. August 2011 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ beantragen, unter Aufhebung des vorinstanzlichen Entscheides sei die Sache an die Vorinstanz zurückzuweisen zur Befragung des Beschwerdeführers zum Sachverhalt. Eventualiter sei die Sache zur erneuten Festsetzung der AHV-Beiträge der Jahre 2003 bis 2007 an die Ausgleichskasse zurückzuweisen.
Das kantonale Sozialversicherungsgericht, die Ausgleichskasse und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. Streitig und zu prüfen ist die Beitragspflicht des Beschwerdeführers als gewerbsmässiger Liegenschaftenhändler im Nebenerwerb. Während er seine grundsätzliche Beitragspflicht für Erträge und Gewinne aus der Liegenschaft X._ anerkennt, bestreitet er eine solche für die mit der Liegenschaft Y._ erzielten (Miet-)Erträge. Im Weiteren geht er mit der Vorinstanz uneins über die Höhe des beitragspflichtigen Einkommens. Er rügt diesbezüglich eine willkürliche Beweiswürdigung und eine Verletzung der Begründungspflicht.
3. 3.1 Vorliegend sind Beiträge der Jahre 2003 bis 2007 strittig. Massgebend sind dabei gemäss den intertemporalrechtlichen Grundsätzen diejenigen Rechtssätze, die bei Verwirklichung des zu Rechtsfolgen führenden Sachverhalts galten (<ref-ruling> E. 1.2 mit Hinweisen), also die von 1. Januar 2003 bis 31. Dezember 2007 geltenden Normen.
3.2 Gemäss <ref-law> schuldet der erwerbstätige Versicherte Beiträge auf dem aus einer selbstständigen oder unselbstständigen Erwerbstätigkeit fliessenden Einkommen. Gemäss <ref-law> ist Einkommen aus selbstständiger Erwerbstätigkeit jedes Erwerbseinkommen, das nicht Entgelt für in unselbstständiger Stellung geleistete Arbeit darstellt. Gemäss Abs. 2 dieser Bestimmung wird das für die Beitragsbemessung massgebende Einkommen aus selbstständiger Tätigkeit ermittelt, indem vom hierdurch erzielten rohen Einkommen unter anderem die zur Erzielung des rohen Einkommens erforderlichen Gewinnungskosten (Art. 9 Abs. 2 lit. a), die der Entwertung entsprechenden, geschäftsmässig begründeten Abschreibungen und Rückstellungen geschäftlicher Betriebe (lit. b) sowie die eingetretenen und verbuchten Geschäftsverluste (lit. c) und der Zins des im Betrieb eingesetzten eigenen Kapitals abgezogen, wobei der Zinssatz der jährlichen Durchschnittsrendite der Anleihen der nicht öffentlichen inländischen Schuldner in Schweizer Franken entspricht (lit. f). Gemäss <ref-law> werden das Einkommen aus selbstständiger Erwerbstätigkeit und das im Betrieb eingesetzte eigene Kapital von den kantonalen Steuerbehörden ermittelt und den Ausgleichskassen gemeldet. Gemäss <ref-law> in der seit 1. Januar 2001 geltenden Fassung sind für die Ausscheidung und das Ausmass der vom rohen Einkommen nach Artikel 9 Absatz 2 Buchstaben a-e AHVG zulässigen Abzüge die Vorschriften über die direkte Bundessteuer massgebend.
3.2 Gemäss <ref-law> schuldet der erwerbstätige Versicherte Beiträge auf dem aus einer selbstständigen oder unselbstständigen Erwerbstätigkeit fliessenden Einkommen. Gemäss <ref-law> ist Einkommen aus selbstständiger Erwerbstätigkeit jedes Erwerbseinkommen, das nicht Entgelt für in unselbstständiger Stellung geleistete Arbeit darstellt. Gemäss Abs. 2 dieser Bestimmung wird das für die Beitragsbemessung massgebende Einkommen aus selbstständiger Tätigkeit ermittelt, indem vom hierdurch erzielten rohen Einkommen unter anderem die zur Erzielung des rohen Einkommens erforderlichen Gewinnungskosten (Art. 9 Abs. 2 lit. a), die der Entwertung entsprechenden, geschäftsmässig begründeten Abschreibungen und Rückstellungen geschäftlicher Betriebe (lit. b) sowie die eingetretenen und verbuchten Geschäftsverluste (lit. c) und der Zins des im Betrieb eingesetzten eigenen Kapitals abgezogen, wobei der Zinssatz der jährlichen Durchschnittsrendite der Anleihen der nicht öffentlichen inländischen Schuldner in Schweizer Franken entspricht (lit. f). Gemäss <ref-law> werden das Einkommen aus selbstständiger Erwerbstätigkeit und das im Betrieb eingesetzte eigene Kapital von den kantonalen Steuerbehörden ermittelt und den Ausgleichskassen gemeldet. Gemäss <ref-law> in der seit 1. Januar 2001 geltenden Fassung sind für die Ausscheidung und das Ausmass der vom rohen Einkommen nach Artikel 9 Absatz 2 Buchstaben a-e AHVG zulässigen Abzüge die Vorschriften über die direkte Bundessteuer massgebend.
3.3 3.3.1 Als Einkommen aus selbstständiger Erwerbstätigkeit im Sinne von Artikel 9 Absatz 1 AHVG gelten gemäss <ref-law> in der seit 1. Januar 2001 geltenden Fassung alle in selbstständiger Stellung erzielten Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf, sowie aus jeder anderen selbstständigen Erwerbstätigkeit, einschliesslich der Kapital- und Überführungsgewinne nach Artikel 18 Absatz 2 DBG (Bundesgesetz über die direkte Bundessteuer vom 14. Dezember 1990; SR 642.11) und der Gewinne aus der Veräusserung von land- und forstwirtschaftlichen Grundstücken nach Artikel 18 Absatz 4 DBG, mit Ausnahme der Einkünfte aus zu Geschäftsvermögen erklärten Beteiligungen nach Artikel 18 Absatz 2 DBG. Nicht unter den Begriff der selbstständigen Erwerbstätigkeit im Sinne von <ref-law> und <ref-law> fällt die blosse Verwaltung des eigenen Vermögens; der daraus resultierende reine Kapitalertrag unterliegt daher nicht der Beitragspflicht. Gleiches gilt in Bezug auf Gewinne aus privatem Vermögen, welche in Ausnützung einer zufällig sich bietenden Gelegenheit erzielt worden sind. Anderseits stellen Kapitalgewinne aus der Veräusserung oder Verwertung von Gegenständen des Privatvermögens, wie Wertschriften oder Liegenschaften, auch bei nicht buchführungspflichtigen (Einzel)Betrieben, Einkommen aus selbstständiger Erwerbstätigkeit dar, wenn und soweit sie auf gewerbsmässigem Handel beruhen (<ref-ruling> E. 3.1 S. 252 mit Hinweisen; <ref-ruling> E. 2a S. 385; Urteile 9C_551/2008 vom 16. Januar 2009 und H 36/03 vom 7. Juni 2004 E. 4.1).
3.3.2 Ausgangspunkt für die Beurteilung der Frage, ob Einkünfte oder Vermögenszuwächse (Erträge, Gewinne) aus einer selbstständigen Erwerbstätigkeit im Sinne von Art. 4 Abs. 1 und <ref-law> herrühren, bildet praxisgemäss die bundesgerichtliche Rechtsprechung zur Abgrenzung zwischen Privat- und Geschäftsvermögen bei der Besteuerung von Kapitalgewinnen nach Art. 16 f. DBG. Danach besteht das entscheidende Kriterium für die Zuteilung eines Vermögenswertes zum Geschäftsvermögen darin, dass er für Geschäftszwecke erworben worden ist (Erwerbsmotiv) oder dem Geschäft tatsächlich dient (Zweckbestimmung). Wo sich die Zugehörigkeit nicht ohne weiteres aus der äusseren Beschaffenheit des Vermögenswertes ergibt, wie dies häufig bei Alternativgütern der Fall ist, die sowohl mit dem Geschäft im Zusammenhang stehen als auch ausschliesslich für eine private Verwendung geeignet sein können, ist darüber auf Grund einer Würdigung aller für die Bestimmung der technisch-wirtschaftlichen Funktion des betreffenden Gegenstandes bedeutsamen Umstände zu entscheiden (BGE <ref-ruling> E. 2b S. 386 mit Hinweisen).
3.3.3 Gemäss <ref-law> gelten als Geschäftsvermögen alle Vermögenswerte, die ganz oder vorwiegend der selbstständigen Erwerbstätigkeit dienen. Der Begriff des Geschäftsvermögens setzt sich steuerrechtlich somit aus zwei Tatbestandsmerkmalen zusammen, einer selbstständigen Erwerbstätigkeit einerseits und dem Umstand, dass der fragliche Vermögensgegenstand dieser tatsächlich dient anderseits (PETER LOCHER, Kommentar zum DBG, Therwil/Basel 2001, Rz. 44, 124 zu Art. 18). Es sind keine Gründe erkennbar, sozialversicherungsrechtlich einen Zusammenhang zwischen Geschäftsvermögen und selbstständiger Erwerbstätigkeit zu verneinen. Schon aus begrifflicher Sicht kann nicht gesagt werden, Erträge aus der Bewirtschaftung von Geschäftsvermögen seien Einkünfte aus privater Vermögensverwaltung. Dass gleich wie im Steuerrecht auch im AHV-Beitragsrecht eine Verbindung zwischen Geschäftsvermögen und selbstständiger Erwerbstätigkeit besteht, erhellt namentlich aus <ref-law>. Danach unterliegen Überführungsgewinne nach <ref-law> der Beitragspflicht; diese stellen demzufolge Einkommen aus selbstständiger Erwerbstätigkeit dar (<ref-ruling> E. 4.2 S. 255; zu <ref-law>: <ref-ruling> E. 3 S. 421; Urteil 9C_551/2008 vom 16. Januar 2009).
3.3.4 Bei der Übernahme steuerrechtlicher Grundsätze im Zusammenhang mit der Frage, ob Einkünfte und Vermögenszuwächse der Beitragspflicht unterliegen, ist immer Folgendes im Auge zu behalten. Die Qualifikation eines Vermögensbestandteils als Privat- oder Geschäftsvermögen ist steuerrechtlich häufig ohne Belang, da im Steuerbereich der Einkommensbegriff (Art. 21 aBdBSt und <ref-law>) auf der Reinvermögenszugangstheorie beruht (ASA 60 S. 77 E. 4a; LOCHER, System des Steuerrechts, 5. Aufl., S. 155; KÄNZIG, Kommentar zur Wehrsteuer [Direkte Bundessteuer], 2. Aufl., Bern 1982, N. 1-3 zu Art. 21; AGNER/JUNG/STEINMANN, Kommentar zum Gesetz über die direkte Bundessteuer, Zürich 1995, N. 1 zu Art. 16). Dementsprechend stellt der Vermögensertrag auf beweglichem und unbeweglichem Privatvermögen unbekümmert darum, ob ihm eine erwerbliche Tätigkeit zugrunde liegt oder nicht, steuerbares Einkommen dar. Daher ist der beitragsrechtliche Einkommensbegriff enger als der im Bundessteuerrecht verwendete (<ref-ruling> E. 3b S. 132; BGE <ref-ruling> E. 2b S. 386 und E. 2d S. 388; Urteil H 189/04 vom 15. Februar 2005).
3.4 Nach der Rechtsprechung stellt die Vermietung von Wohnungen eines so genannten Renditenhauses Vermögensverwaltung dar, wenn und soweit diese Tätigkeit sich auf die Erzielung der Erträgnisse des Vermögensobjekts an sich beschränkt und nicht betrieblichen Charakter hat (<ref-ruling> E. 2a S. 83, 110 V 83 E. 5a S. 86, je mit Hinweisen; ZAK 1987 S. 519 E. 3a mit Hinweisen). Gleich verhält es sich mit der Vermietung von Geschäftsräumlichkeiten. Dagegen erhält die Vermietertätigkeit dann betrieblichen Charakter, wenn sie die blosse Gebäudeverwaltung übersteigt (<ref-ruling> E. 5a S. 86; ZAK 1987 S. 519 E. 3a). Für die beitragsrechtliche Abgrenzung von blosser (privater) Vermögensverwaltung und betrieblicher (gewerbsmässiger) Nutzung ist das in einer Liegenschaft investierte Fremdkapital grundsätzlich nur massgebend, wenn der Versicherte eine Tätigkeit ausübt, die auch Kapitalinvestitionen verlangt, wie der Kauf und Verkauf von Grundstücken. Dagegen kommt diesem Kriterium keine entscheidende Bedeutung zu, wenn die Tätigkeit sich darauf beschränkt, aus einer eigenen Liegenschaft Mietzinseinnahmen zu erzielen. In einem solchen Fall ist die Herkunft der Mittel für den Erwerb des Vermögensobjektes - Darlehen oder eigene Gelder - von untergeordneter Bedeutung, wenn auch der Umstand, dass jemand ohne anlagebedürftiges eigenes Vermögen bzw. unter Inanspruchnahme fremder Gelder Häuser besitzt und bedeutendes Einkommen aus Vermietungen erzielt, gelegentlich doch ein Indiz gegen blosse Vermögensverwaltung sein kann (<ref-ruling> E. 2b S. 85; ZAK 1987 S. 202 E. 4b). Dies ist namentlich dann der Fall, wenn diese Einkommensquelle in einem wirtschaftlichen Zusammenhang mit einer haupt- oder nebenberuflich ausgeübten erwerblichen Tätigkeit, wie beispielsweise Liegenschaftshandel, steht und dem Besitz von Liegenschaften sowie deren Vermietung nicht eindeutig eine davon unabhängige Funktion zukommt. Unter solchen Umständen erscheint die Vermietertätigkeit als wirtschaftliche Folge der haupt- oder nebenberuflich gewerbsmässig ausgeübten Tätigkeit in der Bau- oder Immobilienbranche und nicht als blosse Kapitalanlage in Immobilien (Pra 1997 Nr. 80 S. 409).
Nach der Rechtsprechung gehören beim gewerbsmässigen Liegenschaftenhandel nicht nur die erzielten Grundstückgewinne, sondern notwendigerweise auch der während der Besitzesdauer anfallende Mietertrag zum Einkommen aus gewerbsmässiger Tätigkeit. Denn es kann nicht allein die Kaufs- und Verkaufstätigkeit als gewerbsmässig, der Ertrag aus dem Liegenschaftenbesitz aber als Ergebnis blosser Vermögensverwaltung betrachtet werden (Pra 1997 S. 411 E. 5b). Dabei ist zu beachten, dass der Grundsatz der parallelen Verabgabung von Vermögensgewinn und Vermögensertrag bei Annahme von Geschäftsvermögen (BGE <ref-ruling>) zwingend ist und dem Grundsatz vorgeht, dass der Beitragspflichtige sich entgegenhalten lassen muss, was er steuerrechtlich vorgekehrt hat (vgl. Pra 1997 Nr. 80 S. 409 E. 5b; ZAK 1989 S. 148 E. 2c und S. 304 E. 3c; Urteile H 210/06 E. 6.3 vom 22. Juni 2007 und H 36/03 E. 6.5 vom 7. Juni 2004).
Nach der Rechtsprechung gehören beim gewerbsmässigen Liegenschaftenhandel nicht nur die erzielten Grundstückgewinne, sondern notwendigerweise auch der während der Besitzesdauer anfallende Mietertrag zum Einkommen aus gewerbsmässiger Tätigkeit. Denn es kann nicht allein die Kaufs- und Verkaufstätigkeit als gewerbsmässig, der Ertrag aus dem Liegenschaftenbesitz aber als Ergebnis blosser Vermögensverwaltung betrachtet werden (Pra 1997 S. 411 E. 5b). Dabei ist zu beachten, dass der Grundsatz der parallelen Verabgabung von Vermögensgewinn und Vermögensertrag bei Annahme von Geschäftsvermögen (BGE <ref-ruling>) zwingend ist und dem Grundsatz vorgeht, dass der Beitragspflichtige sich entgegenhalten lassen muss, was er steuerrechtlich vorgekehrt hat (vgl. Pra 1997 Nr. 80 S. 409 E. 5b; ZAK 1989 S. 148 E. 2c und S. 304 E. 3c; Urteile H 210/06 E. 6.3 vom 22. Juni 2007 und H 36/03 E. 6.5 vom 7. Juni 2004).
3.5 3.5.1 Nach <ref-law> in der seit 1. Januar 2001 gültigen Fassung ermitteln die kantonalen Steuerbehörden das für die Bemessung der Beiträge massgebende Erwerbseinkommen auf Grund der rechtskräftigen Veranlagung für die direkte Bundessteuer, das im Betrieb investierte Eigenkapital auf Grund der entsprechenden rechtskräftigen kantonalen Veranlagung unter Berücksichtigung der interkantonalen Repartitionswerte; die Angaben der kantonalen Steuerbehörden sind für die Ausgleichskassen verbindlich (Abs. 4).
3.5.2 Die absolute Verbindlichkeit der Angaben der Steuerbehörden für die Ausgleichskassen und die daraus abgeleitete relative Bindung des Sozialversicherungsgerichts an die rechtskräftigen Steuertaxationen sind auf die Bemessung des massgebenden Einkommens und des betrieblichen Eigenkapitals beschränkt. Diese Bindung betrifft also nicht die beitragsrechtliche Qualifikation und beschlägt daher nicht die Fragen, ob überhaupt Erwerbseinkommen und gegebenenfalls solches aus selbstständiger oder aus unselbstständiger Tätigkeit vorliegt und ob die Person, die das Einkommen bezogen hat, beitragspflichtig ist. Somit haben die Ausgleichskassen ohne Bindung an die Steuermeldung auf Grund des Rechts der Alters- und Hinterlassenenversicherung zu beurteilen, wer für ein von der Steuerbehörde gemeldetes Einkommen beitragspflichtig ist (<ref-ruling> E. 2c S. 83, 114 V 72 E. 2 S. 75, 110 V 83 E. 4 S. 86 und 369 E. 2a S. 370, 102 V 27 E. 3b S. 31, je mit Hinweisen; Urteil H 36/03 vom 7. Juni 2004 E. 4.5). Das gilt namentlich auch für die Qualifikation eines Vermögensbestandteils als Privat- oder Geschäftsvermögen, zumal diese Unterscheidung steuerrechtlich häufig ohne Belang ist, da der Ertrag sowohl aus Privat- als auch aus Geschäftsvermögen steuerbar ist. Die Steuermeldung ist daher mit Bezug auf den Vermögensertrag keine zuverlässige Grundlage für die AHV-Beitragsfestsetzung, weshalb die Qualifikation als beitragsfreier Kapitalertrag auf Privatvermögen oder beitragspflichtiges Einkommen aus Geschäftsvermögen im Beitragsfestsetzungsverfahren erfolgen muss (Urteil H 361/96 vom 2. Juli 1997 E. 2c). In Bezug auf den Vermögensgewinn ist demgegenüber auch steuerrechtlich die Unterscheidung von Geschäfts- und Privatvermögen von Bedeutung, weshalb sich die AHV-Behörden in der Regel auf die Steuermeldungen verlassen können und eigene nähere Abklärungen nur dann vornehmen müssen, wenn sich ernsthafte Zweifel an der Richtigkeit der Steuermeldung ergeben (<ref-ruling> E. 3.3 S. 253; <ref-ruling> E. 2a S. 370 und 83 E. 4 S. 86, 102 V 27 E. 3b S. 31 mit Hinweisen).
4. 4.1 Bei der zunächst zu prüfenden Frage, ob die aus der Liegenschaft Y._ erzielten Erträge Einkommen aus selbstständiger Erwerbstätigkeit darstellt, handelt es sich um eine Rechtsfrage, welche das Bundesgericht mit voller Kognition prüft (<ref-law>), wobei wiederum die dieser Frage zugrunde liegenden Sachverhaltsfeststellungen der Vorinstanz als Tatfragen nur einer eingeschränkten Überprüfung zugänglich sind (Art. 97 Abs. 1, <ref-law>).
4. 4.1 Bei der zunächst zu prüfenden Frage, ob die aus der Liegenschaft Y._ erzielten Erträge Einkommen aus selbstständiger Erwerbstätigkeit darstellt, handelt es sich um eine Rechtsfrage, welche das Bundesgericht mit voller Kognition prüft (<ref-law>), wobei wiederum die dieser Frage zugrunde liegenden Sachverhaltsfeststellungen der Vorinstanz als Tatfragen nur einer eingeschränkten Überprüfung zugänglich sind (Art. 97 Abs. 1, <ref-law>).
4.2 4.2.1 Die Ausgleichskasse verwies in ihren beiden Einspracheentscheiden zur Begründung der Beitragspflicht auf die vom kantonalen Steueramt berücksichtigten Kriterien (systematisches, planmässiges Vorgehen; Einsatz fremder Mittel [hohe Fremdfinanzierung]; Häufigkeit der Transaktionen, kurze Besitzdauer, Erfahrung bei Liegenschaftsverwaltung). Zudem führte sie aus, es seien hohe Investitionen getätigt worden; unmittelbar nach dem Kauf sei auch eine umfassende Renovation vorgenommen worden und zudem sei unklar, weshalb der Kauf der Liegenschaft nicht über die Z._ AG abgewickelt worden sei. Schliesslich habe der Kauf gemäss Schreiben vom 16. November 2005 zur Sicherung der Mieträume der Z._ AG gedient und der Beschwerdeführer habe beim Umbau aktiv - über die reine Vermögensverwaltung hinausgehend - mitgewirkt. Diese Kriterien sprächen klar für das Vorliegen von gewerbsmässigem Liegenschaftenhandel und es bestünden keine ernsthaften Zweifel an der Richtigkeit der Steuermeldungen. Bezüglich der Liegenschaft X._ seien diese auch nicht bestritten. An der steuerrechtlichen Qualifikation bezüglich der Liegenschaft Y._ seien ebenfalls keine ernsthaften Zweifel angebracht. Gelte ein Versicherter als gewerbsmässiger Liegenschaftenhändler, so seien von dieser Qualifikation nur Liegenschaften ausgeschlossen, welche klar privat, z.B. als Wohn- oder Ferienhaus genutzt würden. Die Liegenschaft Y._ werde jedoch dauernd fremdvermietet. Damit sei auch nicht entscheidend, dass zum jetztigen Zeitpunkt (noch) keine Renovationen und kein Verkauf anstehen.
4.2.2 Die Vorinstanz stellte sich mit der Ausgleichskasse auf den Standpunkt, auch der Ertrag aus der Liegenschaft Y._ sei zweifelsfrei als beitragspflichtiges Einkommen zu betrachten, weil diese dauernd fremdvermietet sei, also nicht privat genutzt werde. Sie verweist darauf, dass es gemäss <ref-ruling> nicht zulässig sei, a priori nur die von der versicherten Person veräusserten Liegenschaften als Geschäftsvermögen zu betrachten, weshalb der Einwand, er habe betreffend die Liegenschaft Y._ keine Teilverkäufe getätigt, nicht stichhaltig sei. Da er als gewerbsmässiger Immobilienhändler tätig sei, spiele es keine Rolle, dass die Liegenschaft Y._ nicht fremdfinanziert sei. Der Vermietung der Wohnungen an der Y._ könnte deshalb nur dann als blosser abgabefreier Kapitalertrag qualifiziert werden, wenn der Vermietung "eindeutig" eine vom Liegenschaftenhandel unabhängige Funktion zukomme, was nicht der Fall sei.
4.2.3 Der Beschwerdeführer wendet dagegen ein, es sei willkürlich, aus dem Kauf der Liegenschaft X._ ableiten zu wollen, es bestehe auch bezogen auf die andere im Privateigentum des Beschwerdeführers stehende Liegenschaft eine erwerbliche Tätigkeit. Er sei schon vor 2003 Eigentümer der Liegenschaft Y._ gewesen, welche unbestrittenermassen vollständig eigenfinanziert sei. Es seien keine besonderen Renovationen und steuerlich auch keine Abschreibungen vorgenommen worden; über Jahre hinweg sei keine Handänderung an der Liegenschaft erfolgt. Es möge allenfalls angängig sein, bei einem Architekten, welcher eine Vielzahl von Liegenschaften im Eigentum hat und wiederholt kauft und verkauft, insgesamt eine erwerbliche Nutzung anzunehmen. Er habe die Liegenschaft X._ deshalb gekauft, weil sein Geschäft in dieser Liegenschaft Mieterin war und die Liegenschaft zum Verkauf stand, und insoweit aus einer besonderen und nur auf diese Liegenschaft bezogenen Ausgangslage gehandelt. Daraus könnten nicht Rückschlüsse auf eine zweite, im Privatvermögen stehende Liegenschaft gezogen werden. Zudem beziehe sich der von der Vorinstanz zitierte Entscheid H 36/03 auf eine haupt- oder nebenberufliche, erwerbsmässig ausgeübte Tätigkeit in der Bau- oder Immobilienbranche; er aber sei in der Werbebranche tätig und habe ein einziges Mal eine Liegenschaft (in welcher sich sein Geschäft befindet) gekauft und (zum Teil) verkauft.
4.3 Zwar beziehen sich die von der Ausgleichskasse in ihrem Einspracheentscheid aufgeführten Kriterien zugunsten einer Beitragspflicht gemäss Steuermeldung ausdrücklich nur auf die Liegenschaft X._. Indes spielt dies bei der Qualifikation von Erträgen aus verschiedenen Liegenschaften insofern keine Rolle, als - wie Ausgleichskasse und Vorinstanz zutreffend erwogen - bei Vorhandensein mehrerer Liegenschaften, von denen zumindest eine bereits ein Einkommen aus selbstständiger Tätigkeit generiert, massgebend ist, ob eine oder mehrere andere Liegenschaften klar privat genutzt werden. Dies ist hier, wie die Vorinstanz zutreffend festgestellt hat, bei der Liegenschaft Y._ eindeutig nicht der Fall. Es ist deshalb nicht zu beanstanden, wenn die Vorinstanz die Erträge der Liegenschaft Y._ als beitragspflichtiges Einkommen qualifiziert hat.
5. 5.1 Sodann ist die Höhe des beitragspflichtigen Einkommens betreffend die Liegenschaft X._ strittig. Der Beschwerdeführer rügt, die Vorinstanz habe sich mit den diesbezüglichen Beschwerdegründen unzureichend auseinandergesetzt und deshalb die Begründungspflicht verletzt.
5.2 Der Anspruch auf rechtliches Gehör (<ref-law>) dient einerseits der Sachaufklärung, andererseits stellt er ein persönlichkeitsbezogenes Mitwirkungsrecht beim Erlass eines Entscheids dar, welcher in die Rechtsstellung des Einzelnen eingreift. Die daraus abgeleitete Begründungspflicht (<ref-law> und <ref-law>) soll verhindern, dass sich die Behörde von unsachlichen Motiven leiten lässt, und dem Betroffenen ermöglichen, die Verfügung gegebenenfalls sachgerecht anzufechten. Dies ist nur möglich, wenn sowohl er wie auch die Rechtsmittelinstanz sich über die Tragweite des Entscheides ein Bild machen können. In diesem Sinn müssen wenigstens kurz die Überlegungen genannt werden, von denen sich das Gericht hat leiten lassen und auf welche sich sein Entscheid stützt. Dies bedeutet indessen nicht, dass es sich ausdrücklich mit jeder tatbeständlichen Behauptung und jedem rechtlichen Einwand auseinandersetzen muss. Vielmehr kann es sich auf die für den Entscheid wesentlichen Gesichtspunkte beschränken (<ref-ruling> E. 5.2 S. 236; <ref-ruling> E. 4.1 S. 88; <ref-ruling> E. 3.1 S. 277; je mit Hinweisen).
5.3 Der Beschwerdeführer machte bereits in der Einsprache vom 7. Januar 2009 betreffend das Beitragsjahr 2003 geltend, das Einkommen aus selbstständiger Tätigkeit betrage Fr. -91'353.- und das investierte Eigenkapital Fr. 5'800'000.-, wobei er auf die detaillierte Aufstellung in seinem Schreiben vom 17. November 2008 hinwies. Die Ausgleichskasse erwog dazu in ihren Einspracheentscheiden lediglich, die Steuermeldungen erwiesen sich nicht als offensichtlich falsch, weshalb sie an die Angaben der Steuerbehörden gebunden sei, dies, obwohl sie im Zuge ihrer Abklärungen nicht alle offenen Fragen zur Steuermeldung klären konnte (so wurde im Verlaufsbericht der Ausgleichskasse vom 26. November 2009 festgehalten, es fehle an einer Begründung seitens der Steuerbehörde, weshalb eine solch grosse Abweichung zwischen der ersten Meldung und dem Rektifikat bestehe [Meldung Reingewinn Fr. 704'093.-, Rektifikat Fr. 408'963.-]).
Sodann begründete der Beschwerdeführer in seiner vorinstanzlichen Beschwerde betreffend die Beitragsjahre 2003 und 2007 einlässlich, weshalb er die Steuermeldungen als nicht zutreffend erachte. Insbesondere wandte er ein, es seien Unterhaltskosten und effektive Schuldzinsen fälschlicherweise nicht berücksichtigt worden, und veranschaulichte seinen Standpunkt mit detaillierten Berechnungen.
Gleichwohl übernahm die Vorinstanz in der Folge die Begründung der Ausgleichskasse, wonach die Steuermeldung nicht offensichtlich unrichtig ist, ohne weiter auf die Vorbringen des Beschwerdeführers einzugehen. Dabei übersieht die Vorinstanz, dass die Steuermeldungen wohl für die Ausgleichskasse, nicht aber für das Gericht absolut verbindlich sind (BGE <ref-ruling> E. 2a S. 371 f.). Der Beschwerdeführer machte geltend, es handle sich um einen steuerrechtlich belanglosen, aber ahv-rechtlich bedeutsamen Gesichtspunkt (was, wie in E. 3.5 hievor dargelegt, dem Sozialversicherungsgericht erlaubt und gegebenenfalls gebietet, von den rechtskräftigen Steuerveranlagungen abzuweichen). Zudem verlangt der Beschwerdeführer einen Abzug von Unterhaltskosten als Gewinnungskosten sowie Schuldzinsen, was gemäss Art. 9 Abs. 2 lit. a und c AHVG (vgl. E. 3.2 hievor) bei einem - wenn auch im Nebenerwerb tätigen - gewerbsmässigen Liegenschaftenhändler zulässig ist (vgl. dazu Urteil H 71/06 vom 2. Juni 2006). Darüber hat das kantonale Gericht zu befinden.
Es ist nicht Sache des Bundesgerichts als Instanz mit eingeschränkter Kognition, als erste zu den Einwendungen des Beschwerdeführers Stellung zu nehmen. Um den Parteien nicht eine Rechtsmittelinstanz vorzuenthalten (vgl. in BGE 138 zu publizierendes Urteil 9C_545/2011 vom 16. Mai 2012, E. 3.5) geht die Sache zur Wahrung des zweistufigen Instanzenzugs sowie des rechtlichen Gehörs seitens der Ausgleichskasse zurück an das kantonale Gericht zur erforderlichen Aktenergänzung und Neubeurteilung.
6. Dieses Ergebnis ist als teilweises Obsiegen zu betrachten, weshalb dem Beschwerdeführer für das Verfahren vor Bundesgericht eine reduzierte Parteientschädigung zusteht (Art. 68 Abs. 1 und 2 BGG). Dieser beantragt eine Entschädigung über dem üblichen Betrag von Fr. 2'800.-. Mit Blick auf den Prozessausgang, den Streitwert und die diesem entsprechenden Gerichtskosten kann ihm eine Parteientschädigung von Fr. 3'000.- zugesprochen werden (<ref-law>; Art. 12 des Reglements vom 31. März 2006 über die Parteientschädigung und die Entschädigung für die amtliche Vertretung im Verfahren vor Bundesgericht [SR 173.110.210.3]). Die Gerichtskosten werden den Parteien anteilsmässig auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird in dem Sinne teilweise gutgeheissen, dass der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 23. August 2011 und die Einspracheentscheide der Ausgleichskasse des Kantons Zürich vom 21. Dezember 2009 und vom 16. März 2010 aufgehoben werden, soweit diese die Höhe der Beiträge betreffend die Liegenschaft X._ betreffen, und die Sache an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen wird, damit dieses nach erfolgter Abklärung im Sinne der Erwägungen über die Höhe des beitragspflichtigen Einkommens neu entscheide. Im Übrigen wird die Beschwerde abgewiesen.
2. Von den Gerichtskosten von Fr. 4'000.- werden dem Beschwerdeführer Fr. 2'000.- und der Beschwerdegegnerin Fr. 2'000.- auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 3'000.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 23. August 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Helfenstein