Sachverhalt:
Sachverhalt:
A. Der im Kanton X._ wohnhafte M._ vermietete ab 1. Januar 1994 die in seinem Eigentum stehende Wohnliegenschaft an der Strasse Y._ in Zürich an die Firma Z._ AG mit Sitz an der gleichen Adresse zum Zwecke der Vermietung als möbliertes Appartmenthaus. Die kantonale Steuerverwaltung X._ betrachtete die Mietzinseinnahmen als selbständiges Erwerbseinkommen. Am 27. November 2002 meldete sie der Ausgleichskasse Gastrosuisse für 1997 und 1998 Einkommen von Fr. 285'584.- und Fr. 411'975.- sowie ein im Betrieb arbeitendes eigenes Kapital am 1. Januar 1999 von -Fr. 546'267.- gemäss kantonaler Steuerveranlagung. Gestützt auf diese Angaben erhob die zuständige Ausgleichskasse des Kantons Zürich mit Verfügungen vom 4. Dezember 2003 Beiträge für Selbständigerwerbende u.a. für 1997 bis 2000. Mit Einspracheentscheid vom 19. November 2004 bestätigte sie Beitragspflicht und Beitragshöhe.
A. Der im Kanton X._ wohnhafte M._ vermietete ab 1. Januar 1994 die in seinem Eigentum stehende Wohnliegenschaft an der Strasse Y._ in Zürich an die Firma Z._ AG mit Sitz an der gleichen Adresse zum Zwecke der Vermietung als möbliertes Appartmenthaus. Die kantonale Steuerverwaltung X._ betrachtete die Mietzinseinnahmen als selbständiges Erwerbseinkommen. Am 27. November 2002 meldete sie der Ausgleichskasse Gastrosuisse für 1997 und 1998 Einkommen von Fr. 285'584.- und Fr. 411'975.- sowie ein im Betrieb arbeitendes eigenes Kapital am 1. Januar 1999 von -Fr. 546'267.- gemäss kantonaler Steuerveranlagung. Gestützt auf diese Angaben erhob die zuständige Ausgleichskasse des Kantons Zürich mit Verfügungen vom 4. Dezember 2003 Beiträge für Selbständigerwerbende u.a. für 1997 bis 2000. Mit Einspracheentscheid vom 19. November 2004 bestätigte sie Beitragspflicht und Beitragshöhe.
B. Die Beschwerde des M._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 20. März 2006 ab.
B. Die Beschwerde des M._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 20. März 2006 ab.
C. M._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, die Beiträge für 1997 seien zufolge Verwirkung aufzuheben und die beitragspflichtigen Einkommen für 1998 bis 2000 seien auf Fr. 346'500.- (1998), Fr. 283'300.- (1999) und Fr. 297'800.- (2000) festzusetzen; eventualiter seien für 1997 Beiträge auf einem Einkommen von Fr. 217'100.- zu erheben.
Ausgleichskasse und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Das Bundesgericht zieht in Erwägung:
1. Am 1. Januar 2007 ist das Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (BGG) in Kraft getreten (AS 2006 1205 ff., 1243). Der angefochtenen Entscheid ist vorher ergangen, weshalb sich das Verfahren noch nach dem Bundesgesetz über die Organisation der Bundesrechtspflege (OG) richtet (<ref-law>; <ref-ruling> E. 1.2 S. 395).
Da nicht Versicherungsleistungen streitig sind, ist nur zu prüfen, ob der vorinstanzliche Entscheid Bundesrecht verletzt, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob das kantonale Gericht den Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt hat (Art. 132 OG in Verbindung mit Art. 104 lit. a und b OG sowie Art. 105 Abs. 2 OG).
Da nicht Versicherungsleistungen streitig sind, ist nur zu prüfen, ob der vorinstanzliche Entscheid Bundesrecht verletzt, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob das kantonale Gericht den Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt hat (Art. 132 OG in Verbindung mit Art. 104 lit. a und b OG sowie Art. 105 Abs. 2 OG).
2. Streitgegenstand bilden die vorinstanzlich bestätigten Beiträge von Einkommen aus selbständiger Erwerbstätigkeit (Vermietung der Wohnliegenschaft an der Strasse Y._ in Zürich) für 1997 bis 2000. Dabei sind die Beitragspflicht, die zeitliche Bemessungsgrundlage sowie die von der zuständigen Steuerbehörde des Wohnsitzkantons X._ gemeldeten massgebenden Einkommen von Fr. 285'584.- (1997) und Fr. 411'925.- (1998) unbestritten. Im Weitern ist der Einwand in der Verwaltungsgerichtsbeschwerde, die Beiträge für 1997 seien verwirkt, offensichtlich unbegründet. Nach Art. 16 Abs. 1 zweiter Satz AHVG in den seit 1. Januar 1997 geltenden Fassungen endet die Frist für die durch Verfügung geltend zu machenden Beiträge u.a von Einkommen aus selbständiger Erwerbstätigkeit (<ref-law>) erst ein Jahr nach Ablauf des Kalenderjahres, in welchem die massgebende Steuerveranlagung rechtskräftig wurde. Es ist unbestritten, dass die Veranlagung über die direkte Bundessteuer für 1999/2000 auf der Grundlage des durchschnittlichen reinen Erwerbseinkommens der Berechnungsperiode 1997/98 (<ref-law> in der bis 31. Dezember 2000 gültig gewesenen Fassung) im November 2002 erfolgte und unangefochten in Rechtskraft erwuchs. Die Erhebung der Beiträge für 1997 mit Verfügung vom 4. Dezember 2003 war somit rechtzeitig. Näher zu prüfen ist somit einzig das ebenfalls beanstandete im Betrieb investierte Eigenkapital am 1. Januar 1998 und am 1. Januar 1999.
2. Streitgegenstand bilden die vorinstanzlich bestätigten Beiträge von Einkommen aus selbständiger Erwerbstätigkeit (Vermietung der Wohnliegenschaft an der Strasse Y._ in Zürich) für 1997 bis 2000. Dabei sind die Beitragspflicht, die zeitliche Bemessungsgrundlage sowie die von der zuständigen Steuerbehörde des Wohnsitzkantons X._ gemeldeten massgebenden Einkommen von Fr. 285'584.- (1997) und Fr. 411'925.- (1998) unbestritten. Im Weitern ist der Einwand in der Verwaltungsgerichtsbeschwerde, die Beiträge für 1997 seien verwirkt, offensichtlich unbegründet. Nach Art. 16 Abs. 1 zweiter Satz AHVG in den seit 1. Januar 1997 geltenden Fassungen endet die Frist für die durch Verfügung geltend zu machenden Beiträge u.a von Einkommen aus selbständiger Erwerbstätigkeit (<ref-law>) erst ein Jahr nach Ablauf des Kalenderjahres, in welchem die massgebende Steuerveranlagung rechtskräftig wurde. Es ist unbestritten, dass die Veranlagung über die direkte Bundessteuer für 1999/2000 auf der Grundlage des durchschnittlichen reinen Erwerbseinkommens der Berechnungsperiode 1997/98 (<ref-law> in der bis 31. Dezember 2000 gültig gewesenen Fassung) im November 2002 erfolgte und unangefochten in Rechtskraft erwuchs. Die Erhebung der Beiträge für 1997 mit Verfügung vom 4. Dezember 2003 war somit rechtzeitig. Näher zu prüfen ist somit einzig das ebenfalls beanstandete im Betrieb investierte Eigenkapital am 1. Januar 1998 und am 1. Januar 1999.
3. 3.1 Das Einkommen aus selbständiger Erwerbstätigkeit wird ermittelt, indem vom hierdurch erzielten rohen Einkommen u.a. der Zins des im Betrieb eingesetzten eigenen Kapitals abgezogen wird (Art. 9 Abs. 2 lit. f erster Satz AHVG). Das Einkommen aus selbständiger Erwerbstätigkeit und das im Betrieb eingesetzte eigene Kapital werden von den kantonalen Steuerbehörden ermittelt und den Ausgleichskassen mitgeteilt (<ref-law>). Die kantonalen Steuerbehörden ermitteln das für die Berechnung der Beiträge massgebende Erwerbseinkommen auf Grund der rechtskräftigen Veranlagung für die direkte Bundessteuer, das im Betrieb investierte Eigenkapital auf Grund der entsprechenden rechtskräftigen kantonalen Veranlagung unter Berücksichtigung der interkantonalen Repartitionswerte (<ref-law> in der bis 31. Dezember 2000 gültig gewesenen Fassung). Die Angaben der kantonalen Steuerbehörden sind für die Ausgleichskassen verbindlich (<ref-law>). Nach der Rechtsprechung weicht das Sozialversicherungsgericht dann von rechtskräftigen Steuerveranlagungen ab, wenn diese klar ausgewiesene Irrtümer enthalten, die ohne weiteres richtig gestellt werden können oder wenn sachliche Umstände gewürdigt werden müssen, die steuerrechtlich belanglos, sozialversicherungsrechtlich aber bedeutsam sind (<ref-ruling> E. 4 S. 86, 110 V 369 E. 2a S. 371 mit Hinweisen; AHI 1997 S. 25 E. 2b).
3.2 Mit dem vom rohen Einkommen abzuziehenden Zins des im Betrieb eingesetzten eigenen Kapitals wird dem Umstand Rechnung getragen, dass Selbständigerwerbende gemischtes Einkommen aus dem Einsatz von Arbeit und Kapital erzielen. Nach <ref-law> unterliegt jedoch ausschliesslich das Erwerbseinkommen der Beitragspflicht. Mit dem Zinsabzug werden daher pauschal jene Einkommensbestandteile ausgeschieden, die auf dem Einsatz von Kapital beruhen (SVR 2006 AHV Nr. 20 S. 74 E. 4.2 [H 132/05]; Hanspeter Käser, Unterstellung und Beitragswesen in der obligatorischen AHV, 2. Aufl., S. 205 Rz 8.15). Das im Betrieb investierte Eigenkapital entspricht dem Reinvermögen am Stichtag (ZAK 1987 S. 425 unten; Käser a.a.O. S. 208 Rz 8.23 sowie Ernst Höhn/Robert Waldburger, Steuerrecht Band II, 9. Aufl., S. 351 Rz 105).
3.2 Mit dem vom rohen Einkommen abzuziehenden Zins des im Betrieb eingesetzten eigenen Kapitals wird dem Umstand Rechnung getragen, dass Selbständigerwerbende gemischtes Einkommen aus dem Einsatz von Arbeit und Kapital erzielen. Nach <ref-law> unterliegt jedoch ausschliesslich das Erwerbseinkommen der Beitragspflicht. Mit dem Zinsabzug werden daher pauschal jene Einkommensbestandteile ausgeschieden, die auf dem Einsatz von Kapital beruhen (SVR 2006 AHV Nr. 20 S. 74 E. 4.2 [H 132/05]; Hanspeter Käser, Unterstellung und Beitragswesen in der obligatorischen AHV, 2. Aufl., S. 205 Rz 8.15). Das im Betrieb investierte Eigenkapital entspricht dem Reinvermögen am Stichtag (ZAK 1987 S. 425 unten; Käser a.a.O. S. 208 Rz 8.23 sowie Ernst Höhn/Robert Waldburger, Steuerrecht Band II, 9. Aufl., S. 351 Rz 105).
4. 4.1 Die Ausgleichskasse des Kantons Zürich setzte das im Betrieb eingesetzte eigene Kapital am 1. Januar 1999 auf Grund des von der kantonalen Steuerverwaltung X._ am 27. November 2002 gemeldeten Passivenüberschusses von Fr. 546'267.- auf Fr. 0.- fest. Nach Auffassung der Vorinstanz bestehen keine Anhaltspunkte für ernsthafte Zweifel an der Richtigkeit der Steuermeldung. Den Einwand in der Beschwerde, bei der Berechnung des im Betrieb investierten Eigenkapitals sei von einem Marktwert der (vermieteten) Appartementhausliegenschaft von Fr. 8'000'000.- und nicht lediglich Fr. 6'000'000.- auszugehen, erachtete sie nicht als stichhaltig. Einerseits seien für die entrichteten Schuldzinsen Abzüge vorgenommen worden, anderseits sei gemäss der Auskunft der Steuerbehörde vom 22. September 2004 der Mietaufwand an den Beitragspflichtigen selbst gutgeschrieben worden.
4.2 In der Verwaltungsgerichtsbeschwerde wird geltend gemacht, der Wert der Wohnliegenschaft an der Strasse Y._ in Zürich werde ohne jede weitere Begründung entgegen den einschlägigen Normen des Bundessteuerrechts einheitlich auf Fr. 6'000'000.- festgesetzt. Gemäss gefestigter Schätzungspraxis bildeten die rohen Mieterträge Ausgangspunkt für die Bestimmung des massgebenden Ertragswertes. Als Ertragswert gelte der kapitalisierte Rohertrag. Der Kapitalisierungssatz betrage gemäss Art. 7 Abs. 1 der Verordnung des Eidgenössischen Finanzdepartementes vom 31. Juli 1986 über die Bewertung der Grundstücke bei der direkten Bundessteuer sechs bis sieben Prozent. Im Kanton Zürich habe dieser Satz für die Steuerperiode 1999 sogar 7,05 Prozent betragen. Bei Mieterträgen von Fr. 491'755.- (1997) und Fr. 612'550.- (1998) ergebe sich ein Ertragswert von Fr. 7'025'000.- am 1. Januar 1998 und Fr. 8'750'000.- am 1. Januar 1999. Im Hinblick auf die sozialversicherungsrechtlich erhebliche Verzinsung des investierten Eigenkapitals erwiesen sich die von der Steuerbehörde geschätzten Fr. 6'000'000.- als klar irrtümlich. Gemäss <ref-ruling> f. habe das Sozialversicherungsgericht den darauf beruhenden Kassenentscheid als gesetzwidrig aufzuheben. Bei einem Wert der Appartementhausliegenschaft an der Strasse Y._ in Zürich von Fr. 8'000'000.- ergebe sich ein investiertes Eigenkapital von Fr. 1'243'463.- am 1. Januar 1998 und Fr. 1'453'733.- am 1. Januar 1999.
Gemäss dem in diesem Verfahren eingereichten Berechnungsblatt «Schuldzinsübernahme durch Kanton Zürich» wurde das in den Betrieb (Appartmenthausliegenschaft an der Strasse Y._ in Zürich) investierte Eigenkapital wie folgt ermittelt:
1.1.98 1.1.99
Immobilien 6'000'000 6'000'000
Rest gemäss Bilanz 300'222 296'684
Mobilien 200'000
Total Aktiven 6'300'222 6'496'684
./. Passiven gemäss Bilanz - 56'759 - 42'951
Hypothek - 7'000'000 - 7'000'000
Investiertes Eigenkapital - 756'537 - 546'267
4.3 Aus den Akten geht nicht hervor, wie die Schätzung der Appartementhausliegenschaft an der Strasse Y._ in Zürich von Fr. 6'000'000.- zu Stande gekommen ist, welche Bewertungsgrundsätze dabei angewendet wurden. Dies kann jedoch offen bleiben. Im «Veranlagungsprotokoll für Staats- und Gemeindesteuern 1999/2000» des Kantons X._ vom 15. Oktober 2002 wurde für die betreffende Liegenschaft derselbe Wert von Fr. 6'000'000.- eingesetzt. Der Beschwerdeführer legt nicht dar, inwiefern es sich dabei um einen steuerrechtlich belanglosen, sozialversicherungsrechtlich jedoch bedeutsamen Umstand handelt. Damit ist aber auch dem Einwand, die Schätzung der Steuerbehörde verstosse gegen einschlägige bundesrechtliche Bewertungsnormen, der Boden entzogen. Selbst wenn es sich nämlich so verhielte, wäre darin kein klar ausgewiesener Irrtum zu erblicken, der vom Sozialversicherungsgericht ohne weiteres richtig gestellt werden könnte (E. 3.1). Die gegenteilige Auffassung stiesse sich am Grundsatz, wonach die Selbständigerwerbenden ihre Rechte, auch im Hinblick auf die Beitragspflicht in der AHV, in erster Linie im Steuerjustizverfahren zu wahren haben (<ref-ruling> E. 2a S. 371). Soweit sich <ref-ruling> E. 1 und dem Urteil H 52/94 vom 18. März 1996 etwas anderes entnehmen lässt, kann daran nicht festgehalten werden.
Der angefochtene Entscheid ist somit rechtens.
Der angefochtene Entscheid ist somit rechtens.
5. Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Dem Prozessausgang entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 156 OG in Verbindung mit Art. 135 OG).

Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 3500.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss von Fr. 5000.- verrechnet; der Differenzbetrag von Fr. 1500.- wird ihm zurückerstattet.
2. Die Gerichtskosten von Fr. 3500.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss von Fr. 5000.- verrechnet; der Differenzbetrag von Fr. 1500.- wird ihm zurückerstattet.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen zugestellt.
Luzern, 6. März 2007
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: