Sachverhalt:
A. Der 1943 geborene K._ war seit 1987 als selbständiger Teppichhändler erwerbstätig. Am 24. Januar 1992 schloss er mit der VITA Lebensversicherungs-Gesellschaft, Zürich (heute: «Zürich» Lebensversicherungs-Gesellschaft; nachfolgend: Zürich Leben) eine Personalvorsorge-Freizügigkeits-Police ab. Versichert waren ein Alterskapital fällig bei Erleben des 31. März 2008 und eine Todesfallsumme fällig bei Ableben vor diesem Zeitpunkt von jeweils Fr. 98'216.- sowie eine Invalidenrente von jährlich Fr. 48'261.- bei voller Invalidität und entsprechend dem Grad der Erwerbsunfähigkeit gekürzt bei teilweiser Invalidität.
Wegen rezidivierender, 1995 computertomographisch abgeklärter Lumbalgien sowie Beschwerden im Bereich der Halswirbelsäule, welche sich ab 1998 verstärkt hatten, meldete sich K._ im August 2000 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons St. Gallen holte u.a. beim behandelnden Arzt Dr. med. H._, Innere Medizin FMH, einen Bericht vom 17. Oktober 2000 ein. Danach bestanden seit 2. November 1999 Arbeitsunfähigkeiten zwischen 50 % und 100 %, ab 30. September 2000 von 75 % bis auf weiteres. Mit Verfügung vom 5. Juni 2001 verneinte die IV-Stelle mangels einer gesundheitlich bedingten Erwerbseinbusse den Anspruch auf eine Invalidenrente, was das Versicherungsgericht des Kantons St. Gallen mit unangefochten in Rechtskraft erwachsenem Entscheid vom 8. Oktober 2002 bestätigte.
Unter Hinweis auf die rechtskräftige Verfügung vom 5. Juni 2001 lehnte die «Zürich» Versicherungs-Gesellschaft (nachfolgend: Zürich) mit Schreiben vom 16. Januar 2002 das Gesuch des K._ um Ausrichtung einer Invalidenrente aus der mit der Zürich Leben abgeschlossenen Personalvorsorge-Freizügigkeits-Police ab.
Wegen eines neu aufgetretenen Schulterleidens links meldete sich K._ im Mai 2003 erneut bei der Invalidenversicherung an und beantragte eine Rente.
B. Am 29. August 2005 liess K._ beim Versicherungsgericht des Kantons St. Gallen Klage gegen die Zürich einreichen und beantragen, die Beklagte sei zu verpflichten, ihm aufgrund der Personalvorsorge-Freizügigkeits-Police vom 24. Januar 1992 ab 2. November 2001 eine Invalidenrente im Betrag von jährlich Fr. 48'261.- oder in einem im Beweisverfahren zu bestimmenden Umfang zu bezahlen.
Nach Berichtigung der Parteibezeichnung der Beklagten und nach Durchführung einer mündlichen Verhandlung wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 4. Dezember 2006 die Klage gegen die Zürich Leben ab.
C. K._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, der Entscheid vom 4. Dezember 2006 sei aufzuheben und die Klage vom 29. August 2006 gegen die Zürich Leben sei gutzuheissen.
Die Zürich Leben und das Bundesamt für Sozialversicherungen beantragen die Abweisung der Verwaltungsgerichtsbeschwerde.
Der Rechtsvertreter von K._ hat sich in einer weiteren Eingabe zur Sache geäussert.

Das Bundesgericht zieht in Erwägung:
1. Der angefochtene Entscheid erging am 4. Dezember 2006. Das Verfahren richtet sich somit nach dem Bundesgesetz vom 16. Dezember 1943 über die Organisation der Bundesrechtspflege (OG). Das am 1. Januar 2007 in Kraft getretene Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (BGG [AS 2006 1205 ff., 1243]) ist insoweit nicht anwendbar (<ref-law>).
2. Die Zuständigkeit des kantonalen Gerichts und letztinstanzlich der II. sozialrechtlichen Abteilung des Bundesgerichts (bis 31. Dezember 2006: Eidgenössisches Versicherungsgericht) in zeitlicher und sachlicher Hinsicht zum Entscheid über den Anspruch des Beschwerdeführers und Klägers auf eine Invalidenrente aus der Personalvorsorge-Freizügigkeits-Police bei der Zürich Leben ist gegeben (Art. 73 Abs. 1 lit. a BVG sowie Art. 10 Abs. 2 lit. a FZV in Verbindung mit Art. 26 Abs. 1 FZG, <ref-law> und Art. 35 lit. e des Reglements für das Bundesgericht vom 20. November 2006 [BGerR]; <ref-ruling> E. 2 S. 315 mit Hinweisen).
Die mit der Klage anfänglich ins Recht gefasste Zürich erklärte sich vor dem kantonalen Gericht mit einer Berichtigung der Parteibezeichnung einverstanden. Beklagte im vorinstanzlichen Prozess und Beschwerdegegnerin in diesem Verfahren ist die Zürich Leben, welche unbestrittenermassen passivlegitimiert ist.
3. 3.1 Mit der Personalvorsorge-Freizügigkeits-Police vom 24. Januar 1992 wurde u.a. eine Invalidenrente versichert «zahlbar bei dauernder oder vorübergehender Erwerbsunfähigkeit infolge Krankheit oder Unfall, solange die Invalidität dauert, längstens bis und mit 31. März 2008. Die Invalidenrente beträgt bei völliger Invalidität jährlich Fr. 48'261.- und wird bei teilweiser Invalidität entsprechend dem Grad der noch bestehenden Erwerbsunfähigkeit [recte: Erwerbsfähigkeit] gekürzt. Die Invaliditätsleistungen treten in Kraft, nachdem der Versicherte 24 Monate arbeitsunfähig war».
Gemäss Art. 1 Ziff. 1 der Allgemeinen Bedingungen für Freizügigkeits-Versicherungen der VITA (AB, in der bei Abschluss der Police gültigen Ausgabe 1980) haben für die in der Police, den Allgemeinen Bedingungen und Zusatzbedingungen für Freizügigkeits-Versicherungen sowie in besonderen Abreden nicht geregelten Verhältnisse die Bestimmungen des Bundesgesetzes über den Versicherungsvertrag (VVG) vom 2. April 1908 sowie die Verordnung über die Aufhebung der Vertragsfreiheit für Freizügigkeits-Policen vom 1. März 1966 Geltung. Laut Art. 13 AB hat der Versicherungsnehmer bzw. Anspruchsberechtigte zur Begründung des Anspruchs auf Invaliditätsleistungen auf seine Kosten einen Bericht des behandelnden Arztes einzureichen über Beginn, Verlauf und Folgen der Krankheit bzw. über die Art und die Folgen des Unfalles sowie über den Grad und die voraussichtliche Dauer der Erwerbsunfähigkeit (Ziff. 3). Die VITA ist berechtigt, weitere Auskünfte selbst einzuziehen bzw. auf ihre Kosten Erhebungen vorzunehmen und zu verlangen, dass sich der Versicherte durch einen von ihr bezeichneten Arzt untersuchen lasse (Ziff. 4).
Nach Art. 2 der Zusatzbedingungen für Freizügigkeits-Versicherungen, Invalidenversicherung (ZB [Ausgabe 1980]) liegt eine Invalidität bzw. Erwerbsunfähigkeit vor, wenn die versicherte Person infolge medizinisch nachweisbarer Krankheit, Zerfalls der geistigen und körperlichen Kräfte oder infolge Unfalls ganz oder teilweise ausserstande ist, ihren Beruf oder eine andere Erwerbstätigkeit auszuüben, die ihrer Lebensstellung, ihren Kenntnissen und Fähigkeiten angemessen ist (Ziff. 1). Dauernde Invalidität liegt vor, wenn der Nachweis erbracht ist, dass von der Fortsetzung der ärztlichen Behandlung keine namhafte Besserung der Erwerbsfähigkeit der versicherten Person erwartet werden kann und dass die Invalidität voraussichtlich lebenslänglich sein wird (Ziff. 2). Anspruch auf die vollen Leistungen besteht, wenn der Invaliditätsgrad mindestens 66 2/3 % beträgt. Bei einem Invaliditätsgrad von weniger als 66 2/3 % werden die Leistungen entsprechend dem Invaliditätsgrad entrichtet. Eine Teilinvalidität von weniger als 25 % begründet keinen Anspruch auf Leistungen (Ziff. 3).
3.2 Nach den zutreffenden Erwägungen des kantonalen Gerichts weicht der Invaliditätsbegriff gemäss Art. 2 Ziff. 1 ZB von dem nach Art. 23 BVG für den Anspruch auf Invalidenleistungen der obligatorischen beruflichen Vorsorge massgebenden Begriff in der Invalidenversicherung (<ref-law> in Verbindung mit Art. 7 und 8 Abs. 1 ATSG) ab, indem bei der Zumutbarkeit von Arbeitsleistungen ausserhalb des bisherigen Berufes nur Tätigkeiten berücksichtigt werden, die der bisherigen Lebensstellung entsprechen. Zudem besteht ein Anspruch bereits bei einem Invaliditätsgrad von 25 %. Dies bedeutet eine Besserstellung gegenüber der allgemeinen gesetzlichen Regelung, welche aber nicht so weit geht, dass der Anspruch gemäss Freizügigkeitspolice lediglich eine Beeinträchtigung der Arbeitsfähigkeit im bisherigen Beruf voraussetzte. Die Vorinstanz hat daher richtigerweise selbständig geprüft, ob eine Erwerbsunfähigkeit infolge Krankheit im Sinne der Personalvorsorge-Freizügigkeits-Police vom 24. Januar 1992 sowie der einschlägigen Versicherungsbedingungen besteht (E. 4.1). Insbesondere hat sie zu Recht das Ausmass dieser Erwerbsunfähigkeit nicht dem von der IV-Stelle ermittelten Invaliditätsgrad von 0 % gemäss Verfügung vom 5. Juni 2001 gleichgesetzt.
Abgesehen davon könnte auf die Invaliditätsschätzung der Invalidenversicherung ohnehin nicht abgestellt werden. Die IV-Stelle führte in der erwähnten Verfügung aus, der Versicherte habe als selbständiger Teppichhändler seit 1987 stets ein Jahreseinkommen von ca. Fr. 7000.- abgerechnet. Offensichtlich habe er sich innerhalb der letzten zwei Jahre beruflich erfolgreich neu orientiert. Bereits 1999 habe er einen Betriebsgewinn von rund Fr. 70'000.- ausgewiesen. Im Jahr 2000 betrage der Gewinn Fr. 64'824.-, obwohl während der gesamten Dauer eine gesundheitliche Beeinträchtigung bestanden habe. Auch wenn dem Versicherten gemäss seinen Angaben nur die Hälfte des erzielten Gewinns im Sinne einer Provision zustehen würde, liege dieser Betrag weit über dem bisherigen Einkommen, welches er mit der selbständigen Erwerbstätigkeit seit 1980 je ausgewiesen habe. Unter Vergleich eines hypothetischen Einkommens ohne resp. mit Behinderung von Fr. 8000.- und Fr. 32'412.- schloss die IV-Stelle auf einen Invaliditätsgrad von 0 %.
Es ist vorab unklar, worin die angebliche berufliche Neuorientierung bestand. Es fehlen jegliche diesbezügliche Angaben. Es ist daher fraglich, ob das früher abgerechnete Einkommen als Mass für den Verdienst gelten kann, den der Beschwerdeführer ohne gesundheitliche Beeinträchtigung erzielen könnte (vgl. <ref-law> und <ref-ruling> E. 3b S. 314). Weiter fragt sich, ob die Invalidität unter den gegebenen Umständen nicht nach der ausserordentlichen Bemessungsmethode eines erwerblich gewichteten Betätigungsvergleichs hätte ermittelt werden sollen (vgl. <ref-ruling>). Dabei wäre näher zu prüfen gewesen, ob dem Beschwerdeführer eine Erwerbseinbusse allenfalls dadurch entstanden war, dass er nicht mehr sämtliche Arbeiten selber ausführen konnte und deshalb auf Hilfspersonen angewiesen war. Wie es sich damit verhält, lässt sich den Akten nicht entnehmen.
4. 4.1 Das kantonale Gericht hat als Mass für die Erwerbsunfähigkeit die zu erwartende Erwerbseinbusse bei einer dem bisherigen Status des Klägers angemessenen Verweisungstätigkeit gegenüber dem Verdienst in der bisherigen Tätigkeit als Teppichhändler genommen. Dies ist nicht zu beanstanden. In tatsächlicher Hinsicht hat sich die Vorinstanz an den der Verfügung vom 5. Juni 2001 zugrunde liegenden Ergebnissen der medizinischen und erwerblichen Abklärungen der IV-Stelle orientiert. Sie hat erwogen, der Kläger habe trotz der Intensität der Beschwerden im Bereich der Halswirbelsäule und lumbal sowie der vollständigen Arbeitsunfähigkeit ab 2. November 1999 und weiteren Teil-Arbeitsunfähigkeiten von mindestens 50 % ab 24. Januar 2000 in den Jahren 1999 und 2000 im angestammten Beruf Erwerbseinkommen von rund Fr. 70'000.- und Fr. 64'824.- resp. Fr. 32'412.- erzielt (vgl. auch E. 3.2 hievor). Der Kläger habe weder in seinen Rechtsschriften noch an der mündlichen Verhandlung vorgebracht, diese Einkommen entsprächen nicht den offiziellen rechtskräftigen Steuerfaktoren. Er habe somit zwar ärztliche Bescheinigungen über seine andauernden Arbeitsunfähigkeiten als Teppichhändler aufgelegt, bis heute jedoch den ihm nach Art. 13 Ziff. 3 AB obliegenden Nachweis nicht erbracht, dass damit auch eine relevante Erwerbsunfähigkeit einhergegangen sei. Die Beklagte habe daher im Ergebnis zu Recht den Anspruch auf eine Invalidenrente verneint.
4. 4.1 Das kantonale Gericht hat als Mass für die Erwerbsunfähigkeit die zu erwartende Erwerbseinbusse bei einer dem bisherigen Status des Klägers angemessenen Verweisungstätigkeit gegenüber dem Verdienst in der bisherigen Tätigkeit als Teppichhändler genommen. Dies ist nicht zu beanstanden. In tatsächlicher Hinsicht hat sich die Vorinstanz an den der Verfügung vom 5. Juni 2001 zugrunde liegenden Ergebnissen der medizinischen und erwerblichen Abklärungen der IV-Stelle orientiert. Sie hat erwogen, der Kläger habe trotz der Intensität der Beschwerden im Bereich der Halswirbelsäule und lumbal sowie der vollständigen Arbeitsunfähigkeit ab 2. November 1999 und weiteren Teil-Arbeitsunfähigkeiten von mindestens 50 % ab 24. Januar 2000 in den Jahren 1999 und 2000 im angestammten Beruf Erwerbseinkommen von rund Fr. 70'000.- und Fr. 64'824.- resp. Fr. 32'412.- erzielt (vgl. auch E. 3.2 hievor). Der Kläger habe weder in seinen Rechtsschriften noch an der mündlichen Verhandlung vorgebracht, diese Einkommen entsprächen nicht den offiziellen rechtskräftigen Steuerfaktoren. Er habe somit zwar ärztliche Bescheinigungen über seine andauernden Arbeitsunfähigkeiten als Teppichhändler aufgelegt, bis heute jedoch den ihm nach Art. 13 Ziff. 3 AB obliegenden Nachweis nicht erbracht, dass damit auch eine relevante Erwerbsunfähigkeit einhergegangen sei. Die Beklagte habe daher im Ergebnis zu Recht den Anspruch auf eine Invalidenrente verneint.
4.2 4.2.1 Die Vorinstanz hat ihrem Entscheid im Wesentlichen die Tatsachen zugrunde gelegt, auf welchen auch die Verfügung der IV-Stelle vom 5. Juni 2001 beruht. Dabei verkennt sie, dass der Prüfungszeitraum sich bis zur Klageeinreichung am 29. August 2005 erstreckt. Daran ändert nichts, dass das Begehren auf Zusprechung einer Invalidenrente ab 2. November 2001 lautete. Ebenfalls ist ohne Belang, dass die Zürich am 16. Januar 2002 eine Leistungspflicht der Beschwerdegegnerin verneint hatte (vgl. <ref-ruling> E. 5d S. 336). Es waren daher auch allfällige später eingetretene Umstände in die Beurteilung miteinzubeziehen. Diesbezüglich geht aus den Akten hervor, dass sich der Gesundheitszustand des Beschwerdeführers im Frühjahr 2003 verschlechtert hatte, indem neben den Beschwerden im Bereich der Halswirbelsäule und lumbal neu Schulterbeschwerden auftraten, welche die Arbeitsfähigkeit zusätzlich beeinträchtigten. Dr. med. H._ bescheinigte am 10. Juni 2003 eine Arbeitsunfähigkeit von 75 % vom 19. August 2001 bis 27. März 2003 sowie eine vollständige Arbeitsunfähigkeit ab 28. März 2003 mit der Feststellung, der Versicherte habe zufolge einer Ruptur der Rotatoren-Manschette links seit April 2003 auch Schmerzen in der linken Schulter. Im Vordergrund stünden aber die zervikalen und lumbalen Schmerzen mit Parästhesien der rechten Hand. Am 12. Oktober 2003 teilte Dr. med. H._ der IV-Stelle mit, wegen Schmerzen und einer eingeschränkten Beweglichkeit der linken Schulter sei der Versicherte in der Leistungsfähigkeit eingeschränkt. Infolge der lumboradikulären Schmerzen könne er nicht länger als zehn Minuten sitzen oder stehen; gehen könne er ca. eine Viertelstunde. Am 15. Januar 2004 berichtete der behandelnde Arzt, der Versicherte sei bei den gegebenen Symptomen praktisch vollständig arbeitsunfähig; seine Belastbarkeit belaufe sich auf höchstens 10 %. Dr. med. F._, Leitender Arzt Wirbelsäulenchirurgie Spital X._, schloss sich in seinem Bericht vom 13. Mai 2004 dieser Beurteilung mit der Feststellung an, aufgrund der Zunahme der Beschwerden und der neuen MRI-Befunde erachte er den Versicherten aktuell als nicht mehr arbeitsfähig. Dr. med. B._, Orthopädie, hielt im Bericht vom 17. Februar 2004 an die IV-Stelle fest, bei einer Untersuchung von anfangs 2004 sei auch eine Läsion der Supraspinatussehne rechts festgestellt worden. Wegen der schweren Schäden der Rotatorenmanschetten beidseits sei der Versicherte beim Tragen und Heben von schweren Teppichrollen behindert; er könne die Tätigkeit als Teppichhändler nicht mehr vollumfänglich ausüben. Allein vom Schulterleiden her sei die Arbeitsfähigkeit auf mindestens 50 % (ganztägige Arbeit bei reduzierter Leistung) zu schätzen. Dem ist beizufügen, dass der Beschwerdeführer sich am 16. Mai 2003 erneut bei der Invalidenversicherung zum Leistungsbezug angemeldet hatte.
4.2.2 Sodann besteht, wie in E. 3.2 dargelegt, Unklarheit in Bezug auf die für das Ausmass der Erwerbsunfähigkeit bedeutsame berufliche Neuorientierung.
4.2.3 Schliesslich ist der Vorinstanz auch zu widersprechen, soweit sie das Klagebegehren mit der Begründung abgewiesen hat, dem Kläger obliege nach Art. 13 Ziff. 3 AB die Beweispflicht dafür, dass mit den ärztlich bescheinigten Arbeitsunfähigkeiten auch eine bedeutsame Erwerbsunfähigkeit verbunden sei. Der Beschwerdeführer hatte entsprechend dieser Bestimmung der Versicherungseinrichtung mehrere Arztberichte zugestellt, worin zur Arbeitsfähigkeit und zu den Beeinträchtigungen in der Tätigkeit als Teppichhändler konkret Stellung genommen wurde. Es wäre im Sinne von Art. 13 Ziff. 4 AB Sache der Beschwerdegegnerin gewesen, weitere Erhebungen vorzunehmen, wozu unter den gegebenen Umständen auch Anlass bestand. Dass der Versicherte einer Aufforderung zu ergänzenden Angaben nicht Folge leistete, wird zu Recht nicht geltend gemacht.
4.3 Nach dem Gesagten beruht der angefochtene Entscheid auf einer mangelhaften Feststellung des rechtserheblichen Sachverhalts. Die Sache ist daher an das kantonale Gericht zurückzuweisen, damit es die vollständigen IV-Akten beiziehe, die erforderlichen weiteren Erhebungen zur Arbeits- und Erwerbsfähigkeit des Beschwerdeführers in der fraglichen Zeit vornehme und danach über den streitigen Leistungsanspruch neu entscheide.
5. Das Verfahren ist kostenlos (Art. 134 OG). Entsprechend dem Ausgang des Prozesses hat der Beschwerdeführer Anspruch auf Parteientschädigung (Art. 159 Abs. 1 und 2 OG in Verbindung mit Art. 135 OG).

Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne gutgeheissen, dass der Entscheid vom 4. Dezember 2006 aufgehoben und die Sache an das Versicherungsgericht des Kantons St. Gallen zurückgewiesen wird, damit es nach Abklärungen im Sinne der Erwägungen über den Anspruch des Beschwerdeführers auf eine Invalidenrente aus der Personalvorsorge-Freizügigkeits-Police bei der «Zürich» Lebensversicherungs-Gesellschaft neu entscheide.
2. Es werden keine Gerichtskosten erhoben.
3. Die «Zürich» Lebensversicherungs-Gesellschaft hat dem Beschwerdeführer für das Verfahren vor dem Bundesgericht eine Parteientschädigung von Fr. 2500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen zugestellt.
Luzern, 21. September 2007
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: