Sachverhalt: A. Der 1943 geborene K._ war seit 1987 als selbständiger Teppichhändler erwerbstätig. Am 24. Januar 1992 schloss er mit der VITA Lebensversicherungs-Gesellschaft, Zürich (heute: «Zürich» Lebensversicherungs-Gesellschaft; nachfolgend: Zürich Leben) eine Personalvorsorge-Freizügigkeits-Police ab. Versichert waren ein Alterskapital fällig bei Erleben des 31. März 2008 und eine Todesfallsumme fällig bei Ableben vor diesem Zeitpunkt von jeweils Fr. 98'216.- sowie eine Invalidenrente von jährlich Fr. 48'261.- bei voller Invalidität und entsprechend dem Grad der Erwerbsunfähigkeit gekürzt bei teilweiser Invalidität. Wegen rezidivierender, 1995 computertomographisch abgeklärter Lumbalgien sowie Beschwerden im Bereich der Halswirbelsäule, welche sich ab 1998 verstärkt hatten, meldete sich K._ im August 2000 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons St. Gallen holte u.a. beim behandelnden Arzt Dr. med. H._, Innere Medizin FMH, einen Bericht vom 17. Oktober 2000 ein. Danach bestanden seit 2. November 1999 Arbeitsunfähigkeiten zwischen 50 % und 100 %, ab 30. September 2000 von 75 % bis auf weiteres. Mit Verfügung vom 5. Juni 2001 verneinte die IV-Stelle mangels einer gesundheitlich bedingten Erwerbseinbusse den Anspruch auf eine Invalidenrente, was das Versicherungsgericht des Kantons St. Gallen mit unangefochten in Rechtskraft erwachsenem Entscheid vom 8. Oktober 2002 bestätigte. Unter Hinweis auf die rechtskräftige Verfügung vom 5. Juni 2001 lehnte die «Zürich» Versicherungs-Gesellschaft (nachfolgend: Zürich) mit Schreiben vom 16. Januar 2002 das Gesuch des K._ um Ausrichtung einer Invalidenrente aus der mit der Zürich Leben abgeschlossenen Personalvorsorge-Freizügigkeits-Police ab. Wegen eines neu aufgetretenen Schulterleidens links meldete sich K._ im Mai 2003 erneut bei der Invalidenversicherung an und beantragte eine Rente. B. Am 29. August 2005 liess K._ beim Versicherungsgericht des Kantons St. Gallen Klage gegen die Zürich einreichen und beantragen, die Beklagte sei zu verpflichten, ihm aufgrund der Personalvorsorge-Freizügigkeits-Police vom 24. Januar 1992 ab 2. November 2001 eine Invalidenrente im Betrag von jährlich Fr. 48'261.- oder in einem im Beweisverfahren zu bestimmenden Umfang zu bezahlen. Nach Berichtigung der Parteibezeichnung der Beklagten und nach Durchführung einer mündlichen Verhandlung wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 4. Dezember 2006 die Klage gegen die Zürich Leben ab. C. K._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, der Entscheid vom 4. Dezember 2006 sei aufzuheben und die Klage vom 29. August 2006 gegen die Zürich Leben sei gutzuheissen. Die Zürich Leben und das Bundesamt für Sozialversicherungen beantragen die Abweisung der Verwaltungsgerichtsbeschwerde. Der Rechtsvertreter von K._ hat sich in einer weiteren Eingabe zur Sache geäussert.