Sachverhalt: D._ beschäftigte als Inhaber eines Geschäftes für elektrische Haushaltgeräte vom 1. März 1993 bis 31. Juli 1998 verschiedene Arbeitnehmer. Da er dabei seiner Pflicht, sich als Arbeitgeber einer Vorsorgeeinrichtung anzuschliessen, nicht nachgekommen war, wurde er von der Stiftung Auffangeinrichtung BVG (nachfolgend: Auffangeinrichtung) mit Verfügung vom 16. April 2002 rückwirkend per 1. März 1993 angeschlossen. Die Verfügung erwuchs in Rechtskraft. Auf Klage der Auffangeinrichtung hin verpflichtete das Versicherungsgericht des Kantons St. Gallen D._ mit Entscheid vom 10. November 2004, der Auffangeinrichtung den Betrag von Fr. 39'708.25 nebst Zins zu 5 % ab 17. Februar 2004 auf der Beitragsschuld von Fr. 31'268.60 zu bezahlen; es hob in diesem Umfang den Rechtsvorschlag in der Betreibung Nr. 04/516 des Betreibungsamtes Goldach (Zahlungsbefehl vom 17. März 2004) auf. D._ führt Verwaltungsgerichtsbeschwerde. Im Wesentlichen beantragt er, von der Pflicht zur Bezahlung der ausstehenden Beiträge befreit zu werden. Zudem sei die Hälfte der geschuldeten Beiträge bei seinen ehemaligen Arbeitnehmern einzufordern. Die Auffangeinrichtung schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung verzichtet auf Vernehmlassung.