Sachverhalt: A. A.a A._ war von 1990 bis zum 31. Dezember 1998 Stiftungsrat der Pensionskasse X._ (ab 10. Januar 2005 Pensionskasse X._ in Liquidation; nachfolgend Pensionskasse oder Beschwerdegegnerin), welche die Durchführung der beruflichen Vorsorge im Rahmen des BVG und seiner Ausführungsbestimmungen für die Arbeitnehmer, deren Angehörige und Hinterlassenen der Stifterfirmen R._ AG, S._ AG, T._ AG sowie U._ AG, alle mit Sitz in Q._, zum Zweck hatte. Bis anfangs 1999 war A._ zusammen mit B._ ausserdem Verwaltungsrat aller vier Stifterfirmen und hielt zusammen mit einem dritten Aktionär deren Aktien. Mit Kaufvertrag vom 1. Dezember 1998 verkauften A._ und seine beiden Mitaktionäre sämtliche Namenaktien der Stifterfirmen an die am ... Januar 1999 gegründete K._ AG. Die Löschung von A._ und B._ als Verwaltungsräte im Handelsregister erfolgte am ... September 1999. A.b Am 10. Januar 1992 hatte der Stiftungsrat der Pensionskasse beschlossen, den vier Stifterfirmen Darlehen im Gesamtbetrag von Fr. 2,5 Mio., wovon Fr. 900'000.-- ungesichert und Fr. 1'600'000.-- sichergestellt durch einen Schuldbrief über Fr. 2,5 Mio. im 2. Rang auf Grundstück GB Q._ Nr. ... mit vorgehenden Grundpfandrechten von Fr. 40'000'000.-- im 1. Rang zu gewähren. Dieses Grundstück stand im je hälftigen Miteigentum von A._ und B._. Darauf befanden sich die Betriebs- und Geschäftsgebäude der vier Stifterfirmen. Die entsprechenden Räumlichkeiten wurden ihnen durch die Kollektivgesellschaft Y._ vermietet. A.c Am ... Januar 2000 eröffnete das Gerichtspräsidium M._ den Konkurs über die vier Stifterfirmen sowie über die V._ AG. Die Pensionskasse wurde in den Konkursverfahren der Stifterfirmen mit Forderungen von Fr. 2'694'791.10 zugelassen. Gemäss Verteilungslisten des Konkursamtes N._ vom 25. Februar 2005 hat die Pensionskasse in den vier Konkursverfahren einen Verlust von insgesamt Fr. 1'408'157.- erlitten. B. Am 28. Juli 2006 erhob die Pensionskasse beim Verwaltungsgericht des Kantons Schwyz Klage mit dem Rechtsbegehren, A._ sei zu verpflichten, ihr Fr. 1'408'157.- nebst Zins zu 5 % seit 25. Februar 2005 zu bezahlen. Das Gericht hiess die Klage mit Entscheid vom 14. Juni 2007 vollumfänglich gut. C. A._ lässt Beschwerde führen mit dem Rechtsbegehren, der angefochtene Entscheid sei aufzuheben und die Klage abzuweisen; eventuell sei die Sache zur Ermittlung des rechtserheblichen Sachverhaltes und zu neuem Entscheid an die Vorinstanz zurückzuweisen. Zudem ersuchte er um Erteilung der aufschiebenden Wirkung. Die Pensionskasse hat nur zur aufschiebenden Wirkung Stellung genommen; zur Sache hat sie keine Vernehmlassung erstattet, obwohl sie dazu eingeladen worden ist. D. In teilweiser Gutheissung des Gesuchs erteilte das Bundesgericht der Beschwerde mit Verfügung vom 28. November 2007 für eine Teilforderung von Fr. 704'078.50 die aufschiebende Wirkung.