Sachverhalt:
A. Am 18. Oktober 2000 reichte die Stiftung Sicherheitsfonds BVG beim Versicherungsgericht des Kantons Solothurn Klage ein mit dem Hauptbegehren, der Kanton Solothurn sei zu verpflichten, ihr einen Betrag von Fr. 5'851'866.90, zuzüglich Zins zu 5 % auf verschiedenen Teilbeträgen ab verschiedenen Fälligkeiten, zu bezahlen. Die Stiftung begründete ihre Forderung mit den von ihr infolge Zahlungsunfähigkeit der Vorsorgeeinrichtung der Firma H._ AG sichergestellten Leistungen, für die ihr gegenüber Personen, die für die Zahlungsunfähigkeit einer Vorsorgeeinrichtung ein Verschulden treffe, ein gesetzliches Rückgriffsrecht zustehe. Dieses werde gegenüber der Aufsichtsbehörde des Kantons Solothurn geltend gemacht. Gestützt auf einen entsprechenden Antrag des Kantons Solothurn beschränkte das Versicherungsgericht das Verfahren zunächst auf die materiellrechtliche Einwendung der fehlenden Passivlegitimation des Beklagten. Mit Entscheid vom 27. Juli 2001 stellte es fest, dass der Kanton Solothurn passivlegitimiert sei.
B. Mit Verwaltungsgerichtsbeschwerde beantragt der Kanton Solothurn, der vorinstanzliche Entscheid sei aufzuheben und die Klage sei abzuweisen.
Die Stiftung Sicherheitsfonds BVG und das Bundesamt für Sozialversicherung (BSV) schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde.
C. Das Eidgenössische Versicherungsgericht und die II. Öffentlichrechtliche Abteilung des Schweizerischen Bundesgerichts haben einen Meinungsaustausch geführt über die Frage des Rechtsweges bei Regressforderungen des Sicherheitsfonds gegen einen Kanton für sichergestellte Leistungen infolge Zahlungsunfähigkeit einer Vorsorgeeinrichtung.
D. Am 4. Mai 2004 führte das Eidgenössische Versicherungsgericht eine publikumsöffentliche Beratung durch.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1. 1.1 Gemäss Art. 52 BVG sind alle mit der Verwaltung, Geschäftsführung oder Kontrolle der Vorsorgeeinrichtung betrauten Personen für den Schaden verantwortlich, den sie ihr absichtlich oder fahrlässig zufügen.
Nach Art. 56 Abs. 1 BVG stellt der Sicherheitsfonds die gesetzlichen Leistungen von zahlungsunfähig gewordenen oder im Falle von vergessenen Guthaben liquidierter Vorsorgeeinrichtungen sicher (lit. b); ferner stellt er die über die gesetzlichen Leistungen hinausgehenden reglementarischen Leistungen von zahlungsunfähig gewordenen Vorsorgeeinrichtungen sicher, soweit diese Leistungen auf Vorsorgeverhältnissen beruhen, auf die das FZG anwendbar ist (lit. c). Laut Art. 56a BVG (in der seit 1. Januar 1997 geltenden Fassung) hat der Sicherheitsfonds gegenüber Personen, die für die Zahlungsunfähigkeit der Vorsorgeeinrichtung oder des Versichertenkollektivs ein Verschulden trifft, ein Rückgriffsrecht im Umfang der sichergestellten Leistungen (Abs. 1). Unrechtmässig bezogene Leistungen sind dem Sicherheitsfonds zurückzuerstatten (Abs. 2).
1.2 Gemäss Art. 73 Abs. 1 BVG bezeichnet jeder Kanton ein Gericht, das als letzte kantonale Instanz über Streitigkeiten zwischen Vorsorgeeinrichtungen, Arbeitgebern und Anspruchsberechtigten entscheidet. Laut Satz 2 dieser Bestimmung (in Kraft seit 1. Januar 1997) entscheidet es zudem über Verantwortlichkeitsansprüche nach Art. 52 und über den Rückgriff nach Art. 56a Abs. 1. Nach Art. 73 Abs. 4 BVG können die Entscheide der kantonalen Gerichte auf dem Wege der Verwaltungsgerichtsbeschwerde beim Eidgenössischen Versicherungsgericht angefochten werden.
Das Berufsvorsorgegericht gemäss Art. 73 Abs. 1 Satz 2 (in Kraft seit 1. Januar 1997) und Abs. 4 BVG ist zuständig zur Beurteilung von Verantwortlichkeitsklagen nach Art. 52 BVG, auch wenn sich der Sachverhalt vor dem 1. Januar 1997 verwirklicht hat (<ref-ruling> Erw. 2). Ebenso hat das Eidgenössische Versicherungsgericht die Zuständigkeit des Berufsvorsorgegerichts zur Beurteilung von Rückforderungsklagen des Sicherheitsfonds bejaht, selbst wenn sich der Sachverhalt vor dem 1. Januar 1997 verwirklicht hat (SZS 2003 S. 524). Damit ist hinsichtlich der materiellrechtlichen Anwendbarkeit der revidierten Bestimmung auf den vorliegenden Fall unter intertemporalem Gesichtswinkel nichts präjudiziert.
2. Streitig und zu prüfen ist, ob der Kanton Solothurn, der als Träger der Berufsvorsorgeaufsicht von der Stiftung Sicherheitsfonds BVG im Zusammenhang mit der Insolvenz der Vorsorgestiftung der Firma H._ AG nach Art. 56a Abs. 1 BVG klageweise ins Recht gefasst worden ist, hiefür passivlegitimiert ist. Dabei stellt sich zunächst die Frage nach der Rechtsnatur von Art. 56a Abs. 1 BVG.
2.1 Nach seinem Wortlaut regelt Art. 56a Abs. 1 BVG nicht die Haftung eines bestimmten Personenkreises, sondern das Rückgriffsrecht des Sicherheitsfonds auf Personen, die für die Zahlungsunfähigkeit der Vorsorgeeinrichtung oder des Versichertenkollektivs ein Verschulden trifft, dies im Gegensatz zu Art. 52 BVG, der die mit der Verwaltung, Geschäftsführung oder Kontrolle der Vorsorgeeinrichtung betrauten Personen für den von ihnen schuldhaft verursachten Schaden haftbar macht. Es fragt sich indes, ob der Wortsinn, der dem Begriff «Rückgriff» (Regress) zugeschrieben wird, dem durch Auslegung zu ermittelnden massgeblichen Rechtssinn entspricht (vgl. statt vieler zuletzt <ref-ruling> mit Hinweisen).
Nach den Intentionen des Gesetzgebers sollte indessen der Sicherheitsfonds bei Zahlungsunfähigkeit der Vorsorgeeinrichtung im Umfang der von ihm sichergestellten Leistungen schadlos gehalten werden, wobei der Personenkreis, auf welchen der Sicherheitsfonds Rückgriff nehmen kann, über die in Art. 52 BVG genannten Personen hinaus erweitert wurde. Mit Art. 56a Abs. 1 BVG wurde die Verantwortlichkeit derjenigen Personen, welche die Zahlungsunfähigkeit der Vorsorgeeinrichtung (mit)verschuldet haben, und die nicht bereits von der Haftung gemäss Art. 52 BVG erfasst sind, gesetzlich verankert. Die Formulierung «Rückgriffsrecht im Umfang der sichergestellten Leistungen» impliziert, dass der Sicherheitsfonds den ihm entstandenen Schaden gegenüber den für die Zahlungsunfähigkeit der Vorsorgeeinrichtung verantwortlichen Personen direkt geltend machen kann. Art. 56a Abs. 1 BVG bildet die rechtliche Grundlage sowohl für die Verantwortlichkeit der nicht unter Art. 52 BVG fallenden Personen, die an der Zahlungsunfähigkeit der Vorsorgeeinrichtung ein Verschulden trifft, wie auch für das Rückgriffsrecht des Sicherheitsfonds auf eben diese Personen. Dass Art. 56a BVG nicht von Haftung im engeren Sinn (für ungedeckte Schäden), sondern von Rückgriffsrecht spricht, hängt nicht mit der fehlenden Verantwortlichkeit dieses Personenkreises für die eingetretene Zahlungsunfähigkeit der Vorsorgeeinrichtung und den daraus dem Sicherheitsfonds entstandenen Reflexschaden zusammen. Vielmehr ist diese Terminologie Ausdruck des gesetzlichen Aufgabenbereichs des Sicherheitsfonds, der zunächst im Schadenfall die Leistungen, welche die zahlungsunfähige Vorsorgeeinrichtung nicht mehr erbringen kann, im Aussenverhältnis sicherstellen muss und alsdann als Haftender für den ihm durch die Sicherstellung entstandenen Schaden die Verantwortlichen direkt regressweise belangen kann (Innenverhältnis), ohne dass vorgängig ein separater verwaltungs- oder zivilrechtlicher Prozess zwecks Feststellung der Haftung der Verantwortlichen angestrengt werden müsste (vgl. Thomas Geiser, Haftung für Schäden der Pensionskassen, Überblick über die Haftungsregeln bei der zweiten Säule, in: Mélange en l'honneur de Jean-Louis Duc, Lausanne 2001, S. 72 f.; Sitzung der ständerätlichen Kommission für Soziale Sicherheit und Gesundheit vom 21. November 1995). Damit ist Art. 56a BVG für die vom Sicherheitsfonds belangten, nicht schon von Art. 52 BVG erfassten Verantwortlichen als massgebliche Haftungsnorm zu verstehen. Die gesetzlich angeordnete Verpflichtung des Sicherheitsfonds, an die Stelle der geschädigten, insolvent gewordenen Vorsorgeeinrichtungen tretend, deren gesetzliche und reglementarische Leistungen sicherzustellen (Art. 56 Abs. 1 lit. b, c BVG), erlaubt keine andere Lösung. So wie die Vorsorgeeinrichtung nach Art. 52 BVG verantwortlichkeitsrechtlich gesehen, aktivlegitimiert ist (<ref-ruling>), so hat dasselbe für den im Umfange der sichergestellten Leistungen an Stelle der Vorsorgeeinrichtung handelnden Sicherheitsfonds zu gelten. Der nach Art. 56 Abs. 1 lit. b und c BVG haftende Sicherheitsfonds nimmt im Umfang der sichergestellten Leistungen Regress auf den Personenkreis, wie er in Art. 56a Abs. 1 BVG umschrieben ist. Die gegenteilige Auffassung würde dazu führen, dass mangels eines Haftungsanspruchs der Sicherheitsfonds gar nie nach Art. 56a Abs. 1 BVG regressieren könnte, was der Gesetzgeber mit dem Erlass dieser Bestimmung nicht bezweckt haben kann. Fritz Schiesser, Berichterstatter im Ständerat, hielt in diesem Zusammenhang fest, dass der Sicherheitsfonds ermächtigt werde, die Rückgriffsansprüche im einfachen, kostenlosen Spezialverfahren nach Art. 73 Abs. 2 BVG geltend zu machen. Er müsse zu diesem Zweck nicht in einen kostspieligen Zivilprozess eintreten oder unterschiedliche kantonale Verfahren berücksichtigen, wenn er etwa gegen eine Aufsichtsbehörde vorgehen muss (Amtl.Bull. S 1996 210).
2.2 Daraus folgt, dass das mit einer Klage nach Art. 73 Abs. 1 Satz 2 BVG befasste, intertemporalrechtlich zuständige (Erw. 1.2 hievor) Berufsvorsorgegericht zu prüfen hat, ob eine bestimmte Person im Sinne von Art. 56a Abs. 1 BVG für die Zahlungsunfähigkeit einer Vorsorgeeinrichtung (oder des Versichertenkollektivs) verantwortlich ist und ob dem Sicherheitsfonds ein Rückgriffsrecht im geltend gemachten Umfang zusteht. Damit ist ein einheitliches Verfahren gewährleistet, womit auch der Prozessökonomie Rechnung getragen ist.
3. Zu prüfen bleibt, ob die Kantone als Träger der Berufsvorsorgeaufsicht zu den Personen gemäss Art. 56a Abs. 1 BVG zählen, welche für den infolge Zahlungsunfähigkeit der Vorsorgeeinrichtung entstandenen Schaden verantwortlich sind und auf die der Sicherheitsfonds Regress nehmen kann.
3.1 Nach dem für die Auslegung des Gesetzes in erster Linie massgebenden Wortlaut (<ref-ruling> Erw. 3.2, 263 Erw. 5.1, 284 Erw. 4.2, je mit Hinweisen) bezieht sich das Regressrecht des Sicherheitsfonds nach Art. 56a Abs. 1 BVG auf Personen, die für die Zahlungsunfähigkeit der Vorsorgeeinrichtung ein Verschulden trifft. Als Personen gelten u.a. juristische Personen des öffentlichen Rechts, zu welchen auch die Kantone zählen.
3.2 Die Gesetzesmaterialien geben sodann ein klares Bild, wie Vorinstanz und BSV richtig darlegen: In der vorberatenden Kommission für Soziale Sicherheit und Gesundheit des Nationalrates wurde bei der Redaktion von Art. 56bis Abs. 1 des Entwurfs (der zu Art. 56a Abs. 1 BVG in der seit 1. Januar 1997 geltenden Fassung wurde) bewusst auf den Verweis auf Art. 52 BVG, welcher die Verantwortlichkeit regelt und dabei die Aufsichtsbehörde nicht erwähnt, verzichtet, um die Aufsichtsbehörden und damit die Kantone als deren Träger in den Kreis der Passivlegitimierten einschliessen zu können. In der Beratung im Ständerat wies der Berichterstatter, Ständerat Schiesser, wie erwähnt, darauf hin, dass der Sicherheitsfonds die Rückgriffsansprüche nach Art. 56a Abs. 1 BVG in Verbindung mit Art. 73 Abs. 1 Satz 2 BVG (in der seit 1. Januar 1997 geltenden Fassung) im Verfahren nach Art. 73 Abs. 2 BVG geltend machen könne, wobei er ausdrücklich das allfällige prozessuale Vorgehen gegen eine Aufsichtsbehörde erwähnte (Amtl.Bull S 1996 210). Dieses parlamentarische Votum blieb unwidersprochen, weshalb ihm bei der Auslegung entscheidende Bedeutung zukommt (vgl. RKUV 1997 K 981 S. 93 f. betreffend Votum von Nationalrat Allenspach zur Ausgestaltung des Risikoausgleichs).
3.3 Nachdem der Wille des Gesetzgebers bei dieser erst kurze Zeit zurückliegenden Gesetzesnovellierung klar feststellbar ist und im Gesetzestext zumindest insofern seinen Niederschlag gefunden hat, als zwar nicht durch ausdrückliche Erwähnung, jedoch durch bewussten Verzicht auf einen Verweis auf Art. 52 BVG ein Wortlaut positives Recht wurde, welcher den Einbezug der Aufsichtsbehörde in den Kreis der Regresspflichtigen erlaubt, bleibt für eine abweichende Auslegung von Art. 56a Abs. 1 BVG kein Raum (vgl. zur Bedeutung der Gesetzesmaterialien namentlich bei jungen Gesetzen oder Gesetzesänderungen <ref-ruling> unten f. Erw. 3a in fine mit Hinweisen, ferner in <ref-ruling> nicht publizierte Erw. 1.5). Dies gilt umso mehr, als auch die Gesetzessystematik für den Einbezug der Aufsichtsbehörde spricht. Denn beim Vollzug des Berufsvorsorgeobligatoriums fällt, wie erwähnt, von Bundesrechts wegen den Kantonen die Aufsicht zu (Art. 61 f. BVG). Der Sicherheitsfonds muss die Möglichkeit haben, im Umfang der von ihm sichergestellten Leistungen gegen den Kanton als Träger der Aufsichtsbehörde klageweise vorzugehen, wenn diese ihre in Art. 62 BVG umschriebenen Aufgaben nicht gehörig wahrnimmt und dadurch die Zahlungsunfähigkeit der Vorsorgeeinrichtung schuldhaft mitverursacht. Den Sicherheitsfonds in dieser Situation auf den Weg der Staatshaftung nach kantonalem Verantwortlichkeitsrecht zu verweisen, hätte im Obsiegensfalle zur Folge, dass ein Urteil erstritten würde, welches im Verhältnis von Stiftung Sicherheitsfonds als Klägerin und Kanton als Träger der Berufsvorsorgeaufsicht und Beklagtem dessen Haftung im Grundsatz und im Masslichen bejahte. Damit erübrigte sich jedoch ein regressweises Vorgehen nach Art. 56a Abs. 1 in Verbindung mit Art. 73 Abs. 1 Satz 2 BVG, womit die neue Regelung ihres Sinngehaltes beraubt wäre.
4. Gemäss Art. 135 in Verbindung mit Art. 156 Abs. 2 OG ist das Verfahren kostenfrei. Gestützt auf Art. 135 in Verbindung mit Art. 159 Abs. 2 OG hat die im Übrigen nicht anwaltlich vertretene Beschwerdegegnerin als mit öffentlich-rechtlichen Aufgaben betraute Organisation keinen Anspruch auf Parteientschädigung.

Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden weder Gerichtskosten erhoben noch Parteientschädigungen zugesprochen.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 4. Mai 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der I. Kammer: Der Gerichtsschreiber: