Sachverhalt: A. Die Eheleute S._ und C._ schlossen am 1. Juni 1995 mit der Pensionskasse V._ einen Vertrag über die Gewährung eines Darlehens von Fr. 260'000.- zur Finanzierung des Eigenheims im Alleineigentum des S._, wobei das Altersguthaben des Letzteren verpfändet wurde. Im Frühjahr 1999 trennten sich die Eheleute S._ und C._ und schlossen im Juni 1999 eine (offenbar gerichtlich genehmigte) Trennungsvereinbarung ab. Im August 2000 strengte C._ die Scheidung an. Zuvor war bei der Pensionskasse ein am 10. Juli 2000 datierter "Antrag auf Auszahlung eines Vorbezuges" eingegangen, mit welchem verlangt wurde, den Betrag von Fr. 100'000.- aus der zweiten Säule dem Hypothekarkonto gutzuschreiben und in diesem Umfang die Darlehensschuld zu amortisieren; der Antrag trug die Unterschriften "S._" sowie "C._". Die Pensionskasse kam dem Begehren nach und verwendete den Vorbezug als anteilmässige Rückzahlung der Hypothekarschuld. Mit Urteil des zuständigen Strafrichters vom 17. März 2003 wurde S._ des Betruges und der Urkundenfälschung schuldig gesprochen, da er die Unterschrift seiner Ehefrau auf dem "Antrag auf Auszahlung eines Vorbezuges" gefälscht habe. In der Folge forderte C._ die Pensionskasse auf festzustellen, dass der Vorbezug "zufolge fehlender Zustimmung ungültig erfolgt" sei und somit im Rahmen des Ehescheidungsverfahrens die Möglichkeit bestehe "das gesamte während der Ehedauer aufgebaute Guthaben teilen zu lassen." Die Pensionskasse antwortete darauf, für diese Feststellungen sei das Sozialversicherungsgericht zuständig, woran sie in einem erneuten Briefwechsel festhielt. B. Am 11. November 2003 liess C._ gegen die Pensionskasse Klage einreichen mit folgenden materiellen Rechtsbegehren: "1. Es sei festzustellen, dass der per 1. Januar 2001 erfolgte Vorbezug von CHF 100'000.--, welchen die Beklagte gestützt auf den Antrag von Herrn S._ vom 10. Juli 2000 per 1. Januar 2001 zulasten dessen Altersguthabens gewährt hat, und die entsprechende Gutschrift auf dem Hypothekardarlehen zu Unrecht erfolgt und ungültig ist. 2. Ferner sei festzustellen, dass das Scheidungsgericht bestimmen könne, dass ein Teil der unter Hinzurechnung des unzulässigen Vorbezuges sich ergebenden Austrittsleistung an die Vorsorgeeinrichtung der Klägerin zu übertragen sei." Mit Entscheid vom 2. Februar 2004 trat das Versicherungsgericht des Kantons Solothurn auf die Klage nicht ein. C. Das Bundesamt für Sozialversicherungen (BSV) führt Verwaltungsgerichtsbeschwerde mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides sei die Sache an das kantonale Gericht zur materiellen Beurteilung zurückzuweisen. Die Vorinstanz schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. C._ sowie die Pensionskasse verzichten auf einen Antrag, während sich S._ nicht vernehmen lässt.