Sachverhalt:
Sachverhalt:
A. W._ war seit 1978 als Psychologe in der Klinik X._ angestellt und damit bei der Kantonalen Pensionskasse Graubünden berufsvorsorgerechtlich versichert. Nach der Beendigung des Arbeitsverhältnisses Ende 1987 war er selbstständig erwerbstätig, verblieb jedoch als so genanntes selbstzahlendes Mitglied ("Selbstzahler") in der Pensionskasse.
Im Rahmen des Wechsels der Pensionskasse vom Leistungs- zum Beitragsprimat per 1. Januar 2001 wurde dem Versicherten eine Übertrittsleistung respektive ein Anfangssparguthaben von Fr.192'834.- gutgeschrieben. W._ verlangte die Erhöhung dieses Betrags um Fr. 128'574.40, was die Kasse ablehnte. In der Folge konnte zwischen den Parteien keine Einigung erzielt werden.
Im Rahmen des Wechsels der Pensionskasse vom Leistungs- zum Beitragsprimat per 1. Januar 2001 wurde dem Versicherten eine Übertrittsleistung respektive ein Anfangssparguthaben von Fr.192'834.- gutgeschrieben. W._ verlangte die Erhöhung dieses Betrags um Fr. 128'574.40, was die Kasse ablehnte. In der Folge konnte zwischen den Parteien keine Einigung erzielt werden.
B. Am 23. April 2003 liess W._ Klage gegen den Kanton Graubünden erheben mit dem Rechtsbegehren, es sei der Beklagte zu verpflichten, ihm aus dem Primatswechsel per 1. Januar 2001 eine Nachleistung von Fr. 128'597.40 nebst Zins zu 5 % seit 1. Januar 2001 sowie einen zusätzlichen Betrag von Fr. 100'000.- nebst Zins zu 5 % seit 1. Januar 2001 zu bezahlen; eventualiter sei der Beklagte zu verpflichten, ihm den Mehrbetrag an Steuern zu erstatten, wenn diesem die Sondersteuer auf Kapitalabfindungen aus Vorsorge für den Nachzahlungsbetrag gemäss den zuvor gestellten Rechtsbegehren zum Ansatz von 100 % an Stelle der bis 31. Dezember 2001 anwendbaren 80 % belastet werde.
Das Verwaltungsgericht des Kantons Graubünden wies die Klage ab, soweit darauf eingetreten wurde (Entscheid vom 30. September 2003).
Das Verwaltungsgericht des Kantons Graubünden wies die Klage ab, soweit darauf eingetreten wurde (Entscheid vom 30. September 2003).
C. W._ lässt Verwaltungsgerichtsbeschwerde führen. Er beantragt, es sei der Kanton Graubünden zu verpflichten, ihm aus dem Primatswechsel per 1. Januar 2001 eine Nachleistung von Fr. 128'597.40 nebst Zinsen zu 5 % seit 1. Januar 2001 zu bezahlen. Eventualiter sei der Beschwerdegegner zu verpflichten, die zu seinen Gunsten in die Pensionskasse einbezahlten Arbeitnehmer- und Arbeitgeberbeiträge von insgesamt Fr. 310'829.40 angemessen zu verzinsen, und somit auf dem Betrag von Fr. 155'414.70 (Mittelwert aller Einzahlungen) seit 1. Januar 1989 Zinsen von 3 % jährlich zu bezahlen, dies nebst Verzugszinsen von 5 % seit 1. Januar 2001, wobei der Vorbezug zwecks Förderung des Wohneigentums (WEF) vom 21. August 1996 über Fr. 100'000.- bei der Berechnung der Verzinsung angemessen zu berücksichtigen sei. Subeventualiter sei der Beschwerdegegner zu verpflichten, dem Beschwerdeführer die von ihm in die Pensionskasse einbezahlten Arbeitnehmerbeiträge von insgesamt Fr. 146'416.70 angemessen zu verzinsen, und somit auf dem Betrag von Fr. 73'208.35 (Mittelwert) seit 1. Januar 1989 Zinsen von 3 % jährlich zu bezahlen, dies nebst Verzugszinsen zu 5 % seit 1. Januar 2001, wobei der WEF-Vorbezug vom 21. August 1996 über Fr. 100'000.- bei der Berechnung der Verzinsung angemessen zu berücksichtigen sei. Falls zur Ermittlung der tatsächlichen Entscheidgrundlagen erforderlich, sei die Sache an die Vorinstanz zurückzuweisen.
Der Kanton Graubünden schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung (BSV) deren teilweise Gutheissung beantragt.
In einer ergänzenden Eingabe vom 24. April 2004 hält der Beschwerdeführer an den gestellten Anträgen fest.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Die zu beurteilende Streitsache unterliegt der Gerichtsbarkeit der in Art. 73 Abs. 1 und 4 BVG erwähnten richterlichen Behörden, welche sowohl in zeitlicher als auch sachlicher Hinsicht zuständig sind (<ref-ruling> Erw. 2.1.1, 128 V 258 Erw. 2a, 120 V 18 Erw. 1a, je mit Hinweisen).
1. Die zu beurteilende Streitsache unterliegt der Gerichtsbarkeit der in Art. 73 Abs. 1 und 4 BVG erwähnten richterlichen Behörden, welche sowohl in zeitlicher als auch sachlicher Hinsicht zuständig sind (<ref-ruling> Erw. 2.1.1, 128 V 258 Erw. 2a, 120 V 18 Erw. 1a, je mit Hinweisen).
2. Streitig und zu prüfen ist, ob die Pensionskasse Graubünden dem Beschwerdeführer anlässlich des per 1. Januar 2001 erfolgten Wechsels vom Leistungs- zum Beitragsprimat zu Recht einen Betrag von Fr. 192'834.- als Übertrittsleistung im Sinne eines Anfangssparguthabens gutgeschrieben hat.
2.1 2.1.1 Die vom Grossen Rat des Kantons Graubünden im Zusammenhang mit dem Übergang vom Leistungs- zum Beitragsprimat erlassene, am 1. Januar 2001 in Kraft getretene Verordnung über die Kantonale Pensionskasse vom 2. Oktober 2000 (nachfolgend: Verordnung 2000) bestimmt in Art. 45 Abs. 2 unter der Marginalie "Besitzstand", jeder bisher aktiv versicherten Person der Kasse werde ein Anfangssparguthaben gutgeschrieben, welches der Austrittsleistung per 31. Dezember 2000 entspreche. Falls dieses Anfangssparguthaben zusammen mit den noch möglichen Spargutschriften und dem technischen Zins von 4 % bis zum Rücktrittsalter 65 zu einer geringeren anwartschaftlichen Rente führe als nach bisherigem Recht, würden Zusatzgutschriften festgelegt. Den Ausgangspunkt für die Ermittlung des Anfangssparguthabens bildet demzufolge die Austrittsleistung per 31. Dezember 2000, welche sich nach dem bis zu diesem Datum gültig gewesenen Recht bestimmt.
2.1.2 Auf das In-Kraft-Treten des BVG am 1. Januar 1985 hin hatte der Grosse Rat des Kantons Graubünden die Verordnung über die kantonale Pensionskasse Graubünden vom 24. Mai 1984 (nachfolgend: Verordnung 1984) erlassen, welche bis Ende 2000 galt. Danach entspricht die Austrittsleistung dem höheren der beiden folgenden Beträge (Art. 72 Abs. 2 Verordnung 1984): Entweder der notwendigen Einkaufssumme, welche für die beim Austritt versicherten Leistungen bei einem Neueintritt zu entrichten wäre (lit. a), oder den eingebrachten Eintrittsleistungen samt Zinsen sowie den vom Versicherten während der Beitragsdauer geleisteten Beiträgen samt einem Zuschlag von 5 % pro Altersjahr ab dem Alter 25, höchstens aber von 100 % (lit. b). Beiträge an die Risikoversicherung sowie vom Selbstzahler an Stelle des Arbeitgebers geleistete Beiträge werden für die Austrittsleistung nicht berücksichtigt (Art. 72 Abs. 3 Verordnung 1984).
2.2 Ausweislich der Akten hat der Beschwerdeführer von 1978 bis Ende 2000 Fr. 96'416.70 an Arbeitnehmerbeiträgen (als Arbeitnehmer und Selbstzahler) und ab 1988 als Selbstzahler Arbeitgeberbeiträge von Fr. 64'298.70 an die Beschwerdegegnerin bezahlt, dies unter Berücksichtigung eines WEF-Vorbezugs vom 21. August 1996 in Höhe von Fr. 100'000.-, welcher die Stornierung und anschliessende Verzinsung je eines Betrags von Fr. 50'000.- zur Folge hatte. Die Pensionskasse hat die dem Anfangssparguthaben gemäss Art. 45 Abs. 2 Verordnung 2000 entsprechende Austrittsleistung ermittelt, indem sie die Arbeitnehmerbeiträge um 100 % erhöhte, was einen Betrag von Fr. 192'834.- ergab. Dies entspricht der in Art. 72 Abs. 2 lit. b Verordnung 1984 vorgesehenen Berechnungsweise unter Einbezug von Art. 72 Abs. 3, wonach die vom Selbstzahler an Stelle des Arbeitgebers geleisteten Beiträge nicht zu berücksichtigen sind. Wie aus den durch die Pensionskasse eingereichten Aufstellungen hervorgeht, sind die Voraussetzungen für Zusatzgutschriften gemäss Art. 45 Abs. 2 Satz 2 Verordnung 2000 nicht erfüllt. Die dargestellte Berechnung steht daher im Einklang mit den kantonalrechtlichen Vorschriften.
2.3 Die durch den Beschwerdeführer als Selbstständigerwerbenden nach der Beendigung des die berufsvorsorgerechtliche Versicherung begründenden Arbeitsverhältnisses gestützt auf Art. 15 der Verordnung 1984 als Selbstzahler weiterhin betriebene berufliche Vorsorge gehört weder dem obligatorischen (Art. 7 ff. BVG) noch dem weitergehenden Vorsorgebereich (Art. 49 BVG) an. Der Grosse Rat des Kantons Graubünden war daher befugt, diese Versicherungsmöglichkeit im Rahmen der Kantonalen Pensionskasse normativ autonom auszugestalten. Art. 45 Abs. 2 Verordnung 2000 in Verbindung mit Art. 72 Abs. 2 und 3 Verordnung 1984 regeln die Ermittlung des dem Beschwerdeführer im Zusammenhang mit dem Wechsel vom Leistungs- zum Beitragsprimat gutzuschreibenden Anfangssparguthabens in einer Weise, welche auch den Fall eines selbstzahlenden Mitglieds erfasst. Entgegen der Auffassung des BSV liegt daher keine (echte) Lücke des gesetzten Rechts vor. Die verfassungsmässigen Schranken, insbesondere das Willkürverbot sowie die Grundsätze der Rechtsgleichheit und der Verhältnismässigkeit (vgl. <ref-ruling> Erw. 4b), stellen die Zulässigkeit dieser Berechnungsweise im vorliegenden Fall nicht in Frage. Mit dem ihm gutgeschriebenen Betrag von Fr. 192'834.- hat der Beschwerdeführer wirtschaftlich deutlich mehr erhalten, als er, unter Berücksichtigung des Vorbezugs zwecks Erwerb von Wohneigentum, insgesamt an Arbeitnehmer- und Selbstzahlerbeiträgen geleistet hat (Fr. 96'416.70 plus Fr. 64'298.70). Zu beachten ist in diesem Zusammenhang auch, dass Art. 45 Abs. 2 Satz 2 Verordnung 2000 den Besitzstand hinsichtlich der anwartschaftlichen Rente gewährleistet, was eine diesbezügliche Schlechterstellung des selbstzahlenden Mitglieds gegenüber der früheren Ordnung, der es sich freiwillig unterzogen hat, ausschliesst. Auch die Bestimmungen des FZG stehen dem Inhalt der verordnungsweisen Definition des dem Selbstzahler beim Übergang vom Leistungs- zum Beitragsprimat per 1. Januar 2001 gutzuschreibenden Anfangssparguthabens nicht entgegen. Denn die in Art. 17 Abs. 1 FZG genannten, von der versicherten Person geleisteten Beiträge umfassen in diesem Zusammenhang - analog zum Regelfall - nur die Arbeitnehmerbeiträge, wie das kantonale Gericht zutreffend erkannt hat. Es kann nicht der Sinn dieser Bestimmung sein, dass die durch die Pensionskasse autonom eingeräumte Versicherungsmöglichkeit als selbstzahlendes Mitglied zwingend so ausgestaltet werden muss, dass der Selbstzahler ohne weiteres eine lukrative Anlagemöglichkeit erhält und gegenüber den anderen Versicherten privilegiert wird.
2.3 Die durch den Beschwerdeführer als Selbstständigerwerbenden nach der Beendigung des die berufsvorsorgerechtliche Versicherung begründenden Arbeitsverhältnisses gestützt auf Art. 15 der Verordnung 1984 als Selbstzahler weiterhin betriebene berufliche Vorsorge gehört weder dem obligatorischen (Art. 7 ff. BVG) noch dem weitergehenden Vorsorgebereich (Art. 49 BVG) an. Der Grosse Rat des Kantons Graubünden war daher befugt, diese Versicherungsmöglichkeit im Rahmen der Kantonalen Pensionskasse normativ autonom auszugestalten. Art. 45 Abs. 2 Verordnung 2000 in Verbindung mit Art. 72 Abs. 2 und 3 Verordnung 1984 regeln die Ermittlung des dem Beschwerdeführer im Zusammenhang mit dem Wechsel vom Leistungs- zum Beitragsprimat gutzuschreibenden Anfangssparguthabens in einer Weise, welche auch den Fall eines selbstzahlenden Mitglieds erfasst. Entgegen der Auffassung des BSV liegt daher keine (echte) Lücke des gesetzten Rechts vor. Die verfassungsmässigen Schranken, insbesondere das Willkürverbot sowie die Grundsätze der Rechtsgleichheit und der Verhältnismässigkeit (vgl. <ref-ruling> Erw. 4b), stellen die Zulässigkeit dieser Berechnungsweise im vorliegenden Fall nicht in Frage. Mit dem ihm gutgeschriebenen Betrag von Fr. 192'834.- hat der Beschwerdeführer wirtschaftlich deutlich mehr erhalten, als er, unter Berücksichtigung des Vorbezugs zwecks Erwerb von Wohneigentum, insgesamt an Arbeitnehmer- und Selbstzahlerbeiträgen geleistet hat (Fr. 96'416.70 plus Fr. 64'298.70). Zu beachten ist in diesem Zusammenhang auch, dass Art. 45 Abs. 2 Satz 2 Verordnung 2000 den Besitzstand hinsichtlich der anwartschaftlichen Rente gewährleistet, was eine diesbezügliche Schlechterstellung des selbstzahlenden Mitglieds gegenüber der früheren Ordnung, der es sich freiwillig unterzogen hat, ausschliesst. Auch die Bestimmungen des FZG stehen dem Inhalt der verordnungsweisen Definition des dem Selbstzahler beim Übergang vom Leistungs- zum Beitragsprimat per 1. Januar 2001 gutzuschreibenden Anfangssparguthabens nicht entgegen. Denn die in Art. 17 Abs. 1 FZG genannten, von der versicherten Person geleisteten Beiträge umfassen in diesem Zusammenhang - analog zum Regelfall - nur die Arbeitnehmerbeiträge, wie das kantonale Gericht zutreffend erkannt hat. Es kann nicht der Sinn dieser Bestimmung sein, dass die durch die Pensionskasse autonom eingeräumte Versicherungsmöglichkeit als selbstzahlendes Mitglied zwingend so ausgestaltet werden muss, dass der Selbstzahler ohne weiteres eine lukrative Anlagemöglichkeit erhält und gegenüber den anderen Versicherten privilegiert wird.
3. Wie die Vorinstanz und der Beschwerdegegner in seiner Vernehmlassung zu Recht ausführen, hängen das Eventual- und das Subeventualbegehren eng mit den gestellten Hauptanträgen zusammen. Insbesondere setzen auch sie die rechtliche Unzulässigkeit der vorinstanzlich bestätigten Berechnung des Anfangssparguthabens voraus. Nachdem feststeht, dass das Vorgehen der Pensionskasse nicht zu beanstanden ist, sind die subsidiär gestellten Anträge gegenstandslos.
3. Wie die Vorinstanz und der Beschwerdegegner in seiner Vernehmlassung zu Recht ausführen, hängen das Eventual- und das Subeventualbegehren eng mit den gestellten Hauptanträgen zusammen. Insbesondere setzen auch sie die rechtliche Unzulässigkeit der vorinstanzlich bestätigten Berechnung des Anfangssparguthabens voraus. Nachdem feststeht, dass das Vorgehen der Pensionskasse nicht zu beanstanden ist, sind die subsidiär gestellten Anträge gegenstandslos.
4. Der Umstand allein, dass ein am vorinstanzlichen Urteil beteiligter Richter bei der Pensionskasse des Kantons Graubünden vorsorgerechtlich versichert ist, lässt ihn in einem diese betreffenden Prozess nicht als befangen erscheinen (vgl. zu den diesbezüglichen Voraussetzungen SVR 2000 BVG Nr. 12 S. 57 f. Erw. 1). Zusätzliche Elemente, welche eine Befangenheit begründen könnten, werden nicht geltend gemacht. Die entsprechende formellrechtliche Rüge ist daher ebenfalls unbegründet.
4. Der Umstand allein, dass ein am vorinstanzlichen Urteil beteiligter Richter bei der Pensionskasse des Kantons Graubünden vorsorgerechtlich versichert ist, lässt ihn in einem diese betreffenden Prozess nicht als befangen erscheinen (vgl. zu den diesbezüglichen Voraussetzungen SVR 2000 BVG Nr. 12 S. 57 f. Erw. 1). Zusätzliche Elemente, welche eine Befangenheit begründen könnten, werden nicht geltend gemacht. Die entsprechende formellrechtliche Rüge ist daher ebenfalls unbegründet.
5. Das Verfahren ist kostenlos (Art. 134 OG). Der Beschwerdegegner hat keinen Anspruch auf Parteientschädigung (Art. 159 Abs. 2 in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 4. August 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Der Gerichtsschreiber: