Sachverhalt:
A. W._ war als Dozent an der Schule X._ tätig und dadurch bei der Kantonalen Lehrerversicherungskasse (im Folgenden: KLVK) berufsvorsorgeversichert. Ab 24. August 2005 war er zeitweise ganz oder teilweise arbeitsunfähig. Mit drei Verfügungen vom 12. März 2009 sprach ihm die IV-Stelle des Kantons St. Gallen eine ganze Rente ab 1. Oktober 2007, eine halbe ab 1. November 2007 und ab 1. Juni 2008 wiederum eine ganze Rente zu.
Gestützt auf einen Vertrag vom 14. August 2006 tätigte W._ einen Vorbezug aus Mitteln der beruflichen Vorsorge zur Verminderung der Hypothekarschuld auf der von ihm bewohnten Liegenschaft per 1. September 2006 in Höhe von Fr. 283'000.-. Am 6. Juni 2007 äusserte er telefonisch gegenüber der KLVK die Absicht, den Vorbezug zurückzuzahlen. Die KLVK lehnte die Rückerstattung angesichts der drohenden Invalidisierung grundsätzlich ab; mit der von der KLVK vorgeschlagenen vertrauensärztlichen Abklärung konnte sich der Versicherte nicht einverstanden erklären. Mit Schreiben vom 5. September 2008 verlangte der nun anwaltlich vertretene Versicherte erneut die Rückabwicklung des getätigten Vorbezuges, wobei er vorbringen liess, der Vorsorgefall sei im Zeitpunkt des Vorbezuges bereits eingetreten gewesen, weshalb der Vorbezug nicht rechtens sei.
Am 4. März 2009 sprach die KLVK dem Versicherten ab Ende der Lohnzahlungspflicht per 1. Dezember 2007 eine halbe und ab 1. Juni 2008 eine ganze Invalidenrente zu, wobei sie die Rente unter Abzug des getätigten Vorbezuges berechnete und die Basis-Invalidenrente Rente bei 100% Invalidität auf Fr. 2'217.55 festlegte. Das Gesuch um Rückerstattung des Vorbezuges lehnte sie ab.
B. Am 18. Juni 2009 erhob W._ Klage gegen den Kanton St. Gallen (Kantonale Lehrerversicherungskasse) mit den Rechtsbegehren, er sei berechtigt zu erklären, den Vorbezug im Sinn der Wohneigentumsförderung mit Mitteln der beruflichen Vorsorge von Fr. 283'000.- gemäss Vereinbarung vom 8. August 2006 zurückzuerstatten; zudem sei festzustellen, dass ihm die Invalidenleistungen unter Berücksichtigung des Vorbezuges auszurichten seien, und die Beklagte sei anzuweisen, die Invalidenrente in diesem Sinn neu zu berechnen und auszurichten. Mit Entscheid vom 11. April 2011 wies das Versicherungsgericht des Kantons St. Gallen die Klage ab.
C. W._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und die vorinstanzlich gestellten Anträge erneuern. Der Kanton St. Gallen schliesst auf Abweisung der Beschwerde, während sich das Bundesamt für Sozialversicherungen (BSV) nicht vernehmen lässt.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 2.2 S. 550; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Offensichtlich unrichtig im Sinne von <ref-law> ist die Sachverhaltsfeststellung, wenn sie willkürlich ist (<ref-ruling> E. 1.4.1 S. 39). Die entsprechende Rüge prüft das Bundesgericht nur insoweit, als sie in der Beschwerde explizit vorgebracht und substanziiert begründet worden ist.
2. 2.1 Strittig ist, ob dem Beschwerdeführer die Rückabwicklung des getätigten Vorbezuges von Fr. 283'000.- zu gestatten ist mit der Folge, dass die Versicherungsleistungen auf der Grundlage eines erhöhten Vorsorgekapitals zu berechnen sind.
2.2 Zu Recht nicht mehr im Streit steht die Rechtmässigkeit des Vorbezuges. Ein Vorbezug zur Förderung des Wohneigentums ist bis zum Eintritt des Vorsorgefalls zulässig. Der Vorsorgefall Invalidität stimmt zeitlich überein mit der Entstehung des Anspruchs auf Invalidenleistungen (<ref-ruling> E. 2.6 S. 17 f.). Der Anspruch des Beschwerdeführers auf Invalidenleistungen entstand am 1. Oktober 2007, weshalb der per 1. September 2006 ausbezahlte Vorbezug gültig erfolgt ist.
2.3 Eine Rückzahlung des Vorbezuges nach Eintritt des Vorsorgefalls Invalidität ist ausgeschlossen (<ref-ruling> E. 2.9 S. 19). Eine Rückzahlung ist im vorliegenden Fall unbestrittenermassen nicht erfolgt. In tatsächlicher Hinsicht ist daher einerseits zu prüfen, ob der Beschwerdeführer die Rückzahlung rechtzeitig und gültig angeboten hat, anderseits sind die rechtlichen Folgen einer unrichtigen Auskunftserteilung durch die KLVK zu klären.
3. 3.1 Der Beschwerdeführer bringt vor, er sei im Januar und März 2007 sowie an einem späteren, ihm nicht mehr erinnerlichen Zeitpunkt mit dem Anliegen an die KLVK getreten, den per 1. September 2006 erhaltenen Vorbezug für Wohneigentum aus Mitteln der beruflichen Vorsorge zurückzuerstatten. Diese habe derartige Kontakte im Januar und März 2007 bestritten, aber eingeräumt, dass der Beschwerdeführer am 6. Juni 2007 telefonisch an den (von der Vorinstanz als Zeugen einvernommenen) Sachbearbeiter der KLVK mit dem Vorschlag einer Rückabwicklung des Vorbezuges getreten sei. Es sei ihm darauf beschieden worden, bei bestehender Arbeitsunfähigkeit und vor Abschluss des IV-Verfahrens käme eine Rückerstattung nicht in Frage. In der Folge sei zwischen den Parteien strittig gewesen, ob der Beschwerdeführer den Antrag auf Rückerstattung vorbehaltlos oder nur für den Fall einer Invalidisierung gestellt habe. Der Beschwerdeführer bestehe darauf, die Erklärung vorbehaltslos abgegeben zu haben. Letztlich käme es darauf aber gar nicht an, weil er einen allfälligen Vorbehalt (Rückzahlung nur bei Erhalt einer Rente) einzig aufgrund der vom Beschwerdegegner erteilten Auskunft, wonach sich die Frage der Rückzahlung erst nach einer allfälligen Berentung stelle, formuliert habe; ein solcher Vorbehalt sei bedeutungslos. Schliesslich macht der Beschwerdeführer eine Verletzung des Grundsatzes von Treu und Glauben geltend, weil er durch die Auskunft des für ihn zuständigen Sachbearbeiters der KLVK davon abgehalten worden sei, rechtzeitig das Gesuch zur Rückzahlung zu stellen bzw. eine solche zu tätigen. Wäre er richtig in dem Sinne orientiert worden, dass er die Rückzahlung bis zum Eintritt des Vorsorgefalls zu leisten berechtigt, aber auch unter Gefahr der Verwirkung zu leisten verpflichtet war, hätte er die Rückzahlung rechtzeitig getätigt.
3.2 Der Beschwerdegegner weist vorerst daraufhin, dass der Beschwerdeführer erst am 5. September 2008, mithin fast ein Jahr nach Rentenbeginn ein schriftliches Gesuch auf Rückzahlung des Vorbezuges gestellt habe. Vor allem aber regt er an, die mit <ref-ruling> begründete Rechtsprechung betreffend Eintritt des Vorsorgefalls bei Vorbezugsrückzahlung zu überdenken. Diese Rechtsprechung stehe im Widerspruch zum Versicherungsprinzip und ermögliche eine Risikoselektion, welche das Bundesgericht im Zusammenhang mit dem Wiedereinkauf nach einer scheidungsbedingten Übertragung der hälftigen Austrittsleistung zu Recht als unzulässig erklärt habe (vgl. Urteil B 116/04 vom 26. August 2005). Wenn - wie im vorliegenden Fall - im Zeitpunkt der Rückzahlung des Vorbezuges die versicherte Person (teilweise) arbeitsunfähig sei und eine Invalidisierung bevorstehe, dürfe eine Rückzahlung nicht mehr zugelassen werden. Im Übrigen habe das vorinstanzliche Beweisverfahren bestätigt, dass der Beschwerdeführer die Rückzahlung des Vorbezuges nur für den Fall der Zusprache einer Invalidenrente gewollt habe. Diese Vorgehensweise habe er nicht wegen der Auskunft der KLVK gewählt, sondern weil er Gewissheit über den Erhalt der IV-Rente haben wollte, hätte er diese doch für die Bezahlung der nach Wiederaufstockung der Hypothek höheren Hypothekarzinsen benötigt. Von einem treuwidrigen Verhalten der KLVK könne schliesslich schon deshalb keine Rede sein, weil im Zeitpunkt der Auskunftserteilung und selbst noch bei Beginn des Rentenanspruchs am 1. Oktober 2007 der vom 6. November 2007 datierende <ref-ruling>, der Klärung bezüglich des Eintrittes des Vorsorgefalles gebracht habe, noch nicht bekannt gewesen sei.
3.3 Das kantonale Gericht ging aufgrund des Ergebnisses des Beweisverfahrens davon aus, der Beschwerdeführer habe zwar rechtzeitig, d. h. vor dem 1. Oktober 2007, die Rückabwicklung des Vorbezuges gegenüber der KLVK beantragt. Es nahm aber - vor allem gestützt auf die Zeugenaussagen des zuständigen Sachbearbeiters - an, das Angebot der Rückerstattung sei unter dem Vorbehalt des Eintritts der ganzen oder mindestens teilweisen Invalidität gestanden. Weil im Zeitpunkt des Entscheides über den Rentenanspruch der Vorsorgefall aber bereits eingetreten sei, sei die Rückerstattung für einen Zeitpunkt in Aussicht gestellt worden, an dem die Rückerstattung nicht mehr zulässig war (vgl. dazu <ref-ruling> E. 3.6 S. 21 ff.).
4. 4.1 Das kantonale Gericht hat festgestellt, dass der Beschwerdeführer eine Rückzahlung tatsächlich nur für den Fall eines Rentenbezuges in Betracht ziehen wollte. Diese Feststellung beruht auf einer sorgfältigen, alle verfügbaren Elemente (Zeugeneinvernahme, Aktennotizen, Parteivorbringen etc.) berücksichtigenden Beweiswürdigung und ist daher für das Bundesgericht verbindlich (<ref-law>). Es ist in der Tat nicht anzunehmen, der Beschwerdeführer habe vor dem massgeblichen Zeitpunkt, dem 1. Oktober 2007, vorbehaltlos die Rückzahlung des Vorbezuges angeboten. Gleichzeitig ist in diesem Zusammenhang allerdings festzuhalten, dass eine Rückerstattung für den Beschwerdeführer vor dem Entscheid über die Invalidisierung deshalb kein Thema war, weil er von der KLVK unmissverständlich darauf hingewiesen worden war, dass eine Rückerstattung bei Arbeitsunfähigkeit und drohender Invalidisierung nicht in Frage komme. Aufgrund des vor dem kantonalen Gericht durchgeführten Beweisverfahrens steht ebenfalls ausser Zweifel, dass der Beschwerdeführer in diesem Sinne von der KLVK beraten worden war. Der Beschwerdegegner hat dies im bundesgerichtlichen Verfahren noch einmal ausdrücklich zugestanden. Der Beschwerdeführer leitet daraus nun sinngemäss ab, ein allfälliger Vorbehalt hinsichtlich des Zeitpunktes oder der Umstände der Rückerstattung sei deshalb nicht beachtlich, weil dieser sich eben als Folge der Auskunft des Beschwerdegegners ergeben habe. Dieser Auffassung ist insofern beizupflichten, als einer versicherten Person daraus kein Nachteil erwachsen darf, dass sie ihr Verhalten und Vorgehen entsprechend der Auskunft des Versicherungsträgers wählt. Für den vorliegenden Fall bedeutet dies, dass nach den Regeln über die Folgen unrichtiger behördlicher Auskunft zu prüfen ist, ob der Beschwerdeführer so zu stellen ist, wie wenn eine Rückabwicklung des Vorbezuges stattgefunden hätte.
4.2 4.2.1 Abgeleitet aus dem Grundsatz von Treu und Glauben, welcher den Bürger in seinem berechtigten Vertrauen auf behördliches Verhalten schützt, können falsche Auskünfte von Verwaltungsbehörden unter bestimmten Voraussetzungen eine vom materiellen Recht abweichende Behandlung des Rechtsuchenden gebieten. Gemäss Rechtsprechung und Doktrin ist dies der Fall, 1. wenn die Behörde in einer konkreten Situation mit Bezug auf bestimmte Personen gehandelt hat; 2. wenn sie für die Erteilung der betreffenden Auskunft zuständig war oder wenn die rechtsuchende Person die Behörde aus zureichenden Gründen als zuständig betrachten durfte; 3. wenn die Person die Unrichtigkeit der Auskunft nicht ohne weiteres erkennen konnte; 4. wenn sie im Vertrauen auf die Richtigkeit der Auskunft Dispositionen getroffen hat, die nicht ohne Nachteil rückgängig gemacht werden können, und 5. wenn die gesetzliche Ordnung seit der Auskunftserteilung keine Änderung erfahren hat (<ref-ruling> E. 5, 127 I 36 E. 3a, 126 II 387 E. 3a; RKUV 2000 Nr. KV 126 S. 223; zu Art. 4 Abs. 1 aBV ergangene, weiterhin geltende Rechtsprechung: <ref-ruling> E. 2a mit Hinweisen).
4.2.2 Es kann ohne Weiteres davon ausgegangen werden und ist unbestritten dass die drei ersten Voraussetzungen für eine erfolgreiche Berufung auf den verfassungsmässigen Vertrauensschutz erfüllt sind. Auch die fünfte Voraussetzung ist zu bejahen, da die gesetzliche Regelung unverändert geblieben ist. Mit <ref-ruling> und 135 V 13 wurde zwar eine Klarstellung der Rechtsprechung hinsichtlich der Frage des Eintritts des Vorsorgefalls herbeigeführt, eine Praxisänderung wurde damit aber nicht vollzogen. Wenn der Beschwerdegegner in diesem Zusammenhang darauf verweist, die von einem Mitarbeiter der KVLK gegebene Auskunft habe der Rechtslage vor diesen beiden Entscheiden entsprochen, so ist dies einerseits nur bedingt richtig, weil diese eben nur eine Klarstellung und nicht eine Änderung einer bis anhin uneinheitlichen Praxis brachten, anderseits kann er daraus nichts zu seinen Gunsten ableiten, kommt es doch im Zusammenhang mit dem Vertrauensschutz bei unrichtigen behördlichen Auskünften nicht darauf an, ob die Behörden schuldhaft eine unrichtige Auskunft erteilt haben.
4.2.3 In Bezug auf die vierte Voraussetzung stellte das kantonale Gericht fest, der Beschwerdeführer habe eine Rückzahlung tatsächlich nur für den Fall eines Rentenbezuges in Betracht ziehen wollen (E. 4.1 hievor). Da der Beschwerdeführer nach dieser verbindlichen Feststellung (<ref-law>) tatsächlich den Willen hatte, im Falle des Rentenbezugs die Rückzahlung zu tätigen, ist kein anderer Grund als die erfolgte unrichtige Auskunft der Kasse ersichtlich, die den Beschwerdeführer davon abgehalten hatte, entsprechend seinem Willen zu handeln. Die Disposition besteht hier in einer Unterlassung, weshalb nach der Praxis an die Kausalität des vertrauensbildenden Verwaltungshandelns zur unterbliebenen Disposition keine grossen Anforderungen gestellt werden dürfen (<ref-ruling> E. 3b S. 55; nicht publizierte E. 5.3 von <ref-ruling> [8C_784/2008]). Unter diesen Umständen verletzt es Bundesrecht, wenn das kantonale Gericht die vierte Voraussetzung verneint, indem es zum Schluss gelangt, es lägen keine Anhaltspunkte vor, dass der Beschwerdeführer bei einer richtigen Auskunft tatsächlich eine Rückzahlung des Vorbezuges getätigt hätte.
5. 5.1 Die Frage der Folgen der unrichtigen Auskunft der KLVK stellt sich allerdings nicht bzw. ist nicht von Relevanz, wenn der Beschwerdeführer im Zeitpunkt, in dem er diese Auskunft erhielt, wegen der damals schon eingetretenen Arbeitsunfähigkeit gar nicht mehr berechtigt gewesen wäre, den Vorbezug zurückzuerstatten. Der Beschwerdegegner argumentiert schwergewichtig in diesem Sinn und wünscht eine entsprechende Präzisierung bzw. Änderung der Rechtsprechung.
5. 5.1 Die Frage der Folgen der unrichtigen Auskunft der KLVK stellt sich allerdings nicht bzw. ist nicht von Relevanz, wenn der Beschwerdeführer im Zeitpunkt, in dem er diese Auskunft erhielt, wegen der damals schon eingetretenen Arbeitsunfähigkeit gar nicht mehr berechtigt gewesen wäre, den Vorbezug zurückzuerstatten. Der Beschwerdegegner argumentiert schwergewichtig in diesem Sinn und wünscht eine entsprechende Präzisierung bzw. Änderung der Rechtsprechung.
5.2 5.2.1 In <ref-ruling> hat das Bundesgericht der "Vollständigkeit halber angemerkt", dass gemäss Art. 30d Abs. 3 lit. b BVG (e contrario) eine Rückzahlung des Vorbezuges nach Eintritt des Vorsorgefalls nicht mehr möglich ist (E. 2.9 S. 19). Dieses obiter dictum ist mit dem Beschwerdeführer und dem kantonalen Gericht so zu verstehen, dass (umgekehrt) eine Rückerstattung bis zum Eintritt des Vorsorgefalls zulässig ist. Auch der Beschwerdegegner sieht offenbar, dass diese Erwägung in diesem Sinn verstanden werden kann, wünscht aber ein Überdenken dieser Rechtsprechung.
5.2.2 Für eine Änderung dieser Rechtsprechung besteht keine Veranlassung. Art. 30d Abs. 3 BVG hält klar fest, dass die Rückzahlung bis drei Jahre vor Entstehung des Anspruchs auf Altersleistungen (lit. a) oder bis zum Eintritt eines anderen Vorsorgefalls (lit. b) zulässig ist. Das Bundesgericht hat in den Entscheiden <ref-ruling> und 135 V 13 einlässlich begründet, weshalb der Vorsorgefall "Invalidität" im Zeitpunkt eintritt, in dem der Anspruch auf eine Invalidenleistung entsteht. Diese Rechtsprechung wird auch vom Beschwerdegegner für die Frage, bis wann ein Vorbezug aus Mitteln der beruflichen Vorsorge getätigt werden kann, als richtig erachtet. Er will indes für die Frage des spätesten Zeitpunktes für eine Rückzahlung des Vorbezuges nicht mehr auf den Vorsorgefall im vorgenannten Sinn abstellen, sondern eine Rückzahlung bei bestehender Arbeitsunfähigkeit nicht mehr zulassen. Er beruft sich dabei auf einen (unveröffentlichten) Entscheid des Bundesgerichts, bei dem ein Wiedereinkauf nach einer scheidungsbedingten Übertragung eines Teils der Austrittsleistung wegen einer absehbaren Invalidität nicht zugelassen wurde (Urteil B 116/04 vom 26. August 2005 E. 3). Der angeführte Entscheid ist indes einer derjenigen Entscheide, von denen das Bundesgericht in <ref-ruling> feststellte, dass darin die begriffliche Unterscheidung zwischen Eintritt der Invalidität und Arbeitsunfähigkeit, deren Ursache zur Invalidität führt, unscharf gezogen worden sei (vgl. <ref-ruling> E. 3.4.1 S. 31 f.); in diesem Entscheid wird Art. 23 BVG angeführt um zu begründen, dass bereits mit dem Eintritt der zur Invalidität führenden Arbeitsunfähigkeit eine Konstellation eingetreten sei, die dem Wiedereinkauf entgegen stehe (B 116/04 E. 3.2). Angesichts dieser neuesten Entwicklung der Rechtsprechung ist fraglich, ob dem angeführten Entscheid im Zusammenhang mit der Frage, bis wann ein Wiedereinkauf nach scheidungsbedingter Übertragung der Austrittsleistung in Frage kommt, überhaupt noch Bedeutung zukommt. Die Frage kann hier indes offen gelassen werden. Die Rückzahlung eines Vorbezuges beschlägt zwar eine ähnliche Konstellation wie der Wiedereinkauf nach einer scheidungsbedingten Verminderung des Vorsorgekapitals, im Gegensatz zur letzteren Konstellation ist der Zeitpunkt, bis zu dem eine Rückerstattung geleistet werden kann, aber gesetzlich klar geregelt (vgl. Art. 30d Abs. 3 lit. b BVG und Art. 22c i.V. mit Art. 9 FZG).
5.2.3 Die vom Beschwerdegegner befürwortete unterschiedliche Behandlung von Vorbezug einerseits und Rückerstattung desselben anderseits bezüglich des spätesten Zeitpunktes ihrer Vornahme vermag sachlich nicht zu überzeugen. Die Erwägungen, welche das Bundesgericht in <ref-ruling> (E. 2.7 S. 18) zum Schluss geführt haben, dass kein Anlass bestehe, den Vorbezug bei bevorstehender Invalidität zu verunmöglichen, gelten gleichermassen auch für dessen Rückerstattung. Insbesondere fehlt es auch hinsichtlich des Zeitpunktes der Rückerstattung an einer gesetzlichen Grundlage, welche eine Beschränkung wegen bevorstehender Invalidität zulassen würde. Eine derartige Beschränkung würde vielmehr in Widerspruch zum klaren Wortlaut von Art. 30d Abs. 3 lit. b BVG stehen. Auch aus Gründen der Rechtssicherheit erscheint es im Übrigen sachgerecht, sowohl den Vorbezug wie auch die Rückerstattung desselben bis zum Eintritt des Vorsorgefalls - definiert als Beginn des Rentenanspruchs - zuzulassen.
5.3 An diesem Ergebnis können die Argumente des Beschwerdegegners nichts ändern. Es ist zwar nicht von der Hand zu weisen, dass die Möglichkeit, einen Vorbezug bis zum Eintritt der Invalidität zurückzuzahlen, dazu führen kann, dass im Fall einer drohenden Invalidität häufig eine Rückzahlung erfolgen wird, um die Leistungen im Falle der Invalidität zu verbessern. Eine Verletzung des Versicherungsprinzips ist darin allerdings nicht zu erblicken, wird in einer solchen Konstellation doch nicht ein bereits eingetretenes Risiko versichert; das Risiko, dessen Eintritt absehbar ist, führt lediglich dazu, dass die versicherte Person den Versicherungsschutz in dem Umfange wieder aufleben lässt, wie er vor Tätigung des Vorbezuges bestand. Diese Möglichkeit hat ihr der Gesetzgeber mit der ausdrücklichen Einräumung des Rechts zur Rückzahlung bis drei Jahre vor Entstehung des Anspruchs auf Altersleistungen oder unmittelbar bis zum Eintritt eines anderen Vorsorgefalls eingeräumt. Entgegen der Ansicht des Beschwerdegegners tritt dadurch auch keine Schädigung der Versicherung ein, hat diese doch (maximal) die gleichen Leistungen zu erbringen, wie wenn die versicherte Person keinen Vorbezug getätigt hätte. Der vom Beschwerdegegner im vorliegenden Verfahren geltend gemachte Verlust ergibt sich aus dem Vergleich zwischen dem Deckungskapital, welches zur Deckung der höheren Invalidenleistungen benötigt wird, und demjenigen, das für die niedrigeren, wegen des Vorbezuges gekürzten Invalidenleistungen gebraucht wird; diese Differenz kann der zurückzubezahlende Vorbezugsbetrag offenbar nicht aufwiegen. Insofern ist die KLVK bei einer Rückabwicklung des Vorbezuges schlechter gestellt als wenn der Vorbezug nicht rückerstattet wird. Eine Schlechterstellung gegenüber der Situation vor Tätigung des Vorbezuges ist damit aber nicht ausgewiesen. Insofern ist nicht ersichtlich, dass die Zulässigkeit der Rückzahlung eines Vorbezuges bis zum Eintritt der Invalidität zu unerträglichen Belastungen des Beschwerdegegners oder auch anderer Vorsorgeeinrichtungen führen würde.
6. Bei dieser Sach- und Rechtslage ist davon auszugehen, dass der Beschwerdeführer bei richtiger Auskunft innert nützlicher Frist, d. h. vor dem 1. Oktober 2007, den Vorbezug zurückerstattet hätte. Der Beschwerdeführer wird demnach bei nachträglicher Rückzahlung des Vorbezuges - auch in Bezug auf die Invalidenleistungen - so zu stellen sein, wie wenn dies rechtzeitig vor dem Invaliditätseintritt erfolgt wäre. Die Beschwerde und die Klage sind demzufolge gutzuheissen.
7. Bei diesem Ausgang des Verfahrens hat der Beschwerdegegner die Gerichtskosten zu tragen (<ref-law>). Der obsiegende Beschwerdeführer hat Anspruch auf eine Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1. In Gutheissung der Beschwerde und der Klage wird der Entscheid des Versicherungsgerichts des Kantons St. Gallen vom 11. April 2011 aufgehoben mit der Feststellung, dass der Beschwerdeführer berechtigt ist, den Vorbezug in der Höhe gemäss Vereinbarung vom 8./14. August 2006 der KLVK zurückzuerstatten.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdegegner auferlegt.
3. Der Beschwerdegegner hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 17. September 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Nussbaumer