Sachverhalt: A. W._ war als Dozent an der Schule X._ tätig und dadurch bei der Kantonalen Lehrerversicherungskasse (im Folgenden: KLVK) berufsvorsorgeversichert. Ab 24. August 2005 war er zeitweise ganz oder teilweise arbeitsunfähig. Mit drei Verfügungen vom 12. März 2009 sprach ihm die IV-Stelle des Kantons St. Gallen eine ganze Rente ab 1. Oktober 2007, eine halbe ab 1. November 2007 und ab 1. Juni 2008 wiederum eine ganze Rente zu. Gestützt auf einen Vertrag vom 14. August 2006 tätigte W._ einen Vorbezug aus Mitteln der beruflichen Vorsorge zur Verminderung der Hypothekarschuld auf der von ihm bewohnten Liegenschaft per 1. September 2006 in Höhe von Fr. 283'000.-. Am 6. Juni 2007 äusserte er telefonisch gegenüber der KLVK die Absicht, den Vorbezug zurückzuzahlen. Die KLVK lehnte die Rückerstattung angesichts der drohenden Invalidisierung grundsätzlich ab; mit der von der KLVK vorgeschlagenen vertrauensärztlichen Abklärung konnte sich der Versicherte nicht einverstanden erklären. Mit Schreiben vom 5. September 2008 verlangte der nun anwaltlich vertretene Versicherte erneut die Rückabwicklung des getätigten Vorbezuges, wobei er vorbringen liess, der Vorsorgefall sei im Zeitpunkt des Vorbezuges bereits eingetreten gewesen, weshalb der Vorbezug nicht rechtens sei. Am 4. März 2009 sprach die KLVK dem Versicherten ab Ende der Lohnzahlungspflicht per 1. Dezember 2007 eine halbe und ab 1. Juni 2008 eine ganze Invalidenrente zu, wobei sie die Rente unter Abzug des getätigten Vorbezuges berechnete und die Basis-Invalidenrente Rente bei 100% Invalidität auf Fr. 2'217.55 festlegte. Das Gesuch um Rückerstattung des Vorbezuges lehnte sie ab. B. Am 18. Juni 2009 erhob W._ Klage gegen den Kanton St. Gallen (Kantonale Lehrerversicherungskasse) mit den Rechtsbegehren, er sei berechtigt zu erklären, den Vorbezug im Sinn der Wohneigentumsförderung mit Mitteln der beruflichen Vorsorge von Fr. 283'000.- gemäss Vereinbarung vom 8. August 2006 zurückzuerstatten; zudem sei festzustellen, dass ihm die Invalidenleistungen unter Berücksichtigung des Vorbezuges auszurichten seien, und die Beklagte sei anzuweisen, die Invalidenrente in diesem Sinn neu zu berechnen und auszurichten. Mit Entscheid vom 11. April 2011 wies das Versicherungsgericht des Kantons St. Gallen die Klage ab. C. W._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und die vorinstanzlich gestellten Anträge erneuern. Der Kanton St. Gallen schliesst auf Abweisung der Beschwerde, während sich das Bundesamt für Sozialversicherungen (BSV) nicht vernehmen lässt.