Sachverhalt: A. M._ (geboren 1975), Sekundarlehrer phil. II, war vom 1. August 2004 bis 31. Juli 2006 bei der Berufsvorbereitungsschule X._ angestellt und dadurch bei der Pensionskasse des Kantons Schwyz im Rahmen der obligatorischen beruflichen Vorsorge versichert. Im Schuljahr 2004/05 versah er ein Arbeitspensum von 48.28 % (14 Lektionen), im Schuljahr 2005/06 ein solches von 31.03 % (9 Lektionen). Auf das Schuljahr 2006/07 wurde der Arbeitsvertrag aufgrund von "Restrukturierungsvorgaben des Kantons Schwyz, welche eine Verminderung der Lektionenzahl zur Folge hatten", nicht verlängert. Vom 1. August 2005 bis 31. Juli 2008 war M._ als Mathematiklehrer an der Integrationsschule der Stadtschulen Y._ angestellt. Hier betrug sein Arbeitspensum zunächst 42.86 %, auf das Schuljahr 2006/07 wurde es auf 13 bis 18 Lektionen erhöht, wobei M._ ein Pensum von 57.69 % erbrachte. B. Seit dem 23. August 2006 war M._ in seiner Arbeitsfähigkeit als Sekundarlehrer erheblich eingeschränkt. Mit Wirkung ab 1. August 2007 sprach ihm die IV-Stelle Luzern bei einem Invaliditätsgrad von 100 % eine ganze Invalidenrente zu (Verfügung vom 3. Mai 2010). Die Zuger Pensionskasse richtet ihm seit 1. November 2008 nach Ende der Lohnfortzahlung ebenfalls eine ganze Invalidenrente aus nebst Kinderrente für den im November 2009 geborenen Sohn. C. Mit Eingabe vom 20. Dezember 2011 liess M._ beim Verwaltungsgericht des Kantons Schwyz Klage gegen die Pensionskasse des Kantons Schwyz erheben mit dem Antrag, die Beklagte habe ihm ab 23. August 2006 eine ganze IV-Rente aus BVG nebst Kinderrente (ab 1. November 2009) zuzüglich 5 % Verzugszins auszurichten. Mit Entscheid vom 12. Juni 2012 wies das Verwaltungsgericht die Klage ab. D. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und die vor Vorinstanz gestellten Rechtsbegehren erneuern. Eventuell sei der Fall zur weiteren Abklärung an die Vorinstanz zurückzuweisen.