Sachverhalt:
A. M._ (geboren 1975), Sekundarlehrer phil. II, war vom 1. August 2004 bis 31. Juli 2006 bei der Berufsvorbereitungsschule X._ angestellt und dadurch bei der Pensionskasse des Kantons Schwyz im Rahmen der obligatorischen beruflichen Vorsorge versichert. Im Schuljahr 2004/05 versah er ein Arbeitspensum von 48.28 % (14 Lektionen), im Schuljahr 2005/06 ein solches von 31.03 % (9 Lektionen). Auf das Schuljahr 2006/07 wurde der Arbeitsvertrag aufgrund von "Restrukturierungsvorgaben des Kantons Schwyz, welche eine Verminderung der Lektionenzahl zur Folge hatten", nicht verlängert.
Vom 1. August 2005 bis 31. Juli 2008 war M._ als Mathematiklehrer an der Integrationsschule der Stadtschulen Y._ angestellt. Hier betrug sein Arbeitspensum zunächst 42.86 %, auf das Schuljahr 2006/07 wurde es auf 13 bis 18 Lektionen erhöht, wobei M._ ein Pensum von 57.69 % erbrachte.
B. Seit dem 23. August 2006 war M._ in seiner Arbeitsfähigkeit als Sekundarlehrer erheblich eingeschränkt. Mit Wirkung ab 1. August 2007 sprach ihm die IV-Stelle Luzern bei einem Invaliditätsgrad von 100 % eine ganze Invalidenrente zu (Verfügung vom 3. Mai 2010). Die Zuger Pensionskasse richtet ihm seit 1. November 2008 nach Ende der Lohnfortzahlung ebenfalls eine ganze Invalidenrente aus nebst Kinderrente für den im November 2009 geborenen Sohn.
C. Mit Eingabe vom 20. Dezember 2011 liess M._ beim Verwaltungsgericht des Kantons Schwyz Klage gegen die Pensionskasse des Kantons Schwyz erheben mit dem Antrag, die Beklagte habe ihm ab 23. August 2006 eine ganze IV-Rente aus BVG nebst Kinderrente (ab 1. November 2009) zuzüglich 5 % Verzugszins auszurichten. Mit Entscheid vom 12. Juni 2012 wies das Verwaltungsgericht die Klage ab.
D. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und die vor Vorinstanz gestellten Rechtsbegehren erneuern. Eventuell sei der Fall zur weiteren Abklärung an die Vorinstanz zurückzuweisen.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 2.2 S. 550; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 2.2 S. 550; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
1.2 1.2.1 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz auf Rüge hin oder von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht, und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law> und <ref-law>). Das Vorliegen dieser Voraussetzungen hat die Beschwerde führende Person genau darzulegen. Dazu genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten oder die eigene Beweiswürdigung zu erläutern (<ref-ruling> E. 5.1 S. 356; SVR 2012 BVG Nr. 11 S. 44, 9C_779/2010 E. 1.1.2 [nicht publ. in: <ref-ruling>]).
Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (<ref-ruling> E. 3.1 S. 44). Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erschiene (vgl. <ref-ruling> E. 2.1 S. 9; Urteil 9C_967/2008 vom 5. Januar 2009 E. 5.1). Diese Grundsätze gelten auch in Bezug auf die konkrete Beweiswürdigung (Urteile 9C_999/2010 vom 14. Februar 2011 E. 1 und 9C_735/2010 vom 21. Oktober 2010 E. 3; SVR 2012 BVG Nr. 11 S. 44, 9C_779/2010 E. 1.1.1).
1.2.2 Einem ärztlichen Bericht kommt Beweiswert zu, wenn er für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt und in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, wenn die Beschreibung der medizinischen Situation und Zusammenhänge einleuchtet und die Schlussfolgerungen begründet sind (<ref-ruling> E. 3a S. 352). Der Arzt muss über die notwendigen fachlichen Qualifikationen verfügen (Urteil 9C_736/2009 vom 26. Januar 2010 E. 2.1). Untersuchungsberichte regionaler ärztlicher Dienste können, sofern sie diesen Anforderungen genügen, einen vergleichbaren Beweiswert wie ein Gutachten haben (<ref-law>; <ref-ruling> E. 1.2.1 S. 219; <ref-ruling> E. 3.3.2 S. 257; Urteil 9C_999/2010 vom 14. Februar 2011 E. 5.1.2).
1.2.3 Dem Sachgericht steht im Bereich der Beweiswürdigung ein erheblicher Ermessensspielraum zu (<ref-ruling> E. 4b S. 40). Das Bundesgericht greift auf Beschwerde hin nur ein, wenn das Sachgericht diesen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche willkürlich ausser Acht lässt (<ref-ruling> E. 2.1 S. 211; zum Begriff der Willkür <ref-ruling> E. 2.4 mit Hinweisen S. 5). Inwiefern das kantonale Gericht sein Ermessen missbraucht haben soll, ist in der Beschwerde klar und detailliert aufzuzeigen (<ref-ruling> E. 1.3 S. 261). Auf ungenügend begründete Rügen oder bloss allgemein gehaltene appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 2.2 mit Hinweis S. 246).
2. Streitig ist zunächst, ob die relevante Arbeitsunfähigkeit bereits während des bis 31. Juli 2006 dauernden Arbeitsverhältnisses mit der Berufsvorbereitungsschule X._ eingetreten ist.
2.1 Invalidenleistungen der obligatorischen beruflichen Vorsorge werden von derjenigen Vorsorgeeinrichtung geschuldet, welcher der Ansprecher bei Eintritt der Arbeitsunfähigkeit, deren Ursache zur Invalidität geführt hat, angeschlossen war (Art. 23 lit. a BVG [bis 31. Dezember 2004: Art. 23 BVG]). Die Leistungspflicht setzt einen engen sachlichen und zeitlichen Zusammenhang zwischen der während der Dauer des Vorsorgeverhältnisses (einschliesslich der Nachdeckungsfrist nach Art. 10 Abs. 3 BVG) bestandenen Arbeitsunfähigkeit (Einbusse an funktionellem Leistungsvermögen im bisherigen Beruf von zumindest 20 %; SVR 2008 BVG Nr. 34 S. 143 E. 2.3 mit Hinweisen, 9C_127/2008) und der allenfalls erst später eingetretenen Invalidität voraus (<ref-ruling> E. 3.1 S. 68; <ref-ruling> E. 3.2 S. 22; <ref-ruling> E. 4.1 S. 275).
2.2 Das kantonale Gericht ist in Würdigung der Arzt- und weiterer Berichte mit überwiegender Wahrscheinlichkeit davon ausgegangen, dass eine psychisch bedingte, berufsvorsorgerechtlich relevante Arbeitsunfähigkeit des Klägers erst nach dem 31. Juli 2006 eingetreten ist. Jedenfalls lasse sich aufgrund der aktenkundigen Unterlagen wie auch der Parteivorbringen nicht auf das Gegenteil schliessen. Dr. med. K._ setze den Beginn einer Arbeitsunfähigkeit (von 100 %) auf den 23. August 2006 fest. Für die vorhergehende Zeit sei dem Kläger keine, auch nicht eine teilweise Arbeitsunfähigkeit attestiert worden. Die IV-Stelle Luzern sei aufgrund ihrer Abklärungen und ihrer Beurteilung zu keinem anderen Ergebnis gelangt. Entsprechend habe sie den Rentenbeginn nach Ablauf der einjährigen Wartefrist auf den 1. August 2007 festgesetzt. Der Kläger habe die betreffende Verfügung nicht angefochten. Mit dieser Beurteilung des Eintritts der Arbeitsunfähigkeit des Klägers träfen sich auch die Beobachtungen des Schulleiters der Berufsvorbereitungsschule X._. Zutreffend weise die Beklagte zudem darauf hin, dass der Kläger in seiner Klage ans Verwaltungsgericht des Kantons Zug vom 7. September 2011 im Prozess gegen die Zuger Pensionskasse um Ausrichtung von Invalidenleistungen selber (und erst noch mit typographischer Hervorhebung [Fettdruck]) ausführte, er sei "bis zum 23.8.2006 voll arbeitsfähig" gewesen. Auf rund vier Seiten habe der Kläger mit verschiedenen Argumenten (Freizeitverhalten, Lehrtätigkeit, Weiterbildung, Ferienreisen 2000 bis 2006 u.a. [teils mehrmals] nach Tunesien, Kenya, Thailand, Bulgarien, USA, Brasilien, Dominikanische Republik) sowie weiteren Vorbringen begründet, dass er bis zu diesem Zeitpunkt uneingeschränkt arbeitsfähig gewesen sei. Erst im Sommer 2006 habe sich die depressive Problematik "massiv verschlechtert" und erstmals eine psychiatrische Behandlung (am 23. August 2006) nötig gemacht. Diesen Angaben, welche noch unbeeinflusst vom Wissen um die vorsorgerechtliche Bedeutung des Beginns der Arbeitsunfähigkeit gemacht wurden, sei nach dem Grundsatz der "Aussage der ersten Stunde" (Hinweis auf das Bundesgerichtsurteil 8C_961/2010 vom 9. März 2011 E. 4.2; <ref-ruling> E. 2a) ein erhöhtes Gewicht beizumessen. Für eine berufsvorsorgerechtlich relevante volle Arbeitsfähigkeit bis mindestens 31. Juli 2006 spreche im Weiteren auch die Tatsache, dass das Arbeitspensum des Klägers an den Stadtschulen Y._ noch am 5. Juli 2006 um über ein Drittel erhöht worden sei. Dies wäre kaum der Fall gewesen, wenn zu jenem Zeitpunkt bereits - subjektiv wie auch objektiv - Anzeichen einer drohenden teilweisen oder sogar vollen Arbeitsunfähigkeit erkennbar gewesen wären.
Zusammenfassend sei dem Kläger zwar zuzugestehen, dass sich ein psychiatrisches Leiden in der Regel schleichend und mit zunehmender Intensität bemerkbar mache. Vorliegend bestünden indes keine medizinischen und/oder anderweitigen Angaben, die mit dem erforderlichen Beweisgrad der überwiegenden Wahrscheinlichkeit auf den Eintritt einer vorsorgerechtlich relevanten (teilweisen) Arbeitsunfähigkeit vor dem 23. August 2006 schliessen liessen. Da der Versicherungsfall (ganze oder teilweise) Arbeitsunfähigkeit nicht während der bis 31. Juli 2006 dauernden Tätigkeit des Klägers an der Berufsvorbereitungsschule X._ eingetreten sei, treffe die Beklagte mithin auch keine Leistungspflicht. Von der Abnahme weiterer Beweise und/oder einer Zeugenbefragung (Schulleiter Berufsvorbereitungsschule X._) sowie einer Parteibefragung könne gestützt das Aktendossier sowie die vorstehenden Ausführungen in antizipierter Beweiswürdigung und ohne Verletzung des Untersuchungsgrundsatzes abgesehen werden.
2.3 Im Lichte der eingangs erwähnten Beweisregeln und Grundsätze zur Beweiswürdigung ist die vorinstanzliche Sachverhaltsfeststellung und die entsprechende Beweiswürdigung nicht mangelhaft im Sinne von <ref-law>. Das kantonale Gericht hat sich mit allen relevanten medizinischen und beruflichen Unterlagen auseinandergesetzt und eingehend begründet, weshalb der Beschwerdeführer erst seit dem 23. August 2006 in seiner Arbeitsfähigkeit als Sekundarlehrer erheblich eingeschränkt war. Die vom Beschwerdeführer namentlich gestützt auf den Bericht des Dr. med. K._ vom 9. Juni 2012 erhobenen Einwendungen ändern allesamt nichts. Der Beschwerdeführer hatte an beiden Stellen bis zum Abschluss des Schuljahres 2005/06 Ende Juli 2006 keine krankheitsbedingten Absenzen. Ebenso wenig liegt eine echtzeitliche Einschätzung seiner Arbeitsunfähigkeit in dieser Zeitspanne vor, noch befand er sich zu diesem Zeitpunkt in einer ärztlichen Behandlung. In eine solche begab er sich erst am 23. August 2006. Das kantonale Gericht ist in willkürfreier Weise zum Schluss gekommen, dass nach dem Beweisgrad der überwiegenden Wahrscheinlichkeit nicht erstellt ist, dass der Beschwerdeführer bereits vor Ende Juli 2006 während seiner Tätigkeit für die Schule X._ mindestens 20 % in seiner Arbeitsfähigkeit als Sekundarlehrer eingeschränkt war. Ebenso wenig liegt eine Verletzung des Rechts auf Beweis oder des Grundsatzes der antizipierten Beweiswürdigung vor. Mithin ist im Folgenden davon auszugehen, dass gemäss der verbindlichen Feststellung des kantonalen Gerichts die relevante Arbeitsunfähigkeit erst am 23. August 2006 und somit während der Nachdeckungsfrist des Art. 10 Abs. 3 BVG eingetreten ist.
3. 3.1 Anspruch auf Invalidenleistungen haben nach Art. 23 lit. a BVG Personen, die im Sinne der Invalidenversicherung zu mindestens 40 % invalid sind und bei Eintritt der Arbeitsunfähigkeit, deren Ursache zur Invalidität geführt hat, versichert waren. Die obligatorische Versicherung beginnt gemäss Art. 10 Abs. 1 BVG mit dem Antritt des Arbeitsverhältnisses, für Bezüger von Taggeldern der Arbeitslosenversicherung mit dem Tag, für den erstmals eine Arbeitslosenentschädigung ausgerichtet wird. Laut Art. 10 Abs. 2 lit. b BVG endet die Versicherungspflicht, wenn das Arbeitsverhältnis aufgelöst wird. Für die Risiken Tod und Invalidität bleibt der Arbeitnehmer während eines Monats nach Auflösung des Vorsorgeverhältnisses bei der bisherigen Vorsorgeeinrichtung versichert (sog. Nachdeckung); wird vorher ein neues Vorsorgeverhältnis begründet, so ist die neue Vorsorgeeinrichtung zuständig (Art. 10 Abs. 3 BVG; <ref-ruling> E. 2a S. 19; <ref-ruling> E. 2a S. 38; je mit Hinweisen).
3.2 Nach der verbindlichen Feststellung des kantonalen Gerichts hat der Beschwerdeführer im Juli 2006, als für ihn die Weiterbeschäftigung an der Schule X._ ausser Frage stand, bei seinem anderen Arbeitgeber, den Stadtschulen Y._, das Unterrichtspensum von 42.86 % auf 57.69 % erhöht. Damit einher ging auch eine Erhöhung des versicherten Verdienstes sowie die Einlage der von der Pensionskasse des Kantons Schwyz erbrachten Austrittsleistung. Das kantonale Gericht ging davon aus, dass beide befristete Teilzeitarbeitsverhältnisse mit der Berufsvorbereitungsschule X._ und mit den Stadtschulen Y._ per 31. Juli 2006 endigten. Bei dem mit Schreiben vom 5. Juli 2006 für die Zeit vom 1. August 2006 bis 31. Juli 2007 abgeschlossenen Arbeitsvertrag handle es sich um ein neues, ebenfalls befristetes Arbeitsverhältnis. Hätte der Beschwerdeführer per 1. August 2006 eine Anstellung bei einer Drittschule - sei es in einem Teilzeit-, sei es in einem Vollzeitpensum - angetreten, so wäre per 1. August 2006 gleichzeitig ein neues Vorsorgeverhältnis bei der Vorsorgeeinrichtung der Drittschule begründet worden. Nicht anders könne es sich verhalten, wenn eine Person ein befristetes Arbeitsverhältnis bei einem bisherigen Arbeitgeber "verlängert", d.h. rechtlich einen neuen Arbeitsvertrag abschliesst. Durch den Neuabschluss eines Arbeitsvertrages werde auch das Vorsorgeverhältnis bei der betreffenden Vorsorgeeinrichtung "verlängert" bzw. eben rechtlich neu begründet. Andernfalls würde in einem solchen Fall ein Arbeitnehmer gegenüber einem Arbeitnehmer, der eine Neuanstellung einzig bei einem Drittarbeitgeber finde, berufsvorsorgerechtlich im Lichte von Art. 10 Abs. 3 BVG unter Umständen in einer Weise bevorteilt, die mit dem Grundsatz der Gleichbehandlung nicht zu vereinbaren sei. Mithin sei der Schluss zu ziehen, dass durch die "Verlängerung" des Arbeitsverhältnisses bei den Stadtschulen Y._ per 1. August 2006 bzw. die Neubegründung dieses Arbeitsverhältnisses die Nachdeckung bei der Pensionskasse des Kantons Schwyz dahingefallen sei.
3.3 Ob diese Argumentation in allen Teilen zutrifft, kann offenbleiben. Der Beschwerdeführer hat für seine Tätigkeit bei den Stadtschulen Y._ das Vorsorgeverhältnis infolge Abschluss eines neuen befristeten Arbeitsvertrages über den 31. Juli 2006 hinaus weitergeführt. Hingegen hat er, was hier entscheidend ist, sein Pensum ab 1. August 2006 um rund 15 % auf 67.69 % erhöht. Damit konnte er den Wegfall des Pensums von 31.03 % in X._ fast zur Hälfte kompensieren. Die damit einhergehende Erhöhung des versicherten Verdienstes und des Versicherungsschutzes bei der Pensionskasse Zug ist dem Fall gleichzustellen, wie wenn bei einem dritten Arbeitgeber ein solches Teilzeitverhältnis eingegangen worden wäre. In beiden Konstellationen wird der mit der Nachdeckung angestrebte Versicherungsschutz durch die neue Vorsorgeeinrichtung oder durch die Erhöhung des Versicherungsschutzes bei der Pensionskasse des anderen Arbeitgebers kompensiert. Dass der Versicherungsschutz insgesamt schlechter ist als bei der bisherigen Vorsorgeeinrichtung (oder bei beiden Pensionskassen zusammen) ist bei einem Wechsel des Arbeitsplatzes bzw. der Vorsorgeeinrichtung oft der Fall. So hat das Bundesgericht im Urteil 9C_793/2010 vom 21. März 2011 (SVR 2011 BVG Nr. 30 S. 114 E. 4) entschieden, dass bei Ausrichtung von Arbeitslosenentschädigung das neue Vorsorgeverhältnis mit der Auffangeinrichtung mit dem ersten entschädigungsberechtigten Tag beginnt und die Nachdeckung bei der bisherigen Vorsorgeeinrichtung entfällt. Für die Zuständigkeit der neuen Vorsorgeeinrichtung kommt es nicht darauf an, ob die neue Tätigkeit in zeitlicher Hinsicht der früheren entspricht oder weniger oder mehr beträgt. Mit der Begründung des neuen Vorsorgeverhältnisses entfällt die Haftung der bisherigen Vorsorgeeinrichtung im ganzen Umfang. Aus diesem Grund kann daher auch dem Eventualantrag des Beschwerdeführers nicht entsprochen werden. Soweit der Beschwerdeführer sich auf Äusserungen in den Materialien und im Schrifttum beruft, kann er daraus nichts zu seinen Gunsten herleiten, da sie sich nicht mit der vorliegenden Konstellation befassen.
4. Ausgangsgemäss trägt der Beschwerdeführer die Gerichtskosten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. April 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Der Gerichtsschreiber: Nussbaumer