Sachverhalt:
A. Nachdem die IV-Stelle Schwyz das Leistungsbegehren des 1964 geborenen S._ vom 30. Januar 2003 mit Einspracheentscheid vom 18. Oktober 2005 abgewiesen und ihren Entscheid im Zuge einer Beschwerde des S._ beim kantonalen Verwaltungsgericht in Wiedererwägung gezogen hatte (worauf dieses das Verfahren am 3. März 2006 als gegenstandslos abschrieb), verneinte sie nach weiteren Abklärungen, namentlich nach Eingang eines Gutachtens der MEDAS vom 28. Juli 2009, den Rentenanspruch mit neuerlichem Einspracheentscheid vom 5. Juli 2010. Das Verwaltungsgericht des Kantons Schwyz hob diesen Entscheid auf Beschwerde des S._ hin am 19. Januar 2011 auf und wies die Sache an die IV-Stelle zurück. Diese holte ein psychiatrisches Gutachten der med. pract. H._, Fachärztin für Psychiatrie und Psychotherapie FMH, vom 19. Oktober 2011, und eine Stellungnahme des Regionalen Ärztlichen Dienstes (RAD; Dr. med. G._, Allgemeine Medizin FMH), vom 25. Oktober 2011 ein. Nach durchgeführtem Vorbescheidverfahren wies sie das Leistungsbegehren mit Verfügung vom 9. Januar 2012 wiederum ab.
B. Die hiegegen erhobenen Beschwerde des S._ wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 16. Mai 2012 ab.
C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und unter Aufhebung des angefochtenen Entscheides die Zusprechung einer ganzen Rente ab 1. Februar 2003 beantragen. Eventualiter sei die Sache zur weiteren Abklärung an die IV-Stelle zurückzuweisen. Gleichzeitig lässt er eine "gutachterliche Äusserung mit fachneurologisch-neurochirurgischer Stellungnahme" des Dr. med. C._, Facharzt für Neurologie und Neurochirurgie, Klinik X._, vom 3. Juli 2012, zu den Akten reichen.

Erwägungen:
1. 1.1 Die Beschwerde kann wegen Rechtsverletzung nach Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Immerhin prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>) und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>).
1.2 Der aufgrund medizinischer Untersuchungen gerichtlich festgestellte Gesundheitszustand und die damit einhergehende Arbeitsfähigkeit betreffen eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.). Rechtsverletzungen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Verletzung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert von Arztberichten (<ref-ruling> E. 5.1 S. 232). Die konkrete Beweiswürdigung ist Tatfrage (nicht publ. E. 4.1 von <ref-ruling>, in SVR 2009 IV Nr. 53 S. 164 [9C_204/2009]). Das Bundesgericht prüft die Rüge einer willkürlichen Beweiswürdigung grundsätzlich nur, soweit sie in der Beschwerde präzise vorgebracht und begründet wird. Auf bloss appellatorische Kritik an der vorinstanzlichen Sachverhaltsfeststellung und Beweiswürdigung tritt es nicht ein (<ref-ruling> E. 5.1 S. 356; Urteil 9C_604/2012 vom 16. November 2012 E. 1.1 mit Hinweis).
2. Der letztinstanzlich eingereichte Bericht des Dr. med. C._, hat als Novum (<ref-law>; <ref-ruling> E. 2.2 S. 196) zu gelten und von vornherein ausser Betracht zu bleiben. Bereits aufgrund der Verfügung vom 9. Januar 2012 war klar, dass sich die Leistungsablehnung auf die somatischen MEDAS-Teilgutachten und das psychiatrische Gutachten der med. pract. H._ stützte, die anders lautenden Vorbringen in der Beschwerde sind offensichtlich unzutreffend.
3. 3.1 Das kantonale Gericht erwog, nachdem (gemäss seinem Entscheid vom 19. Januar 2011) in psychiatrischer Hinsicht der Konsiliarbericht des MEDAS-Experten Dr. med. F._, FMH Psychiatrie und Psychotherapie, vom 12. Mai 2009, nicht zu überzeugen vermocht habe, könne nunmehr auf das beweiskräftige Gutachten der med. pract. H._ vom 19. Oktober 2011 abgestellt werden. Dieses werde namentlich durch die abweichenden Beurteilungen der behandelnden Fachleute des sozialpsychiatrischen Dienstes E._ nicht in Frage gestellt. Demnach fehle es beim Beschwerdeführer an einer psychischen Störung mit Auswirkungen auf die Arbeitsfähigkeit. In somatischer Hinsicht stellte die Vorinstanz fest, die Ärzte seien sich hinsichtlich der organischen Schädigungen und Diagnosen weitgehend einig. Allgemein anerkannt sei ebenso, dass in der angestammten Tätigkeit als Steinfräser keine Arbeitsfähigkeit mehr bestehe. Hingegen differierten die Bezifferungen der Arbeitsfähigkeit in einer angepassten Tätigkeit erheblich. In der Folge würdigte das kantonale Gericht die medizinischen Einschätzungen (namentlich die neurologischen und rheumatologischen Konsiliarberichte der MEDAS-Experten vom 11. Mai 2009 [Dr. med. M._, Facharzt FMH für Neurologie] und 14. Mai 2009 [Dr. med. H._, Facharzt FMH für Physikalische Medizin und Rehabilitation]; den Bericht des Dr. med. W._, Rheumatologie FMH und Physikalische Medizin, vom 24. Januar 2008; die Einschätzung der Dres. med. L._ und A._, Schmerzzentrum N._, vom 12. Februar 2010; die Stellungnahme des Dr. med. D._, FMH Neurochirurgie, Spital Y._, vom 14. Mai 2009; das [vom Versicherten veranlasste] arbeitsmedizinische Gutachten des Dr. med. I._, Facharzt FMH für Allgemeinmedizin, vom 29. Juli 2010). Es kam zum Schluss, die (neurologische und rheumatologische) Beurteilung im MEDAS-Gutachten werde durch die übrigen Beurteilungen nicht in Frage gestellt, umso weniger als bereits die Arztberichte der Klinik Z._ vom 11. Dezember 2003, 28. Januar, 17. März 2004, 28. April und 1. Juli 2004 aus rheumatologischer Sicht durchwegs eine volle Arbeitsfähigkeit in angepassten Tätigkeiten attestiert hätten. Dass auf das psychiatrische MEDAS-Teilgutachten nicht abgestellt werden könne, ändere nichts an der Beweiskraft der rheumatologischen und neurologischen Konsiliarberichte. Auch gestützt auf die Stellungnahmen des Regionalen Ärztlichen Dienstes (RAD) sei den umfassenden Beurteilungen durch die anerkannten (rheumatologischen bzw. neurologischen) Spezialärzte im Rahmen der MEDAS-Begutachtung höhere Beweiskraft zuzuerkennen als den Einschätzungen des Allgemeinmediziners Dr. med. I._. Somit sei mit überwiegender Wahrscheinlichkeit von einer Arbeitsfähigkeit von 100 % in einer angepassten Tätigkeit auszugehen. Im anschliessenden Einkommensvergleich ermittelte das kantonale Gericht bei einem Valideneinkommen im Jahr 2010 von Fr. 66'483.50, (basierend auf der zuletzt ausgeübten Tätigkeit als Steinfräser) und einem Invalidenlohn von Fr. 52'395.55 (unter Gewährung eines behinderungsbedingten Abzuges von 15 %) einen (gerundeten) Invaliditätsgrad von 22 %. Selbst bei einem erhöhten Pausenbedarf, wie ihn Dr. med. I._ festgehalten habe, resultierte eine Arbeitsfähigkeit von 87,5 % und damit kein rentenbegründender IV-Grad (von 32 %). Schliesslich sei auch für die Zeit zwischen Februar 2003 und Juni 2006 kein Rentenanspruch ausgewiesen.
3.2 Der Beschwerdeführer rügt insbesondere, die Gesamteinschätzung der MEDAS-Gutachter stütze sich auf ein falsches psychiatrisches Teilgutachten und sei daher insgesamt unrichtig. Indem die Vorinstanz auf ein Gutachten abstelle, das auf einer falschen Diagnose basiere, stelle es den Sachverhalt offensichtlich unrichtig fest und verletze die bundesrechtlichen Beweisregeln bzw. würdige die Beweise willkürlich; im Übrigen habe MEDAS-Gutachter Dr. med. J._ ihn nicht persönlich untersucht. Gleichzeitig verletze das kantonale Gericht sein Recht auf ein faires Verfahren gemäss Art. 6 EMRK. Namentlich sei es willkürlich, der Beurteilung des Dr. med. I._ (einzig) darum den Beweiswert abzusprechen, weil er allgemeinpraktizierender Arzt sei, obwohl seine Beurteilung den beweisrechtlichen Anforderungen entspreche. Die fünf Arztberichte der Klinik Z._ aus den Jahren 2003 und 2004 seien bereits deshalb nicht relevant, weil seither eine deutliche gesundheitliche Verschlechterung eingetreten sei, welche namentlich den Einsatz von Neurostimulatoren am 11. September 2006 nötig gemacht habe. Dass die Vorinstanz auf den Bericht des Dr. med. W._ vom 24. Januar 2008 nur aus dem formalen Grund nicht abstelle, dieser sei behandelnder Arzt, ohne sich inhaltlich mit seiner Beurteilung auseinanderzusetzen, verstosse gegen Bundesrecht und EMRK. Gleiches gelte für die Missachtung des Berichtes der Ärzte am Schmerzzentrum N._ vom 12. Februar 2010, auf den nicht abgestellt werde unter Hinweis, es handle sich um die Einschätzung schmerztherapeutisch tätiger Ärzte, die auf einer Selbsteinschätzung des Versicherten beruhe. Gemäss den übrigen Gutachten und Arztberichten sei nicht nur das MEDAS-Gutachten in Zweifel zu ziehen, sondern es sei auch sein Anspruch auf eine ganze Rente ausgewiesen, weil seine Arbeitsfähigkeit selbst in einer leichten Tätigkeit rentenauslösend eingeschränkt sei. Zu Unrecht habe das kantonale Gericht von einer Evaluation der funktionellen Leistungsfähigkeit (EFL) abgesehen und schliesslich in willkürlicher Beweiswürdigung auch einen Rentenanspruch für die vergangenen Jahre verneint.
4. Im Rahmen eines polydisziplinären Gutachtens erfolgt idealerweise, aber nicht zwingend, eine abschliessende, gesamthafte Beurteilung auf der Grundlage einer Konsensdiskussion der einzelnen Gutachter oder unter Leitung eines fallführenden Arztes, damit die Ergebnisse aus den einzelnen Fachrichtungen zusammengeführt und dargelegt werden können. Das Abstellen auf ein polydisziplinäres Gutachten ist aber nicht bereits schon bundesrechtswidrig, weil einem Teilgutachten der Beweiswert abgesprochen und ein anderes Fachgutachten eingeholt wird (vgl. Urteile 9C_687/2011 vom 8. Februar 2012 E. 3.2.2 und 8C_323/2007 vom 25. Februar 2008 E. 4.3.2 mit Hinweisen). Die Frage, ob ein Gutachten beweiskräftig ist oder nicht, beurteilt sich im konkreten Einzelfall bzw. danach, ob sich gestützt auf die Expertise die rechtsrelevanten Fragen beantworten lassen oder nicht. Eine Beweiswürdigung, welche schlüssigen Teilkonsilien vollen Beweiswert zuerkennt, kann somit nicht allein deshalb als bundesrechtswidrig bezeichnet werden, weil einem weiteren Untergutachten die Beweiskraft fehlt. Dies gilt jedenfalls dann, wenn die für sich allein beweiskräftigen Teilkonsilien - wie hier (E. 5.2 hienach) - nicht auf das mangelhafte Untergutachten abstellen.
5. Der Beschwerdeführer wendet sich gegen die vorinstanzlich aus somatischer Sicht auf 100 % festgesetzte Arbeitsfähigkeit in einer adaptierten Tätigkeit. Die im psychischen Bereich von med. pract. H._ im Gutachten vom 19. Oktober 2011 ausführlich und sorgfältig begründete uneingeschränkte Arbeitsfähigkeit stellt er zu Recht nicht in Frage.
5.1 Unbegründet ist die Rüge, der MEDAS-Expertise fehle es an (voller) Beweiskraft, weil an der Schlussbesprechung auch der mit dem Versicherten nicht persönlich befasst gewesene Dr. med. J._, FMH für Rheumatologie, mitwirkte. Wie dargelegt, kam in der vorinstanzlichen Beweiswürdigung nicht der Konsensbeurteilung, sondern dem neurologischen und rheumatologischen Teilgutachten entscheidendes Gewicht zu.
5.2 Es steht fest, dass der Versicherte seit vielen Jahren aufgrund einer Nervenverletzung an Rücken- und Beinbeschwerden leidet. Der Rheumatologe Dr. med. H._ erachtete den Beschwerdeführer daher in der angestammten Tätigkeit als Steinfräser sowie in einer vergleichbaren Schwerarbeit als 100 % arbeitsunfähig. In einer leichteren manuellen Berufstätigkeit in Wechselposition, ohne Sitzzwang und längere vornübergeneigte Haltung hingegen bestehe eine uneingeschränkte Arbeitsfähigkeit. Dr. med. M._ konnte aus neurologischer Sicht keine Einschränkung der Arbeitsfähigkeit feststellen. Er hielt aber fest, der Versicherte sollte (wegen einer Fussheberparese) nicht in einer Tätigkeit im Freien auf unebenem Boden sowie auf Leitern eingesetzt werden. In ihren Beurteilungen nahmen die beiden Teilgutachter keinerlei Bezug auf die psychiatrische Einschätzung des Dr. med. F._ (so dies aus zeitlichen Gründen überhaupt möglich gewesen wäre; die psychiatrische Untersuchung fand beispielsweise nur einen Tag vor der neurologischen Exploration statt). Aktenwidrig ist das beschwerdeführerische Vorbringen, die Dres. med. M._ und H._ gingen von einer chronischen Schmerzstörung aus, hätten daher die Bedeutung der somatisch begründbaren Schmerzen auf die Arbeitsfähigkeit nicht diskutiert und stellten auf eine psychiatrische Fehldiagnose ab. Während Dr. med. M._ eine solche Störung mit keinem Wort erwähnte, ging Dr. med. H._ von einer deutlichen Schmerzchronifizierung aus, nicht aber von einer hievon klar zu unterscheidenden chronischen Schmerzstörung.
5.3 Wenn im angefochtenen Entscheid den Beurteilungen der Dres. med. M._ und H._ höherer Beweiswert zuerkannt wurde als dem Gutachten des Dr. med. I._ (der bei einer zeitlichen Belastbarkeit von 50 % und einem Rendement von 25 % eine Arbeitsfähigkeit von 12,5 % postulierte, welche durch eine Evaluation der funktionellen Leistungsfähigkeit [EFL] und eine neuropsychologische Testung weiter objektiviert werden könne), den Einschätzungen des Dr. med. W._ vom 24. Januar 2008 sowie dem Arztbericht der Mediziner am Schmerzzentrum N._ vom 12. Februar 2010, ist dies nicht bundesrechtswidrig und steht entgegen den Vorbringen des Beschwerdeführers auch nicht im Widerspruch zum vorinstanzlichen Entscheid vom 19. Januar 2011. Das kantonale Gericht hatte in jenem Entscheid lediglich erwogen, die Beurteilungen des Dr. med. I._, der Ärzte am Schmerzzentrum N._ und der Fachpersonen des sozialpsychiatrischen Dienstes E._ vermöchten das psychiatrische MEDAS-Konsilium zu erschüttern. Dass ihnen grössere Beweiskraft zukäme als den somatischen Teilgutachten lässt sich den Erwägungen nicht entnehmen. Im nunmehr angefochtenen Entscheid legte die Vorinstanz unter Berufung auf die Beurteilungen des RAD nachvollziehbar dar, weshalb es diesen Berichten keinen höheren Beweiswert beimass als den MEDAS-Teilgutachten. Die Vorbringen des Beschwerdeführers, so sie nicht als unzulässige appellatorische Kritik zum vornherein ausser Acht bleiben müssen (Art. 97 Abs. 1, Art. 105 Abs. 1 und 2 BGG), vermögen keine Bundesrechtswidrigkeit dieser Beweiswürdigung darzutun. Namentlich vermag er, indem er sich weitgehend darauf beschränkt, seine eigene Sicht der Dinge der vorinstanzlichen Begründung gegenüberzustellen und darzulegen, wie die Beweise seiner Meinung nach zu würdigen gewesen wären, in keiner Weise aufzuzeigen, dass bzw. inwiefern die Vorinstanz in Willkür verfallen wäre. Gleiches gilt für die Kritik an der nicht zu beanstandenden Anwendung der bundesgerichtlichen Beweiswertkriterien durch das kantonale Gericht. Eine Beweiswürdigung ist nicht bereits dann willkürlich, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre, sondern erst dann, wenn der Entscheid offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht oder auf einem offenkundigen Fehler beruht (<ref-ruling> E. 2b S. 56; vgl. auch <ref-ruling> E. 1.3 S. 4 f.). Dies trifft hier klar nicht zu und zwar unabhängig davon nicht, ob sich seit den Beurteilungen der Ärzte an der Klinik Z._ aus den Jahren 2003 und 2004 eine gesundheitliche Änderung ergeben hätte. Abgesehen davon, dass Berichte behandelnder Ärzte, die nicht näher begründen, warum sie bei (im Wesentlichen) gleicher Diagnose wie ein Gerichtsgutachter dessen Einschätzung der Arbeitsfähigkeit nicht teilen, grundsätzlich nicht geeignet sind, die Zuverlässigkeit einer Gerichtsexpertise in Zweifel zu ziehen (Urteil 8C_328/2007 vom 5. Juni 2008 E. 4.4.2), verlangt die Begründungspflicht - auch im Zusammenhang mit der Beweiswürdigung - nicht, dass sich das Gericht mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann es sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss (nur, aber immerhin) so abgefasst sein, dass sich die betroffene Person über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen die Behörde sich hat leiten lassen und auf die sich ihre Entscheidung stützt (<ref-ruling> E. 2.2.1 S. 188, 229 E. 5.2 S. 236). Diesen Anforderungen genügt der angefochtene Entscheid.
5.4 Soweit der vorinstanzliche Verzicht auf Durchführung einer Evaluation der funktionellen Leistungsfähigkeit (EFL) gerügt wird, ist eine solche nicht in jedem Fall durchzuführen, sondern allenfalls in Betracht zu ziehen, wenn sich die beteiligten Fachärzte ausser Stande sehen, eine zuverlässige Einschätzung des leistungsmässig Machbaren vorzunehmen, und deshalb eine konkrete leistungsorientierte berufliche Abklärung als zweckmässigste Massnahme ausdrücklich empfehlen (Urteil 9C_512/2009 vom 25. November 2009 E. 5.2). Es trifft zu, dass namentlich die Ärzte am Schmerzzentrum N._ (Brief vom 12. Februar 2010), eine solche anregten und auch Dr. med. I._ (Gutachten vom 29. Juli 2010) eine EFL als "selbstverständlich wünschenswert" erachtete (während Dr. med. W._ am 24. Januar 2008 den entsprechenden Entscheid ausdrücklich der IV überliess). Demgegenüber sahen die Dres. med. M._ und H._, auf welche die Vorinstanz nach dem Gesagten zu Recht abstellte, keine Veranlassung für diesbezügliche Weiterungen. Auch vor diesem Hintergrund kann die (antizipierte) vorinstanzliche Beweiswürdigung nicht beanstandet werden. Im Übrigen erwog das kantonale Gericht in seinem Entscheid vom 19. Januar 2011 entgegen den Vorbringen in der Beschwerde nicht, es seien Zweifel an der Evaluation der funktionellen Leistungsfähigkeit im MEDAS-Gutachten anzubringen, sondern es seien - mit Blick auf die Mängel im psychiatrischen Teilgutachten - "Zweifel an der Korrektheit der Evaluation der Arbeitsfähigkeit im MEDAS-Gutachten angebracht". Die auf umfassender Würdigung der medizinischen Akten beruhende Feststellung der Vorinstanz, dem Versicherten wäre eine adaptierte Tätigkeit vollumfänglich zumutbar, ist daher letztinstanzlich verbindlich (E. 1.1 hievor).
5.5 Was schliesslich den Rentenanspruch zwischen Februar 2003 und 5. Juni 2009 betrifft, hat die Vorinstanz nach umfassender Würdigung der diesen Zeitraum betreffenden ärztlichen Beurteilungen in nicht zu beanstandender Weise einen solchen verneint. Die Vorbringen des Versicherten vermögen auch diesbezüglich keine Bundesrechtswidrigkeit darzutun, weil er wiederum nicht begründet darzulegen vermag, inwiefern der angefochtene Entscheid im Einzelnen willkürlich sein soll. Dass die Vorinstanz auf die Berichte der Ärzte an der Klinik Z._ aus den Jahren 2003 und 2004 abgestellt hat (wonach die Arbeitsfähigkeit in einer adaptierten Tätigkeit 100 % betrug), ist nicht bundesrechtswidrig, insbesondere nicht willkürlich. Es trifft zu, dass Dr. med. W._ am 24. Januar 2008 eine deutliche Verschlechterung insbesondere der Schmerzen mit Ausstrahlung in die Extremitäten festhielt. Hingegen attestierte Dr. med. H._ in seinem Konsilium vom 14. Mai 2009 bekanntlich keine Einschränkung der Arbeitsfähigkeit in einer angepassten Tätigkeit, obwohl der Versicherte auch ihm gegenüber die Schmerzen als progredient geschildert hatte. Aktenwidrig ist das Vorbringen, nach Einschätzung der MEDAS-Gutachter sei die Arbeitsunfähigkeit bis 5. Juni 2009 hochgradig gewesen. Die Gutachter hielten vielmehr lediglich fest, "bis anhin" sei der Beschwerdeführer "auch in körperlich leichter Arbeit hochgradig arbeitsunfähig geschrieben" gewesen.
6. Nach dem Gesagten liegt weder eine Verletzung des Anspruchs auf gleiche und gerechte Behandlung ("Fair Trial"; <ref-law>, Art. 6 Ziff. 1 EMRK) noch eine Verletzung des rechtlichen Gehörs (<ref-law>) vor. Der kantonale Entscheid ist unter allen gerügten Gesichtspunkten zu bestätigen. Dass die Bemessung des Invaliditätsgrades anderweitig nicht korrekt sein sollte, wird nicht geltend gemacht; entsprechende Anhaltspunkte ergeben sich auch nicht aus den Akten. Es besteht somit kein Anlass für diesbezügliche Weiterungen (vgl. <ref-ruling> E. 4a S. 53; Urteil 9C_193/2009 vom 20. August 2009 E. 1.4).
7. Entsprechend dem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 25. Februar 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Die Gerichtsschreiberin: Bollinger Hammerle