Sachverhalt:
A. Die X._ AG (Vermittlerin, Klägerin, Beschwerdegegnerin) wurde durch die Y._ AG beauftragt, die im Eigentum der Z._ AG (Verkäuferin) stehende Liegenschaft Q._ in R._ zu verkaufen. Bezüglich der Vermittlungsprovision wurde vereinbart, dass diese käuferseitig zu generieren sei und maximal 3 % des Kaufpreises betragen dürfe.
Mit Kaufvertrag vom 17. Juni 2009 wurde die Liegenschaft zu einem Preis von Fr. 5'300'000.-- an A._ (Käufer, Beklagter, Beschwerdeführer), dessen Ehefrau sowie deren Kinder verkauft. In Ziffer 6 des Kaufvertrages wurde festgehalten, dass die Vermittlungsprovision in der Höhe von 3 % des vereinbarten Kaufpreises vom Käufer, aufgrund separater Vereinbarung vom 4. Mai 2009 mit der X._ AG, direkt an die Vermittlerin zu bezahlen ist.
In der Folge stellte die Vermittlerin dem Käufer für die vereinbarte Vermittlungsprovision Rechnung; dieser verweigerte die Zahlung wegen angeblicher Wasser- und Feuchtigkeitsprobleme an der Liegenschaft.
B. B.a Mit Klage vom 28. September 2010 beantragte die Vermittlerin dem Bezirksgericht Höfe, der Käufer sei zu verurteilen, ihr Fr. 159'000.-- zuzüglich Zins zu 5 % seit dem 7. August 2009 zu bezahlen und es sei der Rechtsvorschlag in der Betreibung Nr. sss._ des Betreibungsamtes Höfe zu beseitigen.
Am 20. Januar 2011 reichte der Käufer dem Bezirksgericht Höfe seine Klageantwort ein, woraufhin er mit Verfügung des Vizegerichtspräsidenten vom 16. Februar 2011 aufgefordert wurde, seine weitschweifige und stellenweise unverständliche Eingabe zu verbessern, mit der Androhung, dass die Eingabe sonst unbeachtet bleibe.
Am 24. März 2011 reichte der Käufer eine überarbeitete Klageantwort ein. Mit Verfügung vom 30. März 2011 wies der Vizegerichtspräsident die Klageantwort vom 20. Januar bzw. 24. März 2011 aus dem Recht und stellte fest, dass der Käufer innert Frist keine genügende Klageantwort eingereicht habe und folglich säumig geblieben sei. Androhungsgemäss galten die tatsächlichen Klagegründe als anerkannt und der Käufer wurde mit seinen Einreden ausgeschlossen.
B.b Mit Urteil vom 5. Mai 2011 verpflichtete das Bezirksgericht Höfe den Beklagten, der Klägerin Fr. 159'000.-- nebst Zins zu 5 % seit dem 18. August 2009 zu bezahlen und erteilte der Klägerin in der Betreibung Nr. sss._ des Betreibungsamtes Höfe die Rechtsöffnung.
In der Folge berichtigte das Bezirksgericht Höfe die Dispositivziffer 4 seines Urteils dahin gehend, dass der Beklagte verpflichtet werde, die Klägerin mit einer ausserrechtlichen Parteientschädigung in der Höhe von Fr. 3'500.-- (anstelle von Fr. 1'500.--) zu entschädigen. Die Berichtigung wurde den Parteien am 12. Mai 2011 verschickt.
B.c Gegen das Urteil des Bezirksgerichts Höfe vom 5. Mai 2011 erhob der Beklagte Berufung beim Kantonsgericht Schwyz. Er beantragte die Aufhebung des Urteils vom 5. Mai 2011, der Verfügung vom 30. März 2011 sowie der Berichtigung zum Urteil vom 5. Mai 2011 und stellte zudem zahlreiche weitere Anträge.
Mit Urteil vom 19. Oktober 2011 wies das Kantonsgericht Schwyz die Berufung ab, soweit es darauf eintrat und bestätigte das angefochtene Urteil des Bezirksgerichts Höfe vom 5. Mai 2011.
C. Mit Beschwerde in Zivilsachen und subsidiärer Verfassungsbeschwerde beantragt der Beklagte dem Bundesgericht, das Urteil des Kantonsgerichts Schwyz vom 19. Oktober 2011, und damit indirekt auch das Urteil des Bezirksgerichts Höfe vom 5. Mai 2011, sei aufzuheben. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Zudem stellt der Beklagte zahlreiche weitere Anträge.
Die Beschwerdegegnerin und die Vorinstanz beantragen die Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Parteien reichten unaufgefordert Replik und Duplik ein.
Erwägungen:
1. 1.1 Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (Art. 29 Abs. 1 BGG; BGE 137 III 417 E. 1 S. 417 mit Hinweisen).
1.2 Die Beschwerde richtet sich gegen das Urteil des Kantonsgerichts Schwyz vom 19. Oktober 2011 und gegen den Entscheid des Bezirksgerichts Höfe vom 5. Mai 2011. Soweit sich die Beschwerde gegen den Entscheid des Bezirksgerichts richtet, kann darauf mangels Letztinstanzlichkeit (Art. 75 Abs. 1 BGG) nicht eingetreten werden.
Das angefochtene Urteil des Kantonsgerichts ist ein verfahrensabschliessender Endentscheid (Art. 90 BGG) einer letzten kantonalen Instanz (Art. 75 Abs. 1 BGG). Der Streitwert beträgt Fr. 159'000.--, womit der für die Beschwerde in Zivilsachen erforderliche Streitwert erreicht ist (Art. 74 Abs. 1 lit. b BGG). Auf die Beschwerde in Zivilsachen ist unter Vorbehalt zulässiger (Art. 95 BGG) und genügend begründeter Rügen (Art. 42 Abs. 1 i.V.m. Art. 106 Abs. 2 BGG) sowie hinreichender Anträge einzutreten. Die ebenfalls erhobene subsidiäre Verfassungsbeschwerde fällt demnach ausser Betracht (Art. 113 BGG).
1.3 In tatsächlicher Hinsicht legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (BGE 135 III 397 E. 1.5 S. 401).
Der Beschwerdeführer stellt seinen Verfassungsrügen zunächst seine eigene Sachverhaltsdarstellung voran, die von den Feststellungen der Vorinstanz abweicht und darüber hinausgeht, ohne dass er Rügen erhebt, welche einen Mangel im Sinne von Art. 105 Abs. 2 BGG aufzuzeigen vermöchten. Damit ist er nicht zu hören und seine Rügen haben unbeachtet zu bleiben, soweit sich diese auf eine abweichende Sachdarstellung stützen.
1.4 Mit Beschwerde in Zivilsachen können Rechtsverletzungen gemäss Art. 95 und 96 BGG gerügt werden. Gemäss Art. 42 Abs. 1 BGG hat die Rechtsschrift die Begehren und deren Begründung zu enthalten; im Rahmen der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 2 BGG), andernfalls wird darauf nicht eingetreten. Unerlässlich ist im Hinblick auf Art. 42 Abs. 2 BGG, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (BGE 134 II 244 E. 2.1 S. 245 f.). Hinsichtlich der Verletzung von Grundrechten gilt der in Art. 106 Abs. 1 BGG verankerte Grundsatz der Rechtsanwendung von Amtes wegen nicht; insofern besteht eine qualifizierte Rügepflicht (Art. 106 Abs. 2 BGG; BGE 136 I 49 E. 1.4.1 S. 53, 65 E. 1.3.1 S. 68 mit Hinweisen). Es obliegt dem Beschwerdeführer namentlich darzulegen, inwiefern der angefochtene Entscheid gegen die gerügten Grundrechte verstossen soll. Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen. Auf rein appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (BGE 134 V 138 E. 2.1 S. 143; 133 II 396 E. 3.1 S. 399).
Diese Grundsätze verkennt der Beschwerdeführer über weite Strecken. Seine Ausführungen beschränken sich weitgehend auf appellatorische Kritik am angefochtenen Entscheid und verfehlen insoweit die gesetzlichen Begründungsanforderungen.
Die Beschwerdeschrift enthält unzählige unklare und unübersichtliche Rechtsbegehren, die über die Aufhebung und Rückweisung hinausgehen. Der Beschwerdeführer stellt unter anderem den Antrag, es sei von gewissen Umständen "Vormerk zu nehmen", es sei das Betreibungsamt Höfe anzuweisen, die ungerechtfertigte Betreibung Nr. sss._ im Betreibungsregister zu löschen und es sei ein allfälliger Mäklerlohn auf den im Kanton Basel-Landschaft üblichen Prozentsatz von 1,5 % zu kürzen. Der Beschwerdeführer unterlässt es jedoch, seine Begehren hinreichend zu begründen, weshalb darauf nicht eingetreten werden kann.
2. Der Beschwerdeführer wirft der Vorinstanz eine formelle Rechtsverweigerung (Art. 29 Abs. 1 BV) und eine Verletzung seines rechtlichen Gehörs (Art. 29 Abs. 2 BV) vor.
2.1 Der Beschwerdeführer bringt vor, seine überarbeitete Klageantwort vom 24. März 2011 habe den durch das Bezirksgericht gesetzten Anforderungen genügt. Er habe die Klageantwort gekürzt und den rechtserheblichen Sachverhalt detailliert und zusammengefasst wiedergegeben. Indem die Vorinstanz die Verfügung des Vizegerichtspräsidenten des Bezirksgerichts Höfe vom 30. März 2011 schütze, begehe sie eine formelle Rechtsverweigerung.
Damit habe die Vorinstanz auch sein rechtliches Gehör verletzt, da sie seine rechtzeitig eingereichten Beweismittel und die Klageantworten unberücksichtigt gelassen und allein auf die Vorbringen der Beschwerdegegnerin abgestellt habe. Es habe keinen Grund gegeben, die neu überarbeitete Klageantwort vom 24. März 2011 als ungebührlich, weitschweifig oder als schwer lesbar zu bezeichnen. Ansonsten hätte ihm eine weitere Frist zur Nachbesserung angesetzt werden sollen.
2.2 Die Vorinstanz hat festgestellt, dass der Beschwerdeführer mit seiner überarbeiteten Klageantwort vom 24. März 2011 erneut keine gut strukturierte und logisch aufgebaute Rechtsschrift eingereicht habe, die sich auf das Wesentliche beschränke. Obwohl der Beschwerdeführer gewisse Wiederholungen gestrichen und den Umfang etwas verringert habe, könne nicht von einer effektiven Kürzung und somit von einer Verbesserung der weitschweifigen Eingabe gesprochen werden, da er in seiner Klageantwort vom 24. März 2011 auf die ursprüngliche, zurückgewiesene Klageantwort verweise, die er als Beweismittel eingereicht habe. Somit sei auch die zweite Klageantwort zu weitschweifig gewesen, weshalb diese den Anforderungen nach dem kantonalem Prozessrecht nicht genügt habe und androhungsgemäss aus dem Recht habe gewiesen werden müssen.
2.3 Es gehört zu den anerkannten Grundsätzen des Verfahrensrechts, dass an Rechtsschriften formelle Anforderungen gestellt werden dürfen, ohne dabei den Grundsatz des rechtlichen Gehörs zu verletzen oder eine formelle Rechtsverweigerung zu begehen. Im zu beurteilenden Fall richteten sich diese Anforderungen nach dem damals anwendbaren Prozessrecht des Kantons Schwyz.
Das Bundesgericht kann eine Anwendung des kantonalen Rechts jedoch nicht frei überprüfen, was das Vorbringen entsprechender und gehörig begründeter Rügen in der Beschwerdeschrift voraussetzt (Art. 106 Abs. 2 BGG). Solche lässt der Beschwerdeführer vermissen. Er legt insbesondere nicht dar, inwiefern die Bestimmungen oder die Anwendung des kantonalen Prozessrechts überhöhte Anforderungen an die Rechtsschrift gestellt und ihm somit in unzulässiger Weise den Rechtsweg versperrt hätten. Die Rügen des Beschwerdeführers stossen ins Leere.
3. Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 5'500.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 6'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht Schwyz, 1. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 7. Juni 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Die Gerichtsschreiberin: Reitze