Sachverhalt:
A. Im Rahmen eines Zwangsvollstreckungsverfahrens sind die Grundstücke Nr. xx._ und Nr. xxx._ sowie weitere Grundstücke von der B._ als Grundpfandgläubigerin ersteigert worden. Am 3. Dezember 2008 wurden die ersteigerten Grundstücke an den vormaligen Eigentümer, X._ (Beklagter, Beschwerdeführer), zu einem Pauschalpreis von Fr. 650'000.-- zurückübertragen. Mit öffentlich beurkundetem Kaufvertrag vom gleichen Tag verkaufte X._ die Grundstücke Nr. xx._ und Nr. xxx._ zu einem Preis von Fr. 400'000.-- an seinen Sohn Y._ (Kläger, Beschwerdegegner).
Dem Kaufvertrag ist zu entnehmen, dass die Grundstücke frei von Miet- und Pachtverträgen übertragen wurden. Sodann wurde vereinbart, dass X._ weiterhin im Wohnhaus auf dem Grundstück Nr. xx._ wohnen darf und dass die Parteien diesbezüglich ausserhalb des Kaufvertrages einen separaten Mietvertrag abschliessen werden.
B. B.a Mit Eingabe vom 4. Januar 2011 stellte Y._ beim Einzelrichter am Bezirksgericht A._ das Begehren, es sei X._ zu verpflichten, die Liegenschaften Nr. xx._ sowie Nr. xxx._ bis spätestens am 30. April 2011 auf eigene Kosten zu räumen, zu verlassen und ihm zu übergeben. Sollte X._ dem nicht fristgerecht nachkommen, sei Y._ dazu zu berechtigen, auf Kosten von X._ und nötigenfalls mit Hilfe der Polizei, selbst oder durch fachmännische Hilfe Dritter, die genannten Liegenschaften zu räumen oder räumen zu lassen.
B.b Mit Entscheid vom 12. September 2011 hiess der Einzelrichter am Bezirksgericht A._ das Räumungsbegehren gut und verfügte im gleichen Entscheid die Abweisung des Gesuchs des Beklagten um unentgeltliche Rechtspflege.
B.c Gegen diesen Entscheid vom 12. September 2011 erhob der Beklagte beim Kantonsgericht des Kantons Schwyz gleichzeitig Berufung und Beschwerde. Er beantragte im Wesentlichen, es sei der Entscheid des Einzelrichters am Bezirksgericht A._ betreffend die Räumung der Grundstücke Nr. xx._ und Nr. xxx._ sowie der Entscheid betreffend die Verweigerung der unentgeltlichen Rechtspflege aufzuheben, auf das Räumungsgesuch des Klägers sei nicht einzutreten und es sei ihm für das Berufungsverfahren und für das Verfahren vor der Vorinstanz die unentgeltliche Rechtspflege zu gewähren.
Das Kantonsgericht des Kantons Schwyz vereinigte die beiden Verfahren und wies mit Beschluss vom 7. Mai 2012 die Berufung und die Beschwerde ab, soweit es darauf eintrat und bestätigte den Entscheid des Einzelrichters am Bezirksgericht A._ vom 12. September 2011. Ebenso wies das Kantonsgericht das Gesuch des Beklagten um unentgeltliche Rechtspflege ab.
C. Mit Beschwerde in Zivilsachen beantragt der Beklagte dem Bundesgericht, es sei der Beschluss des Kantonsgerichts des Kantons Schwyz vom 7. Mai 2012 und das Urteil des Einzelrichters am Bezirksgericht A._ vom 12. September 2011 aufzuheben, auf das Räumungsgesuch des Klägers sei nicht einzutreten, eventuell sei es abzuweisen, subeventuell sei die Sache zur Neubeurteilung an die Vorinstanz oder an die erste Instanz zurückzuweisen. Ferner sei ihm für das bundesgerichtliche wie auch für die beiden kantonalen Verfahren die unentgeltliche Prozessführung und die unentgeltliche Rechtsverbeiständung durch Rechtsanwalt Dr. Bruno Beeler zu gewähren.
Auf die Einholung von Vernehmlassungen wurde verzichtet.
D. Mit Präsidialverfügung vom 16. Juli 2012 wurde der Beschwerde die aufschiebende Wirkung erteilt.
Mit Verfügung vom 8. August 2012 wies das Bundesgericht das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege ab. Der Kostenvorschuss wurde am 21. August 2012 fristgerecht geleistet.

Erwägungen:
1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-law>; <ref-ruling> E. 1 S. 417 mit Hinweisen).
Die Beschwerde richtet sich gegen den Beschluss des Kantonsgerichts des Kantons Schwyz vom 7. Mai 2007 und gegen das Urteil des Bezirksgerichts A._ vom 12. September 2011. Soweit sich die Beschwerde gegen den Entscheid des Bezirksgerichts richtet, kann darauf mangels Letztinstanzlichkeit (<ref-law>) nicht eingetreten werden.
Der angefochtene Beschluss des Kantonsgerichts ist ein verfahrensabschliessender Endentscheid (<ref-law>) einer letzten kantonalen Instanz (<ref-law>). Der Streitwert übersteigt Fr. 30'000.--, womit das Streitwerterfordernis für eine Beschwerde in Zivilsachen erreicht ist (<ref-law>). Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde - unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 und <ref-law>) - einzutreten.
2. 2.1 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 1.4.1 S. 254; <ref-ruling> E. 2.5 S. 262; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 2.2.1 S. 389; <ref-ruling> E. 1.4.1 S. 254 mit Hinweisen). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>).
2.2 In tatsächlicher Hinsicht legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 1.5 S. 401).
Der Beschwerdeführer stellt seinen rechtlichen Vorbringen eine ausführliche Sachverhaltsdarstellung voran, die den Ablauf der Ereignisse aus seiner Sicht schildern. Er weicht darin in verschiedenen Punkten von den tatsächlichen Feststellungen der Vorinstanz ab oder erweitert diese, ohne substanziiert Ausnahmen von der Sachverhaltsbindung geltend zu machen. Seine Ausführungen haben daher unbeachtet zu bleiben.
3. Der Beschwerdeführer macht in verschiedener Hinsicht eine Verletzung des rechtlichen Gehörs (<ref-law>) sowie die Verletzung des Grundsatzes von Treu und Glauben (<ref-law>) und des Anspruchs auf ein faires Verfahren (<ref-law>) geltend.
3.1 Er bringt vor, es sei nicht klar gewesen, welches Rechtsmittel gegen das Urteil des Einzelrichters habe ergriffen werden müssen, da das Urteil zwei verschiedene Rechtsmittelbelehrungen enthalten habe. Sodann sei ihm keine Gelegenheit gegeben worden, sich zu der Stellungnahme des Beschwerdegegners vom 7. Juni 2011 zu äussern, welche dieser anlässlich der Instruktionsverhandlung vor dem Einzelrichter am Bezirksgericht A._ eingereicht habe. Daraus sei ihm ein Nachteil erwachsen, da beide Vorinstanzen das Rechtsverhältnis zwischen ihm und dem Beschwerdegegner falsch beurteilt hätten. Schliesslich bringt der Beschwerdeführer vor, der Einzelrichter am Bezirksgericht A._ habe ihm keine Akteneinsicht in die klägerischen Belege KB 10 ff. gewährt. Daher habe er den Sachverhalt, der sich aus diesen Belegen ergeben würde, auch nie bestreiten können.
3.2 Die Vorinstanz hat festgestellt, den Akten könne nicht entnommen werden, dass sich der Beschwerdeführer zu der vom Beschwerdegegner anlässlich der Instruktionsverhandlung eingereichten Stellungnahme habe äussern können. Doch erweise sich die im erstinstanzlichen Verfahren erfolgte Gehörsverletzung weder als schwerwiegend noch sei dem Beschwerdeführer daraus ein Nachteil erwachsen; selbst wenn dieser Mangel als schwerwiegend angesehen werden sollte, habe dieser im Berufungsverfahren geheilt werden können. Der erstinstanzliche Entscheid stütze sich nicht auf Tatsachen, die der Beschwerdegegner in seiner Stellungnahme vom 7. Juni 2011 neu vorgebracht habe, zumal der Beschwerdegegner bereits in seinem Gesuch vom 4. Januar 2011 vorgetragen habe, dass eine Zwangsräumung der streitigen Liegenschaften nur deshalb habe abgewendet werden können, da er im letzten Moment mit der B._ eine Einigung gefunden und die Liegenschaften gekauft habe.
3.3 Der Beschwerdeführer setzt sich mit diesen Erwägungen der Vorinstanz nicht auseinander. Er zeigt nicht auf, inwiefern das Kantonsgericht damit den Inhalt und die Tragweite von <ref-law> verkannt hätte, noch tut er dar, dass es die Heilung der behaupteten Gehörsverletzung zu Unrecht bejaht hätte. Ebenso wenig vermag er aufzuzeigen, inwiefern der Grundsatz von Treu und Glauben und der Anspruch auf ein faires Verfahren durch die verwirrende Rechtsmittelbelehrung im erstinstanzlichen Urteil verletzt sein sollte.
Der Beschwerdeführer tut weiter mit keinem Wort dar, dass er sich bei der Vorinstanz um Einsicht in die klägerischen Belege KB 10 ff. bemüht hätte und dass ihm diese verweigert worden wäre. Der Beschwerdeführer hatte nach eigenen Angaben im Zeitpunkt des erstinstanzlichen Urteils Kenntnis vom Vorhandensein dieser Belege, die er nach seinen Vorbringen nie zur Einsicht erhalten hat. Somit wäre es ihm durchaus möglich gewesen, bei der Vorinstanz Einsicht in diese Belege zu beantragen; seine Unterlassung hat er sich selber zuzuschreiben.
Damit vermag der Beschwerdeführer den Anforderungen an das Rügeprinzip nicht gerecht zu werden, geschweige denn das Urteil des Kantonsgerichts als verfassungswidrig auszuweisen.
3.4 Der Beschwerdeführer bringt weiter vor, die Vorinstanz habe es unterlassen, die von ihm beantragten Beweise abzunehmen, welche im Hinblick auf die Qualifikation des Rechtsverhältnisses entscheidend gewesen seien. Damit habe die Vorinstanz einmal mehr sein rechtliches Gehör verletzt.
Der Beschwerdeführer verkennt jedoch, dass das Gericht ohne Verletzung des rechtlichen Gehörs Beweisanträge ablehnen kann, wenn es aufgrund bereits abgenommener Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener antizipierter Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde (<ref-ruling> E. 3 S. 157; <ref-ruling> E. 2.1 S. 428 f.; <ref-ruling> E. 4a S. 211; je mit Hinweisen). Die Vorinstanz hat festgestellt, dass die B._ und der Beschwerdeführer am 3. Dezember 2008 nicht von einem Verkehrswert von mindestens Fr. 900'000.-- für das Grundstück Nr. xx._ ausgegangen seien; umso weniger könne der Beschwerdeführer bei der darauf folgenden käuflichen Übernahme des Grundstücks gewusst haben, dass die Entlassung des auf diesem Grundstück stehenden Wohnhauses aus dem Geltungsbereich des BGBB (Bundesgesetz vom 4. Oktober 1991 über das bäuerliche Bodenrecht; SR 211.412.11) möglich sei und somit ohne landwirtschaftliche Einschränkungen ein effektiver Verkehrswert von Fr. 900'000.-- erzielt werden könne. Daher erweisen sich die Vorbringen des Beschwerdeführers zum behaupteten Verkehrswert als unglaubhaft, weshalb die Beweisofferten des Beschwerdeführers zum hypothetischen Verkehrswert des aus dem Grundstück Nr. xx._ stehenden Wohnhauses nicht abgenommen werden müssen. Der Beschwerdeführer zeigt nicht auf, weshalb diese vorweggenommene Beweiswürdigung der Vorinstanz willkürlich gewesen und eine Beweisabnahme hinsichtlich des Verkehrswertes der Liegenschaft geboten gewesen wäre. Eine Gehörsverletzung ist nicht dargetan.
4. Der Beschwerdeführer rügt sodann eine Verletzung von <ref-law> und <ref-law>.
4.1 Der Beschwerdeführer macht geltend, es sei aus den Akten ersichtlich, dass ihm ab 2010 ein auf zehn Jahre befristetes und unentgeltliches Wohnrecht eingeräumt worden sei; deshalb sei er weiterhin berechtigt die strittigen Grundstücke zu nutzen bzw. zu bewohnen. Die Feststellungen der Vorinstanz seien unrichtig und zudem sei der Sachverhalt weder unbestritten noch sofort beweisbar. Überdies könne das Rechtsverhältnis zwischen den Parteien nicht als Gebrauchsleihe qualifiziert werden; es sei vielmehr von einem Vertragsverhältnis sui generis, eventuell von einem Mietverhältnis auszugehen.
4.2 Die Vorinstanz erkannte den Sachverhalt als sofort beweisbar. Es stehe fest, dass der Beschwerdeführer berechtigt gewesen sei, auch nach dem 3. Dezember 2008 weiterhin im auf dem Grundstück Nr. xx._ stehenden Haus zu wohnen, und zwar - zufolge Fehlens eines Mietvertrages, welcher entgegen der Formulierung im Kaufvertrag vom 3. Dezember 2008 nicht geschlossen wurde - ohne Bezahlung eines Mietzinses. Ein ab 2010 für zehn Jahre befristetes und entgeltliches Wohnrecht sei nicht vereinbart worden. Folglich sei zwischen den Parteien ein "faktisches Vertragsverhältnis" im Sinne einer Gebrauchsleihe entstanden.
4.3 <ref-law> sieht unter dem Titel "Rechtsschutz in klaren Fällen" vor, dass das Gericht Rechtsschutz im summarischen Verfahren gewährt, wenn der Sachverhalt unbestritten oder sofort beweisbar und die Rechtslage überdies klar ist.
Die Anwendung dieser bundesrechtlichen Bestimmung wird frei geprüft (Art. 95 lit. a und <ref-law>). Die Beweiswürdigung selbst hingegen ist eine Frage der Feststellung des Sachverhalts, die der Überprüfung grundsätzlich entzogen ist (vgl. E. 2.2; <ref-law>).
Ein klarer Fall setzt zum einen voraus, dass der Sachverhalt unbestritten oder sofort beweisbar ist (<ref-law>). Ein Sachverhalt ist dann sofort beweisbar, wenn er ohne zeitliche Verzögerung und ohne besonderen Aufwand nachgewiesen werden kann. Der Beweis ist in der Regel durch Urkunden zu erbringen (<ref-ruling> E. 2.1.1 S. 125 mit Hinweisen). Zum anderen setzt ein klarer Fall voraus, dass die Rechtslage klar ist (<ref-law>). Dies trifft zu, wenn sich die Rechtsfolge bei der Anwendung des Gesetzes unter Berücksichtigung der Lehre und Rechtsprechung ohne Weiteres ergibt und damit die Rechtsanwendung zu einem eindeutigen Ergebnis führt. Dagegen ist die Rechtslage in der Regel nicht klar, wenn die Anwendung einer Norm einen Ermessens- oder Billigkeitsentscheid des Gerichts mit wertender Berücksichtigung der gesamten Umstände erfordert, wie dies namentlich bei der Beurteilung von Treu und Glauben zutrifft (<ref-ruling> E. 2.1.2 S. 126 mit Hinweisen).
4.4 Aus dem Kaufvertrag geht hervor, dass die Grundstücke dem Beschwerdeführer zum Gebrauch überlassen wurden; dies bis zum Abschluss eines Mietvertrages. Ein solcher wurde nach den Feststellungen der Vorinstanz indessen nie geschlossen, was vom Beschwerdeführer auch nicht bestritten wird.
Der Beschwerdeführer behauptet jedoch, dass die Parteien ein auf zehn Jahre befristetes Wohnrecht vereinbart hätten, weshalb er weiterhin mietzinslos und demnach unentgeltlich die Grundstücke bzw. das Wohnhaus nutzen und bewohnen dürfe. Damit kritisiert er die Beweiswürdigung der Vorinstanz, ohne aber auch nur ansatzweise den Begründungsanforderungen zu genügen, um diese als willkürlich auszuweisen. Darauf kann nicht eingetreten werden, zumal der Beschwerdeführer seine appellatorischen Ausführungen mit Sachverhaltselementen unterlegt, die im angefochtenen Urteil keine Stütze finden und die mangels substanziierter Sachverhaltsrügen nicht berücksichtigt werden können. Ohnehin ist weder dargetan noch ersichtlich, dass die Vorinstanz in Willkür verfallen wäre, indem sie schloss, dass die Parteien kein befristetes Wohnrecht vereinbart haben, sondern der Beschwerdeführer gestützt auf den Kaufvertrag vom 3. Dezember 2008 berechtigt war, das Grundstück bzw. das Wohnhaus weiterhin zu bewohnen und dies - aufgrund fehlendem Mietvertrag - unentgeltlich. Im Übrigen wäre ein Wohnrecht, wie es vom Beschwerdeführer behauptet wird, zu beurkunden gewesen (Art. 776 i.V.m <ref-law>); dass dies erfolgt wäre, wird vom Beschwerdeführer nicht vorgebracht.
Insoweit hat die Vorinstanz den Sachverhalt zu Recht als liquid und demnach als sofort beweisbar erkannt.
4.5 Die weiteren Vorbringen des Beschwerdeführers, es könne nicht von einem unentgeltlichen Rechtsverhältnis ausgegangen werden, weshalb keine Gebrauchsleihe vorliegen würde, erweisen sich als widersprüchlich. Der Beschwerdeführer behauptet einerseits, dass die Parteien ein unentgeltliches Wohnrecht vereinbart hätten, andererseits liege kein unentgeltliches Rechtsverhältnis vor, da er seit dem 3. Dezember 2008 für und an den Grundstücken mehrere Investitionen und Arbeiten getätigt habe, die als Entgelt für das mietzinsfreie Wohnen anzusehen seien. So sei auch der Kaufpreis für die Grundstücke bewusst tief angesetzt worden, da er davon ausgegangen sei, dass er im Gegenzug die Grundstücke weiter nutzen bzw. bewohnen dürfe, weshalb von keinem unentgeltlichen Rechtsverhältnis ausgegangen werden könne.
Der Beschwerdeführer vermag damit nicht ansatzweise aufzuzeigen, inwiefern die Parteien eine Gegenleistung in Form eines Entgelts für die Gebrauchsüberlassung vereinbart hätten. Es ist insbesondere nicht ersichtlich, woraus der Beschwerdeführer ableitet, dass die von ihm behaupteten Investitionen - Mitwirkung im Verwaltungsrat der C._ AG, Reparatur der Wasserversorgung auf dem Grundstück Nr. xxxx._, Beaufsichtigung der Schafe des Beschwerdegegners und Renovation des Stalls auf dem Grundstück Nr. xx._ - von den Parteien als Entgelt für die Überlassung der Grundstücke vereinbart wurden. Ein Vertrag wird erst dann zu einem entgeltlichen Rechtsgeschäft, wenn eine entsprechende Leistungspflicht einer Partei auferlegt wird. Wie die Vorinstanz festgestellt hat, ist eine solche aus den vom Beschwerdeführer eingereichten Beweismitteln nicht ersichtlich.
Infolge fehlender Entgeltlichkeit für die Nutzung der Grundstücke durfte die Vorinstanz ohne Verletzung von Bundesrecht das Rechtsverhältnis als Gebrauchsleihe qualifizieren und hat zu Recht die Rechtslage als klar erkannt. Daran ändert nichts, dass die Vorinstanz auf über elf Seiten Ausführungen zum Sachverhalt machen musste, wie dies vom Beschwerdeführer vorgebracht wird; diese Ausführungen hat sich der Beschwerdeführer selber zuzuschreiben, da sich die Vorinstanz mit seinen unzähligen und unbegründeten Vorbringen auseinandersetzen musste.
4.6 Der Sachverhalt erweist sich somit als sofort beweisbar und die sich daraus ergebende Rechtsfolge ist klar. In diesem Sinn wurde <ref-law> dadurch, dass der Ausweisungsentscheid im summarischen Verfahren erging, nicht verletzt.
5. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Verfahrensausgang wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Die Beschwerdegegnerin ist mit ihrem Antrag auf Abweisung des Gesuchs um aufschiebende Wirkung unterlegen. Eine Parteientschädigung ist ihr daher nicht zuzusprechen, zumal ihr im weiteren bundesgerichtlichen Verfahren kein Aufwand entstanden ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht des Kantons Schwyz, 2. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 10. September 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Die Gerichtsschreiberin: Reitze