Sachverhalt: Sachverhalt: A. B._ (Kläger) verpachtete dem A._ (Beklagten) mit Vertrag vom 26. Mai/8. Juni 2000 für die Dauer vom 1. Mai 2000 bis 30. April 2001 1'610 Aren landwirtschaftliche Nutzfläche in X._. Am 21. Juni 2000 bewilligte das Landwirtschaftsamt des Kantons Thurgau die gegenüber der gesetzlichen Mindestpachtdauer von sechs Jahren für eine erstmalige Verpachtung verkürzte Pachtdauer von einem Jahr (Art. 7 des Bundesgesetzes vom 4. Oktober 1985 über die landwirtschaftliche Pacht [LPG, SR 221.213.2]). Mit Vertrag vom 26. Mai 2000 mietete der Beklagte zudem vom Kläger für die selbe Dauer eine Scheune in Y._. Am 23. Juli/8. September 2001 schlossen die Parteien über die gleiche Nutzfläche einen weiteren Fix-Pachtvertrag für die Zeit vom 1. Mai 2001 bis 30. April 2002 ab. Auf Gesuch vom 25. Juli 2001 bewilligte das Landwirtschaftsamt am 13. September 2001 auch diesen von der gesetzlichen sechsjährigen Mindestfortsetzungsdauer abweichenden Vertrag (Art. 8 LPG). Das Mietverhältnis für die Scheune wurde zu den gleichen Bedingungen "fix" bis zum 30. April 2002 verlängert. Kurz vor Ablauf der Verträge teilte der Beklagte dem Kläger am 26. April 2002 mit, er fechte "die in den ihm nachträglich vorgelegten Verträgen vorgesehene Befristung wegen Gesetzeswidrigkeit, arglistiger Täuschung und Drohung sowie hilfsweise wegen Übervorteilung und eventuell wegen Widerhandlung gegen das UWG" an. Daraufhin forderte der Kläger ihn am 3. Mai 2002 auf, den Miet- und Pachtgegenstand unverzüglich zu räumen und ordnungsgemäss zu hinterlassen. Ein vertraglich vorgesehenes Schlichtungsverfahren blieb erfolglos. Kurz vor Ablauf der Verträge teilte der Beklagte dem Kläger am 26. April 2002 mit, er fechte "die in den ihm nachträglich vorgelegten Verträgen vorgesehene Befristung wegen Gesetzeswidrigkeit, arglistiger Täuschung und Drohung sowie hilfsweise wegen Übervorteilung und eventuell wegen Widerhandlung gegen das UWG" an. Daraufhin forderte der Kläger ihn am 3. Mai 2002 auf, den Miet- und Pachtgegenstand unverzüglich zu räumen und ordnungsgemäss zu hinterlassen. Ein vertraglich vorgesehenes Schlichtungsverfahren blieb erfolglos. B. Auf Gesuch des Klägers wies der Vizepräsident des Bezirksgerichts Münchwilen den Beklagten am 15. August 2003 an, die gesamte gepachtete Fläche und die gemietete Scheune bis spätestens 30 Tage nach Rechtskraft dieser Verfügung zu räumen und ordnungsgemäss zurückzugeben, unter Androhung der Überweisung an den Strafrichter im Widerhandlungsfall. Einen vom Beklagten dagegen eingelegten Rekurs wies das Obergericht des Kantons Thurgau am 3. November 2003 ab. Es verneinte, dass der Beklagte sich beim Abschluss des zweiten Fix-Pachtvertrages in einem wesentlichen Irrtum (Art. 24 Abs. 1 Ziff. 4 OR) befunden habe oder durch eine widerrechtliche Drohung zur Eingehung des Vertrages bestimmt worden sei (Art. 29 OR). Ferner verwarf es die Einwände des Beklagten, dass der Vertrag ungültig sei, weil seine Bewilligung seitens des Landwirtschaftsamts gegen zwingendes Recht verstosse oder weil das Ausweisungsgesuch des Klägers rechtsmissbräuchlich wäre. Einen vom Beklagten dagegen eingelegten Rekurs wies das Obergericht des Kantons Thurgau am 3. November 2003 ab. Es verneinte, dass der Beklagte sich beim Abschluss des zweiten Fix-Pachtvertrages in einem wesentlichen Irrtum (Art. 24 Abs. 1 Ziff. 4 OR) befunden habe oder durch eine widerrechtliche Drohung zur Eingehung des Vertrages bestimmt worden sei (Art. 29 OR). Ferner verwarf es die Einwände des Beklagten, dass der Vertrag ungültig sei, weil seine Bewilligung seitens des Landwirtschaftsamts gegen zwingendes Recht verstosse oder weil das Ausweisungsgesuch des Klägers rechtsmissbräuchlich wäre. C. Der Beklagte beantragt mit eidgenössischer Berufung, den Entscheid des Obergerichts vom 3. November 2003 aufzuheben und das Ausweisungsbegehren des Klägers vom 25. April 2003 abzuweisen, eventuell nur in Bezug auf die gepachtete Nutzfläche von 1'610 Aren. Der Kläger schliesst auf Abweisung der Berufung.