Sachverhalt:
Sachverhalt:
A. Mit Vertrag vom 8. Mai 2001 überliess B._ (Kläger) A._ (Beklagter) die Bewirtschaftung seines Landwirtschaftsbetriebes X._. Der Vertrag war erstmals auf Herbst 2016 kündbar. Die Parteien gerieten jedoch bereits nach kurzer Zeit in Streit. Ein Summarverfahren, das der Kläger wegen baulicher Veränderungen durch den Beklagten eingeleitet hatte, endete am 2. Oktober 2001 durch Vergleich. Aufgrund von weiteren Auseinandersetzungen kündigte der Kläger den Bewirtschaftungsvertrag mehrmals vorzeitig unter Berufung auf wichtige Gründe, so am 9. und 14. August sowie am 29. Oktober 2001. Ein vom Kläger und dessen Ehefrau am 18. Oktober 2002 gestelltes Ausweisungsgesuch wies das Bezirksgericht Wil am 31. März 2003 und auf Rekurs hin das Kantonsgericht St. Gallen am 11. Juli 2003 ab. Auf eine Berufung der Kläger ist das Bundesgericht am 9. Januar 2004 infolge Nichtbezahlung des Kostenvorschusses nicht eingetreten.
A. Mit Vertrag vom 8. Mai 2001 überliess B._ (Kläger) A._ (Beklagter) die Bewirtschaftung seines Landwirtschaftsbetriebes X._. Der Vertrag war erstmals auf Herbst 2016 kündbar. Die Parteien gerieten jedoch bereits nach kurzer Zeit in Streit. Ein Summarverfahren, das der Kläger wegen baulicher Veränderungen durch den Beklagten eingeleitet hatte, endete am 2. Oktober 2001 durch Vergleich. Aufgrund von weiteren Auseinandersetzungen kündigte der Kläger den Bewirtschaftungsvertrag mehrmals vorzeitig unter Berufung auf wichtige Gründe, so am 9. und 14. August sowie am 29. Oktober 2001. Ein vom Kläger und dessen Ehefrau am 18. Oktober 2002 gestelltes Ausweisungsgesuch wies das Bezirksgericht Wil am 31. März 2003 und auf Rekurs hin das Kantonsgericht St. Gallen am 11. Juli 2003 ab. Auf eine Berufung der Kläger ist das Bundesgericht am 9. Januar 2004 infolge Nichtbezahlung des Kostenvorschusses nicht eingetreten.
B. Am 19. März 2003 forderten der Kläger und dessen Ehefrau vom Beklagten die Zahlung ausstehender Pachtzinsen im Betrage von Fr. 50'910.95 innert sechs Monaten unter der Androhung der Auflösung des Bewirtschaftungsvertrages bei Säumnis auf den 18. September 2003. Da die Zahlung ausblieb, beantragte der Kläger dem Kreisgerichtspräsidium Wil am 15. Oktober 2003, es sei dem Beklagten unter Androhung der Bestrafung nach Art. 292 StGB zu befehlen, den von ihm gepachteten X._ geräumt und gereinigt zu verlassen. Am 22. Januar 2004 erliess der Präsident der 3. Abteilung des Kreisgerichts Alttoggenburg-Wil einen entsprechenden Befehl. Den vom Beklagten erhobenen Rekurs wies das Kantonsgericht St. Gallen, Einzelrichter für Rekurse im Obligationenrecht, am 17. März 2004 ab, wobei es dem Kläger wie bereits der erstinstanzliche Richter die unentgeltliche Prozessführung gewährte.
B. Am 19. März 2003 forderten der Kläger und dessen Ehefrau vom Beklagten die Zahlung ausstehender Pachtzinsen im Betrage von Fr. 50'910.95 innert sechs Monaten unter der Androhung der Auflösung des Bewirtschaftungsvertrages bei Säumnis auf den 18. September 2003. Da die Zahlung ausblieb, beantragte der Kläger dem Kreisgerichtspräsidium Wil am 15. Oktober 2003, es sei dem Beklagten unter Androhung der Bestrafung nach Art. 292 StGB zu befehlen, den von ihm gepachteten X._ geräumt und gereinigt zu verlassen. Am 22. Januar 2004 erliess der Präsident der 3. Abteilung des Kreisgerichts Alttoggenburg-Wil einen entsprechenden Befehl. Den vom Beklagten erhobenen Rekurs wies das Kantonsgericht St. Gallen, Einzelrichter für Rekurse im Obligationenrecht, am 17. März 2004 ab, wobei es dem Kläger wie bereits der erstinstanzliche Richter die unentgeltliche Prozessführung gewährte.
C. Der Beklagte beantragt dem Bundesgericht mit eidgenössischer Berufung, den Entscheid des Kantonsgerichts St. Gallen vom 17. März 2004 aufzuheben und das Ausweisungsgesuch abzuweisen. Eventuell sei der angefochtene Entscheid aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Der Kläger schliesst auf Abweisung der Berufung. Er hat auch für das Verfahren vor Bundesgericht die unentgeltliche Rechtspflege verlangt, nachdem sein gestützt auf Art. 150 Abs. 2 OG eingereichtes Sicherstellungsgesuch mit Präsidialverfügung vom 28. Juni 2004 abgewiesen worden war.
Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. Die kantonalen Gerichte haben den Vertrag vom 8. Mai 2001 zutreffend als Pachtvertrag qualifiziert und die Berechtigung der ausserordentlichen Kündigung nach den Vorschriften des Bundesgesetzes über die landwirtschaftliche Pacht in der Fassung vom 4. Oktober 1985 (SR 221.213.2; LPG) beurteilt. Die Vorinstanz hielt insbesondere fest, dass sich die Gesetzesänderung vom 20. Juni 2003 betreffend Art. 1 Abs.1 lit. b LPG und Art. 5 lit. a sowie Art. 7 Abs. 1 BGBB (Bundesgesetz vom 4. Oktober 1991 über das bäuerliche Bodenrecht; SR 211.412.11) gemäss der Übergangsbestimmung zur Änderung vom 20. Juni 2003 (Art. 60a LPG) nicht auswirke. Ebenfalls unangefochten und zutreffend führte die Vorinstanz sodann aus, der unter den Parteien vereinbarte Pachtzins bedürfe der Bewilligung nach Art. 42 LPG.
1. Die kantonalen Gerichte haben den Vertrag vom 8. Mai 2001 zutreffend als Pachtvertrag qualifiziert und die Berechtigung der ausserordentlichen Kündigung nach den Vorschriften des Bundesgesetzes über die landwirtschaftliche Pacht in der Fassung vom 4. Oktober 1985 (SR 221.213.2; LPG) beurteilt. Die Vorinstanz hielt insbesondere fest, dass sich die Gesetzesänderung vom 20. Juni 2003 betreffend Art. 1 Abs.1 lit. b LPG und Art. 5 lit. a sowie Art. 7 Abs. 1 BGBB (Bundesgesetz vom 4. Oktober 1991 über das bäuerliche Bodenrecht; SR 211.412.11) gemäss der Übergangsbestimmung zur Änderung vom 20. Juni 2003 (Art. 60a LPG) nicht auswirke. Ebenfalls unangefochten und zutreffend führte die Vorinstanz sodann aus, der unter den Parteien vereinbarte Pachtzins bedürfe der Bewilligung nach Art. 42 LPG.
2. Nach den verbindlichen Feststellungen im angefochtenen Urteil lag im Zeitpunkt der Zahlungsaufforderung (19. März 2003) noch keine behördliche Bewilligung des Pachtzinses vor. Die zuständige Behörde leitete erst im August 2003 von sich aus ein Bewilligungsverfahren ein. Daraus ergibt sich nach Auffassung des Beklagten, dass der vereinbarte Pachtzins weder fällig noch geschuldet sei, weshalb kein Rechtsgrund für eine Ausweisung vorliege, obschon er nicht in Abrede stellt, dass er die vertraglich vereinbarten Pachtzinsen - mindestens im Umfang von Fr. 24'955.80 - innerhalb der ihm eingeräumten Zahlungsfrist nicht bezahlt hat. Die Vorinstanz schloss sich indessen der in der Lehre vertretenen Auffassung an, wonach der Pachtzins für Gewerbe in vollem Ausmass geschuldet ist, auch wenn die Bewilligung noch nicht vorliegt. Darin erblickt der Beklagte eine Verletzung von Bestimmungen des LPG.
2. Nach den verbindlichen Feststellungen im angefochtenen Urteil lag im Zeitpunkt der Zahlungsaufforderung (19. März 2003) noch keine behördliche Bewilligung des Pachtzinses vor. Die zuständige Behörde leitete erst im August 2003 von sich aus ein Bewilligungsverfahren ein. Daraus ergibt sich nach Auffassung des Beklagten, dass der vereinbarte Pachtzins weder fällig noch geschuldet sei, weshalb kein Rechtsgrund für eine Ausweisung vorliege, obschon er nicht in Abrede stellt, dass er die vertraglich vereinbarten Pachtzinsen - mindestens im Umfang von Fr. 24'955.80 - innerhalb der ihm eingeräumten Zahlungsfrist nicht bezahlt hat. Die Vorinstanz schloss sich indessen der in der Lehre vertretenen Auffassung an, wonach der Pachtzins für Gewerbe in vollem Ausmass geschuldet ist, auch wenn die Bewilligung noch nicht vorliegt. Darin erblickt der Beklagte eine Verletzung von Bestimmungen des LPG.
3. 3.1 Das Bundesgericht hat sich in einem Urteil vom 16. September 2003 (4P.143/2003) mit der hier streitigen Frage befasst. Danach bestimmt Art. 45 LPG unter dem Marginale "Zivilrechtliche Folgen", dass die Vereinbarung über den Pachtzins nichtig ist, soweit dieser das durch die Behörde festgesetzte Mass übersteigt. Diese Fassung geht auf einen Vorschlag des Ständerates zurück, welchem der Nationalrat zustimmte (Sten. Bull SR 1983, S. 528f.; Sten Bull. NR 1985, S. 359f.). Damit wurde der Entwurf des Bundesrats geändert, der betreffend die zivilrechtlichen Folgen noch vorgesehen hatte, dass der Pachtzins für ein Gewerbe erst geschuldet sei, wenn der Entscheid der Bewilligungsbehörde rechtskräftig ist (BBl 1982 I 314; Art. 45 Abs. 1). Um zu vermeiden, in Schuldnerverzug nach Art. 21 LPG zu geraten, und um den strafrechtlichen Folgen des Art. 54 Abs. 1 LPG zu entgehen, muss der Pächter bei bestehender Bewilligungspflicht eine behördliche Festsetzung des Pachtzinses erwirken und den vollen vereinbarten Pachtzins hinterlegen, auch wenn er diesen als zu hoch erachtet (4P.143/2003 E. 2.3; Studer/Hofer, Das landwirtschaftliche Pachtrecht, S. 297 und 302; Claude Paquier-Boinay, Le contrat de bail à ferme agricole: conclusion et droit de préaffermage, Diss. Lausanne 1990, S. 210; Manuel Müller, Les dispositions de droit privé de la loi fédérale sur le bail à ferme agricole, in Blätter für Agrarrecht 1987, II, S. 41 Fn. 29). Er kann sich mit einer blossen Anzeige bei der Einsprachebehörde begnügen, welche alsdann das Bewilligungsverfahren von Amtes wegen einleitet (Art. 42 Abs. 3 LPG; Studer/Hofer, a.a.O., S. 280 und 285).
3.2 Von dieser auf einhellige Lehre abgestützten Rechtsprechung abzuweichen besteht auch mit Blick auf die Vorbringen des Beklagten in der Berufung kein Anlass. So hilft ihm der Hinweis auf die Begründung, welche der Bundesrat in der Botschaft für die von ihm vorgeschlagene Regelung gibt, nicht weiter, nachdem der vom Bundesrat vorgesehene Abs. 1 von Art. 45 nicht ins Gesetz aufgenommen wurde. Wie die Vorinstanz zutreffend darlegt, steht erst bei Vorliegen der Bewilligung fest, ob und in welchem Umfang der vereinbarte Pachtzins allenfalls nichtig ist. Dem bis dahin herrschenden Schwebezustand kann der Pächter durch das im zitierten Bundesgerichtsurteil beschriebene Vorgehen begegnen. Nichts anderes gilt mit Bezug auf die vom Beklagten ausführlich kommentierten Strafbestimmungen. Folgte man der Auffassung des Beklagten, dass bis zum Vorliegen einer Bewilligung überhaupt kein Pachtzins geschuldet, der Pachtvertrag aber im Übrigen gültig ist, hätte dies zur Folge, dass ein Verpächter sein Grundstück dem Pächter unter Umständen monate- oder jahrelang unentgeltlich überlassen müsste. Dafür, dass dieses Ergebnis, allenfalls als Sanktion verspäteter oder unterlassener Einreichung des Bewilligungsgesuchs, vom Gesetzgeber beabsichtigt gewesen wäre, bestehen keine Anhaltspunkte. Aus der Formulierung "wer einen bewilligungsbedürftigen, aber nicht bewilligten Pachtzins fordert oder bezahlt" in Art. 54 Abs. 1 al. 4 LPG ergibt sich diese einseitig den Verpächter belastende Rechtsfolge jedenfalls nicht. Im Übrigen zeigt der Beklagte nicht auf, und es ist nicht ersichtlich, weshalb und in welchem Ausmass er Grund zur Annahme hatte, der vereinbarte Pachtzins übersteige das zulässige Mass. Dem Schutzbedürfnis des Pächters vor überhöhten Pachtzinsen wird mit der Möglichkeit der Anzeige an die Behörde und der Hinterlegung des Pachtzinses hinreichend Rechnung getragen.
3.2 Von dieser auf einhellige Lehre abgestützten Rechtsprechung abzuweichen besteht auch mit Blick auf die Vorbringen des Beklagten in der Berufung kein Anlass. So hilft ihm der Hinweis auf die Begründung, welche der Bundesrat in der Botschaft für die von ihm vorgeschlagene Regelung gibt, nicht weiter, nachdem der vom Bundesrat vorgesehene Abs. 1 von Art. 45 nicht ins Gesetz aufgenommen wurde. Wie die Vorinstanz zutreffend darlegt, steht erst bei Vorliegen der Bewilligung fest, ob und in welchem Umfang der vereinbarte Pachtzins allenfalls nichtig ist. Dem bis dahin herrschenden Schwebezustand kann der Pächter durch das im zitierten Bundesgerichtsurteil beschriebene Vorgehen begegnen. Nichts anderes gilt mit Bezug auf die vom Beklagten ausführlich kommentierten Strafbestimmungen. Folgte man der Auffassung des Beklagten, dass bis zum Vorliegen einer Bewilligung überhaupt kein Pachtzins geschuldet, der Pachtvertrag aber im Übrigen gültig ist, hätte dies zur Folge, dass ein Verpächter sein Grundstück dem Pächter unter Umständen monate- oder jahrelang unentgeltlich überlassen müsste. Dafür, dass dieses Ergebnis, allenfalls als Sanktion verspäteter oder unterlassener Einreichung des Bewilligungsgesuchs, vom Gesetzgeber beabsichtigt gewesen wäre, bestehen keine Anhaltspunkte. Aus der Formulierung "wer einen bewilligungsbedürftigen, aber nicht bewilligten Pachtzins fordert oder bezahlt" in Art. 54 Abs. 1 al. 4 LPG ergibt sich diese einseitig den Verpächter belastende Rechtsfolge jedenfalls nicht. Im Übrigen zeigt der Beklagte nicht auf, und es ist nicht ersichtlich, weshalb und in welchem Ausmass er Grund zur Annahme hatte, der vereinbarte Pachtzins übersteige das zulässige Mass. Dem Schutzbedürfnis des Pächters vor überhöhten Pachtzinsen wird mit der Möglichkeit der Anzeige an die Behörde und der Hinterlegung des Pachtzinses hinreichend Rechnung getragen.
4. Nach dem Gesagten hat die Vorinstanz keine bundesrechtlichen Grundsätze verkannt, als sie annahm, der Beklagte befinde sich mit der Zahlung fälliger Pachtzinsen im Rückstand (Art. 21 Abs. 1 LPG), weshalb der Kläger, da die übrigen Voraussetzungen unstreitig gegeben sind, zur Ausweisung des Verpächters berechtigt ist. Die Berufung des Beklagten ist unbegründet. Sie ist unter Kosten- und Entschädigungsfolgen zu Lasten des Beklagten abzuweisen (Art. 156 Abs. 1 und Art. 159 Abs. 1 und 2 OG).
Dem obsiegenden Kläger, dem beide kantonalen Instanzen die unentgeltliche Prozessführung bewilligt haben, ist für das Verfahren vor Bundesgericht in dem Sinne die unentgeltliche Rechtspflege zu gewähren (Art. 152 Abs. 2 OG), dass ihm die Parteientschädigung aus der Gerichtskasse ausgerichtet wird, sofern sie sich als uneinbringlich erweisen sollte.
Demnach erkennt das Bundesgericht:
Demnach erkennt das Bundesgericht:
1. Die Berufung wird abgewiesen.
1. Die Berufung wird abgewiesen.
2. Die Gerichtsgebühr von Fr. 5'500.-- wird dem Beklagten auferlegt.
2. Die Gerichtsgebühr von Fr. 5'500.-- wird dem Beklagten auferlegt.
3. Der Beklagte hat den Kläger für das bundesgerichtliche Verfahren mit Fr. 6'500.-- zu entschädigen. Für den Fall der Uneinbringlichkeit der Parteientschädigung wird ihm diese von der Bundesgerichtskasse ausgerichtet.
3. Der Beklagte hat den Kläger für das bundesgerichtliche Verfahren mit Fr. 6'500.-- zu entschädigen. Für den Fall der Uneinbringlichkeit der Parteientschädigung wird ihm diese von der Bundesgerichtskasse ausgerichtet.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, Einzelrichter für Rekurse im Obligationenrecht, schriftlich mitgeteilt.
Lausanne, 27. August 2004
Im Namen der I. Zivilabteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber: