Sachverhalt: Sachverhalt: A. B._ (Kläger) nahm am 25. Juni 1999 bei einer Bank auf eine in seinem Eigentum stehende Liegenschaft ein Hypothekardarlehen im Betrag von Fr. 300'000.-- auf. Davon überwies die Bank im Auftrag des Klägers Fr. 70'000.-- an A._ (Beklagter) und Fr. 230'000.-- an einen für den Beklagten tätigen Architekten. Der Kläger behauptet, er habe dem Beklagten damit einen kurzfristigen Überbrückungskredit gewährt, den dieser zur Finanzierung seines Einfamilienhauses benötigt habe. Dabei sei vereinbart worden, dass der Beklagte für das Darlehen denjenigen Zins bezahle, welcher dem Kläger von der Bank als Hypothekarzins belastet werde. Der Beklagte stellt die geleisteten Zahlungen von insgesamt Fr. 300'000.-- nicht in Abrede. Er bestreitet aber, dass es sich um ein Darlehen gehandelt habe. Nach seiner Darstellung handelte es sich um eine Pauschalentschädigung für Leistungen, die der Beklagte für den Kläger resp. für die von diesem beherrschten Aktiengesellschaften und für dessen Ehefrau getätigt hatte. Im Übrigen bestreitet der Beklagte, dem Kläger je Zinsen bezahlt zu haben. Mit Schreiben vom 7. November 2000 forderte der Kläger den Beklagten erstmals auf, das Darlehen zurückzuzahlen oder ihm einen Abzahlungsplan zu unterbreiten. Nach Einschaltung eines Rechtsanwalts und mit Schreiben vom 22. Dezember 2000 forderte der Kläger den Beklagten abermals auf, das Darlehen von Fr. 300'000.-- sowie zwei weitere Darlehen von US $ 10'000.-- und US $ 20'000.-- bis zum 10. Januar 2001 zurückzuerstatten oder aber eine entsprechende Schuldanerkennung zu unterzeichnen und die Darlehen in der Folge in Raten zurückzuzahlen. Mit Schreiben vom 7. November 2000 forderte der Kläger den Beklagten erstmals auf, das Darlehen zurückzuzahlen oder ihm einen Abzahlungsplan zu unterbreiten. Nach Einschaltung eines Rechtsanwalts und mit Schreiben vom 22. Dezember 2000 forderte der Kläger den Beklagten abermals auf, das Darlehen von Fr. 300'000.-- sowie zwei weitere Darlehen von US $ 10'000.-- und US $ 20'000.-- bis zum 10. Januar 2001 zurückzuerstatten oder aber eine entsprechende Schuldanerkennung zu unterzeichnen und die Darlehen in der Folge in Raten zurückzuzahlen. B. Am 23. Februar 2001 beantragte der Kläger dem Bezirksgericht See, den Beklagten zu verpflichten, ihm das Darlehen von Fr. 300'000.-- sowie den Zins für das zweite Semester 2000 von Fr. 6'500.--, zusammen Fr. 306'500.--, nebst 5 % Zins auf Fr. 306'500.-- seit dem 1. Januar 2001 zu bezahlen. Zudem sei der Beklagte zu verpflichten, ihm ein weiteres Darlehen von US $ 20'000.-- nebst Zins seit dem 1. Juli 1999 zurückzuzahlen. Mit Urteil vom 22. Oktober 2002 hiess das Bezirksgericht die Klage im Umfang von Fr. 300'000.-- nebst 5 % Zins seit dem 1. Januar 2001 und Fr. 6'500.-- nebst 5 % Zins seit dem 1. Februar 2001 gut. Im Mehrbetrag wies das Bezirksgericht die Klage ab. Gegen das bezirksgerichtliche Urteil erhob der Beklagte Berufung und der Kläger Anschlussberufung. Das Kantonsgericht St. Gallen verpflichtete den Beklagten mit Urteil vom 4. September 2003 zur Zahlung von Fr. 300'000.-- nebst 5 % Zins seit dem 1. Januar 2001 sowie von Fr. 6'500.-- nebst 5 % Zins seit dem 23. Februar 2001. Die Anschlussberufung des Klägers wies das Kantonsgericht ab. Gegen das bezirksgerichtliche Urteil erhob der Beklagte Berufung und der Kläger Anschlussberufung. Das Kantonsgericht St. Gallen verpflichtete den Beklagten mit Urteil vom 4. September 2003 zur Zahlung von Fr. 300'000.-- nebst 5 % Zins seit dem 1. Januar 2001 sowie von Fr. 6'500.-- nebst 5 % Zins seit dem 23. Februar 2001. Die Anschlussberufung des Klägers wies das Kantonsgericht ab. C. Der Beklagte hat gegen das Urteil des Kantonsgerichts St. Gallen sowohl kantonale Nichtigkeitsbeschwerde als auch eidgenössische Berufung erhoben. Das Kassationsgericht des Kantons St. Gallen wies die Nichtigkeitsbeschwerde am 24. Februar 2004 ab, soweit es auf sie eintrat. C. Der Beklagte hat gegen das Urteil des Kantonsgerichts St. Gallen sowohl kantonale Nichtigkeitsbeschwerde als auch eidgenössische Berufung erhoben. Das Kassationsgericht des Kantons St. Gallen wies die Nichtigkeitsbeschwerde am 24. Februar 2004 ab, soweit es auf sie eintrat. D. Mit Berufung beantragt der Beklagte die Aufhebung des angefochtenen Urteils, "soweit der Beklagte und Berufungskläger verpflichtet wird, dem Kläger und Berufungsbeklagten Fr. 300'000.-- zuzüglich 5 % Zins seit dem 1. Januar 2002 sowie Fr. 6'500.-- zuzüglich 5 % Zins seit dem 23. Februar 2001 zu bezahlen." Eventuell sei das Urteil des Kantonsgerichts aufzuheben und die Sache zur Ergänzung des Beweisverfahrens an die Vorinstanz zurückzuweisen. Der Kläger schliesst auf Abweisung der Berufung, soweit darauf einzutreten ist.