Sachverhalt:
Sachverhalt:
A. B._ (Kläger) nahm am 25. Juni 1999 bei einer Bank auf eine in seinem Eigentum stehende Liegenschaft ein Hypothekardarlehen im Betrag von Fr. 300'000.-- auf. Davon überwies die Bank im Auftrag des Klägers Fr. 70'000.-- an A._ (Beklagter) und Fr. 230'000.-- an einen für den Beklagten tätigen Architekten. Der Kläger behauptet, er habe dem Beklagten damit einen kurzfristigen Überbrückungskredit gewährt, den dieser zur Finanzierung seines Einfamilienhauses benötigt habe. Dabei sei vereinbart worden, dass der Beklagte für das Darlehen denjenigen Zins bezahle, welcher dem Kläger von der Bank als Hypothekarzins belastet werde. Der Beklagte stellt die geleisteten Zahlungen von insgesamt Fr. 300'000.-- nicht in Abrede. Er bestreitet aber, dass es sich um ein Darlehen gehandelt habe. Nach seiner Darstellung handelte es sich um eine Pauschalentschädigung für Leistungen, die der Beklagte für den Kläger resp. für die von diesem beherrschten Aktiengesellschaften und für dessen Ehefrau getätigt hatte. Im Übrigen bestreitet der Beklagte, dem Kläger je Zinsen bezahlt zu haben.
Mit Schreiben vom 7. November 2000 forderte der Kläger den Beklagten erstmals auf, das Darlehen zurückzuzahlen oder ihm einen Abzahlungsplan zu unterbreiten. Nach Einschaltung eines Rechtsanwalts und mit Schreiben vom 22. Dezember 2000 forderte der Kläger den Beklagten abermals auf, das Darlehen von Fr. 300'000.-- sowie zwei weitere Darlehen von US $ 10'000.-- und US $ 20'000.-- bis zum 10. Januar 2001 zurückzuerstatten oder aber eine entsprechende Schuldanerkennung zu unterzeichnen und die Darlehen in der Folge in Raten zurückzuzahlen.
Mit Schreiben vom 7. November 2000 forderte der Kläger den Beklagten erstmals auf, das Darlehen zurückzuzahlen oder ihm einen Abzahlungsplan zu unterbreiten. Nach Einschaltung eines Rechtsanwalts und mit Schreiben vom 22. Dezember 2000 forderte der Kläger den Beklagten abermals auf, das Darlehen von Fr. 300'000.-- sowie zwei weitere Darlehen von US $ 10'000.-- und US $ 20'000.-- bis zum 10. Januar 2001 zurückzuerstatten oder aber eine entsprechende Schuldanerkennung zu unterzeichnen und die Darlehen in der Folge in Raten zurückzuzahlen.
B. Am 23. Februar 2001 beantragte der Kläger dem Bezirksgericht See, den Beklagten zu verpflichten, ihm das Darlehen von Fr. 300'000.-- sowie den Zins für das zweite Semester 2000 von Fr. 6'500.--, zusammen Fr. 306'500.--, nebst 5 % Zins auf Fr. 306'500.-- seit dem 1. Januar 2001 zu bezahlen. Zudem sei der Beklagte zu verpflichten, ihm ein weiteres Darlehen von US $ 20'000.-- nebst Zins seit dem 1. Juli 1999 zurückzuzahlen.
Mit Urteil vom 22. Oktober 2002 hiess das Bezirksgericht die Klage im Umfang von Fr. 300'000.-- nebst 5 % Zins seit dem 1. Januar 2001 und Fr. 6'500.-- nebst 5 % Zins seit dem 1. Februar 2001 gut. Im Mehrbetrag wies das Bezirksgericht die Klage ab.
Gegen das bezirksgerichtliche Urteil erhob der Beklagte Berufung und der Kläger Anschlussberufung. Das Kantonsgericht St. Gallen verpflichtete den Beklagten mit Urteil vom 4. September 2003 zur Zahlung von Fr. 300'000.-- nebst 5 % Zins seit dem 1. Januar 2001 sowie von Fr. 6'500.-- nebst 5 % Zins seit dem 23. Februar 2001. Die Anschlussberufung des Klägers wies das Kantonsgericht ab.
Gegen das bezirksgerichtliche Urteil erhob der Beklagte Berufung und der Kläger Anschlussberufung. Das Kantonsgericht St. Gallen verpflichtete den Beklagten mit Urteil vom 4. September 2003 zur Zahlung von Fr. 300'000.-- nebst 5 % Zins seit dem 1. Januar 2001 sowie von Fr. 6'500.-- nebst 5 % Zins seit dem 23. Februar 2001. Die Anschlussberufung des Klägers wies das Kantonsgericht ab.
C. Der Beklagte hat gegen das Urteil des Kantonsgerichts St. Gallen sowohl kantonale Nichtigkeitsbeschwerde als auch eidgenössische Berufung erhoben. Das Kassationsgericht des Kantons St. Gallen wies die Nichtigkeitsbeschwerde am 24. Februar 2004 ab, soweit es auf sie eintrat.
C. Der Beklagte hat gegen das Urteil des Kantonsgerichts St. Gallen sowohl kantonale Nichtigkeitsbeschwerde als auch eidgenössische Berufung erhoben. Das Kassationsgericht des Kantons St. Gallen wies die Nichtigkeitsbeschwerde am 24. Februar 2004 ab, soweit es auf sie eintrat.
D. Mit Berufung beantragt der Beklagte die Aufhebung des angefochtenen Urteils, "soweit der Beklagte und Berufungskläger verpflichtet wird, dem Kläger und Berufungsbeklagten Fr. 300'000.-- zuzüglich 5 % Zins seit dem 1. Januar 2002 sowie Fr. 6'500.-- zuzüglich 5 % Zins seit dem 23. Februar 2001 zu bezahlen." Eventuell sei das Urteil des Kantonsgerichts aufzuheben und die Sache zur Ergänzung des Beweisverfahrens an die Vorinstanz zurückzuweisen. Der Kläger schliesst auf Abweisung der Berufung, soweit darauf einzutreten ist.

Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. 1.1 Die Berufung ist binnen dreissig Tagen, vom Eingang der schriftlichen Mitteilung des Entscheids (Art. 51 Bst. d OG) an gerechnet, bei der Behörde einzulegen, die den Entscheid gefällt hat. Diese Frist wird weder durch Einlegung eines ausserordentlichen kantonalen Rechtsmittels verlängert noch durch eine Verfügung, die ihm aufschiebende Wirkung verleiht (Art. 54 Abs. 1 OG).
Bei Berechnung der Fristen wird der Tag, an dem die Frist zu laufen beginnt, nicht mitgezählt (Art. 32 Abs. 1 OG). Ist der letzte Tag einer Frist ein Sonntag oder ein vom zutreffenden kantonalen Recht anerkannter Feiertag, so endigt sie am nächstfolgenden Werktag (Art. 32 Abs. 2 OG).
1.2 Das angefochtene Urteil wurde am 9. September 2003 versandt und traf am 12. September 2003 beim Beklagten ein. Wie der Kläger in der Berufungsantwort geltend macht, endete die Frist zur Einreichung der Berufung somit grundsätzlich am 12. Oktober 2003. Da es sich bei diesem Tag aber um einen Sonntag handelte, hatte der Beklagte bis am 13. Oktober 2003 Zeit, die Berufung bei der Vorinstanz einzureichen. Die Berufung datiert vom 13. Oktober 2003 (Datum gemäss Poststempel). Sie ging somit rechtzeitig bei der Vorinstanz ein.
1.2 Das angefochtene Urteil wurde am 9. September 2003 versandt und traf am 12. September 2003 beim Beklagten ein. Wie der Kläger in der Berufungsantwort geltend macht, endete die Frist zur Einreichung der Berufung somit grundsätzlich am 12. Oktober 2003. Da es sich bei diesem Tag aber um einen Sonntag handelte, hatte der Beklagte bis am 13. Oktober 2003 Zeit, die Berufung bei der Vorinstanz einzureichen. Die Berufung datiert vom 13. Oktober 2003 (Datum gemäss Poststempel). Sie ging somit rechtzeitig bei der Vorinstanz ein.
2. Der Beklagte beantragt, das Urteil der Vorinstanz aufzuheben, "soweit der Beklagte und Berufungskläger verpflichtet wird, dem Kläger und Berufungsbeklagten Fr. 300'000.-- zuzüglich 5 % Zins seit dem 1. Januar 2002" zu bezahlen. Die Vorinstanz verpflichtete den Beklagten jedoch dazu, "dem Kläger Fr. 300'000.-- zuzüglich 5 % Zins seit 1. Januar 2001" zu bezahlen.
Nach dem Grundsatz von Treu und Glauben, der für die Auslegung von Prozesshandlungen massgebend ist (<ref-ruling> E. 2a S. 152), ist davon auszugehen, dass das Begehren einen Schreibfehler enthält und der Beklagte beantragen wollte, das angefochtene Urteil sei aufzuheben, soweit der Beklagte und Berufungskläger verpflichtet wird, dem Kläger und Berufungsbeklagten Fr. 300'000.-- zuzüglich 5 % Zins seit dem 1. Januar 2001" zu bezahlen.
Nach dem Grundsatz von Treu und Glauben, der für die Auslegung von Prozesshandlungen massgebend ist (<ref-ruling> E. 2a S. 152), ist davon auszugehen, dass das Begehren einen Schreibfehler enthält und der Beklagte beantragen wollte, das angefochtene Urteil sei aufzuheben, soweit der Beklagte und Berufungskläger verpflichtet wird, dem Kläger und Berufungsbeklagten Fr. 300'000.-- zuzüglich 5 % Zins seit dem 1. Januar 2001" zu bezahlen.
3. 3.1 Nach dem angefochtenen Urteil ist dem Kläger der Beweis dafür gelungen, dass es sich bei der Überweisung von Fr. 300'000.-- des Klägers an den Beklagten um die Gewährung eines Darlehens und bei den Überweisungen des Beklagten an den Kläger um entsprechende Zinszahlungen handelte. Gemäss den Feststellungen im angefochtenen Urteil liegt ein schriftlicher Darlehensvertrag zwar nicht vor. Die Vorinstanz schliesst aber aus den klägerischen Vorbringen und Urkunden sowie aus den Aussagen der angerufenen Zeugen, d.h. in Würdigung der Beweise, dass die Parteien einen übereinstimmenden tatsächlichen Willen zum Abschluss eines Darlehensvertrags zu einem Zinssatz in der Höhe der dem Kläger von der Bank belasteten Hypothekarzinsen hatten und einen solchen Vertrag auch tatsächlich abschlossen. Nach Auffassung der Vorinstanz vermochte der Beklagte den Gegenbeweis dafür, dass es sich bei der Zahlung von Fr. 300'000.-- nicht um ein Darlehen, sondern um eine Pauschalentschädigung gehandelt habe, nicht zu erbringen.
3. 3.1 Nach dem angefochtenen Urteil ist dem Kläger der Beweis dafür gelungen, dass es sich bei der Überweisung von Fr. 300'000.-- des Klägers an den Beklagten um die Gewährung eines Darlehens und bei den Überweisungen des Beklagten an den Kläger um entsprechende Zinszahlungen handelte. Gemäss den Feststellungen im angefochtenen Urteil liegt ein schriftlicher Darlehensvertrag zwar nicht vor. Die Vorinstanz schliesst aber aus den klägerischen Vorbringen und Urkunden sowie aus den Aussagen der angerufenen Zeugen, d.h. in Würdigung der Beweise, dass die Parteien einen übereinstimmenden tatsächlichen Willen zum Abschluss eines Darlehensvertrags zu einem Zinssatz in der Höhe der dem Kläger von der Bank belasteten Hypothekarzinsen hatten und einen solchen Vertrag auch tatsächlich abschlossen. Nach Auffassung der Vorinstanz vermochte der Beklagte den Gegenbeweis dafür, dass es sich bei der Zahlung von Fr. 300'000.-- nicht um ein Darlehen, sondern um eine Pauschalentschädigung gehandelt habe, nicht zu erbringen.
3.2 3.2.1 Der Beklagte macht eine Verletzung seines Beweisführungsanspruchs nach <ref-law> geltend, weil es beide Vorinstanzen abgelehnt hätten, die von ihm angebotenen Zeugen zu befragen und eine Ergänzung seiner persönlichen Befragung durchzuführen. Auch hätten es die Vorinstanzen unterlassen, die Urkunden, welche seine Darstellung stützen, zu berücksichtigen.
3.2.2 <ref-law> gibt der beweispflichtigen Partei einen bundesrechtlichen Anspruch darauf, für rechtserhebliche Vorbringen zum Beweis zugelassen zu werden, wenn ihr Beweisantrag nach Form und Inhalt den Vorschriften des kantonalen Rechts entspricht. Nach der Rechtsprechung gewährleistet <ref-law> ebenfalls das Recht zum Gegenbeweis (<ref-ruling> E. 2.6 S. 24, mit Hinweisen). Auch dieser Beweisführungsanspruch schliesst aber die vorweggenommene Beweiswürdigung nicht aus, verbietet dem Gericht also nicht, einem beantragten Beweismittel die Erheblichkeit oder Tauglichkeit abzusprechen (<ref-ruling> E. 2.6 S. 25, mit Hinweisen). Zudem wird <ref-law> gegenstandslos, wenn die dem Hauptbeweis unterstellten Tatbestandsmerkmale beweismässig bereits feststehen (<ref-ruling> E. 2b/aa S. 277).
Wie oben dargestellt, gelangte die Vorinstanz in Würdigung der Beweise zum Schluss, dass die Parteien einen Darlehensvertrag abgeschlossen und Zinsen in der Höhe der dem Kläger von der Bank belasteten Hypothekarzinsen vereinbart haben. Damit ist <ref-law> gegenstandlos. Gegen die beweismässigen Schlussfolgerungen der Vorinstanz steht dem Beklagten nur die staatsrechtliche Beschwerde wegen Verletzung des Verbots willkürlicher Beweiswürdigung (<ref-law>) und wegen Verletzung des Anspruchs auf rechtliches Gehör (<ref-law>) offen (Art. 43 Abs. 1 Satz 2 und Art. 84 Abs. 1 lit. a und Abs. 2 OG). Die Berufung ist insoweit offensichtlich unbegründet.
Wie oben dargestellt, gelangte die Vorinstanz in Würdigung der Beweise zum Schluss, dass die Parteien einen Darlehensvertrag abgeschlossen und Zinsen in der Höhe der dem Kläger von der Bank belasteten Hypothekarzinsen vereinbart haben. Damit ist <ref-law> gegenstandlos. Gegen die beweismässigen Schlussfolgerungen der Vorinstanz steht dem Beklagten nur die staatsrechtliche Beschwerde wegen Verletzung des Verbots willkürlicher Beweiswürdigung (<ref-law>) und wegen Verletzung des Anspruchs auf rechtliches Gehör (<ref-law>) offen (Art. 43 Abs. 1 Satz 2 und Art. 84 Abs. 1 lit. a und Abs. 2 OG). Die Berufung ist insoweit offensichtlich unbegründet.
3.3 3.3.1 Weiter bringt der Beklagte vor, der Vorinstanz sei ein offensichtliches Versehen im Sinne von Art. 63 Abs. 2 OG unterlaufen, weil sie übersehen habe, dass der Kläger seine Agenda nicht ediert habe, aus welcher sich ergebe, dass die Parteien an einem Treffen vom 4. Juni 1999 eine Pauschalentschädigung in der Höhe von Fr. 300'000.-- zur Abgeltung der vom Beklagten erbrachten Leistungen verabredet hätten.
3.3.2 Nach Art. 55 Abs. 1 lit. c OG sind Rügen, die sich gegen die tatsächlichen Feststellungen und gegen die Beweiswürdigung der Vorinstanz richten, unzulässig, es sei denn, es werde zugleich ein offensichtliches Versehen, eine Verletzung bundesrechtlicher Beweisvorschriften (Art. 63 Abs. 2 OG) oder eine unvollständige Ermittlung des Sachverhaltes vorgeworfen (Art. 64 OG; <ref-ruling> E. 2.2 S. 106, 136 E. 1.4 S. 140, je mit Hinweisen.).
Ein offensichtliches Versehen liegt nach der Rechtsprechung nur vor, wenn die Vorinstanz eine bestimmte Aktenstelle übersehen oder unrichtig, d.h. nicht in ihrer wahren Gestalt, insbesondere nicht mit ihrem wirklichen Wortlaut wahrgenommen hat (<ref-ruling> nicht publ. E. 3a; <ref-ruling> E. 4b S. 524).
Richtig besehen macht der Beklagte vorliegend nicht das Übersehen oder die falsche Wahrnehmung einer Aktenstelle geltend, sondern bringt vor, die Vorinstanz habe es unterlassen, das prozessuale Verhalten des Klägers, nämlich die unterlassene Edition der Agenda, bei der Beweiswürdigung zu berücksichtigen. Diese Rüge läuft auf eine im Berufungsverfahren unzulässige Kritik an der Beweiswürdigung hinaus und ist deshalb nicht zu hören (<ref-ruling> E. 1.4 S. 140, mit Hinweisen).
Richtig besehen macht der Beklagte vorliegend nicht das Übersehen oder die falsche Wahrnehmung einer Aktenstelle geltend, sondern bringt vor, die Vorinstanz habe es unterlassen, das prozessuale Verhalten des Klägers, nämlich die unterlassene Edition der Agenda, bei der Beweiswürdigung zu berücksichtigen. Diese Rüge läuft auf eine im Berufungsverfahren unzulässige Kritik an der Beweiswürdigung hinaus und ist deshalb nicht zu hören (<ref-ruling> E. 1.4 S. 140, mit Hinweisen).
3.4 3.4.1 Der Beklagte bringt schliesslich vor, die Vorinstanz habe Art. 312 f. OR verletzt, indem sie feststellte, dass ein Vertrag über ein Darlehen von Fr. 300'000.--, das in der Höhe des dem Kläger belasteten Hypothekarzinssatzes zu verzinsen sei, vereinbart worden sei. Auch treffe nicht zu, dass der Kläger in seinem vor den kantonalen Instanzen gestellten Begehren einen Zins in der Höhe des Hypothekarzinssatzes verlange. Der Kläger habe lediglich auf Zahlung des gesetzlichen Verzugszinses von 5 % geklagt.
3.4.2 Inwiefern die Vorinstanz mit Rücksicht auf den festgestellten Sachverhalt Bundesrecht verletzt haben soll, legt der Beklagte nicht dar und ist nicht ersichtlich. Die Rüge ist offensichtlich unbegründet, soweit sie nicht bereits an den Begründungsanforderungen scheitert (Art. 55 Abs. 1 lit. c OG).
Soweit der Beklagte rügt, die Vorinstanz habe dem Kläger mehr zugesprochen als dieser in seinem Begehren verlangt hat, rügt er eine Verletzung der zum kantonalen Prozessrecht gehörenden Dispositionsmaxime (<ref-ruling> nicht publ. E. 3; <ref-ruling> E. 5d S. 460). Zur Geltendmachung der Verletzung kantonalen Rechts steht dem Beklagten nur das Verfahren der staatsrechtlichen Beschwerde, nicht aber das Berufungsverfahren offen (Art. 43 Abs. 1 Satz 2 und Abs. 2, Art. 55 Abs. 1 lit. c, Art. 84 Abs. 1 lit. a und Abs. 2 OG). Auch insoweit ist auf die Berufung nicht einzutreten.
Soweit der Beklagte rügt, die Vorinstanz habe dem Kläger mehr zugesprochen als dieser in seinem Begehren verlangt hat, rügt er eine Verletzung der zum kantonalen Prozessrecht gehörenden Dispositionsmaxime (<ref-ruling> nicht publ. E. 3; <ref-ruling> E. 5d S. 460). Zur Geltendmachung der Verletzung kantonalen Rechts steht dem Beklagten nur das Verfahren der staatsrechtlichen Beschwerde, nicht aber das Berufungsverfahren offen (Art. 43 Abs. 1 Satz 2 und Abs. 2, Art. 55 Abs. 1 lit. c, Art. 84 Abs. 1 lit. a und Abs. 2 OG). Auch insoweit ist auf die Berufung nicht einzutreten.
4. Die Berufung ist offensichtlich unbegründet, soweit darauf eingetreten werden kann. Dem Ausgang des Verfahrens entsprechend wird der Beklagte kosten- und entschädigungspflichtig (Art. 156 Abs. 1 und Art. 159 Abs. 1 und Abs. 2 OG).

Demnach erkennt das Bundesgericht
im Verfahren nach Art. 36a OG:
im Verfahren nach Art. 36a OG:
1. Die Berufung wird abgewiesen, soweit darauf einzutreten ist.
1. Die Berufung wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtsgebühr von Fr. 6'500.-- wird dem Beklagten auferlegt.
2. Die Gerichtsgebühr von Fr. 6'500.-- wird dem Beklagten auferlegt.
3. Der Beklagte hat den Kläger für das bundesgerichtliche Verfahren mit Fr. 7'500.-- zu entschädigen.
3. Der Beklagte hat den Kläger für das bundesgerichtliche Verfahren mit Fr. 7'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 22. Juni 2004
Im Namen der I. Zivilabteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin: