Sachverhalt: A. Am 16. September 1991 gewährte die A._ Bank (Klägerin) Y._ (nachfolgend Kreditnehmer) einen Baukredit in der Höhe von Fr. 129'000.--. Als Sicherheit erhielt die Klägerin einen auf ihren Namen ausgestellten Schuldbrief über Fr. 129'000.--, lastend im 2. Rang nach einem Kapitalvorgang von Fr. 535'000.-- auf einem mit einem Einfamilienhaus überbauten Grundstück. Am 1. April 1993 teilte der Kreditnehmer der Klägerin mit, er wolle die Liegenschaft weiterverkaufen, und ersuchte um einen Grundpfandaustausch. Er schlug vor, den Kredit künftig durch zwei Schuldbriefe über insgesamt Fr. 150'000.--, lastend auf zwei Eigentumswohnungen, sicherzustellen, und bat die Klägerin, den auf der Liegenschaft lastenden Schuldbrief raschmöglichst dem verschreibenden Notar (Beklagter) auszuhändigen. Dieser werde ihr verzugslos die drei (recte: zwei) Schuldbriefe, die sich bei einer Bank befänden, aushändigen. Der Beklagte erhielt eine Kopie dieses Schreibens. Am 23. April 1993 teilte die Klägerin dem Kreditnehmer mit, dass seinem Gesuch entsprochen werde, und forderte ihn auf, die Pfandbestellungs- und Abtretungserklärung unterzeichnet zurückzusenden. Am gleichen Tag händigte die Klägerin dem Beklagten den auf der Liegenschaft lastenden Schuldbrief aus. Dem Begleitschreiben ist unter anderem Folgendes zu entnehmen: "... Bezugnehmend auf unser Telefongespräch vom 22.4.1993 senden wir Ihnen in der Beilage den nachfolgend aufgeführten Titel zu getreuen Handen: Fr. 129'000.-, Namenschuldbrief vom 27.11.1991, im 2. Rang, nach einem Kapitalvorgang von Fr. 535'000.- ... Der Titel ist mit unserer rechtsgültig unterzeichneten Zession an Herrn Y._, B._, versehen. Die Aushändigung des Titels erfolgt unter der ausdrücklichen Bedingung, dass uns ein Namenschuldbrief à Fr. 100'000.-- ..., Vorgang Fr. 306'000.--, sowie ein Namenschuldbrief à Fr. 50'000.-- ..., Vorgang von Fr. 191'000.--, oder eine entsprechende Interimsbescheinigung zugestellt wird. Den rechtmässigen Empfang wollen Sie uns bitte durch Unterzeichnung und Rücksendung der beiliegenden Briefkopie bestätigen. ....". Mit Schreiben vom 10. Mai 1993 bat der Beklagte die Klägerin, den ursprünglichen Schuldbrief auf eine Bank zu übertragen statt - wie zuvor verlangt - auf den Kreditnehmer. In der Folge händigte der Beklagte den ihm auf seinen Wunsch von der Klägerin zurückerstatteten und mit der abgeänderten Zessionserklärung versehenen Schuldbrief der Zessionarin aus, ohne im Besitz der zwei neuen Schuldbriefe zu sein. Die Klägerin mahnte den Kreditnehmer mehrmals, bis dieser die vom 30. September 1993 datierte Pfandbestellung nach einer letzten Mahnung vom 3. November 1993 unterzeichnete. Am 14. Dezember 1994 und am 3. April 1995 forderte sie den Beklagten auf, die beiden Ersatzschuldbriefe einzureichen. Beide Schreiben blieben unbeantwortet. Als sich die Klägerin am 13. April 1995 erneut an den Beklagten wandte, teilte dieser ihr am 28. April 1995 mit, er habe den ursprünglichen Schuldbrief herausgegeben, ohne vorgängig sichergestellt zu haben, dass sie in den Besitz der zwei neuen Schuldbriefe gelangt sei. Die Klägerin kam schliesslich in den Besitz eines Namenschuldbriefes über Fr. 120'000.-- im 6. Rang gleichberechtigt mit weiteren Fr. 59'000.--, Vorgang Fr. 500'000.--, lastend auf einer der beiden Eigentumswohnungen. Nach erfolgloser Mahnung des in Zahlungsverzug geratenen Kreditnehmers kündigte die Klägerin den Kreditvertrag am 24. Juli 1997. Am 12. Januar 1999 wurden die beiden Eigentumswohnungen zu Fr. 252'000.-- bzw. Fr. 425'000.-- (für die mit dem Namenschuldbrief der Klägerin belastete Eigentumswohnung) ersteigert. B. Mit Klage vom 23. August 2000 verlangte die Klägerin vom Beklagten die Bezahlung von Fr. 134'394.55 nebst Zins. Mit Urteil vom 23. Mai 2002 verpflichtete das Zivilgericht des Sensebezirks den Beklagten, der Klägerin Fr. 60'000.-- nebst Zins zu bezahlen. Am 21. November 2003 hiess das Kantonsgericht Freiburg, I. Appellationshof, die Berufung der Klägerin gut und wies diejenige des Beklagten ab. Sie verpflichtete Letzteren zur Bezahlung von Fr. 134'394.55 nebst Zins an die Klägerin. C. Der Beklagte erhebt gegen den Entscheid des Kantonsgerichts eidgenössische Berufung. Er beantragt, dieser sei aufzuheben. Eventualiter sei die Sache zur Aktenergänzung und zu neuem Entscheid an die Vorinstanz zurückzuweisen. Die Klägerin schliesst auf Abweisung der Berufung. Mit Urteil vom heutigen Tag wurde eine gleichzeitig erhobene staatsrechtliche Beschwerde abgewiesen, soweit darauf einzutreten war.