Sachverhalt:
A. A.a Mit öffentlich beurkundetem Kaufvertrag vom 9. Oktober 1980 erwarben B._ und C._ von A._ das Grundstück Z._-Gbbl. Nr. ... zu hälftigem Miteigentum. Der Kaufpreis von insgesamt Fr. 326'000.-- wurde durch solidarische Übernahme der Bankschuld gegenüber der Bank F._ sowie durch Barzahlung getilgt. Gleichzeitig gewährte der Verkäufer den Käufern ein Darlehen von Fr. 8'000.--. Diese Solidarschuld wurde durch die Eintragung eines Grundpfandrechts in Gestalt eines Namensschuldbriefs auf der verkauften Liegenschaft im fünften Rang gesichert. Der Schuldbrief wurde in der Folge ausgestellt und an A._ ausgehändigt.
A.b Am 23. August 1983 verkauften B._ und C._ die Liegenschaft an Y._. Der Kaufpreis von Fr. 439'000.-- wurde getilgt durch die Übernahme der gegenüber der Bank F._ bestehenden und durch die Schuldbriefe in den Rängen eins bis und mit vier gesicherten Schuld von insgesamt Fr. 309'900.--, sowie durch Zahlung des Restbetrages. Im Weiteren wurde vereinbart, dass der im fünften Rang eingetragene Schuldbrief über Fr. 8'000.-- unentgeltlich an die Käuferin oder einen von ihr bezeichneten Dritten übertragen werde. A._ indossierte und übergab den genannten Schuldbrief am Verurkundungstag direkt an Y._.
A.c Y._ verkaufte die Liegenschaft am 27. Februar 1987 weiter an D._ und E._ zu Gesamteigentum. Der Kaufpreis von Fr. 475'000.-- wurde durch die Übernahme der gegenüber der Bank F._ bestehenden und durch die Schuldbriefe in den Rängen ein bis und mit vier gesicherten Schuld von insgesamt Fr. 299'900.--, sowie durch Zahlung des Restbetrages getilgt. Der im fünften Rang eingetragene Schuldbrief über Fr. 8'000.-- wurde bei der Wiedergabe des Grundbuchauszugs als Eigentümerschuldbrief aufgeführt. Diesbezüglich wurde weder eine Schuldübernahme noch eine Übergabe vereinbart. Der genannte Schuldbrief verblieb bei Y._.
A.d X._ erhielt die Liegenschaft am 29. Mai 2001 von seinen Eltern, D._ und E._, geschenkt. In der Folge gelangte X._ erfolglos an Y._, um sie zur Herausgabe des Schuldbriefes zu bewegen.
B. X._ reichte am 17. Februar 2003 beim Gerichtskreis VIII Bern-Laupen Klage gegen Y._ ein. Er beantragte, diese unter Strafandrohung im Unterlassungsfall zur unentgeltlichen und unbelasteten Herausgabe des Eigentümerschuldbriefes über Fr. 8'000.--, lastend auf seinem Grundstück Z._-Gbbl. Nr. ... im fünften Rang, zu verpflichten. Mit Urteil vom 24. Oktober 2003 wurde die Klage von X._ abgewiesen. Die Gerichtskosten wurden den Parteien hälftig auferlegt und die Parteikosten wettgeschlagen.
Auf Appellation von X._ bestätigte der Appellationshof des Kantons Bern am 20. Januar 2004 das vorinstanzliche Urteil und wies die Klage ebenfalls ab. Hingegen schützte er die von Y._ erhobene Anschlussappellation und verurteilte X._ zur Tragung sämtlicher erstinstanzlichen Gerichtskosten und zur Leistung einer angemessenen Parteientschädigung an Y._ für das Verfahren vor erster Instanz.
C. Mit Berufung vom 23. Februar 2004 beantragt X._ dem Bundesgericht, das Urteil des Appellationshofs des Kantons Bern vom 20. Januar 2004 aufzuheben, und Y._ unter Strafandrohung im Unterlassungsfall zur unentgeltlichen und unbelasteten Herausgabe des Eigentümerschuldbriefes, lastend auf seinem Grundstück Z._-Gbbl. Nr. ... im fünften Rang, zu verpflichten.
Y._ schliesst auf Abweisung der Berufung, soweit darauf einzutreten sei. Der Appellationshof des Kantons Bern hat anlässlich der Aktenübersendung keine Bemerkungen angebracht.
X._ hat in der gleichen Sache auch eine staatsrechtliche Beschwerde erhoben, welche das Bundesgericht mit Urteil vom heutigen Tag abgewiesen hat (Verfahren 5P.77/2004).

Das Bundesgericht zieht in Erwägung:
1. 1.1 Das Begehren auf Herausgabe eines Wertpapiers beschlägt eine Zivilrechtsstreitigkeit mit Vermögenswert. Entgegen Art. 51 Abs. 1 lit. a OG lassen sich dem angefochtenen Urteil keine Angaben zum Streitwert entnehmen. Die Beklagte vertritt die Ansicht, dass der Streitwert die gesetzliche Grenze von Fr. 8'000.-- nicht erreiche, da der Schuldbrief gemäss den klägerischen Rechtsbegehren unentgeltlich zu übergeben sei.
Massgebend ist ausschliesslich der Wert der geforderten Sache, hier des Schuldbriefes, der eine Forderung von Fr. 8'000.-- verbrieft. Auf die Begründung des Klagebegehrens kommt es hingegen nicht an (Art. 46 OG). Die Berufung richtet sich gegen einen Endentscheid eines oberen kantonalen Gerichts, der nicht mehr durch ein ordentliches Rechtsmittel angefochten werden kann (Art. 48 Abs. 1 OG). Sie ist daher zulässig.
1.2 Mit Berufung kann einzig geltend gemacht werden, der angefochtene Entscheid beruhe auf Verletzung des Bundesrechts mit Einschluss der durch den Bund abgeschlossenen völkerrechtlichen Verträge (Art. 43 Abs. 1 OG). Damit ist auf das bereits im kantonalen Verfahren unter Hinweis auf <ref-law>/BE gestellte Begehren der Strafandrohung nicht einzutreten, zumal jede Begründung in dieser Richtung fehlt (Art. 55 Abs. 1 lit. c OG).
2. Der Kläger wirft der Vorinstanz die Verletzung von Bundesrecht vor, da sie seinen Anspruch auf Herausgabe des Schuldbriefes verneint habe.
2.1 Die Vorinstanz hat vorab festgestellt, dass die durch den Schuldbrief gesicherte Forderung in der Höhe von Fr. 8'000.-- bereits beim Abschluss des Kaufvertrages mit der Beklagten im Jahr 1983 getilgt gewesen sei. Daher fände sich im genannten Kaufvertrag bezüglich dieses Schuldbriefs keine Vereinbarung über eine Schuldübernahme unter Anrechnung auf den Kaufpreis. Im Gegenteil, es sei von der unentgeltlichen Übertragung des Wertpapiers die Rede. Die Beklagte habe im Anschluss an die Verurkundung des Kaufvertrags den Schuldbrief direkt vom Verkäufer des Vertrags aus dem Jahr 1980 indossiert erhalten. Für dieses Ergebnis sprächen der Wortlaut des Kaufvertrages vom 23. August 1983, die Erfüllungsmodalitäten der damals vereinbarten Zahlung, die Aussagen der seinerzeitigen Verkäufer und einer weiteren Zeugin sowie die Angaben des Notars, der den Kaufvertrag vom 27. Februar 1987 verurkundet und bei dieser Gelegenheit den strittigen Schuldbrief als Eigentümerschuldbrief bezeichnet habe.
Die Beklagte bestreitet in ihrer Berufungsantwort demgegenüber nach wie vor, dass die Schuldbriefforderung von Fr. 8'000.-- getilgt sei. Zudem betreffe diese Frage ausschliesslich ihr Verhältnis zu ihren Verkäufern gemäss dem Vertrag aus dem Jahr 1983. Da diese nicht in das Verfahren einbezogen worden seien, könne darüber vorliegend auch nicht rechtskräftig befunden werden.
Soweit die Beklagte mit ihren Vorbringen die Beweiswürdigung der Vorinstanz in Frage stellen möchte, ist sie nicht zu hören (Art. 63 Abs. 2 OG). Inwieweit die rechtliche Folgerung der Vorinstanz, dass die Schuldbriefschuld beim Abschluss des Kaufvertrages im Jahre 1983 bereits getilgt worden sei, der Beklagten von ihren Verkäufern allenfalls einmal entgegengehalten werden könnte, ist vorliegend nicht von Interesse.
2.2 Die Vorinstanz ist - weitgehend unter Hinweis auf das erstinstanzliche Urteil - zum Schluss gelangt, dass dem Kläger kein vertraglicher Herausgabeanspruch auf den Schuldbrief zustehe, was unter den Parteien unbestritten sei. Ebenso wenig könne sich der Kläger auf <ref-law> berufen, da der Anspruch einen Sachverhalt voraussetze, der noch gar nicht eingetreten sei. Seine Bedenken, der Schuldbrief könnte missbräuchlich verwendet werden, betreffe ein allfälliges künftiges Verhalten der Beklagten, welches dem Betroffenen in der Regel keine Ansprüche einräume. Der Kläger müsse trotz der unverständlichen, gar rechtsmissbräuchlichen Weigerung der Beklagten, den "forderungsentkleideten" Schuldbrief herauszugeben, in Kauf nehmen, dass dieser weiter existiere und sich dann zur Wehr setzen, wenn er daraus in Anspruch genommen werde. Die Rechtsordnung stelle ihm in dieser Hinsicht genügend Instrumente zur Verfügung. Insbesondere könne er eine Anerkennungsklage (recte: Aberkennungsklage) sowie eine Feststellungsklage nach <ref-law> gegen die Beklagte einreichen.
2.3 Durch die Errichtung eines Schuldbriefs wird das Schuldverhältnis, das der Errichtung zu Grunde liegt, durch Neuerung getilgt. Eine andere Abrede wirkt nur unter den Vertragsparteien sowie gegenüber Dritten, die sich nicht in gutem Glauben befinden (<ref-law>). Es wird eine neue Forderung begründet und verbrieft, die streng akzessorisch zum Grundpfand ist. Forderung und Grundpfand bilden somit eine untrennbare Einheit, welche in einem Pfandtitel verkörpert wird, dem die Qualität eines Wertpapiers zukommt (<ref-law>; <ref-law>; <ref-law>; Sidney Kamerzin, Le contrat constitutif de cédule hypothécaire, Diss. Freiburg 2003, S. 6 ff.; Daniel Staehelin, Basler Kommentar, N. 5 zu <ref-law>, mit zahlreichen Hinweisen; Hans Michael Riemer, Die beschränkten dinglichen Rechte, 2000, S. 133; Paul-Henri Steinauer, Les droits réels, tome III, 2003, S. 341; Beat Krähenmann, Die Einreden des Schuldbriefschuldners und des Drittpfandeigentümers, ZSR 107/1988 S. 467; Henri-Robert Schüpbach, Gestation de la cédule hypothécaire et naissance du droit de gage, ZBGR 71/1990 S. 130 f.; Theo Guhl, Vom Schuldbrief, ZBJV 92/1956 S. 10). Die Begleichung der Schuldbriefforderung führt nicht zum Erlöschen der Schuld und berührt auch das Grundpfandrecht nicht in seinem Bestehen. Hingegen räumt die vollständige Zahlung dem Schuldner gegenüber dem Gläubiger das Recht ein, den Pfandtitel herauszuverlangen (<ref-law>). Ebenso kann der Drittpfandeigentümer das Pfandrecht unter den gleichen Voraussetzungen ablösen, unter denen der Schuldner zur Tilgung der Forderung befugt ist (<ref-law> i. V. m. <ref-law>). In diesem Zusammenhang indes von einem "forderungsentkleideten" Schuldbrief zu sprechen - wie dies die Vorinstanz und auch teilweise die Doktrin im Falle der Tilgung der Schuldbriefforderung tun - wird dem Charakter dieses Rechtsinstituts nicht gerecht. Beim Schuldbrief gibt es typischerweise kein Auseinanderfallen von Forderung und Pfandrecht (Sidney Kamerzin, a.a.O., S. 60 Fn. 322).
2.4 Dem angefochtenen Urteil lässt sich entnehmen, dass der Verkäufer den Käufern beim Abschluss des Kaufvertrages vom 9. Oktober 1980 auch ein Darlehen über Fr. 8'000.-- gewährt hatte, welches grundpfandlich gesichert werden sollte. Zu diesem Zweck wurde zu Lasten der übertragenen Liegenschaft im fünften Rang ein Schuldbrief in gleicher Höhe errichtet. Dadurch wurde das eben erst eingegangene Schuldverhältnis durch Neuerung sogleich wieder getilgt und durch die Schuldbriefforderung ersetzt. Als die belastete Liegenschaft am 23. August 1983 weiterveräussert wurde, war die Schuldbriefforderung gemäss Feststellung der Vorinstanz bereits beglichen worden. Nun gehen aber typischerweise beim Schuldbrief Forderung und Pfandrecht nicht unter, wenn der verbrieften Verpflichtung nachgekommen wird, sondern diese gehen auf den zahlenden Schuldner oder auf den zahlenden Eigentümer des belasteten Grundstücks über (statt vieler: Theo Guhl, a.a.O., S. 10 f.). Wie es sich mit der Rückzahlung der seinerzeitigen Schuldbriefforderung im Einzelnen verhalten hat, lässt sich dem angefochtenen Urteil nicht entnehmen. Immerhin hat die Vorinstanz festgehalten, dass die Verkäufer (des Vertrages vom 23. August 1983) die Schuldbriefforderung getilgt haben. Damit ist zugleich und unabhängig vom zeitlichen Ablauf gesagt, dass es nicht der Kläger gewesen ist, der dieser Verpflichtung nachgekommen ist. Ebenso ist unbestritten, dass der Kläger damals weder Schuldner noch Drittpfandeigentümer gewesen ist, womit er weder aus der Rechtsstellung des einen noch des andern etwas ableiten kann. Der schuldrechtliche Herausgabeanspruch als Folge der vollständigen Zahlung nach <ref-law> steht einzig dem Schuldner zu (Daniel Staehelin, a.a.O., N. 1 zu <ref-law>, mit Hinweisen). Nur ein allfälliger Drittpfandeigentümer hätte ohne weiteres das (Eigentümer-) Pfandrecht erworben (Bernhard Trauffer, Basler Kommentar, N. 16 zu <ref-law>, mit Hinweisen). Vorliegend wurde indes der Schuldbrief - so das angefochtene Urteil weiter - am 23. August 1983 abmachungsgemäss vom seinerzeitigen Gläubiger an die Erwerberin, die heutige Beklagte, indossiert. Damit ist bei ihr ein unechtes Eigentümergrundpfand entstanden (Urs Peter Möckli, Das Eigentümergrundpfandrecht, Diss. Bern 2001, S. 82). Am 27. Februar 1987 ist eine weitere Veräusserung der Liegenschaft erfolgt. Der im genannten Kaufvertrag wiedergegebene Grundbuchauszug führt neben weiteren Belastungen auch den strittigen Eigentümerschuldbrief über Fr. 8'000.-- im fünften Rang auf. Dessen ungeachtet ist bei der Regelung der Zahlungsmodalitäten dieser Pfandtitel nicht einbezogen worden. Es ist weder eine Schuldübernahme unter Anrechnung auf den Kaufpreis noch die Übertragung an die neuen Eigentümer vereinbart worden, und auch der weitere Vertragsinhalt hat nicht darauf Bezug genommen, was die Vertragsfreiheit zulässt (<ref-law>). Infolgedessen ist der Schuldbrief bei der Verkäuferin (Beklagten) verblieben und ein Drittpfand entstanden.
2.5 Dass der Kläger, welcher die mit dem Schuldbrief belastete Liegenschaft im Jahr 2001 von seinen Eltern geschenkt erhalten hat, den Pfandtitel nunmehr von der Beklagten herausverlangt, ist zwar nachvollziehbar, befürchtet er doch, die Beklagte könnte den Titel als Sicherheit für eine eigene Schuld einem gutgläubigen Dritten aushändigen. Dieses Bedürfnis allein verschafft ihm indes noch keinen Rechtsanspruch. Da er - wie gesagt - im Zeitpunkt der Zahlung nicht Schuldbriefschuldner und auch nicht Drittpfandeigentümer gewesen ist, kann er sich heute weder auf <ref-law> noch auf <ref-law> berufen. Als aktueller Drittpfandeigentümer kann er den Pfandtitel einzig gestützt auf <ref-law> erwerben, soweit er wie ein Schuldner zur Tilgung der Forderung befugt ist, wie die Vorinstanz zu Recht festgehalten hat. Eine Tilgung durch den Kläger ist vorliegend gerade nicht erfolgt. Indem er in diesem Zusammenhang das aktuelle Rechtsschutzinteresse betont, lassen seine Ausführungen die genannte Voraussetzung für eine Berufung auf <ref-law> völlig ausser Acht.
2.6 Es bleibt die Frage, ob der Kläger nicht als Rechtsnachfolger seiner Eltern sich auf den Umstand berufen könnte, dass die Schuld längstens getilgt sei, und ob er infolgedessen gestützt auf <ref-law> die Herausgabe des Schuldbriefes von der Beklagten verlangen könnte. Da diese immer noch die Berechtigte am Pfandtitel ist, steht immerhin der Schutz des gutgläubigen Dritten nicht zur Diskussion (<ref-law>; Eva Lareida, Der Schuldbrief aus wertpapierrechtlicher Sicht, Diss. Zürich 1986, S. 91 ff.; Henri Deschenaux, Das Grundbuch, in: Schweizerisches Privatrecht, Bd. V/3 II, 1989, S. 774 f.). Der Herausgabe steht aber entgegen, dass auch seine Eltern letztlich nur die Möglichkeit hatten, beim Abschluss des Kaufvertrages mit der Beklagten die Übertragung des Pfandtitels auszubedingen, und sie sich anschliessend ebenfalls nicht auf <ref-law> berufen konnten.
2.7 Damit bleibt dem Kläger bloss die Möglichkeit, bei Inanspruchnahme durch die Beklagte (oder einen bösgläubigen Dritterwerber) die dem Drittpfandeigentümer zustehenden persönlichen Einreden zu erheben, wozu auch die ganz oder teilweise Rückzahlung der Schuldbriefschuld gehört (<ref-law>; Beat Krähenmann, a.a.O., S. 473 u. 494; Daniel Staehelin, a.a.O., N. 6 zu <ref-law> u. N. 12 zu <ref-law>).
Nicht zu befinden hat das Bundesgericht im jetzigen Zeitpunkt über die Frage, inwieweit die von der Vorinstanz angeführten Abwehrbehelfe der Aberkennungs- bzw. der Feststellungsklage nach <ref-law> dem Kläger gegenüber der Beklagten oder gegenüber einem (gutgläubigen) Dritten allenfalls nützen könnten. Selbst wenn dem Kläger damit nicht geholfen sein sollte, würde sich dadurch an der aktuellen Rechtslage nichts ändern.
3. Nach dem Gesagten ist der Berufung kein Erfolg beschieden. Ausgangsgemäss trägt der Kläger die Verfahrenskosten und schuldet der Beklagten eine Parteientschädigung für das bundesgerichtliche Verfahren (Art. 156 Abs. 1 OG und Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1. Die Berufung wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtsgebühr von Fr. 2'000.-- wird dem Kläger auferlegt.
3. Der Kläger hat die Beklagte für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Appellationshof des Kantons Bern, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 4. Oktober 2004
Im Namen der II. Zivilabteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin: