Das Bundesgericht zieht in Erwägung:
1. A._ (Kläger und Berufungskläger) war zusammen mit B._ (Beklagter und Berufungsbeklagter) sowie weiteren acht Personen Gesellschafter der Kollektivgesellschaft C._.
1.1 Die D._ AG hatte der C._ Ende 1986 ein Darlehen von Fr. 1'485'105.60 gewährt. Mit rechtskräftigem Urteil vom 25. Mai 1994 sprach das Handelsgericht des Kantons Bern der D._ AG gegen die Kollektivgesellschaft C._ einen Betrag von Fr. 216'942.15 nebst Zins zu; dieser Betrag betrifft Zinsen auf der Darlehensforderung für die Zeit vom 30. Juni 1993 bis 25. April 1995. Am 25. April 1995 wurde über die C._ der Konkurs eröffnet.
1.2 Die Forderung der D._ AG war mehrmals zediert worden. Die Zessionarin eines Teils der Darlehensforderung, E._ AG, machte von der Möglichkeit Gebrauch, die Gesellschafter persönlich zu belangen und erwirkte schliesslich ein rechtskräftiges Urteil des Handelsgerichts des Kantons Bern vom 30. Oktober 2001, mit dem der Kläger aufgrund seiner Solidarhaftung als Gesellschafter der C._ zur Bezahlung eines Betrages von Fr. 56'931.05 sowie eines Gerichtskostenanteils von Fr. 11'000.-- (total Fr. 67'931.05) verurteilt wurde. Diesen Betrag setzte der Kläger gegen den Beklagten am 20. Oktober 2004 in Betreibung, wogegen der Beklagte Rechtsvorschlag erhob.
1.3 Am 4. Januar 2004 gelangte der Kläger an das Gerichtspräsidium Bern-Laupen mit dem Begehren, der Beklagte sei zu verurteilen, ihm den Betrag von Fr. 13'586.20 nebst Zins zu 6,25% seit 30. Oktober 2001 zu bezahlen; ausserdem sei der Rechtsvorschlag in Betreibung Nr. 0000 des Betreibungsamts Bern-Mittelland Dienststelle Bern in diesem Umfang aufzuheben und es sei ihm definitive Rechtsöffnung zu erteilen. Der Gerichtspräsident des Gerichtskreises VIII Bern-Laupen verurteilte den Beklagten am 25. August 2005, dem Kläger einen Betrag von Fr. 13'586.20 nebst Zins zu 6,25% seit 30. Oktober 2001 zu bezahlen. Der Rechtsvorschlag in Betreibung Nr. 0000 des Betreibungsamts Bern-Mittelland wurde in diesem Umfang beseitigt. Der Gerichtspräsident kam zum Schluss, von den ursprünglich 10 Gesellschaftern seien die Anteile von fünf Gesellschaftern im Sinne von <ref-law> nicht erhältlich, weshalb der Beklagte einen Fünftel zu übernehmen habe.
1.4 Auf Appellation des Beklagten und Anschlussappellation des Klägers verurteilte das Obergericht des Kantons Bern den Beklagten am 20. Januar 2006, dem Kläger einen Betrag von Fr. 3'265.30 nebst 5% auf dem Betrag von Fr. 1'833.35 seit dem 30. Oktober 2001 zu bezahlen. In diesem Umfang wurde der Rechtsvorschlag in Betreibung Nr. 0000 des Betreibungsamts Bern-Mittelland beseitigt. Zur Begründung erwog das Obergericht unter anderem, nach den Feststellungen des Handelsgerichts im rechtskräftigen Urteil vom 30. Oktober 2001 seien mit dem Verkauf des Hotels X._ am 25. März 1993 die Bedingungen für die Auflösung der Kollektivgesellschaft C._ und damit die Voraussetzungen für die persönliche Haftung der Gesellschafter eingetreten. Damit sei die Darlehensschuld der Kollektivgesellschaft an diesem Datum zur persönlichen Schuld (auch) des Beklagten geworden; als über den Beklagten am 8. Oktober 1993 persönlich der Konkurs eröffnet worden sei, habe der Zinsenlauf ihm gegenüber geendet. Das Obergericht schloss, der Beklagte hafte demnach für die Darlehenszinsen vom 30. Juni 1993 bis zum 8. Oktober 1993, mithin für 99 Tage, was einen Betrag von Fr. 8'591.70 ergebe. Für diesen Betrag liess das Obergericht den Regress auf den Beklagten zu; da es zusätzlich den Nachweis der fehlenden Belangbarkeit eines der solidarisch haftenden Kollektivgesellschafter als nicht erbracht ansah, setzte es den Anteil des Beklagten auf einen Sechstel - somit auf Fr. 3'265.30 - fest.
1.5 Mit eidgenössischer Berufung stellt der Kläger die Rechtsbegehren, das Urteil des Appellationshofs des Kantons Bern sei aufzuheben und die Sache zum neuen Entscheid an die Vorinstanz zurückzuweisen; eventualiter sei der Beklagte zu verurteilen, ihm Fr. 13'586.20 nebst Zins zu 6,25% seit 30. Oktober 2001 zu bezahlen und der Rechtsvorschlag in diesem Umfang zu beseitigen. Der Kläger rügt die Verletzung von <ref-law> und von Beweisvorschriften.
Der Beklagte beantragt, die Berufung sei vollumfänglich abzuweisen, soweit darauf einzutreten ist.
2. Mit Berufung kann gerügt werden, der angefochtene Entscheid beruhe auf Verletzung des Bundesrechts mit Einschluss der durch den Bund abgeschlossenen völkerrechtlichen Verträge. Wegen Verletzung verfassungsmässiger Rechte der Bürger ist die staatsrechtliche Beschwerde vorbehalten (Art. 43 Abs. 1 OG). Erörterungen über die Verletzung kantonalen Rechts sind in der Berufungsschrift unzulässig (Art. 55 Abs. 1 lit. c in fine OG). Unter dem Titel "Verletzung von Beweisvorschriften" rügt der Kläger, die Vorinstanz habe den Abschluss des Konkurses gegen einen solidarisch haftenden Mitgesellschafter (F._) zu Unrecht als echtes Novum betrachtet, das von Amtes wegen berücksichtigt werden müsse; ausserdem fehle die Begründung für die Schlussfolgerung, dass dieser Mitgesellschafter zahlungsfähig sei. Der Kläger beanstandet damit die Anwendung kantonaler Prozessnormen und rügt sinngemäss eine Verweigerung des rechtlichen Gehörs. Diese Rügen sind im vorliegenden Verfahren unzulässig. Es ist darauf nicht einzutreten.
3. Sofern sich aus dem Rechtsverhältnis unter den Solidarschuldnern nicht etwas anderes ergibt, hat von der an den Gläubiger geleisteten Zahlung gemäss <ref-law> ein jeder einen gleichen Teil zu übernehmen. Was von einem Mitschuldner nicht erhältlich ist, haben die übrigen gleichmässig zu tragen (<ref-law>).
3.1 Die Vorinstanz hat festgestellt, dass die Kollektivgesellschaft C._ am 25. März 1993 aufgelöst wurde und daher die Gesellschafter gemäss <ref-law> in diesem Zeitpunkt persönlich belangt werden konnten bzw. Solidarschuldner mit der Gesellschaft wurden (vgl. <ref-ruling> E. 2a S. 378 f.). Sie hat geschlossen, dass der Beklagte - ebenso wie der Kläger - ab diesem Zeitpunkt für das Darlehen der Kollektivgesellschaft solidarisch haftete. Die Vorinstanz hat jedoch erwogen, dass mit der Konkurseröffnung über den Beklagten am 8. Oktober 1993 der Zinsenlauf auf diesem Darlehen ihm gegenüber gemäss <ref-law> aufhörte. Die Vorinstanz hat daher erkannt, dass der Beklagte grundsätzlich nur für die bis 8. Oktober 1993 aufgelaufenen Darlehenszinsen im Betrag von Fr. 8'591.70 solidarisch haftete und deshalb auch nur dafür anteilsmässig belangt werden kann.
3.2 Der Kläger anerkennt zutreffend, dass der Zinsenlauf gemäss Art. 208 f. SchKG gegenüber einem konkursiten Solidarschuldner aufhört mit der Folge, dass den Mitverpflichteten für später aufgelaufene Zinsen auch kein Regressrecht zusteht. Dagegen ist seine Behauptung nicht nachvollziehbar, die Kollektivgesellschaft sei allein Schuldnerin der Darlehensforderung gewesen. Wie die Vorinstanz zutreffend darlegt, wurden die Kollektivgesellschafter mit der Auflösung der Gesellschaft Solidarschuldner für die Darlehensforderung und die darauf laufenden Zinsen. Der Beklagte wurde jedoch für die hier umstrittenen Darlehenszinsen nicht mehr solidarisch haftbar, soweit diese Zinsen nach Eröffnung seines persönlichen Konkurses entstanden sind. Soweit er indessen nicht solidarisch haftete, kann er auch nicht im Wege des Rückgriffs belangt werden (vgl. <ref-ruling> E. 5.2 S. 370).
3.3 An diesem Ergebnis ändert entgegen den Vorbringen des Klägers nichts, dass die Rückgriffsforderung erst mit der Leistung an den Gläubiger entsteht. Der Rückgriff setzt die (Mit-)Verpflichtung zur Leistung der Solidarschuld voraus. An dieser Voraussetzung fehlt es nach den verbindlichen Feststellungen der Vorinstanz über den persönlichen Konkurs des Beklagten für den Teil der hier umstrittenen Darlehenszinsen, der nach dem 8. Oktober 1993 entstanden ist. Auch der Umstand, dass der Beklagte aus der - aufgelösten, aber noch nicht liquidierten - Kollektivgesellschaft trotz seines persönlichen Konkurses nicht ausschied, bedeutet nicht, dass während seines persönlichen Konkurses weitere Zinsschulden auf dem Darlehen hätten entstehen können, für das sämtliche Gesellschafter neben der Gesellschaft solidarisch hafteten. Da der Beklagte für die hier in Frage stehenden Darlehenszinsen nur soweit solidarisch haftbar wurde, als sie vor dem 8. Oktober 1993 entstanden, hat die Vorinstanz zutreffend nur die vom Kläger für diesen Teil der Forderung geleistete Zahlung berücksichtigt, um gemäss <ref-law> den Anteil zu berechnen, den der Beklagte intern zu tragen hat.
4. Die Berufung ist unbegründet, soweit überhaupt zulässige Rügen erhoben werden. Die Gerichtsgebühr ist diesem Verfahrensausgang entsprechend dem Kläger zu auferlegen (Art. 156 Abs. 1 OG). Er hat dem anwaltlich vertretenen Beklagten die Parteikosten für das vorliegende Verfahren zu ersetzen (Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht im Verfahren nach Art. 36a OG:
1. Die Berufung wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtsgebühr von Fr. 2'000.-- wird dem Kläger auferlegt.
3. Der Kläger hat den Beklagten für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Bern, Appellationshof, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 24. Mai 2006
Im Namen der I. Zivilabteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: