Sachverhalt: A. Die X._ AG (Klägerin), deren einziger Verwaltungsrat Z._ ist, befasst sich mit Handel, Vermittlung von Verträgen und Erbringung von Dienstleistungen in der Bekleidungsindustrie und in verwandten Industrien der Modebranche. Y._ (Beklagter) war alleinvertretungsberechtigter Geschäftsführer der am 30. April 1996 ins Handelsregister eingetragenen A._ GmbH mit Sitz in K._. Ausserdem war er - mit Unterbrüchen - allein oder neben seiner damaligen Ehefrau W._ einzelzeichnungsberechtigter Geschäftsführer der Handels- und Verwaltungsgesellschaft V._ GmbH. Diese bezweckt den Handel mit Waren aller Art im Rahmen des Betriebs von Textil- und Lederwarengeschäften und von Tankstellen, die Verwaltung von Tankstellenbetrieben und die Beteiligung an solchen. Die V._ GmbH unterhielt in den Jahren 1995 bis 1999 geschäftliche Beziehungen mit der Klägerin. Im Frühjahr 1996 bat der Beklagte die Klägerin nach ihrer Darstellung, ein Guthaben von DM 421'500.--, das dem Beklagten gegenüber der A._ GmbH im Zusammenhang mit einem Unternehmenskauf zustehe, der A._ GmbH in Rechnung zu stellen, einzuziehen und nachher an ihn persönlich zu bezahlen. Der Beklagte versprach der Klägerin für dieses Inkasso ein Honorar von Fr. 21'500.--, zumal er mit diesem Vorgehen in Deutschland Steuern sparen könne. Die Klägerin stellte der TLR am 23. April 1996 in eigenem Namen Rechnung über DM 421'500.-- für "Gutachten, Umweltanalyse gemäss Beratungs- und Prüfungs-Auftrag". Am 6. Dezember 1996 erhielt die Klägerin nach ihrer Darstellung vom Beklagten einen Check der A._ GmbH über DM 421'500.--, den sie bei der Bank U._ einlöste. Am selben Tag hob sie von der Bank DM 400'000.-- ab und zahlte diesen Betrag nach ihrer Behauptung dem Beklagten gegen eine handschriftliche Quittung auf dem Auszahlungsbeleg der Bank aus. Die DM 421'500.-- wurden der Klägerin am 16. Dezember 1996 gutgeschrieben. Die Eidgenössische Steuerverwaltung (EStV) führte im April 2000 bei der Klägerin eine Buchprüfung durch. Sie vertrat den Standpunkt, dass es sich bei der Zahlung von DM 400'000.-- um eine geschäftsmässig nicht begründete geldwerte Leistung an eine dem Aktionär der Klägerin nahestehende Drittperson gehandelt habe, die gemäss Art. 4 Abs. 1 lit. b des Verrechnungssteuergesetzes (VStG; SR 642.21) und Art. 20 Abs. 1 der Verrechnungssteuerverordnung (VStV; SR 642.211) Gegenstand der Verrechnungssteuer bilde. Die EStV forderte von der Klägerin deshalb am 9. Juni 2000 eine Verrechnungssteuer in Höhe von Fr. 118'370.-- mit dem ausdrücklichen Hinweis, dass der Steuerbetrag "nach Art. 14 VStG auf die Begünstigten der Leistung (Ehepaar WY._) zu überwälzen" sei. Nach der am 10. Juli 2000 erfolgten Zahlung forderte die EStV ausserdem noch einen Verzugszins von Fr. 14'977.10, den die Klägerin am 15. August 2000 beglich. Die Klägerin verlangte in der Folge vom Beklagten vergeblich, dass er ihr die Beträge von insgesamt Fr. 133'347.10 vergüte. B. Am 21. Juni 2001 gelangte die Klägerin an das Bezirksgericht Untertoggenburg mit dem Begehren, der Beklagte sei zur Bezahlung von Fr. 133'347.10 nebst Zins zu verpflichten. Sie verlangte gestützt auf Art. 402 Abs. 1 OR den Ersatz ihrer Auslagen und Verwendungen, welche sie mit der Bezahlung der Verrechnungssteuer zugunsten des Beklagten habe erbringen müssen. Der Beklagte bestritt die Zuständigkeit des Gerichts mit der Begründung, es handle sich um ein öffentlichrechtliches Schuldverhältnis, weshalb das LugÜ nicht anwendbar und das Zivilgericht weder sachlich noch örtlich zuständig sei; ausserdem sei er nicht passivlegitimiert und sei der eingeklagte Auslagenersatz wegen Schlechterfüllung des Auftrages nicht in der geforderten Höhe geschuldet. Das Bezirksgericht Untertoggenburg schützte die Klage mit Urteil vom 9. Juli 2002 und verpflichtete den Beklagten, der Klägerin Fr. 133'347.10 nebst 5% Zins seit 7. Dezember 2000 zu bezahlen. Das Gericht erwog, die Forderung beruhe zwar auf einer öffentlichrechtlichen Grundlage, im Verhältnis der Parteien bilde sie jedoch eine Nebenpflicht aus dem behaupteten Vertrag. Es liege eine zivilrechtliche Streitigkeit vor, weil nur dieser Aspekt Gegenstand des hängigen Prozesses sei und dieser nicht auch Fragen zur Überwälzung der Verrechnungssteuer auf den Leistungsempfänger betreffe. Das Gericht bejahte seine Zuständigkeit nach Art. 5 Ziff. 1 LugÜ und erachtete das von der Klägerin behauptete Auftragsverhältnis zwischen den Parteien für bewiesen. C. Das Kantonsgericht St. Gallen hiess am 10. März 2005 die vom Beklagten gegen das Urteil des Bezirksgerichts Untertoggenburg erhobene Berufung gut und trat auf die Klage nicht ein. Das Gericht erwog, die zwingende Überwälzungsvorschrift von Art. 14 Abs. 1 VStG begründe zwischen dem Verrechnungssteuerpflichtigen und dem Regressschuldner ein öffentlichrechtliches Schuldverhältnis. Anstände über den Regressanspruch seien nicht vom Zivilrichter, sondern ausschliesslich von der EStV bzw. den für verwaltungsrechtliche Streitsachen zuständigen Rechtsmittelinstanzen zu entscheiden. Im vorliegenden Prozess sei streitig, ob die Klägerin berechtigt sei, die ihr gegenüber verfügte und von ihr bezahlte Steuerforderung vom Beklagten zurückzufordern. Diese Rückforderung beruhe auf einem öffentlichrechtlichen Schuldverhältnis. Das Kantonsgericht schloss, dass einzig der öffentlichrechtliche Regressanspruch streitig sei, dessen Beurteilung nicht in die Kompetenz der Zivilgerichte falle. D. Mit eidgenössischer Berufung stellt die Klägerin das Rechtsbegehren, der Entscheid des Kantonsgerichts St. Gallen vom 10. März 2005 sei aufzuheben und die Sache sei zur materiellen Beurteilung an die Vorinstanz zurückzuweisen. Sie rügt, die Vorinstanz habe die Streitsache zu Unrecht als öffentlichrechtliche qualifiziert und sei deshalb bundesrechtswidrig auf die Klage nicht eingetreten. Der Beklagte schliesst auf Abweisung der Berufung.