Sachverhalt:
A. Die X._ AG (Klägerin), deren einziger Verwaltungsrat Z._ ist, befasst sich mit Handel, Vermittlung von Verträgen und Erbringung von Dienstleistungen in der Bekleidungsindustrie und in verwandten Industrien der Modebranche. Y._ (Beklagter) war alleinvertretungsberechtigter Geschäftsführer der am 30. April 1996 ins Handelsregister eingetragenen A._ GmbH mit Sitz in K._. Ausserdem war er - mit Unterbrüchen - allein oder neben seiner damaligen Ehefrau W._ einzelzeichnungsberechtigter Geschäftsführer der Handels- und Verwaltungsgesellschaft V._ GmbH. Diese bezweckt den Handel mit Waren aller Art im Rahmen des Betriebs von Textil- und Lederwarengeschäften und von Tankstellen, die Verwaltung von Tankstellenbetrieben und die Beteiligung an solchen. Die V._ GmbH unterhielt in den Jahren 1995 bis 1999 geschäftliche Beziehungen mit der Klägerin.
Im Frühjahr 1996 bat der Beklagte die Klägerin nach ihrer Darstellung, ein Guthaben von DM 421'500.--, das dem Beklagten gegenüber der A._ GmbH im Zusammenhang mit einem Unternehmenskauf zustehe, der A._ GmbH in Rechnung zu stellen, einzuziehen und nachher an ihn persönlich zu bezahlen. Der Beklagte versprach der Klägerin für dieses Inkasso ein Honorar von Fr. 21'500.--, zumal er mit diesem Vorgehen in Deutschland Steuern sparen könne. Die Klägerin stellte der TLR am 23. April 1996 in eigenem Namen Rechnung über DM 421'500.-- für "Gutachten, Umweltanalyse gemäss Beratungs- und Prüfungs-Auftrag". Am 6. Dezember 1996 erhielt die Klägerin nach ihrer Darstellung vom Beklagten einen Check der A._ GmbH über DM 421'500.--, den sie bei der Bank U._ einlöste. Am selben Tag hob sie von der Bank DM 400'000.-- ab und zahlte diesen Betrag nach ihrer Behauptung dem Beklagten gegen eine handschriftliche Quittung auf dem Auszahlungsbeleg der Bank aus. Die DM 421'500.-- wurden der Klägerin am 16. Dezember 1996 gutgeschrieben.
Die Eidgenössische Steuerverwaltung (EStV) führte im April 2000 bei der Klägerin eine Buchprüfung durch. Sie vertrat den Standpunkt, dass es sich bei der Zahlung von DM 400'000.-- um eine geschäftsmässig nicht begründete geldwerte Leistung an eine dem Aktionär der Klägerin nahestehende Drittperson gehandelt habe, die gemäss Art. 4 Abs. 1 lit. b des Verrechnungssteuergesetzes (VStG; SR 642.21) und Art. 20 Abs. 1 der Verrechnungssteuerverordnung (VStV; SR 642.211) Gegenstand der Verrechnungssteuer bilde. Die EStV forderte von der Klägerin deshalb am 9. Juni 2000 eine Verrechnungssteuer in Höhe von Fr. 118'370.-- mit dem ausdrücklichen Hinweis, dass der Steuerbetrag "nach <ref-law> auf die Begünstigten der Leistung (Ehepaar WY._) zu überwälzen" sei. Nach der am 10. Juli 2000 erfolgten Zahlung forderte die EStV ausserdem noch einen Verzugszins von Fr. 14'977.10, den die Klägerin am 15. August 2000 beglich. Die Klägerin verlangte in der Folge vom Beklagten vergeblich, dass er ihr die Beträge von insgesamt Fr. 133'347.10 vergüte.
B. Am 21. Juni 2001 gelangte die Klägerin an das Bezirksgericht Untertoggenburg mit dem Begehren, der Beklagte sei zur Bezahlung von Fr. 133'347.10 nebst Zins zu verpflichten. Sie verlangte gestützt auf <ref-law> den Ersatz ihrer Auslagen und Verwendungen, welche sie mit der Bezahlung der Verrechnungssteuer zugunsten des Beklagten habe erbringen müssen. Der Beklagte bestritt die Zuständigkeit des Gerichts mit der Begründung, es handle sich um ein öffentlichrechtliches Schuldverhältnis, weshalb das LugÜ nicht anwendbar und das Zivilgericht weder sachlich noch örtlich zuständig sei; ausserdem sei er nicht passivlegitimiert und sei der eingeklagte Auslagenersatz wegen Schlechterfüllung des Auftrages nicht in der geforderten Höhe geschuldet.
Das Bezirksgericht Untertoggenburg schützte die Klage mit Urteil vom 9. Juli 2002 und verpflichtete den Beklagten, der Klägerin Fr. 133'347.10 nebst 5% Zins seit 7. Dezember 2000 zu bezahlen. Das Gericht erwog, die Forderung beruhe zwar auf einer öffentlichrechtlichen Grundlage, im Verhältnis der Parteien bilde sie jedoch eine Nebenpflicht aus dem behaupteten Vertrag. Es liege eine zivilrechtliche Streitigkeit vor, weil nur dieser Aspekt Gegenstand des hängigen Prozesses sei und dieser nicht auch Fragen zur Überwälzung der Verrechnungssteuer auf den Leistungsempfänger betreffe. Das Gericht bejahte seine Zuständigkeit nach <ref-law> und erachtete das von der Klägerin behauptete Auftragsverhältnis zwischen den Parteien für bewiesen.
C. Das Kantonsgericht St. Gallen hiess am 10. März 2005 die vom Beklagten gegen das Urteil des Bezirksgerichts Untertoggenburg erhobene Berufung gut und trat auf die Klage nicht ein. Das Gericht erwog, die zwingende Überwälzungsvorschrift von <ref-law> begründe zwischen dem Verrechnungssteuerpflichtigen und dem Regressschuldner ein öffentlichrechtliches Schuldverhältnis. Anstände über den Regressanspruch seien nicht vom Zivilrichter, sondern ausschliesslich von der EStV bzw. den für verwaltungsrechtliche Streitsachen zuständigen Rechtsmittelinstanzen zu entscheiden. Im vorliegenden Prozess sei streitig, ob die Klägerin berechtigt sei, die ihr gegenüber verfügte und von ihr bezahlte Steuerforderung vom Beklagten zurückzufordern. Diese Rückforderung beruhe auf einem öffentlichrechtlichen Schuldverhältnis. Das Kantonsgericht schloss, dass einzig der öffentlichrechtliche Regressanspruch streitig sei, dessen Beurteilung nicht in die Kompetenz der Zivilgerichte falle.
D. Mit eidgenössischer Berufung stellt die Klägerin das Rechtsbegehren, der Entscheid des Kantonsgerichts St. Gallen vom 10. März 2005 sei aufzuheben und die Sache sei zur materiellen Beurteilung an die Vorinstanz zurückzuweisen. Sie rügt, die Vorinstanz habe die Streitsache zu Unrecht als öffentlichrechtliche qualifiziert und sei deshalb bundesrechtswidrig auf die Klage nicht eingetreten.
Der Beklagte schliesst auf Abweisung der Berufung.

Das Bundesgericht zieht in Erwägung:
1. 1.1 Die Berufung ist zulässig in Zivilsachen bzw. Zivilrechtsstreitigkeiten (Art. 44, 45 und 46 OG). Unter einer Zivilrechtsstreitigkeit versteht die Rechtsprechung ein kontradiktorisches Verfahren zwischen zwei oder mehreren natürlichen oder juristischen Personen in ihrer Eigenschaft als Trägerinnen privater Rechte oder zwischen solchen Personen und einer Behörde, die nach Bundesrecht die Stellung einer Partei einnimmt. Entscheidend ist dabei, dass die Parteien nach ihren Rechtsbegehren und Sachvorbringen Ansprüche des Bundeszivilrechts erhoben haben und ebensolche objektiv streitig sind. Als Zivilrechtsstreitigkeit gilt insbesondere auch die Frage, ob bundesprivatrechtliche Ansprüche streitig sind (<ref-ruling> E. 1a; <ref-ruling> E. 2, je mit Verweisen). Da die Vorinstanz - entgegen den Vorbringen der Klägerin - verneint hat, dass diese privatrechtliche Ansprüche einklagt, liegt eine Zivilrechtsstreitigkeit vor.
1.2 Die Berufung ist in der Regel erst gegen letztinstanzliche Endentscheide der kantonalen Gerichte zulässig (Art. 48 Abs. 1 OG). Nichteintretensentscheide werden als Endentscheide im Sinne dieser Bestimmung betrachtet, wenn sie den Streit über einen Anspruch unter zivilrechtlichen Gesichtspunkten endgültig beenden, auch wenn eine öffentlichrechtliche Subsumtion noch aussteht (<ref-ruling> E. 1b). Da die Vorinstanz auf die Klage mit der Begründung nicht eingetreten ist, die eingeklagte Forderung sei nicht privatrechtlicher Natur, liegt ein Endentscheid im Sinne von Art. 48 Abs. 1 OG vor.
1.3 Die übrigen Voraussetzungen für die Zulässigkeit der Berufung sind gegeben. Insbesondere ist der nach Art. 46 OG erforderliche Streitwert in der vorliegenden Zivilrechtsstreitigkeit erreicht. Nachdem die Vorinstanz die Klage materiell nicht beurteilt hat, fehlen im angefochtenen Urteil die tatsächlichen Feststellungen, welche dem Bundesgericht im Falle der Gutheissung des Rechtsmittels einen Entscheid in der Sache erlauben würden; der blosse Antrag auf Rückweisung ist daher zulässig (<ref-ruling> E. 1b mit Verweisen). Auf die Berufung ist einzutreten und es ist zu prüfen, ob die Vorinstanz die privatrechtliche Natur der eingeklagten Forderung zu Recht verneint hat.
2. Die Vorinstanz hat erwogen, Anstände über den Regressanspruch des Verrechnungssteuerpflichtigen gegenüber dem Steuerträger im Sinne von <ref-law> seien nicht vom Zivilrichter, sondern ausschliesslich von der EStV gemäss <ref-law> - unter Vorbehalt der Ergreifung von Rechtsmitteln (<ref-law>) - zu entscheiden. Da der Beklagte den Regressanspruch mit der Begründung bestreite, er sei nicht Empfänger der steuerbaren Leistung gewesen, stelle er den öffentlichrechtlichen Regressanspruch selbst in Frage, zu dessen Beurteilung die Zivilgerichte nicht zuständig seien.
2.1 Der steuerpflichtige Schuldner hat die steuerbare Leistung (<ref-law>) nach <ref-law> bei der Auszahlung, Überweisung, Gutschrift oder Verrechnung ohne Rücksicht auf die Person des Gläubigers um den Steuerbetrag zu kürzen. Vereinbarungen, die dieser Verpflichtung widersprechen, sind nichtig. Sowohl der Sicherungszweck als auch der Fiskalzweck der Verrechnungssteuer gebieten deren Überwälzung, weshalb der Steuerpflichtige - unter Strafdrohung (<ref-law>) - dazu öffentlichrechtlich verpflichtet ist (Reich, in Zweifel/Athanas/Bauer-Balmelli [Hrsg.], Kommentar zum schwei-zerischen Steuerrecht, Bd. II/2, Bundesgesetz über die Verrechnungssteuer, Basel 2005, N 9 zu Art. 14; Blumenstein/Locher, System des schweizerischen Steuerrechts, 6. Aufl., Zürich 2002, S. 335; Thomas Koller, Harmonien und Dissonanzen im Verhältnis zwischen Privatrecht und Steuerrecht, SJZ 2000, S. 308). Wenn die Überwälzung der Steuer wegen der Natur der steuerbaren Leistung (Sachleistungen, z.B. Gratisaktien) nicht durch Kürzung möglich ist oder wenn eine Überwälzung tatsächlich nicht erfolgt, so entsteht aus <ref-law> von Gesetzes wegen zugunsten des Steuerpflichtigen eine öffentlich Regressforderung gegenüber dem Empfänger der steuerbaren Leistung (Reich, a.a.O., N 31/22 zu Art. 14; Blumenstein/ Locher, a.a.O., S. 84; Pfund, Die eidgenössische Verrechnungssteuer, Basel 1971, N 2.2 zu Art. 14). Nach <ref-law> trifft die EStV alle Entscheide, welche die Erhebung der Verrechnungssteuer notwendig macht; sie entscheidet insbesondere dann, wenn die Steuerforderung, die Mithaftung oder die Überwälzungspflicht bestritten wird (lit. a). Sie kann einen Entscheid namentlich zur Durchsetzung der Regressforderung erlassen (<ref-ruling> E. 3b; Reich, a.a.O., N 36 zu Art. 14).
2.2 Die Abgrenzung der Zuständigkeit der EStV von derjenigen der Zivilgerichte fällt nicht immer leicht (Thomas Koller, Privatrecht und Steuerrecht, Bern 1993, S. 105 f.). Nach einer älteren Lehrmeinung ergibt sich aus der öffentlichrechtlichen Natur der Regressforderung die ausschliessliche Zuständigkeit der Steuerbehörden, über Höhe, Bestand, Gläubiger und Schuldner der Regressforderung zu entscheiden (Pfund, a.a.O., N 1.3/4.1 ff., insbes. N 4.6 in fine zu Art. 14). Für den Fall, dass sich der mutmassliche oder bereits in Anspruch genommene Regressschuldner der Überwälzung widersetzt, wird er auch in der neueren Lehre als legitimiert angesehen, die Regresspflicht und auch die Steuerpflicht als solche im verwaltungsrechtlichen Verfahren zu bestreiten (Reich, a.a.O., N 36 zu Art. 14). Dagegen kann nach einer ebenfalls neueren Lehrmeinung die Kompetenz der EStV nicht so weit gehen, im Streitfall praktisch wie ein Zivilgericht zu entscheiden, wem die steuerbare Leistung wirklich zugekommen sei (vgl. Hochreutener, Verfahrensfragen im Bereich der Stempelabgaben und der Verrechnungssteuer, ASA Bd. 57, 1989, S. 602). Das Bundesgericht hat in seiner älteren Praxis erkannt, die eidgenössische Steuerverwaltung sei zuständig zum Entscheid von Streitigkeiten über jede gesetzlich zwingend vorgeschriebene Überwälzung von Abgaben zwischen dem Schuldner und seinem Gläubiger (BGE 77 I 12 E. 2 S. 18; Urteil vom 5. März 1948 E. 4, in ASA Bd. 17, 1948/49, S. 459 f.; vgl. auch das obiter dictum in <ref-ruling> E. 5 S. 494; Frage offen gelassen in <ref-ruling> E. 19b S. 291 f.).
2.3 Der bundesgerichtlichen Praxis ist entgegen der in einer älteren Lehrmeinung geäusserten Ansicht nicht zu entnehmen, dass die Administrativbehörden ausschliesslich zur Beurteilung der Regressforderung eines zur Überwälzung einer Abgabe Verpflichteten zuständig sein sollten und dass der Zivilrichter insbesondere nicht befugt sein sollte, die Frage der zwingenden Überwälzung vorfrageweise zu entscheiden (so aber Pfund, a.a.O., N 4.6 in fine zu Art. 14). Die Zuständigkeit von Gerichten zur vorfrageweisen Beurteilung so genannter "fremdrechtlicher" Fragen - d.h. vorliegend nicht Fragen einer ausländischen Rechtsordnung, sondern eines andern die Zuständigkeit bestimmenden (inländischen) Rechtsgebiets - ist unbesehen der Art dieser Fragen im Grundsatz allgemein anerkannt (<ref-ruling> E. 3a, 392 E. 2c; <ref-ruling> E. 4a; <ref-ruling> S. 368 E. 4; <ref-ruling> E. 2, je mit Hinweisen; vgl. auch Urteil 1P.595/2000 vom 23.3.2001, in ZBl 103/2002 S. 311 E. 3b). Insbesondere sind die Zivilgerichte nach konstanter Praxis zuständig zur Beurteilung öffentlichrechtlicher Vorfragen, die (noch) nicht Gegenstand eines rechtskräftigen Entscheides der zuständigen Verwaltungs- und Verwaltungsgerichtsbehörden bilden (BGE <ref-ruling> E. 2; Vogel/Spühler, Grundriss des Zivilprozessrechts, 7. Aufl. Bern 2001, N 131/S. 385; Rhinow/Koller/Kiss, Öffentliches Prozessrecht und Justizverfassungsrecht des Bundes, Basel 1996, N 920/S. 177). Es ist nicht nachvollziehbar, weshalb es sich vorliegend anders verhalten sollte. Die Frage, wer regresspflichtiger Empfänger der steuerbaren Leistung ist, hängt sowohl davon ab, von wem der steuerbare Ertrag tatsächlich vereinnahmt worden ist, als auch von der Verfügungsberechtigung des Empfängers (Reich, a.a.O., N 22 zu Art. 14). Die Berechtigung des Empfängers beurteilt sich nach den zwischen den Beteiligten bestehenden zivilrechtlichen Beziehungen, über welche die EStV im Falle eines Entscheides ihrerseits nach <ref-law> vorfrageweise befindet (Pfund, a.a.O., N 4.5 zu Art. 14; vgl. zur entsprechenden Berechtigung auf Rückleistung nach <ref-law> auch <ref-ruling> E. 2c; Urteil 2A.361/1991 vom 18.5.1993 in ASA Bd. 62, 1994, S. 705 E. 4). Stellt sich dagegen im Rahmen einer Auseinandersetzung über Bestand und Auslegung eines privatrechtlichen Vertrages die Frage, wer eine - der zwingenden Überwälzung unterliegende - abgabebelastete Leistung empfangen hat, so hat - unter Vorbehalt der Bindung an rechtskräftige Entscheide der Steuerbehörden - das zuständige Zivilgericht vorfrageweise auch allfällige steuerrechtliche Fragen zur zwingenden Überwälzung und zum Regress zu beurteilen. Aus <ref-ruling> E. 3c ergibt sich nichts anderes.
2.4 Im vorliegenden Fall hat die Klägerin aufgrund eines Entscheides der EStV die Verrechnungssteuer (samt Zins) bezahlt, die ihr als Steuerpflichtige für eine Leistung auferlegt wurde, die sie dem Beklagten aufgrund eines privatrechtlichen Vertrags bezahlt haben will. Während die Verrechnungssteuer von der EStV der Klägerin gegenüber rechtskräftig verfügt worden ist, findet sich im angefochtenen Urteil keine Feststellung darüber, dass der Beklagte als angeblicher Empfänger der steuerbaren Leistung am Verfahren gemäss <ref-law> beteiligt worden wäre (zur Legitimation des Empfängers vgl. Reich, a.a.O., N 36 zu Art. 14). Ob der Beklagte (heute noch) die Möglichkeit hätte, einen Entscheid der Steuerverwaltung über die umstrittene Überwälzung auf ihn zu erwirken ist unerheblich, nachdem der Beklagte nichts dazu vorbringt. Es ist vielmehr davon auszugehen, dass die EStV - und erst recht die Rechtsmittelbehörden gemäss <ref-law> - zur Überwälzung der von der Klägerin bezahlten Steuer gegenüber dem Beklagten keinen (rechtskräftigen) Entscheid getroffen haben. Die Zivilgerichte sind unter diesen Umständen im Rahmen ihrer Zuständigkeit zur vorfrageweisen Beurteilung der zwingenden Überwälzung und der daraus sich ergebenden Regressforderung zuständig. Die Klägerin stützt ihren Anspruch auf eine mündliche Vereinbarung mit dem Beklagten, die sie als Auftrag qualifiziert und aus der sie die Forderung auf Ersatz ihrer Aufwendungen ableitet, zu denen sie die Verrechnungssteuer zählt. Zur Beurteilung von Forderungen aus der behaupteten privatrechtlichen Beziehung unter den Parteien sind die Zivilgerichte zuständig; es handelt sich um eine Zivilrechtsstreitigkeit. In deren Rahmen ist insbesondere die Frage zu beurteilen, ob die Klägerin einen vertraglichen Anspruch auf Ersatz der ihr auferlegten Steuer hat; dass bei der Beurteilung dieser Frage allenfalls (aufgrund entsprechender Einwände) die Vorfrage zu entscheiden ist, ob der Beklagte als Empfänger der steuerbaren Leistung im Sinne von <ref-law> zu qualifizieren ist, macht die Streitigkeit unter den beteiligten Privaten ebenso wenig zu einer öffentlichrechtlichen Angelegenheit wie die Anwendung von <ref-law>. Dass die Zivilgerichte zu prüfen haben, inwiefern sich zwingende Normen auf Gültigkeit und Bestand privatrechtlicher Abreden auswirken, ist im Übrigen keineswegs unüblich; Zivilrechtsstreitigkeiten werden jedenfalls auch dann nicht zu öffentlichrechtlichen Angelegenheiten, wenn Normen zu beachten sind, welche die Privatautonomie beschränken (vgl. Art. 19 f. OR). Dies wurde denn auch im Zusammenhang mit <ref-law> bereits erkannt (BGE <ref-ruling> E. 3, 4; vgl. auch <ref-ruling> E. 3b-e).
3. Die Vorinstanz hat die Anhandnahme der Klage zu Unrecht mit der Begründung verweigert, die vorliegende Streitigkeit sei nicht zivilrechtlich. Die Klägerin erhebt in ihren Rechtsbegehren und Vorbringen privatrechtliche Ansprüche aus einem Vertragsverhältnis und das streitige Vertragsverhältnis gehört dem Privatrecht an, woran die allenfalls zur Beurteilung stehenden öffentlichrechtlichen Vorfragen nichts ändern. Die Berufung ist gutzuheissen, der angefochtene Nichteintretensentscheid aufzuheben und die Sache an die Vorinstanz zurückzuweisen. Die Vorinstanz wird im Rahmen ihrer Zuständigkeit die einschlägigen öffentlichrechtlichen Normen wie <ref-law> anwenden und vorfrageweise auch die öffentlichrechtlichen Fragen beurteilen, welche aufgrund der gehörig erhobenen Vorbringen des Beklagten zu entscheiden sind. Die Gerichtsgebühr ist bei diesem Verfahrensausgang dem Beklagten zu auferlegen (Art. 156 Abs. 1 OG). Er hat der anwaltlich vertretenen Klägerin überdies die Parteikosten zu ersetzen (Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1. Die Berufung wird gutgeheissen, der Entscheid des Kantonsgerichts St. Gallen vom 10. März 2005 wird aufgehoben, und die Sache wird an die Vorinstanz zurückgewiesen.
2. Die Gerichtsgebühr von Fr. 5'000.-- wird dem Beklagten auferlegt.
3. Der Beklagte hat die Klägerin für das bundesgerichtliche Verfahren mit Fr. 6'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 6. Juli 2005
Im Namen der I. Zivilabteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: