Sachverhalt: A. Der damals fünfjährige L._ verbrachte den Nachmittag des 11. November 2000 bei einem jüngeren Spielgefährten in einem benachbarten Wohnhaus. Kurz vor 16.00 Uhr wies ihn seine Mutter telefonisch an, nach Hause zu kommen. L._ machte sich ohne Begleitung einer erwachsenen Person auf den knapp 200 Meter langen Heimweg von der S._-strasse 30 zur S._-strasse 3 in Einsiedeln. Sein Weg führte an einer talseitig über eine Länge von 50 Metern an die S._-strasse grenzenden Wiese vorbei, auf welcher die X._ gehörenden Pferde weideten. L._ begab sich auf die Wiese zu den wenige Meter von der Strasse entfernten Tieren, wo ihn ein ausschlagendes Pferd am Kopf traf und schwer verletzte. Durch ein Hirntrauma mit Trümmerfraktur erlitt er teilweise irreversible Schäden. Im Unfallzeitpunkt war die Weide eingegrenzt durch einen Elektrozaun, bestehend aus einem dünnen, elektrisch geladenen Plastikband, das im fraglichen Bereich durchschnittlich 124 cm über dem Boden befestigt war. Der 110 cm grosse L._ konnte von der Strasse her aufrecht unter dem Zaun hindurchgehen. B. Am 25. Februar 2002 klagten die Eltern von L._ als gesetzliche Vertreter in dessen Namen vor dem Bezirksgericht Einsiedeln gegen X._ als Tierhalter auf Zahlung von Fr. 148'492.-- nebst 5 % Zins seit dem 1. Juni 2001, wobei sie sich das Nachklagerecht vorbehielten. Der Beklagte bestritt seine Haftung und verkündete den Eltern des Klägers im Hinblick auf allfällige spätere Regressansprüche den Streit. Mit Vorurteil vom 17. März 2003 erklärte das Bezirksgericht den Beklagten nach Art. 56 OR für haftbar und grundsätzlich ersatzpflichtig für den durch den Unfall vom 11. November 2000 entstandenen Schaden. Auf Berufung des Beklagten bestätigte das Kantonsgericht Schwyz das erstinstanzliche Urteil am 1. Juni 2004 im Sinne der Erwägungen. C. Der Beklagte hat das Urteil des Kantonsgerichts vom 1. Juni 2004 sowohl mit staatsrechtlicher Beschwerde als auch mit eidgenössischer Berufung angefochten. Mit der vorliegenden Berufung stellt er den Antrag, das angefochtene Urteil sei aufzuheben und seine Haftung zu verneinen. Der Kläger schliesst auf kostenfällige Abweisung der Berufung. Auf die staatsrechtliche Beschwerde ist das Bundesgericht mit Urteil vom heutigen Tage nicht eingetreten.