Sachverhalt: A. A._ (der Beklagte) ist Architekt und ein in der Gegend anerkannter Liegenschaftenschätzer. Er verfasste im Jahre 1994 im Auftrag der Eigentümer einen Schätzungsbericht über die Liegenschaft D._ in C._. Darin finden sich keine Hinweise auf Mängel der Liegenschaft. In der Absicht, das Haus zu verkaufen, liessen die Eigentümer den Schätzungsbericht samt der Verkaufsdokumentation den Kaufsinteressenten E. und S. B._ (den Klägern) zukommen. Diese erwarben die Liegenschaft am 21. November 1996. B. Kurz nach dem am 1. März 1997 erfolgten Besitzantritt wurden die Kläger gewahr, dass sich beim Vordach Probleme stellen könnten, weshalb sie das Haus begutachten liessen. Die beigezogenen Holzbaufachleute stellten in ihrer Expertise vom 27. August 1997 Mängel betreffend Dachkonstruktion, Vordach, Statik und Feuchtigkeit im Keller fest. Am 29. August 1997 erhoben die Käufer deswegen Mängelrüge mit Kopie an den Beklagten, und sie verlangten vorsorgliche Beweissicherung beim zuständigen Gericht. Die im Rahmen dieses Verfahrens beauftragten Fachleute konstatierten im Wesentlichen dieselben Mängel wie die privaten Gutachter, unter anderen die nicht fachgerechte Ausführung der Holzbauarbeiten im Dachgeschoss und im Keller sowie der Isolation der Kellerdecke. Die Kosten für die Sanierung dieser und weiterer, hier nicht interessierender Mängel wurden auf insgesamt Fr. 63'900.-- veranschlagt. Die Kläger liessen den Beklagten wissen, dass sie ihn - neben den Verkäufern und dem Architekten, der das Haus umgebaut hatte - für die Schäden haftbar machen würden. Der Beklagte lehnte seine Haftung ab. C. Mit Klage vom 5. Mai 1999 beantragten die Kläger dem Bezirksgericht Werdenberg, den Beklagten zu verpflichten, ihnen Fr. 68'228.65 nebst gestaffeltem Zins zu bezahlen. Sie beriefen sich darauf, dass der Schätzbericht des Beklagten bei ihnen Vertrauen auf die Mängelfreiheit der Liegenschaft geschaffen habe, welches ihren Kaufentschluss mitbestimmt habe. In diesem Vertrauen seien sie jedoch enttäuscht worden. Das Bezirksgericht kam zum Ergebnis, der Schätzungsbericht des Beklagten sei mangelhaft, weil die bei dessen Abfassung erkennbaren Mängel betreffend Holzbauarbeiten im Dachgeschoss und im Keller sowie Isolation der Kellerdecke darin nicht erwähnt seien. Das Bezirksgericht bejahte insoweit eine Vertrauenshaftung des Beklagten und schützte die Klage im Umfang von Fr. 30'960.50 nebst Zins. Das hierauf mit der Sache befasste Kantonsgericht St. Gallen wies mit Entscheid vom 2. Juni 2003 sowohl die Berufung des Beklagten als auch die Anschlussberufung der Kläger ab. D. Der Beklagte beantragt dem Bundesgericht mit eidgenössischer Berufung die Aufhebung des Urteils des Kantonsgerichts und die Abweisung der Klage, eventuell die Rückweisung der Sache an die Vorinstanz zu angemessener Berücksichtigung des Mitverschuldens der Kläger und entsprechender Reduktion der Forderung. Die Kläger schliessen auf Abweisung der Berufung.