Auftrag, hat sich ergeben A.- M._ (Kläger) führte bis 1971 ein Ingenieurbüro in Chur. Seit 1972 bis zu seiner Pensionierung im Jahre 1992 war er als Professor der ETH in Zürich tätig. Während dieser Zeit übte er neben der Professur eine selbständige Tätigkeit als Gutachter aus. Er behielt seinen Wohnsitz in Chur bei, wo er sein ganzes Einkommen aus unselbständiger und selbständiger Erwerbstätigkeit versteuerte. Zu Beginn der 80-er Jahre betraute der Kläger A.P._ (Beklagter) mit der Besorgung seiner Steuerangelegenheiten. Dieser war Inhaber der Einzelfirma P._ Treuhand, die er im Jahre 1989 auf seinen Sohn R.P._ übertrug. Die P._ Treuhand gelangte mit Schreiben vom 27. Juli 1993 an die Steuerverwaltung der Stadt Chur und ersuchte um eine Zwischenveranlagung infolge der am 31. März 1992 erfolgten Pensionierung des Klägers. Die Steuerbehörden kamen im Rahmen der Veranlagung zum Schluss, dass das vom Kläger in Zürich erzielte Einkommen aus selbständiger Erwerbstätigkeit in Zürich zu besteuern und damit auszuscheiden sei. Am 14. Dezember 1993 erliess die Kreissteuerkommission eine entsprechende Veranlagungsverfügung. B.- Bereits im September 1993 war das Steueramt der Stadt Zürich mit Fragen zur Steuerdomizilabklärung an den Kläger gelangt. Am 2. März 1994 forderte es ihn auf, beigelegte Steuererklärungsformulare dem Steueramt zurückzusenden. Der Kläger retournierte diese unausgefüllt mit dem Hinweis, er sei seit 1992 pensioniert und auch früher immer in Chur wohnhaft und steuerpflichtig gewesen. Mit Verfügung vom 23. November 1995 eröffnete das kantonale Steueramt Zürich ein Nach- und Strafsteuerverfahren für die Staats- und Gemeindesteuern der Jahre 1989 bis 1993. Gleichzeitig forderte es den Kläger auf, vollständige Unterlagen zur Abklärung des Sachverhalts einzureichen. Hierauf machte der Kläger beim Steueramt Zürich telefonisch geltend, er habe nie eine Steuerrechnung von Zürich erhalten, obwohl er bekanntermassen seit 1972 eine selbständige Tätigkeit in Zürich ausgeübt habe. Sein Steuerberater habe ihm nie erklärt, dass er die Einkünfte aus selbständiger Erwerbstätigkeit in Zürich versteuern müsse. Er habe geglaubt, seine Steuerangelegenheiten korrekt besorgt zu haben. Mit Verfügung vom 8. September 1999 setzte das kantonale Steueramt Zürich die Nachsteuer für die Steuerperioden 1989/1990 bis 1991/1992 auf Fr. 51'656. 30 und die Strafsteuer auf Fr. 25'823. 15 fest. Zudem auferlegte es dem Kläger die Verfahrenskosten von Fr. 2'031. 40. C.- Der Kläger belangte den Beklagten mit Eingabe vom 20. April 2000 vor Bezirksgericht Plessur auf Zahlung von Fr. 41'437. 35, umfassend den Strafsteuerbetrag mit den Verfahrenskosten von zusammen Fr. 27'854. 55 und Anwaltskosten von Fr. 13'582. 80 nebst Zins. Mit Urteil vom 15. Dezember 2000 verpflichtete das Bezirksgericht den Beklagten zur Zahlung von Fr. 27'854. 55 nebst Zins. Im Übrigen wies es die Klage ab. Am 28. Mai 2001 wies das Kantonsgericht von Graubünden eine vom Beklagten gegen dieses Urteil erhobene Berufung ab, hiess eine Anschlussberufung des Klägers gut und verpflichtete den Beklagten zur Zahlung von Fr. 41'437. 35 zuzüglich Zins. D.- Gegen dieses Urteil führt der Beklagte Berufung mit dem Begehren, es sei aufzuheben und die Klage abzuweisen; eventuell sei die Streitsache zur Klageabweisung und Kostenneuregelung an das Kantonsgericht von Graubünden zurückzuweisen. Der Kläger und das Kantonsgericht beantragen die Abweisung der Berufung.