Auftrag, hat sich ergeben
A.- M._ (Kläger) führte bis 1971 ein Ingenieurbüro in Chur. Seit 1972 bis zu seiner Pensionierung im Jahre 1992 war er als Professor der ETH in Zürich tätig. Während dieser Zeit übte er neben der Professur eine selbständige Tätigkeit als Gutachter aus. Er behielt seinen Wohnsitz in Chur bei, wo er sein ganzes Einkommen aus unselbständiger und selbständiger Erwerbstätigkeit versteuerte.
Zu Beginn der 80-er Jahre betraute der Kläger A.P._ (Beklagter) mit der Besorgung seiner Steuerangelegenheiten.
Dieser war Inhaber der Einzelfirma P._ Treuhand, die er im Jahre 1989 auf seinen Sohn R.P._ übertrug.
Die P._ Treuhand gelangte mit Schreiben vom 27. Juli 1993 an die Steuerverwaltung der Stadt Chur und ersuchte um eine Zwischenveranlagung infolge der am 31. März 1992 erfolgten Pensionierung des Klägers. Die Steuerbehörden kamen im Rahmen der Veranlagung zum Schluss, dass das vom Kläger in Zürich erzielte Einkommen aus selbständiger Erwerbstätigkeit in Zürich zu besteuern und damit auszuscheiden sei. Am 14. Dezember 1993 erliess die Kreissteuerkommission eine entsprechende Veranlagungsverfügung.
B.- Bereits im September 1993 war das Steueramt der Stadt Zürich mit Fragen zur Steuerdomizilabklärung an den Kläger gelangt. Am 2. März 1994 forderte es ihn auf, beigelegte Steuererklärungsformulare dem Steueramt zurückzusenden.
Der Kläger retournierte diese unausgefüllt mit dem Hinweis, er sei seit 1992 pensioniert und auch früher immer in Chur wohnhaft und steuerpflichtig gewesen. Mit Verfügung vom 23. November 1995 eröffnete das kantonale Steueramt Zürich ein Nach- und Strafsteuerverfahren für die Staats- und Gemeindesteuern der Jahre 1989 bis 1993. Gleichzeitig forderte es den Kläger auf, vollständige Unterlagen zur Abklärung des Sachverhalts einzureichen. Hierauf machte der Kläger beim Steueramt Zürich telefonisch geltend, er habe nie eine Steuerrechnung von Zürich erhalten, obwohl er bekanntermassen seit 1972 eine selbständige Tätigkeit in Zürich ausgeübt habe. Sein Steuerberater habe ihm nie erklärt, dass er die Einkünfte aus selbständiger Erwerbstätigkeit in Zürich versteuern müsse. Er habe geglaubt, seine Steuerangelegenheiten korrekt besorgt zu haben.
Mit Verfügung vom 8. September 1999 setzte das kantonale Steueramt Zürich die Nachsteuer für die Steuerperioden 1989/1990 bis 1991/1992 auf Fr. 51'656. 30 und die Strafsteuer auf Fr. 25'823. 15 fest. Zudem auferlegte es dem Kläger die Verfahrenskosten von Fr. 2'031. 40.
C.- Der Kläger belangte den Beklagten mit Eingabe vom 20. April 2000 vor Bezirksgericht Plessur auf Zahlung von Fr. 41'437. 35, umfassend den Strafsteuerbetrag mit den Verfahrenskosten von zusammen Fr. 27'854. 55 und Anwaltskosten von Fr. 13'582. 80 nebst Zins. Mit Urteil vom 15. Dezember 2000 verpflichtete das Bezirksgericht den Beklagten zur Zahlung von Fr. 27'854. 55 nebst Zins. Im Übrigen wies es die Klage ab.
Am 28. Mai 2001 wies das Kantonsgericht von Graubünden eine vom Beklagten gegen dieses Urteil erhobene Berufung ab, hiess eine Anschlussberufung des Klägers gut und verpflichtete den Beklagten zur Zahlung von Fr. 41'437. 35 zuzüglich Zins.
D.- Gegen dieses Urteil führt der Beklagte Berufung mit dem Begehren, es sei aufzuheben und die Klage abzuweisen; eventuell sei die Streitsache zur Klageabweisung und Kostenneuregelung an das Kantonsgericht von Graubünden zurückzuweisen.
Der Kläger und das Kantonsgericht beantragen die Abweisung der Berufung.

Das Bundesgericht zieht in Erwägung:
1.- a) Der Beklagte macht geltend, die Vorinstanz habe seine Passivlegitimation zu Unrecht bejaht. Nach 1989 habe zwischen ihm und dem Kläger kein Auftragsverhältnis bestanden.
Die Vorinstanz sei fälschlicherweise und ohne Begründung davon ausgegangen, es sei in den 80-er Jahren zwischen dem Beklagten und dem Kläger ein Dauerauftragsverhältnis begründet worden, das über das Jahr 1989 hinaus fortgedauert habe und trotz der Geschäftsübergabe der P._ Treuhand an seinen Sohn nicht an diesen übergegangen sei. Damit habe die Vorinstanz Art. 394 OR unrichtig angewandt. Sie habe verkannt, dass von den Parteien für jede Steuerperiode ein neuer Vertrag abgeschlossen und somit kein Dauerauftragsverhältnis begründet worden sei. Dem Kläger sei der ihm obliegende Beweis misslungen, dass auch nach dem Geschäftsübergang der Beklagte und nicht R.P._ mit der Ausarbeitung der Steuererklärungen beauftragt worden war.
b) Diese Rügen erweisen sich als unbegründet. Die Vorinstanz stellte als "unbestritten und von beiden Parteien zugestanden" fest, dass der Kläger dem Beklagten zu Beginn der 80-er Jahre die Betreuung seiner Steuerangelegenheiten übertrug. Sie schloss daraus auf die Begründung eines Dauerauftragsverhältnisses im Sinne von Art. 394 ff. OR. Damit hat sie kein Bundesrecht verletzt. Das Dauerelement kann einem Auftragsverhältnis durchaus eigen sein (Weber, Basler Kommentar N 26 f. zu Art. 394 OR; Hofstetter, Der Auftrag und die Geschäftsführung ohne Auftrag, Schweizerisches Privatrecht, Band VII/6, Basel 2000, S. 17). Es gehörte nach den Feststellungen der Vorinstanz gerade zum Gegenstand des Auftrages, den Kläger für mehrere aufeinanderfolgende Steuerperioden zu vertreten und seine Steuerinteressen umfassend zu wahren. Der Beklagte hatte eine durch ein wiederholtes Leistungsverhalten gekennzeichnete (Fellmann, Berner Kommentar, N 195 zu Art. 394 OR mit Hinweisen) auf unbestimmte Zeit konzipierte Tätigkeit auszuüben (vgl. Fellmann, a.a.O., N 131 zu Art. 394 OR).
Die Vorinstanz hat auch kein Bundesrecht verletzt, indem sie einen Übergang des Auftrags an den Sohn des Beklagten verneinte. Nach Art. 398 Abs. 3 OR hat der Beauftragte das Geschäft persönlich zu besorgen, ausgenommen, wenn er zur Übertragung an einen Dritten ermächtigt oder durch die Umstände genötigt ist, oder wenn eine Vertretung übungsgemäss als zulässig betrachtet wird. Wie die Vorinstanz zutreffend festgehalten hat, fällt im Auftragsrecht das Vertrauen in die persönlichen Eigenschaften des Auftragnehmers besonders ins Gewicht. Wegen dieses Vertrauenscharakters der meisten Auftragsverhältnisse kommt es bei deren Ausführung in der Regel auf die Persönlichkeit des Beauftragten an. Der Beauftragte muss den Auftrag grundsätzlich persönlich erfüllen (Fellmann, a.a.O., N 527 zu Art. 398 OR; Hofstetter, a.a.O., S. 94). Der Kläger beauftragte den Beklagten als Inhaber einer Treuhandfirma wegen seiner Fachkompetenz in Steuerfragen, über die er im Gegensatz zum Kläger verfügte. Unter diesen Umständen fällt das für das Zustandekommen eines Auftragsverhältnisses typische Vertrauen in die Person der Beauftragten besonders ins Gewicht.
Dem entspricht es, dass die Vorinstanz keine Feststellung getroffen hat, welche eine Übertragung des Auftragsverhältnisses übungsgemäss, d.h. einer Verkehrssitte folgend, als zulässig erscheinen lässt (vgl. Fellmann, a.a.O., N 582 zu Art. 398 OR; <ref-ruling> E. 4c). Ebenso wenig enthält das angefochtene Urteil eine Feststellung, dass der Beklagte durch die Umstände genötigt gewesen wäre, den Auftrag an seinen Sohn weiterzugeben. Eine Übertragung des Auftrags an den Sohn könnte daher nur unter der Voraussetzung rechtswirksam sein, dass der Kläger den Beklagten ausdrücklich oder konkludent dazu ermächtigt hätte (Art. 398 Abs. 3 OR). Nach den für das Bundesgericht verbindlichen Feststellungen der Vorinstanz ist jedoch der Beklagte den Beweis einer Einwilligung des Klägers zu einer Übertragung des Auftrags schuldig geblieben. Vielmehr hat die Vorinstanz aus dem tatsächlichen Verhalten der Parteien auf ein fortdauerndes Auftragsverhältnis geschlossen, was der Überprüfung durch das Bundesgericht im vorliegenden Verfahren entzogen ist (Art. 63 Abs. 2 OG). Die Vorinstanz hat die Passivlegitimation des Beklagten ohne Verletzung von Bundesrecht bejaht.
2.- a) Der Beklagte macht geltend, der von der Vorinstanz erhobene Vorwurf der Sorgfaltspflichtverletzung decke sich nicht mit dem vom Kläger erhobenen Vorhalt, die Steuerausscheidung überhaupt veranlasst zu haben. Dies trifft offensichtlich nicht zu. Aus dem vorinstanzlichen Urteil ist nicht ersichtlich, dass der Kläger dem Beklagten vorgeworfen hätte, die Steuerausscheidung bewirkt zu haben. Vielmehr hat die Vorinstanz den vom Kläger erhobenen Vorwurf für begründet gehalten, dass der Beklagte selbst nach der seitens der Bündner Steuerbehörden am 14. Dezember 1993 vorgenommenen Ausscheidung des selbständigen Erwerbseinkommens nach Zürich die steuerrechtliche Situation nicht abgeklärt und richtig erfasst habe, und dass er weder gehandelt noch den Kläger zum richtigen Handeln veranlasst habe, um eine korrekte Besteuerung in Zürich zu erwirken und ein Nach- und Strafsteuerverfahren in Zürich zu vermeiden.
b) Der Beklagte wirft dem Kantonsgericht vor, es habe Art. 398 Abs. 2 OR verletzt, indem es ihm eine Verletzung der Sorgfaltspflicht bei der Erfüllung des Auftrags vorgeworfen habe.
aa) Der Beauftragte hat nach 398 Abs. 1 OR das ihm übertragene Geschäft sorgfältig auszuführen und die berechtigten Interessen des Auftraggebers in guten Treuen zu wahren.
Er haftet dem Auftraggeber für die getreue und sorgfältige Ausführung des ihm übertragenen Geschäfts (Art. 398 Abs. 2 OR). Der Steuerberater, der mit der Besorgung der Steuerangelegenheiten seines Auftraggebers betraut wird, ist zur umfassenden Wahrung der Interessen seines Auftraggebers verpflichtet. Er hat mit grösster Sorgfalt alles vorzukehren, was nach der Lage der Verhältnisse und bei verständiger Würdigung der gegebenen Situation als geboten erscheint.
Massgebend ist der Zweck des Auftrags, die steuerliche Belastung des Auftraggebers so gering als möglich zu halten.
Dabei hat der berufsmässige Steuerberater den Rahmen von Gesetz und Praxis zu beachten. Der Klient darf voraussetzen, dass er die massgebenden Gesetze, die publizierte höchstrichterliche Rechtsprechung und die Standardliteratur kennt (Fellmann, a.a.O., N 409 f. und N 421 ff. zu Art. 398 OR).
Soweit erforderlich, hat er sich durch zweckgerichtete Abklärungen, sei es durch Studium von Literatur und Rechtsprechung oder durch die Einholung von Auskünften bei Fachpersonen oder Behörden über die in der Praxis massgeblichen Regeln in Kenntnis zu setzen (zur Publikation bestimmter BGE vom 1. Oktober 2001 [4C. 299/2000], E. 2c). Der Steuerberater muss dem Steuerpflichtigen entsprechende Ratschläge erteilen, wenn er zur Auffassung gelangt, eine andere Gestaltung der massgebenden rechtlichen Verhältnisse würde wesentliche Steuerersparnisse mit sich bringen (Fellmann, a.a.O., N 424 zu Art. 398 OR).
bb) Wie die Vorinstanz verbindlich feststellte (Art. 63 Abs. 2 OG), wusste der Beklagte, dass der Kläger seine gutachterliche Tätigkeit unter Benützung der Infrastruktur der ETH in Zürich ausübte. Nach den weiteren tatsächlichen Feststellungen der Vorinstanz war dem Beklagten die Möglichkeit bekannt oder hätte ihm jedenfalls bekannt werden müssen, dass der Kläger am Ort seiner selbständigen Erwerbstätigkeit nach dem Grundsatz der Betriebsstättenbesteuerung ein sekundäres Steuerdomizil begründet hatte und das dabei erzielte Einkommen in Zürich zu versteuern hatte (vgl. <ref-ruling> E. 3a). Trotzdem hat er darüber keine Abklärung bei den zürcherischen Steuerbehörden durchgeführt und bis zur Eröffnung eines Nach- und Strafsteuerverfahrens nicht für die Einreichung einer Zürcher Steuererklärung gesorgt.
Die Vorinstanz hat in diesen Unterlassungen zu Recht eine Sorgfaltspflichtverletzung gesehen. Auch wenn das gesamte Einkommen des Klägers während Jahren ausschliesslich in Chur besteuert wurde, hätte sich der Beklagte nicht darauf verlassen dürfen, dass die Steuerbehörden in Zürich auf eine Besteuerung verzichtet hatten und weiterhin darauf verzichten würden. Der Beklagte hätte sich über die auf die Betriebsstättenbesteuerung anwendbaren zürcherischen Gesetzesbestimmungen und die im Kanton Zürich hierzu bestehende Praxis pflichtgemäss Kenntnis verschaffen müssen. Er hätte die sich stellenden Rechtsfragen - nötigenfalls unter Beizug eines Fachmannes und durch Rückfragen bei den Steuerbehörden - abklären und den Kläger nach dem Ergebnis der Abklärungen beraten müssen. Ein solches Vorgehen hätte sich zur Vermeidung eines Nach- und Strafsteuerverfahrens spätestens aufgedrängt, als die Bündner Steuerbehörden das Einkommen aus selbständiger Erwerbstätigkeit nach Zürich ausgeschieden hatten. Es spielt vorliegend für die Frage der Sorgfaltspflichtverletzung keine Rolle, ob es sich beim "System der Betriebsstättenbesteuerung" um klares, eindeutiges Recht handelt. Insbesondere lässt sich aus dem vom Beklagten dazu angerufenen <ref-ruling> E. 3 nicht ableiten, nur ein Verstoss gegen solches Recht dürfe als Sorgfaltspflichtverletzung qualifiziert werden. Der Beklagte hat seine Pflicht zur sorgfältigen Besorgung des Auftrags dadurch verletzt, dass er als Fachmann die Frage der Besteuerung an der Betriebsstätte trotz hohem Abklärungsbedarf keiner Abklärung für würdig befand. Nicht zu hören sind die in diesem Zusammenhang vorgebrachten Einwendungen des Beklagten, die Steuerbehörden des Kantons Zürich hätten schon immer Kenntnis von der Nebenerwerbstätigkeit der ETH-Professoren gehabt, und der Kläger habe seine Nebenerwerbstätigkeit zum grössten Teil in Chur ausgeübt sowie um ein gewisses Restrisiko einer Änderung der für ihn günstigeren ausschliesslichen Besteuerung in Chur gewusst. Diese Vorbringen finden in den tatsächlichen Feststellungen der Vorinstanz keine Stütze (Art. 55 Abs. 1 lit. c und d sowie Art. 63 Abs. 2 OG; <ref-ruling> E. 2a mit Hinweisen).
3.- a) Die Vorinstanz hat den natürlichen und den adäquaten Kausalzusammenhang zwischen den dem Beklagten vorgeworfenen Unterlassungen und dem beim Kläger durch die Strafsteuerverfügung eingetretenen Schaden bejaht. Es erwog, der Beklagte hätte es nach 1989, insbesondere aber nach Bekanntwerden der Steuerausscheidung durch den Kanton Graubünden im Jahre 1993 bei pflichtgemässem Verhalten ohne weiteres in der Hand gehabt, ein ordentliches Steuerverfahren zu bewirken und ein Nach- und Strafsteuerverfahren mit Strafsteuerfolgen zu vermeiden.
b) Der Beklagte macht geltend, die Vorinstanz habe Art. 398 Abs. 2 in Verbindung mit Art. 97 Abs. 1 OR verletzt, indem sie verkannt habe, dass der Kläger durch die dem Beklagten vorgeworfenen Unterlassungen keinen Schaden erlitten habe; die gleichen Strafsteuerfolgen wären auch eingetreten, wenn er, was nach Auffassung der Vorinstanz pflichtgemäss gewesen wäre, im Jahre 1989 das Einkommen des Klägers aus selbständiger Erwerbstätigkeit für den relevanten Zeitraum 1989 bis 1992 deklariert hätte. In diesem Fall wäre ein Nach- und Strafsteuerverfahren bereits für die Zeit vom 1. Januar 1984 bis 31. Dezember 1988 eingeleitet worden.
c) Die Behauptung, dem Kläger wäre der gleiche Schaden entstanden, wenn er bereits im Jahre 1989 in Zürich eine Deklaration eingereicht hätte, bringt der Beklagte, wie er selber bemerkt, erstmals im vorliegenden Verfahren vor.
Dem angefochtenen Urteil sind dementsprechend keine tatsächlichen Feststellungen darüber zu entnehmen, ob - und wenn ja welche - Strafsteuern der Beklagte bei einer Selbstdeklaration im Jahre 1989 hätte bezahlen müssen. Der erhobene Einwand stützt sich damit auf neue tatbeständliche Elemente, die im angefochtenen Urteil keinen Halt finden. Es kann daher nicht darauf eingetreten werden (Art. 55 Abs. 1 lit. c und Art. 63 Abs. 2 OG). Der Einwand ist davon abgesehen auch nicht stichhaltig. So wäre der Beklagte damals für Versäumnisse betreffend die Zeit vor 1989 im Falle eines Strafsteuerverfahrens genau gleich haftbar gewesen, wie er nunmehr für die unsorgfältige Beratung in der Zeit zwischen 1989 und 1993 haftbar ist.
4.- a) Die Vorinstanz hat den Beklagten zur Übernahme der vom Kläger geltend gemachten Kosten für seine Rechtsvertretung im Nach- und Strafsteuerverfahren von Fr. 13'582. 80 verpflichtet. Aus den gesamten Umständen ergebe sich die Notwendigkeit einer Rechtsvertretung des Klägers im ganzen Nach- und Strafsteuerverfahren. Der geltend gemachte Aufwand erscheine als angebracht und ausgewiesen. Das Nach- und Strafsteuerverfahren sei durch die Unsorgfalt des Beklagten veranlasst worden. Auch die Kosten der Rechtsvertretung seien damit auf das Verhalten des Beklagten zurückzuführen.
b) Der Beklagte macht geltend, die Vorinstanz habe den Kausalzusammenhang zwischen der ihm vorgeworfenen Sorgfaltspflichtverletzung und den vom Kläger für das Nach- und Strafsteuerverfahren geltend gemachten Anwaltskosten zu Unrecht als nachgewiesen betrachtet. Damit bestreitet er den von der Vorinstanz bejahten natürlichen Kausalzusammenhang zwischen seinem Verhalten und dem Anfall der Kosten für die Rechtsvertretung. Dabei handelt es sich um eine im Berufungsverfahren nicht überprüfbare Tatfrage (<ref-ruling> E. 2; <ref-ruling> E. 2c/ee; <ref-ruling> E. 5b).
c) Die Vorinstanz hat festgestellt, dass sowohl die Kosten im Strafsteuerverfahren als auch diejenigen im Nachsteuerverfahren eine Folge der dem Beklagten vorgeworfenen Sorgfaltspflichtverletzungen seien. Auch der Einwand des Beklagten, die Kosten für die Rechtsvertretung im Nachsteuerverfahren hätten nicht auf ihn überwälzt werden dürfen, weil die Nachsteuern nicht Gegenstand des vorliegenden Schadenersatzprozesses bildeten, sind damit unbehelflich.
5.- Die Berufung ist abzuweisen, soweit darauf einzutreten ist, und das angefochtene Urteil des Kantonsgerichts von Graubünden vom 28. Mai 2001 ist zu bestätigen. Diesem Verfahrensausgang entsprechend ist die Gerichtsgebühr dem Beklagten aufzuerlegen (Art. 156 Abs. 1 OG). Er hat dem Kläger überdies eine Parteientschädigung auszurichten (Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die Berufung wird abgewiesen, soweit darauf eingetreten werden kann, und das Urteil des Kantonsgerichts von Graubünden (Zivilkammer) vom 28. Mai 2001 wird bestätigt.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beklagten auferlegt.
3.- Der Beklagte hat den Kläger für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien und dem Kantonsgericht von Graubünden (Zivilkammer) schriftlich mitgeteilt.
_
Lausanne, 7. Februar 2002
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: