A.- Der 1946 geborene B._ ist ausgebildeter Zeichenlehrer und arbeitete vom 20. August 1973 bis
31. Juli 1996 mit einem vollen Pensum von 24 Lektionen pro Woche im Seminar X._; ab August 1996 reduzierte er sein Pensum auf 15 Lektionen pro Woche bzw. auf rund 63 % eines Vollpensums. Seit 1995 betätigte er sich zudem als freischaffender Kunstmaler und Kursleiter; daneben führte er teilweise den Haushalt. Am 18. August 1997 zog er sich bei einem Motorradunfall eine intraartikuläre mehrfragmentäre Radiusfraktur rechts mit totaler dorsaler Dislokation zu. Wegen des schlechten Heilverlaufs musste er sich am 13. Juli 1998 einer Ulnaköpfchenresektion unterziehen.
B._ nahm die Erwerbstätigkeit als Zeichenlehrer am 21. Oktober 1998 im Umfang von 7 Lektionen pro Woche wieder auf, ab dem 16. August 1999 im Umfang von 8 Wochenlektionen.
Am 1. September 1998 meldete sich B._ bei der Invalidenversicherung zum Leistungsbezug an. Gestützt auf die durchgeführten medizinischen und erwerblichen Abklärungen ermittelte die IV-Stelle Luzern ab dem 1. August 1998 einen Invaliditätsgrad von 83 %, ab dem 1. November 1998 von 46 % sowie ab dem 1. September 1999 von 41 % und sprach mit Verfügung vom 21. September 2000 B._ vom 1. August bis 31. Oktober 1998 eine ganze Rente und ab
1. November 1998 eine Viertelsrente der Invalidenversicherung zu. Dabei ging die IV-Stelle davon aus, dass B._ ohne Gesundheitsschaden zu 63 % als Zeichenlehrer, zu 17 % als freischaffender Kunstmaler/ Kursleiter und zu 20 % als Hausmann tätig wäre. Als Zeichenlehrer sei er nach anfänglich vollständiger Einschränkung ab November 1998 zu 55 % und ab September 1999 zu 47 % eingeschränkt, während die Einschränkung als Hausmann ab November 1998 59 % betrage und im Bereich als Kunstmaler/ Kursleiter mangels Erwerbseinbusse nicht bestehe.
B.- Die dagegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 10. August 2001 insofern gut, als es die Sache - soweit die Zeit ab dem 1. November 1998 betreffend - zur weiteren Abklärung und zu neuer Verfügung an die IV-Stelle zurückwies.
C.- Die IV-Stelle führt Verwaltungsgerichtsbeschwerde mit dem Rechtsbegehren, den vorinstanzlichen Entscheid aufzuheben.
B._ schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.
Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Die Vorinstanz hat die Bestimmungen und Grundsätze über die Voraussetzungen und den Umfang des Rentenanspruchs (Art. 28 Abs. 1 und 1bis IVG), die Invaliditätsbemessung bei Erwerbstätigen nach der allgemeinen Methode des Einkommensvergleichs (Art. 28 Abs. 2 IVG; BGE 104 V 136 Erw. 2a und b), bei nicht zuverlässig ermittel- oder schätzbaren hypothetischen Erwerbseinkommen nach der ausserordentlichen Bemessungsmethode (BGE 104 V 137 Erw. 2c; AHI 1998 S. 120 f. Erw. 1a, S. 252 Erw. 2b) sowie bei Teilerwerbstätigen nach der gemischten Bemessungsmethode (Art. 27bis IVV; BGE 125 V 149 Erw. 2a und 155 ff. Erw. 5b bis d) zutreffend dargestellt. Das gilt ebenso für die analoge Anwendung der für die Rentenrevision geltenden Bestimmungen bei abgestufter Zusprechung einer befristeten Invalidenrente (Art. 41 IVG, Art. 88a IVV; BGE 125 V 418 Erw. 2d, AHI 1998 S. 121 Erw. 1b, je mit Hinweisen). Darauf wird verwiesen.
2.- a) Unbestritten ist der Anspruch des Beschwerdegegners auf eine ganze Rente während der Monate August bis Oktober 1998. Ebenfalls unbestritten ist, dass sich durch die Wiederaufnahme der Erwerbstätigkeit als Zeichenlehrer - zunächst im Umfang von 7 Lektionen pro Woche ab dem
21. Oktober 1998 und anschliessend im Umfang von 8 Lektionen pro Woche ab dem 16. August 1999 - der Invaliditätsgrad in einer für den Anspruch erheblichen Weise geändert hat und die Voraussetzungen für eine Rentenrevision auf den
1. November 1998 bzw. den 1. September 1999 grundsätzlich erfüllt sind (Art. 41 IVG).
b) Unbestritten und nach Aktenlage nicht zu beanstanden ist im Weiteren, dass der Versicherte bei der Invaliditätsbemessung als Teilerwerbstätiger (Art. 27bis IVV) zu qualifizieren ist und der Anteil der unselbstständigen Tätigkeit auf 63 %, jener als Selbstständigerwerbender auf 17 % und derjenige der Haushalttätigkeit auf 20 % festzusetzen ist. Nach den gesamten Umständen ist anzunehmen, dass der Versicherte ohne Eintritt der gesundheitlichen Beeinträchtigung auch in dem für die Beurteilung praxisgemäss (BGE 121 V 366 Erw. 1b) massgebenden Zeitpunkt des Verfügungserlasses (21. September 2000) in gleicher Weise tätig gewesen wäre.
Unbestritten und nicht zu beanstanden sind im Übrigen die Einschränkungen von 59 % im Haushaltsbereich sowie von 55 %, resp. ab 1. September 1999 von 47 %, im Erwerbsbereich.
3.- a) Streitig ist einzig die anwendbare Methode der Invaliditätsbemessung im Bereich der selbstständigen Nebenerwerbstätigkeit des Versicherten als Künstler und Kursleiter.
Die IV-Stelle ist der Auffassung, dass ein Einkommensvergleich nach Art. 28 Abs. 2 IVG vorgenommen werden müsse, was hier möglich sei und keine Erwerbseinbusse ergebe, weil der Versicherte in der Vergangenheit mit Verlust gearbeitet habe und auf Grund der hohen Unkosten auch künftig kein Erwerbseinkommen erzielt hätte. Der Beschwerdegegner macht demgegenüber - in Übereinstimmung mit der Vorinstanz - geltend, nach der Methode des Einkommensvergleichs liessen sich die für die Invaliditätsbemessung massgebenden hypothetischen Einkommen hier nicht zuverlässig ermitteln, weshalb die Invaliditätsbemessung nach der ausserordentlichen Methode zu erfolgen habe.
b) Da sich im Zeitpunkt des Invaliditätseintrittes der Nebenerwerb als Kunstmaler/Kursleiter noch in der Aufbauphase befand, kann der Auffassung der Verwaltung nicht gefolgt werden, dass ein Rentenanspruch schon deshalb entfalle, weil vor Eintritt der Invalidität nur Verluste ausgewiesen worden seien, sodass der Gesundheitsschaden zu keiner Erwerbseinbusse geführt habe (Urteil W. vom 6. September 2000, I 195/00).
c) Die Gegenüberstellung der vor und nach Eintritt eines invalidenversicherungsrechtlichen Versicherungsfalles in einem Gewerbebetrieb realisierten Geschäftsergebnisse nach Massgabe der Einkommensvergleichsmethode lässt zuverlässige Schlüsse auf die invaliditätsbedingte Erwerbseinbusse nur dort zu, wo mit überwiegender Wahrscheinlichkeit ausgeschlossen werden kann, dass die Betriebsergebnisse durch invaliditätsfremde Faktoren beeinflusst worden sind.
Tatsächlich sind aber für die jeweiligen Geschäftsergebnisse eines Betriebs häufig schwer überblickbare Komponenten wie etwa die Konjunkturlage, die Konkurrenzsituation, der kompensatorische Einsatz von Familienangehörigen, Unternehmensbeteiligten oder Mitarbeitern von massgeblicher Bedeutung. Eine verlässliche Ausscheidung der auf solche invaliditätsfremden Faktoren zurückzuführenden Einkommensanteile einerseits und der auf dem eigenen Leistungsvermögen der versicherten Person beruhenden Einkommensschöpfung anderseits ist in solchen Fällen in der Regel auf Grund der Buchhaltungsunterlagen nicht möglich (AHI 1998 S. 254 Erw. 4a), sodass die Invaliditätsbemessung nach der Methode des ausserordentlichen Bemessungsverfahrens zu erfolgen hat.
d) Es steht fest und ist unbestritten, dass der Versicherte sein Arbeitspensum als Zeichenlehrer ab August 1996 von einem Vollpensum mit 24 Lektionen auf 15 Lektionen, d.h. rund 63 % eines Vollpensums reduziert hat, um daneben eine selbstständige Erwerbstätigkeit als Künstler aufzunehmen.
Auf Grund der mit der Pensumsreduktion verbundenen Lohneinbusse und der in Zusammenhang mit der Aufnahme der selbstständigen Erwerbstätigkeit getätigten Investitionen, wozu insbesondere der - zusammen mit der Ehefrau getätigte - Erwerb eines Ateliers im Betrag von Fr. 240'000.- gehört, ist es überwiegend wahrscheinlich, dass er mit dieser Tätigkeit ein Erwerbseinkommen erzielen wollte und diese Tätigkeit nicht als blosse Freizeitbeschäftigung zu qualifizieren ist. Dem Versicherten kann deshalb nicht entgegen gehalten werden, er habe sich bereits als Gesunder mit einer reduzierten eigenen Erwerbstätigkeit und damit einem geringeren als dem erzielbaren Einkommen begnügt, weshalb beim Valideneinkommen darauf abzustellen sei (BGE 125 V 157 Erw. 5c/bb, ZAK 1992 S. 92 Erw. 4a, je mit Hinweisen).
e) Die wirtschaftliche Entwicklung der erst 1995 aufgenommenen selbstständigen Erwerbstätigkeit lässt sich auf Grund der Unterlagen nicht abschliessend beurteilen.
Der Versicherte hat keine kaufmännische Buchhaltung mit aussagekräftiger Erfolgsrechnung und Bilanz geführt. In den summarischen Aufstellungen über die Ausgaben und Einnahmen des "Ateliers Brunner" der Jahre 1995/96 und 1997/98 sind die Geschäftsvorgänge weder datiert noch in allen Fällen klar beschrieben. Für die Periode 1995/96 ergibt sich bei Einnahmen von Fr. 9'400.- und Ausgaben von 18'839. 30 ein Verlust von Fr. 9'439. 30. Bei den Ausgaben sind unter dem Titel "Umbau" diverse Posten im Gesamtbetrag von Fr. 8'069. 65 aufgeführt, die nicht jährlich anfallen; teilweise dürfte dies auch für die nicht näher spezifizierten Materialeinkäufe von total Fr. 4'575. 30 gelten, die in keinem nachvollziehbaren Verhältnis zu den Einnahmen von Fr. 7'400.- aus Bildverkäufen stehen. Allerdings erweist sich die Aufstellung über die Einnahmen aus Bildverkäufen nach Aktenlage als unvollständig, denn gemäss öffentlich beurkundetem Kaufvertrag vom 8. Februar 1996 hat der Versicherte beim Erwerb des Ateliers der Verkäuferin drei Bilder im Wert von Fr. 10'000.- verkauft, welcher Betrag mit dem Kaufpreis verrechnet wurde. Unter Berücksichtigung dieser Faktoren ist eher davon auszugehen, dass der Versicherte in der Periode 1995/1996 einen, wenn auch bescheidenen, Betriebsgewinn erzielt hat, obwohl die Unterlagen über den Geschäftsgang einen Verlust ausweisen. Wie es sich genau verhält, kann aber offen bleiben. Aus der Aufstellung über die Periode 1995/96 sind die einzelnen Jahresergebnisse nicht ersichtlich. Der Versicherte hat die selbstständige Tätigkeit 1995 aufgenommen, als er noch ein volles Pensum als Zeichenlehrer und weniger Zeit für diese Tätigkeit zur Verfügung hatte. Nachdem er zuvor zu Hause gearbeitet hatte, erwarb er auf März 1996 zusammen mit seiner Ehefrau das Atelier und reduzierte erst ab August 1996 sein Pensum als Zeichenlehrer. Die Aufwand- und Ertragsübersicht über die Periode 1995/1996 kann deshalb für die sich noch in der Aufbauphase befindende selbstständige Tätigkeit nicht als repräsentativ bezeichnet werden. Überdies ist es fragwürdig, bei den für die Invaliditätsbemessung herbeizuziehenden hypothetischen Einkommensgrössen nur das Betriebsergebnis eines einzigen Geschäftsjahres zu berücksichtigen, da als Invalidität die voraussichtlich bleibende oder längere Zeit dauernde Erwerbsunfähigkeit gilt (Art. 4 Abs. 1 IVG; AHI 1998 S. 122 Erw. 2c).
Auch die Unterlagen über die Periode 1997/1998 sind nicht aussagekräftig. Eine Aufteilung für die Zeit vor und nach dem Unfall vom 18. August 1997 wird nicht vorgenommen; bereits aus diesem Grund kann auf diese Aufstellung, die für beide Jahre zusammen einen Verlust von Fr. 30'602. 15 ausweist, nicht abgestellt werden. Was die von der IV-Stelle angeführten hohen Unkosten angeht, die einen positiven Betriebserfolg auch ohne Gesundheitsschaden künftig ausgeschlossen hätten, ist festzuhalten, dass in dieser Periode wiederum Aufwendungen aufgeführt sind, die nicht jährlich anfallen, wie etwa der Anhänger für Bildtransporte im Betrag von Fr. 3'553. 10 oder die Einrichtung einer Musikanlage im Betrag von Fr. 1'944.-; fraglich ist weiter, ob die nicht näher spezifizierten Hypothekarzinsen im Betrag von Fr. 21'250.- vollständig als Aufwand der selbstständigen Tätigkeit des Versicherten gelten können, nachdem dieser das Atelier zusammen mit seiner Ehefrau im Miteigentum je zur Hälfte erworben hat.
Auch dies kann indessen offen bleiben, denn es bestehen auf der Ertragsseite keine verlässlichen Unterlagen oder Schätzungen darüber, wie sich die Einnahmen, insbesondere diejenigen des Bildverkaufs, ohne Gesundheitsschaden entwickelt hätten. Immerhin entspricht es der allgemeinen Lebenserfahrung, dass bei Künstlern mit wachsendem Bekanntheitsgrad der wirtschaftliche Erfolg steigt, weshalb diesbezüglich nicht auf die ersten Betriebsjahre abgestellt werden kann. Insgesamt ist festzuhalten, dass die ersten Geschäftsjahre des Versicherten als selbstständiger Kunstmaler/Kursleiter durch ausserordentliche Umstände geprägt waren bzw. von invaliditätsfremden Faktoren beeinflusst wurden, und dass das Valideneinkommen in der Folge nicht schlüssig feststellbar ist.
f) In derartigen unklaren Situationen über die Einkommenserzielung im Gesundheitsfall von Selbstständigerwerbenden sieht die Rechtsprechung zu Art. 28 Abs. 2 IVG das ausserordentliche Bemessungsverfahren vor, d.h. den erwerblich gewichteten Betätigungsvergleich (BGE 104 V 137 Erw. 2c; AHI 1998 S. 122 Erw. 2c). Die Vorinstanz hat deshalb die Sache zu Recht an die IV-Stelle zurückgewiesen, damit diese anhand eines Betätigungsvergleichs die leidensbedingte Behinderung im Bereich der selbstständigen Tätigkeit feststelle und im Hinblick auf die erwerblichen Auswirkungen gewichte. Zum näheren Vorgehen beim erwerblich gewichteten Betätigungsvergleich und zur Schadenminderungspflicht des Versicherten kann auf die zutreffenden Erwägungen der Vorinstanz verwiesen werden. Unbegründet ist der Einwand der IV-Stelle, dass sich beim erwerblich gewichteten Betätigungsvergleich auf Grund der Schadenminderungspflicht bei einer optimalen Eingliederung möglicherweise gesamthaft ein niedrigerer Invaliditätsgrad und damit eine reformatio in peius ergeben könne; denn der erwerblich gewichtete Betätigungsvergleich kann im Bereich der selbstständigen Erwerbstätigkeit allenfalls eine Einschränkung von 0 % ergeben, was ohne Auswirkungen auf die in den anderen Bereichen (unselbstständige Tätigkeit, Haushalt) festgestellten (Teil-)Invaliditätsgrade bleibt und somit auch keinen Einfluss auf das Mindestmass von 41 % des Gesamtinvaliditätsgrades hat.
4.- Zu prüfen bleibt, inwieweit der Versicherte in der Zeit ab dem 1. November 1998 in der Arbeits- bzw. Erwerbsfähigkeit im Bereich der selbstständigen Tätigkeit als Kunstmaler/Kursleiter eingeschränkt gewesen ist. Diesbezüglich ist mit der Vorinstanz festzuhalten, dass die medizinischen Abklärungen ungenügend sind. Weder der Hausarzt Dr. med. V._, Innere Medizin FMH, noch das Medizinische Zentrum Y._ äussern sich in ihren Berichten konkret dazu, wie sich die festgestellten gesundheitlichen Beeinträchtigungen im Einzelnen auf die Arbeitsfähigkeit des Versicherten im Bereich der selbstständigen Tätigkeit als Kunstmaler/Kursleiter auswirken, sodass für die Beurteilung der Arbeits- und Erwerbsfähigkeit in diesem Bereich nicht darauf abgestellt werden kann. Die Vorinstanz hat somit die Sache zu Recht an die IV-Stelle zu ergänzender Abklärung und neuem Entscheid zurückgewiesen, wobei die vorzunehmenden medizinischen Abklärungen insbesondere unter Berücksichtigung der Anforderungen beim erwerblich zu gewichtenden Betätigungsvergleich vorgenommen werden müssen.
Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II. Es werden keine Gerichtskosten erhoben.
III. Die IV-Stelle Luzern hat dem Beschwerdegegner für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 800.- (einschliesslich
Mehrwertsteuer) zu bezahlen.
IV.Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, der Ausgleichskasse des Kantons Zug
und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 14. Juni 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Der Gerichtsschreiber: