Mietvertrag; Kündigungsschutz; Ausweisung, hat sich ergeben:
A.- P._ (Beklagter) ist seit dem Jahre 1952 Mieter der 5-Zimmer-Parterrewohnung in der Liegenschaft Y._ 41. Diese Liegenschaft gehörte früher S._ und dann den Eheleuten A. und M.X._. Diese errichteten mit Urkunde vom 6. August 1973 die Stiftung "Kunstsammlung A. und M.X._" (Klägerin), deren Zweck es ist, den künstlerischen Nachlass der Stifter zu erhalten und diesen der Öffentlichkeit in Form einer ständigen Ausstellung im Haus Y._ 41 bei freiem Eintritt zugänglich zu machen. Als M.X._ am ............. 1997 starb, ging die Liegenschaft an die Klägerin über und damit auch das Mietverhältnis mit dem Beklagten.
Mit Schreiben vom 28. Oktober 1997 stellte die Klägerin dem Beklagten eine gründliche Überholung der Liegenschaft "mit Beginn der Arbeiten per April 1998" und mit einer Gesamtdauer von etwa 6 Monaten in Aussicht. Der Beklagte ersuchte darauf bei der Schlichtungsbehörde um Herabsetzung des Mietzinses für die Dauer der Umbauarbeiten ab
1. April 1998. Zudem stellte er beim Audienzrichter bezugnehmend auf die angekündigten baulichen Veränderungen das Begehren, es sei der Klägerin zu verbieten, die bestehende Wohnküche in eine "Klein- bzw. Teeküche" umzuwandeln. Im Verfahren vor dem Audienzrichter schlossen die Parteien am 24. November 1998 einen Vergleich, in dem sich die Klägerin u.a. verpflichtete, dem Beklagten für sämtliche Inkonvenienzen aus der Renovation der Liegenschaft ohne Anerkennung einer Rechtspflicht Fr. 7'000.-- zu zahlen.
Am 30. November 1999 kündigte die Klägerin dem Beklagten das Mietverhältnis wegen Eigenbedarfs für die Kunstgalerie gemäss Stiftungsurkunde auf den 30. Juni 2000.
B.- Der Beklagte focht die Kündigung bei der Schlichtungsbehörde als missbräuchlich an. Diese stellte mit Beschluss vom 16. Mai 2000 die Ungültigkeit der Kündigung fest. Daraufhin stellte die Klägerin beim Mietgericht Zürich das Begehren, es sei die Kündigung vom 30. November 1999 als gültig zu erklären und der Beklagte innert angemessener Frist aus seiner Wohnung auszuweisen. Das Mietgericht erklärte die Kündigung mit Urteil vom 6. Juni 2001 in Abweisung der Klage als missbräuchlich.
Am 25. September 2001 wies das Obergericht des Kantons Zürich, II. Zivilkammer, eine dagegen erhobene Berufung der Klägerin ab und bestätigte das Urteil des Mietgerichts.
Es erwog, der am 24. November 1998 abgeschlossene Vergleich habe die dreijährige Sperrfrist gemäss Art. 271a Abs. 1 lit. e OR ausgelöst. Da die Kündigung vom 30. November 1999 während dieser Frist erfolgt sei und sich die Klägerin nicht auf dringenden Eigenbedarf im Sinne von Art. 271a Abs. 3 OR berufen könne, sei sie als missbräuchlich anfechtbar. Ferner sei die Kündigung auch nach Art. 271 OR anfechtbar, da sich die Kündigung des Mietverhältnisses nach Abschluss der Umbauarbeiten unter den gegebenen Umständen als missbräuchlich erweise.
C.- Die Klägerin erhob Berufung, mit dem Begehren, der Beschluss des Obergerichts vom 25. September 2001 sei aufzuheben und die Klage gutzuheissen. Der Beklagte beantragt die Abweisung der Berufung. Das Obergericht hat auf Gegenbemerkungen zur Berufung verzichtet.
Das Bundesgericht zieht in Erwägung:
1.- Die Vorinstanz entschied, die am 30. November 1999 erfolgte Kündigung der Klägerin sei missbräuchlich im Sinne von Art. 271 Abs. 1 OR. Die Klägerin habe eine umfangreiche, für den Beklagten mit grossen Unannehmlichkeiten verbundene Überholung der Liegenschaft vorgenommen, ohne ihn rechtzeitig vorher darüber zu informieren, dass sie das Mietverhältnis mit ihm aufzulösen beabsichtigte. Sie habe ihm damit die Möglichkeit nicht gegeben, rechtzeitig einen Willen bilden zu können, ob er trotz bereits geplanter Kündigung während des Umbaus im Mietobjekt verbleiben wolle.
2.- a) Nach Auffassung der Vorinstanz ist dem Schreiben vom 28. Oktober 1997, mit dem die Klägerin dem Beklagten die Renovation ankündigte, die Absicht nicht zu entnehmen, dass das Mietverhältnis aufgelöst werden sollte. Vielmehr habe der Beklagte aus dem darin enthaltenen Hinweis auf Mietzinsaufschläge nach Beendigung der Bauarbeiten schliessen müssen, dass das Mietverhältnis fortgesetzt werde. Auf früher geäusserte Pläne (der Vermieterseite) könne es nicht ankommen.
An die damit getroffene tatsächliche Feststellung der Vorinstanz, wonach der Beklagte zu diesem Zeitpunkt nichts von der Kündigungsabsicht gewusst habe, ist das Bundesgericht im Berufungsverfahren gebunden (Art. 63 Abs. 2 OG; BGE 111 II 72 E. 3a).
b) Die Vorinstanz stellte weiter fest, dass der Beklagte erst mit Schreiben vom 3. März 1998 von der Kündigungsabsicht der Klägerin erfuhr. Diese habe den Beweis einer früheren Information nicht erbracht. Die Klägerin macht geltend, der Beklagte habe bereits vor ihrem Schreiben vom 3. März 1998 von den Plänen gewusst, dass in der Liegenschaft nach dem Ableben von M.X._ eine Galerie eingerichtet werden sollte. Sie habe dies im vorinstanzlichen Verfahren vorgebracht und dafür Beweise offeriert. Die Vorinstanz habe diese Ausführungen zu Unrecht als unerheblich qualifiziert.
Die Vorinstanz hat verbindlich festgehalten, dass der Beklagte aus dem Schreiben vom 28. Oktober 1997 schliessen musste, das Mietverhältnis werde weitergeführt. Damit könnten von vornherein nur Sachvorbringen und Beweise erheblich sein, nach denen die Klägerin ihre Kündigungsabsicht dem Beklagten zwischen dem 28. Oktober 1997 und dem 3. März 1998 mitgeteilt hätte. Weder aus dem angefochtenen Entscheid noch aus den von der Klägerin angerufenen Aktenstellen lässt sich indessen entnehmen, dass sie im kantonalen Verfahren entsprechende Vorbringen oder Beweisofferten gemacht hätte.
c) Die Klägerin macht geltend, sie habe im vorinstanzlichen Verfahren prozesskonform eingebracht, dass sie dem Beklagten mit Schreiben vom 3. März 1998 mitgeteilt habe, sie werde bezüglich des Mietobjekts Eigenbedarf geltend machen müssen. Die Vorinstanz habe dies zu Unrecht für unerheblich gehalten, weshalb der Sachverhalt diesbezüglich gestützt auf Art. 64 OG zu ergänzen sei.
Der von der Vorinstanz festgestellte Sachverhalt bedarf keiner Ergänzung: Es ist unbestritten, dass der Beklagte mit dem Empfang des Schreibens vom 3. März 1998 Kenntnis von der Kündigungsabsicht erhielt. Die Klägerin übersieht zudem, dass die Vorinstanz dem Schreiben sehr wohl rechtliche Bedeutung zumass. Sie erwog, die Klägerin habe den Beklagten damit nicht rechtzeitig vor Inangriffnahme der Umbauarbeiten von der beabsichtigen Zweckänderung der Liegenschaft und Kündigung in Kenntnis gesetzt, dass ihm genügend Zeit blieb, sich zu entscheiden, ob er trotz den Arbeiten im Mietobjekt bleiben wolle.
d) Es steht damit für das Bundesgericht verbindlich fest, dass der Beklagte nach Erhalt des Schreibens vom 28. Oktober 1997 nichts von der beabsichtigten Kündigung des Mietverhältnisses wusste und erst durch das Schreiben vom 3. März 1998 darüber informiert wurde. Soweit die Klägerin bei ihren Rügen von einem abweichenden Sachverhalt ausgeht, ist darauf nicht einzutreten (Art. 63 Abs. 2 OG).
3.- a) Die Klägerin bestreitet, dass sie sich im Zusammenhang mit der Kündigung missbräuchlich verhalten habe.
Alle Mieter der Liegenschaft Y._ 41 seien bereits mit Schreiben vom 28. Oktober 1997 über Dauer, Umfang und Art der Bauarbeiten informiert worden. Neu sei den Mietern im Schreiben vom 3. März 1998 einzig der Eigenbedarf der Klägerin noch schriftlich angemeldet worden. Die Zeitspanne von einem Monat bis zur Aufnahme der Bauarbeiten am 1. April 1998 sei für den Beklagten ausreichend lang gewesen, um zu entscheiden, ob er den Umbau in Kauf nehmen oder aber das Mietverhältnis kündigen wolle.
b) Mit diesen Vorbringen verkennt die Klägerin die Vorschrift von Art. 260 OR. Der Vermieter kann danach Erneuerungen und Änderungen an der Mietsache nur vornehmen, wenn sie für den Mieter zumutbar sind und wenn das Mietverhältnis nicht gekündigt ist (Art. 260 Abs. 1 OR). Das Gesetz geht davon aus, dass Erneuerungs- und Änderungsarbeiten, wenn sie während eines laufenden Mietverhältnisses durchgeführt werden, für den Mieter zu erheblichen Unannehmlichkeiten führen können. Es konkretisiert den Grundsatz von Treu und Glauben in dem Sinne, dass der Vermieter möglichst schonend vorgehen muss (Botschaft des Bundesrates zur Revision des Miet- und Pachtrechts vom 27. März 1985, BBl 1985 I S. 1439). Er muss daher bei der Ausführung der Arbeiten auf die Interessen des Mieters Rücksicht nehmen und dem Mieter steht gegebenenfalls ein Anspruch auf Herabsetzung des Mietzinses und auf Schadenersatz zu (Art. 260 Abs. 2 OR). Eine besondere Rücksichtnahme ist gegenüber dem Mieter im gekündigten Mietverhältnis geboten. Dieser braucht Erneuerungen und Änderungen während des auslaufenden Mietverhältnisses überhaupt nicht hinzunehmen. Von der Mieterschaft kann nicht erwartet werden, dass sie Umbauarbeiten erduldet, aus denen sie keinen Nutzen mehr ziehen kann (Botschaft, a.a.O., BBl 1985 I S. 1439; Higi, Zürcher-Kommentar, N. 46 zu Art. 260 OR; SVIT-Kommentar Mietrecht, 2. A., N. 34 zu Art. 260-260a OR; Lachat/Stoll/Brunner, Mietrecht für die Praxis, 4. A., S. 182 Ziff. 3.3). Aufgrund der Zweckbestimmung von Art. 260 Abs. 1 OR ist der Vermieter einerseits gehalten, geplante Änderungen oder Erneuerungen frühzeitig anzukündigen, damit der Mieter allenfalls die Möglichkeit hat, das Mietverhältnis aufzulösen, wenn er damit nicht einverstanden ist (SVIT-Kommentar, a.a.O., N. 34 und 42 zu Art. 260-260a OR).
Andererseits kann der Vermieter, der das laufende Mietverhältnis in naher Zukunft kündigen will, einen Umbau nicht realisieren bevor er dem Mieter die Kündigung erklärt und das Ende der Kündigungsfrist abgewartet hat. Dem Mieter die mit den Bauarbeiten verbundenen Inkonvenienzen zuzumuten und ihm nach Abschluss derselben die Kündigung auszusprechen, steht zwar im Einklang mit dem Wortlaut des Art. 260 Abs. 1 OR, widerspricht aber dem Sinn und Zweck der Bestimmung und stellt daher eine Umgehung der darin getroffenen Regelung dar. Daran ändert es auch nichts, wenn der Vermieter dem Mieter die Kündigungsabsicht schon vor dem Beginn der Bauarbeiten mitteilt, sofern er ihm damit nicht ausreichend Zeit belässt, um über eine zeitlich beschränkte Fortsetzung eines mit erheblichen Inkonvenienzen belasteten Mietverhältnisses zu entscheiden und ablehnendenfalls dasselbe zu kündigen und vor Beginn der Bauarbeiten zu beenden.
Diese Zeit räumte die Klägerin dem Beklagten in Anbetracht des per 1. April 1998 vorgesehenen Beginns der Bauarbeiten nicht ein, indem sie ihm ihre Kündigungsabsicht am 3. März 1998 mitteilte. Sie kündigte dem Beklagten das Mietverhältnis sodann nach Durchführung der Bauarbeiten, die sich nach den Feststellungen der Vorinstanz über rund ein Jahr statt, wie im Schreiben vom 28. Oktober 1997 angekündigt, über sechs Monate erstreckt und für den Beklagten erhebliche Unannehmlichkeiten bewirkten hatten. Damit hat sie das in Art. 260 Abs. 1 OR verankerte Verbot, Erneuerungen und Änderungen an der Mietsache während des gekündigten Mietverhältnisses durchzuführen, umgangen und das Gebot von Treu und Glauben verletzt.
c) Die Klägerin macht geltend, die im Vergleich vom 24. November 1998 vereinbarte Entschädigungssumme von Fr. 7'000.-- sei vor dem Hintergrund der "vorprogrammierten Kündigung" vereinbart worden. Dem Vergleich ist indessen in keiner Weise zu entnehmen, dass mit der Vergleichssumme von Fr. 7'000.-- nicht nur die sich über einen längeren Zeitraum erstreckenden Inkonvenienzen im Gebrauch der Mietsache abgegolten wurden, sondern auch das Recht auf eine missbräuchliche Kündigung erkauft wurde. Die Vorinstanz hielt zutreffend fest, die Klägerin könne nicht ernsthaft annehmen, dass die vom Beklagten erduldeten Unannehmlichkeiten mit der Vergleichssumme auch für den Fall einer nicht lange nach Abschluss der Sanierungsarbeiten ausgesprochenen Kündigung abgegolten seien.
4.- Die Vorinstanz hat die Kündigung der Klägerin vom 30. November 1999 zu Recht in Anwendung von Art. 271 OR als missbräuchlich erklärt. Die Berufung ist damit abzuweisen, soweit darauf einzutreten ist, und der angefochtene Beschluss der Vorinstanz vom 25. September 2001 zu bestätigen, ohne dass auf die gegen die zweite Entscheidbegründung der Vorinstanz vorgebrachten Rügen einzugehen ist. Dem Verfahrensausgang entsprechend wird die Klägerin kosten- und entschädigungspflichtig (Art. 156 Abs. 1 und Art. 159 Abs. 2 OG).
Demnach erkennt das Bundesgericht:
1.- Die Berufung wird abgewiesen, soweit darauf eingetreten werden kann, und der Beschluss des Obergerichts des Kantons Zürich (II. Zivilkammer) vom 25. September 2001 wird bestätigt.
2.- Die Gerichtsgebühr von Fr. 3'000.-- wird der Klägerin auferlegt.
3.- Die Klägerin hat den Beklagten für das bundesgerichtliche Verfahren mit Fr. 3'500.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich (II. Zivilkammer) schriftlich mitgeteilt.
_
Lausanne, 20. Februar 2002
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: