hat sich ergeben:
A.- Adalbert Fleckenstein lieferte und installierte aufgrund eines mit dem Kanton Zürich abgeschlossenen Werkvertrages vom 13. April 1976 Heizungs- und Kälteisolationen an Gebäuden der Universität Zürich (Strickhofareal). Die SIA-Norm 118 (Ausgabe 1962) war von den Parteien zum Bestandteil des Werkvertrages erklärt worden. Am 10. Mai 1979 erfolgte die vorläufige Abnahme des Werkes. Am 18. Februar und 25. März 1982 fanden Sitzungen statt, in denen in der Zwischenzeit zutage getretene Mängel besprochen und protokolliert wurden. Am 30. März 1984 rügte der Kanton Zürich das Vorhandensein weiterer Mängel und setzte Adalbert Fleckenstein Frist bis zum 27. April 1984 zur Erneuerung des Werkes, welche dieser unbenutzt verstreichen liess. Im Jahre 1991 liess der Kanton Zürich das Werk neu erstellen.
B.- Mit Klage vom 3. April 1989 beantragte der Kanton Zürich dem Bezirksgericht Horgen, Adalbert Fleckenstein zur Rückerstattung des Werklohnes von Fr. 152'000.-- nebst Zins zu 5 % seit dem 16. Oktober 1979, abzüglich des inzwischen gezogenen Nutzens, sowie zur Bezahlung von Fr. 1'209'842.90 nebst Zins zu 5 % seit dem 1. Dezember 1991 zu verurteilen. Am 21. Dezember 1994 verurteilte das Bezirksgericht den Beklagten in teilweiser Gutheissung der Klage zur Bezahlung von Fr. 747'362.70 zuzüglich Zins zu 5 % seit 1. Dezember 1991. Auf Appellation des Beklagten hin hob das Obergericht des Kantons Zürich das Urteil des Bezirksgerichts auf und wies die Klage wegen Verjährungseintritts vollumfänglich ab. Eine vom Kläger gegen diesen Entscheid eingereichte kantonale Nichtigkeitsbeschwerde wies das Kassationsgericht des Kantons Zürich ab, soweit es darauf eintrat.
C.- Der Kläger erhob zudem gegen das Urteil des Obergerichts eidgenössische Berufung. Das Bundesgericht befand in seinem Urteil vom 21. April 1998 die Verjährungseinrede des Beklagten als unbegründet, hob den Entscheid des Obergerichts auf und wies die Sache zur Sachverhaltsergänzung und zur neuen Entscheidung über die klägerischen Ansprüche an dieses zurück.
Mit Beschluss vom 9. März 1999 nahm das Obergericht davon Vermerk, dass das Urteil des Bezirksgerichts vom 21. Dezember 1994 insoweit in Rechtskraft erwachsen sei, als die Klage im Mehrbetrag von Fr. 614'480.20 abgewiesen worden war. Mit Urteil vom selbigen Tag verurteilte es den Beklagten zur Bezahlung von Fr. 474'516.-- nebst Zins zu 5 % seit dem 1. Dezember 1991 an den Kläger; im Mehrbetrag wies es die Klage ab. Die vom Beklagten gegen dieses Urteil erhobene kantonale Nichtigkeitsbeschwerde wies das Kassationsgericht ab, soweit es darauf eintrat.
D.- Der Beklagte führt gegen das Urteil des Obergerichts erneut Berufung an das Bundesgericht. Er beantragt, dieses aufzuheben und die Klage vollumfänglich abzuweisen, eventuell die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen. Der Kläger schliesst auf Abweisung der Berufung.

Das Bundesgericht zieht in Erwägung:
1.- Die Vorinstanz hatte zunächst zu entscheiden, ob
die an den Sitzungen vom 18. Februar und 25. März 1982 besprochenen Mängel rechtzeitig gerügt worden seien. Sie verwies diesbezüglich auf die Erörterungen im erstinstanzlichen Urteil. Das Bezirksgericht hatte erwogen, der Kläger habe den Beklagten erstmals im Januar 1982 telefonisch über Mängel orientiert und zur Sitzung vom 18. Februar 1982 eingeladen. Da das Werk zu diesem Zeitpunkt endgültig abgenommen gewesen sei, hätten nur noch verdeckte Mängel gerügt werden können. Nach Art. 370 Abs. 3 OR seien solche Mängel sofort nach der Entdeckung anzuzeigen, ansonsten das Werk auch diesbezüglich als genehmigt gelte. Bei der Beurteilung der Rechtzeitigkeit der Rüge sei immer auf die konkreten Umstände des Einzelfalles abzustellen. Die in der Sitzung vom 18. Februar 1982 besprochenen Mängel seien im Januar 1982 entdeckt worden, wobei das genaue Datum nicht festgestellt werden könne. Gehe man davon aus, dass die Entdeckung bereits Anfang Januar 1982 stattfand, wären bis zur Sitzung sieben Wochen verstrichen. Angesichts der Teilnehmerzahl sei davon auszugehen, dass die Sitzung mindestens eine Woche vorher anberaumt worden sei, die erstmalige Mängelrüge also nach 6 Wochen erfolgt sei. Beim Kläger handle es sich um eine öffentlichrechtliche Institution, bei der die Kommunikationswege bekanntlich wegen der Pflicht zur Einhaltung des Dienstweges oft länger seien als in der Privatwirtschaft. Zudem seien verschiedene Verwaltungsstellen mit dem Werk befasst gewesen. Unter diesen Umständen erscheine eine maximale Rügefrist von etwa sechs Wochen für versteckte Mängel an einem über 400 km langen Leitungssystem als noch vertretbar. Auch habe vorliegend keine akute Gefährdung des Betriebs oder von Menschen bestanden, die eine strenge Handhabung der Fristenberechnung erfordert hätte.
Die Vorinstanz ergänzte, entdeckt sei ein Fehler mit seiner zweifelsfreien Feststellung. Es liege in der Natur eines derartigen Werkschadens durch Rostbildung an Kühlleitungen, welche teilweise verdeckt geführt würden, dass er nicht mit einem Mal offenbar werde. Rostbildung sei kein Zustand, sondern ein fortschreitender Prozess, welcher häufig zunächst ganz zufällig entdeckt werde und auch nicht überall zugleich beginne. An dem mehrere Kilometer messenden Kanal- oder Rohrsystem könne sich ein uneinheitliches Bild ergeben und unklar scheinen, ob der Rost nur isoliert oder über grössere Flächen auftrete. Der Besteller sei daher nicht verpflichtet, bereits bei der Entdeckung einzelner Roststellen eine Mängelrüge zu erheben, sondern dürfe die Entwicklung zunächst eine Zeit lang beobachten, bis sich ihm der unabweisbare Schluss aufdränge, es liege ein rechtlich relevanter Mangel und nicht bloss ein geringer, normaler Rostbefall vor.
Der Beklagte rügt, nach der Entdeckung der Roststellen Anfang Januar 1982 hätte ihn der Kläger ohne Weiteres sofort aufbieten können. Der Kläger selbst habe nie geltend gemacht, er habe die Rostbildung zunächst eine Zeitlang beobachten müssen; im Gegenteil habe er behauptet, er habe jeden Tag mit einem Durchbrechen des Kältesystems an einer korrodierten Stelle gerechnet. Die Annahme der Vorinstanz, der Kläger habe sich durch Zuwarten Gewissheit verschaffen müssen, dass ein rügenswerter Mangel vorliege, beruhe auf einem offensichtlichen Versehen. Ein Zuwarten sei auch deshalb nicht zulässig gewesen, weil sich Rost schnell ausbreite und damit den Schaden um ein Vielfaches vergrössern könne. Ein offensichtliches Versehen liege auch in der Annahme, das fragliche Leitungssystem sei 400 km lang; tatsächlich handle es sich bloss um 7,5 km. Nicht einsichtig sei schliesslich, dass die Rügefrist ausgerechnet bei einer professionell organisierten öffentlich-rechtlichen Institution weniger streng angewendet werden solle als bei einem privaten Laien. Der angeblich beim Kläger einzuhaltende Instanzenweg sei von diesem selbst gar nicht geltend gemacht worden.
a) Ein offensichtliches Versehen liegt nach der Rechtsprechung nur vor, wenn die Vorinstanz eine bestimmte Aktenstelle übersehen oder unrichtig, d.h. nicht in ihrer wahren Gestalt, insbesondere nicht mit ihrem wirklichen Wortlaut wahrgenommen hat (<ref-ruling> E. 3b S. 74). Nicht in ihrer wahren Gestalt wird eine Aktenstelle beispielsweise wahrgenommen, wenn die Vorinstanz sich verliest, ihrerseits eine Missschreibung in den Akten übersieht oder den offensichtlichen Zusammenhang einer Aussage mit andern Dokumenten oder Äusserungen verkennt (<ref-ruling> f. mit Hinweis).
Dass der Rostschaden zunächst an vereinzelten Stellen sichtbar war und sich nach der ersten Entdeckung weiterentwickelte, bestreitet der Beklagte nicht. Ob die Rügefrist des Klägers angesichts der Schwierigkeit, die Mangelhaftigkeit eines Werks durch Rostbildung von einem normalen Rostbefall zu unterscheiden, grosszügig zu handhaben sei, ist eine Frage der richtigen Handhabung materiellen Rechts, welche die mit freier Kognition entscheidende Vorinstanz auch ohne entsprechende Rügen des Klägers prüfen durfte. Da es sich nicht um eine Sachverhaltsfrage handelt, stösst die Versehensrüge ins Leere. Ob die Vorinstanz Art. 370 Abs. 3 OR korrekt anwendete, wird im Folgenden (E. b) geprüft.
Bezüglich der Länge des mangelbehafteten Leitungssystems nahm die Vorinstanz an, dieses messe "mehrere Kilometer". Diese Annahme ist mit der Behauptung des Beklagten, das Leitungssysstem umfasse 7,5 km, im Einklang, so dass die Versehensrüge gegenstandslos ist.
b) aa) Gemäss Art. 28 Abs. 3 der SIA-Norm 118 (1962) haftet der Unternehmer nach der endgültigen Abnahme des Werks im Sinne von Art. 370 OR noch für geheime Mängel, d.h. für solche, die erst nach Ablauf der Garantiefrist zutage treten, vom Unternehmer verschuldet sind und einen Schaden je Mangel von mindestens Fr. 500.-- ausmachen. Nach Art. 370 Abs. 3 OR muss die entsprechende Mängelrüge "sofort nach der Entdeckung erfolgen, widrigenfalls das Werk auch rücksichtlich dieser Mängel als genehmigt gilt".
Nach der Praxis des Bundesgerichts ist bei der Beurteilung der Frage, ob eine Rüge rechtzeitig erfolgt ist, auf die konkreten Umstände des Einzelfalles abzustellen. Grundsätzlich ist die Rügefrist kurz zu bemessen, wenn die Gefahr besteht, dass ein Zuwarten zu einem grösseren Schaden führen kann. Handelt es sich aber wie hier um einen sich fortentwickelnden Schaden, so ist auch zu berücksichtigen, dass ein Mangel erst als entdeckt gilt und die Rügefrist zu laufen beginnt, wenn der Mangel zweifelsfrei festgestellt ist, der Besteller also vom Mangel eine solche Kenntnis erlangt hat, dass er eine genügend substanziierte Rüge erheben kann. Bei Mängeln, die nach und nach zum Vorschein kommen, weil sie in ihrer Ausdehnung oder Intensität wachsen, genügen dafür noch nicht die ersten Anzeichen. Es ist vielmehr erforderlich, dass der Besteller die Bedeutung und Tragweite dieser Mängel erfassen kann, soll er doch nicht bereits jede Bagatelle anzeigen müssen, um seine Mängelrechte zu wahren. Eine Entdeckung darf erst angenommen werden, wenn der ernste Charakter des Zustandes deutlich wird (<ref-ruling> E. 3b S. 148 f. mit Hinweisen).
bb) Nach dem Gesagten war der Kläger erst zur sofortigen Anzeige an den Beklagten verpflichtet, als sich der Rost als ein über die normale Entwicklung hinausgehender, ernsthafter Mangel erwiesen hatte. Nicht das erste Auftreten von Rostschäden, sondern erst das Vorliegen eines ernsthaften Ausmasses ist für den Zeitpunkt der "Entdeckung des Mangels" massgeblich. Über das Fortschreiten des Rostmangels und die jeweilige Sichtbarkeit der einzelnen Roststellen hat die Vorinstanz keine näheren Feststellungen getroffen, sondern die erschwerte Erkennbarkeit pauschal als Anlass für eine Verlängerung der Rügefrist betrachtet. Eine objektive Rekonstruktion der genauen Entwicklung des Rostschadens dürfte auch kaum möglich sein, so dass an dieser Vorgehensweise grundsätzlich nichts auszusetzen ist. Dabei erscheint aber eine Frist von etwa sechs Wochen bis zum Ausspruch der Mängelrüge sehr lang, dürfte doch die Beobachtung der Ausbreitung der Rostschäden über eine oder zwei Wochen hinweg dem Kläger reichlich Anlass und Erkenntnisse gegeben haben, dem Beklagten Mängelrüge zu erstatten. Dass das Leitungssystem lang und schwer überblickbar war, vermag nur in beschränktem Umfang eine Verzögerung zu rechtfertigen; traten nämlich Rostbildungen auf, die zwar nicht sogleich als ungewöhnliche, auf einem Mangel in der Werkausführung beruhende Schäden erkennbar waren, aber doch einen gewissen Verdacht auf solche Ursächlichkeiten aufkommen liessen, so war der Kläger zur Anwendung einer besonderen Aufmerksamkeit verpflichtet, d.h. er hatte den weiteren Verlauf der Rostbildung mit Blick auf die mögliche Notwendigkeit einer Mängelrüge zu beobachten. Dies nicht zuletzt auch deshalb, weil mit der zügigen Anhandnahme einer Nachbesserung eine weitere Verschlimmerung der Situation, die Gefahr eines weitergehenden Schadens durch einen Korrosionsbruch etc. gebannt werden konnten. Entgegen der Annahme der Vorinstanz kann es zudem keinen Unterschied machen, dass beim Kläger die Einhaltung des vorgeschriebenen Dienstweges zu Verzögerungen führen kann. Wie lange sich der Besteller mit der Rüge Zeit nehmen darf, ist nach objektiven Kriterien zu beurteilen. Der Zweck der kurzen Rügefrist nach Art. 370 Abs. 3 OR, d.h. das Bestreben nach rascher Schaffung von Rechtssicherheit, gebietet es, dass der Besteller, wenn er den Mangel einmal zuverlässig festgestellt hat, rasch zur Anzeige an den Unternehmer schreitet (vgl. <ref-ruling> E. 3b S. 148). Diesem Erfordernis haben sich die Betroffenen zu fügen. So vermag also eine innere Struktur mit langen Entscheidungswegen keine Verlängerung der Zeitdauer bis zur Erhebung der Rüge zu rechtfertigen, sondern es obläge vielmehr dem Kläger, sich so zu organisieren, dass er dem gesetzlichen Erfordernis der "sofortigen" Mängelanzeige nachkommen kann. Entsprechendes gilt hinsichtlich des Arguments, der Kläger habe zunächst abklären müssen, wer für die Mängel verantwortlich sei. Der Beklagte hatte an den fraglichen Leitungen Heizungs- und Kälteisolationen angebracht, so dass seine Verantwortlichkeit für eine abnorme Rostbildung nahe lag; inwiefern darüber aus besonderen Gründen zunächst Abklärungen zu treffen waren, ist weder dargelegt noch ersichtlich. Jedenfalls dürften Abklärungen nicht mehr als einige wenige Tage in Anspruch genommen haben. Soweit die Notwendigkeit, über die Verantwortlichkeit längere Abklärungen zu treffen, in der internen Struktur des Klägers begründet war, vermag ihn dies nicht zu entlasten.
Im erwähnten Entscheid befand das Bundesgericht eine Mängelrüge, die erst fünf Wochen nach der Entdeckung der Schäden erfolgte, als verspätet (a.a.O.). In <ref-ruling> E. 1b S. 176 f. erachtete es eine dreiwöchige Erklärungsfrist als zu lang. In einem unveröffentlichten Entscheid vom 12. November 1996 (Verfahrens-Nr. 4C.143/1996) wurde eine einwöchige Erklärungsfrist bei nicht wachsendem Schaden als zulässig erklärt. Ist der Schaden einmal zuverlässig erkannt worden - und davon darf ausgegangen werden, wenn zuerst vereinzelt aufgetretene Rostschäden sich im Verlauf von ein bis zwei Wochen zusehends vermehren - so ist auch vorliegend nicht ersichtlich, weshalb dem Kläger mehr als etwa eine Woche zur Formulierung einer Mängelrüge zugestanden werden müsste. Unter diesen Umständen kann nicht offen bleiben, ob der Kläger die streitigen Mängel bereits Anfang oder aber erst Ende Januar 1982 erstmals entdeckt hatte. Die Vorinstanz hat mittels Verweis auf das erstinstanzliche Urteil festgehalten, nach den Behauptungen des Klägers seien die Mängel an den fraglichen Stockwerkverteilleitungen in den letzten Januartagen entdeckt worden, während der Beklagte von einer Entdeckung bereits Anfang Januar ausgehe; das genaue Datum der Entdeckung lasse sich nicht feststellen. Die Beweislast für den Zeitpunkt der Entdeckung trägt primär der Besteller. Wendet demgegenüber der Unternehmer ein, der Besteller habe den gerügten Mangel schon früher entdeckt, so hat er diese Behauptung seinerseits zu beweisen (<ref-ruling> E. 3a S. 147). Mithin trägt der Beklagte die Last der Beweislosigkeit dafür, dass der Kläger bereits Anfang Januar 1982 Kenntnis von den Mängeln hatte. Es ist demnach davon auszugehen, dass der Kläger spätestens Ende Januar 1982 erste Rostschäden entdeckte. Räumt man ihm eine Beobachtungsfrist von ein bis zwei Wochen und eine Erklärungsfrist von etwa einer Woche ein, so ist die im Vorfeld der Sitzung vom 18. Februar 1982 erhobene Mängelrüge rechtzeitig erfolgt.
2.- Der Kläger rügte am 30. März 1984 das Vorhandensein weiterer Mängel an Steigleitungen. Die Vorinstanz hat für das Bundesgericht verbindlich festgestellt, die entsprechenden Mängel seien am 23. oder 24. März 1994 (recte: 1984) entdeckt worden. Sie erwog, da beim Kläger nach der Entdeckung der Fehler ein zweifellos Zeit beanspruchender Dienstweg einzuhalten war, bevor Meldung an den Beklagten ergehen konnte, erscheine die Frist von sechs bis sieben Tagen ausreichend kurz, zumal der 24. und 25. März auf ein Wochenende fielen. Der Beklagte rügt zunächst zu Recht, es gebe keinen Grund, dem Kläger für die Beanspruchung eines Dienstweges eine zusätzliche Zeitspanne zuzubilligen. Entgegen seiner Ansicht ist aber anzunehmen, dass eine Frist von sieben Kalendertagen bzw. fünf Werktagen das Erfordernis der "sofortigen" Mängelanzeige gerade noch erfüllt. Das Argument des Beklagten, es dürfe nicht berücksichtigt werden, dass in die Frist ein Wochenende gefallen sei, weil in eine siebentägige Frist immer ein Wochenende falle, ist nicht nachvollziehbar. Massgeblich ist, innert welcher Frist dem Kläger angesichts der gesetzlichen Obliegenheit, "sofort" tätig zu werden, die Erstattung der Mängelanzeige an den Beklagten zuzumuten war. Dabei ist natürlich wesentlich, ob bzw. in welchem Umfang die Frist durch Wochenenden, an denen keine Geschäftstätigkeit erwartet werden kann, verkürzt wurde. Eine bestimmte, kurze Erklärungsfrist ist dem Besteller zuzugestehen (<ref-ruling> E. 3b S. 148); mit einer Erklärungsfrist von fünf Werktagen wird dieser Anforderung Genüge getan, zumal nicht dargetan wird, dass sich der Mangel während dieser Zeit wesentlich verschlimmerte.
3.- Die Vorinstanz erwog weiter, der Kläger habe dem Beklagten in seinem Schreiben vom 30. März 1984 Frist zur Nachbesserung der entdeckten Mängel gesetzt. Mit Schreiben vom 24. Mai 1984 habe der Beklagte seine Verantwortung für die festgestellten Mängel abgelehnt. Er habe die Auffassung vertreten, da allfällige Leistungen seinerseits freiwillig wären, könnten sie nicht einfach befohlen werden, und habe sich Abmachungen über Art, Umfang und Zeitpunkt der Ausführung sowie über Kostenfragen vorbehalten und in Aussicht gestellt, nach Vorliegen des Expertenberichts darauf zurückzukommen. Das Schreiben könne insgesamt nur als Ablehnung einer Nachbesserungspflicht verstanden werden, habe doch der Beklagte allfällige Sanierungsarbeiten von einer Abmachung über die Kostenfrage abhängig gemacht, was ihm gegenüber dem Nachbesserungsanspruch des Klägers nicht zugestanden habe. Zudem sei zu berücksichtigen, dass ihm der Kläger zuvor klar zu erkennen gegeben habe, dass die Nachbesserung betreffend Bau 13 am 24. April 1984 begonnen und am 27. April 1984 beendet werden solle; der Beklagte habe aber keine Anstalten getroffen, die Arbeit in Angriff zu nehmen.
Der Beklagte hält dem entgegen, der Kläger hätte ihm für die Sanierung eine Nachfrist ansetzen müssen. Dies dürfe gemäss Art. 366 Abs. 2 i.V.m. Art. 108 OR nur unterbleiben, wenn sich der Unternehmer entschieden und ernsthaft weigere, die zu Recht verlangte Nachbesserung vorzunehmen. Da er sich ein Zurückkommen auf die Frage der Art, des Umfangs etc. der Nachbesserung vorbehalten habe, könne davon nicht die Rede sein. Dass er die Kostenfrage geregelt haben wollte, ändere daran nichts, gebe es doch auch Fälle, in denen der Unternehmer nicht sämtliche Nachbesserungskosten selbst tragen müsse. Der Kläger hätte daher auf sein Schreiben vom 24. Mai 1984 nach Treu und Glauben mindestens antworten müssen, dass er darin eine definitive Verweigerung der Nachbesserung erblicke, und dem Beklagten so Gelegenheit geben, ein Missverständnis auszuräumen.
Der Kläger hätte nach den Regeln von Art. 107 f. OR vorgehen müssen, wenn er nach der Weigerung des Beklagten, die Sanierungsarbeiten in Angriff zu nehmen, darauf verzichten und Schadenersatz hätte verlangen wollen. Dies hätte er nach Art. 107 Abs. 2 OR "sofort" erklären müssen. Das hat er aber nicht getan. Die Vorinstanz ging denn auch davon aus, der Kläger halte am Nachbesserungsanspruch fest und verlange nicht Schadenersatz, sondern Erstattung der infolge der Ersatzvornahme entstandenen Kosten (vgl. E. 4). Dies setzt allein voraus, dass der Nachbesserungsanspruch fällig war und innert der angesetzten Verbesserungsfrist nicht erfüllt wurde; eine weitere Nachfristansetzung ist nicht nötig (Art. 366 Abs. 2 OR; vgl. Wiegand, Basler Kommentar, N. 2 zu Art. 98 OR). Damit kann offen bleiben, ob die Erfordernisse von Art. 108 OR erfüllt gewesen wären.
4.- Nach Ansicht des Beklagten verstösst die vom Kläger ohne richterliche Ermächtigung vorgenommene Ersatzvornahme gegen Art. 98 Abs. 1 OR. Nach der Rechtsprechung ist der Besteller dazu in analoger Anwendung von Art. 366 Abs. 2 OR berechtigt (<ref-ruling> f. E. 3; <ref-ruling> E. 2 mit Hinweisen; vgl. auch <ref-ruling>). Der Beklagte rügt nun aber unter Berufung auf die Lehrmeinung von Gauch (Der Werkvertrag, 4. Auflage, Zürich 1996, S. 488 f. N. 1820 ff.), eine analoge Anwendung von Art. 366 Abs. 2 OR rechtfertige sich hier nicht, da das Werk bereits fertiggestellt sei und keine besondere Dringlichkeit vorliege. Nur diese vermöge das Absehen von einer richterlichen Ermächtigung für die Ersatzvornahme zu begründen. Sei das Werk schon fertiggestellt, bestehe besondere Dringlichkeit aber nur allenfalls dann, wenn Gefahr im Verzug sei. Inwiefern sich aber der Besteller in grösserer Eile befindet, wenn das Werk begonnen, aber noch nicht fertiggestellt ist, als wenn das Werk bereits zu Ende geführt, aber mangelhaft ist, so dass sich Nachbesserungen aufdrängen, ist nicht ersichtlich. In beiden Fällen soll eine durch mangelhafte Werkausführung seitens des Unternehmers verursachte Verzögerung nach Möglichkeit in Grenzen gehalten werden. In direkten Anwendungsfällen von Art. 366 Abs. 2 OR genügt es sogar, wenn die mangelhafte Werkausführung erst voraussehbar ist, so dass mit einer zügigen Anhandnahme der Ersatzvornahme die Verzögerung in sehr engen Grenzen gehalten werden kann. Ist dagegen das Werk bereits fertiggestellt und sind nun noch Nachbesserungen nötig, kommt es unvermeidlich zu Verzögerungen. In diesem Fall ist das Bedürfnis nach Eile also eher noch akzentuierter, so dass es unbillig wäre, dem Besteller die ihm in Art. 366 Abs. 2 OR gewährte besondere Beschleunigungsmöglichkeit hier vorzuenthalten. Demnach ist an der bisherigen Rechtsprechung zu dieser Frage festzuhalten und die Rüge damit unbegründet.
5.- Die Vorinstanz erwog, der vom Beklagten gelieferte Werkstoff "Afrocol", dessen fehlende Eignung damals noch nicht bekannt war, sei in erheblichem Mass für das Auftreten der Korrosionsschäden mitursächlich gewesen. Da die Ersatzforderung des Klägers keinen Schadenersatzanspruch darstellte, sondern sich aus der Nichterfüllung des Nachbesserungsanspruches ergebe, setze sie zwar ein Verschulden des Unternehmers am Verzug - und ein solches sei hier gegeben -, nicht aber ein Verschulden bei der Auswahl des Werkstoffes voraus. Der Beklagte rügt, die Vorinstanz habe damit Art. 43 f. in Verbindung mit Art. 99 Abs. 3 OR verletzt. So weise Gauch (a.a.O., S. 491 N. 1832) darauf hin, dass die an die Stelle des Nachbesserungsanspruchs tretende Schadenersatzforderung des Bestellers der Herabsetzung nach Art. 43 f. OR unterliege. Der Beklagte übersieht, dass sich die zitierte Literaturstelle auf den Fall bezieht, dass der Besteller auf die Nachbesserung verzichtet und gemäss Art. 107 Abs. 2 OR Ersatz des aus der Nichterfüllung der Nachbesserungsschuld entstandenen Schadens verlangt. Dieser Fall liegt hier nicht vor, hat doch der Kläger auf den Nachbesserungsanspruch gerade nicht gültig verzichtet und verlangt demnach nicht Schadenersatz, sondern die Erstattung der durch die Ersatzvornahme entstandenen Kosten. Wie der Nachbesserungsanspruch, so ist auch der Anspruch auf Erstattung der Kosten der Ersatzvornahme unabhängig vom Verschulden des Unternehmers am Mangel; vorausgesetzt ist einzig, dass der Besteller den Mangel nicht selbst verschuldet hat (Art. 369 OR; Gauch, a.a.O., S. 249 N. 880 f.), was hier nicht behauptet wird. Damit ist die Rüge unbegründet.
6.- Schliesslich rügt der Beklagte, die erste Instanz habe die Schadenersatzforderung des Klägers für die im Jahre 1984 entdeckten Mängel an den Hauptsteigleitungen wegen verspäteter Rüge abgewiesen, und dafür am Gesamtschaden eine Reduktion von 10 % vorgenommen. Da der Kläger gegen dieses Urteil weder Berufung noch Anschlussberufung erhoben habe, sei es in diesem Punkt rechtskräftig geworden. Indem die Vorinstanz den Abzug von 10 % nicht vorgenommen habe, habe sie den Grundsatz der abgeurteilten Sache verletzt. Das offensichtliche Versehen der Vorinstanz sei vom Bundesgericht zu korrigieren.
a) Die erste Instanz hatte angenommen, es sei nicht nachgewiesen, wann die Mängel an den Hauptsteigleitungen entdeckt worden seien, so dass die Rechtzeitigkeit der Mängelrüge vom 30. März 1984 nicht feststellbar sei und der Kläger aus diesen Mängeln daher keine Rechte ableiten könne. Die Vorinstanz erhob jedoch neue Beweise, aufgrund derer sie den Zeitpunkt der Entdeckung auf den 23. oder 24. März 1984 festsetzen und daraus auf die Rechtzeitigkeit der Mängelrüge vom 30. März 1984 schliessen konnte (vgl. E. 2). Somit kann nicht davon die Rede sein, die Vorinstanz habe die Sachlage wegen eines Versehens verkannt (vgl. E. 1a).
b) Nach Art. 55 Abs. 1 lit. c OG ist die Erhebung neuer Einreden im eidgenössischen Berufungsverfahren unzulässig. Der Beklagte legt nicht dar, dass er im vorinstanzlichen Verfahren bezüglich der am 30. März 1984 gerügten Mängel geltend gemacht hätte, es handle sich um eine abgeurteilte Sache; auf die Rüge ist daher nicht einzutreten (Poudret, COJ II, S. 526, N. 3.6.11 zu Art. 63 OG).
7.- Nach dem Gesagten ist die Berufung abzuweisen. Bei diesem Verfahrensausgang wird der Beklagte kosten- und entschädigungspflichtig (Art. 156 Abs. 1 und Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die Berufung wird abgewiesen und das Urteil des Obergerichts (II. Zivilkammer) des Kantons Zürich vom 9. März 1999 bestätigt.
2.- Die Gerichtsgebühr von Fr. 7'500.-- wird dem Beklagten auferlegt.
3.- Der Beklagte hat den Kläger für das bundesgerichtliche Verfahren mit Fr. 8'000.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien und dem Obergericht (II. Zivilkammer) des Kantons Zürich schriftlich mitgeteilt.
_
Lausanne, 28. Juli 2000
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: