Sachverhalt:
A.
Mit Beschluss vom 20. Juni 2016 widerrief der Gemeinderat der Gemeinde Hirzel (Rechtsvorgängerin der Gemeinde Horgen, vgl. lit. E hiernach) ersatzlos eine das dreiteilige Wohnhaus Neuhus 2, 4 und 6/8 (Parzellen Nrn. 3265, 56 und 57) betreffende Schutzverfügung vom 21. Dezember 1987 und entliess das Objekt aus dem kommunalen Inventar.
Dagegen erhob der Zürcher Heimatschutz Rekurs an das Baurekursgericht des Kantons Zürich und beantragte, der Beschluss des Gemeinderats sei aufzuheben und das Gebäude in einem noch festzulegenden Umfang unter Schutz zu stellen. Mit Entscheid vom 31. Januar 2017 wies das Baurekursgericht das Rechtsmittel nach Durchführung eines Augenscheins ab. Zur Begründung führte es aus, aufgrund der landschaftsprägenden Wirkung erscheine es zwar zwingend, dem Objekt einen Schutz zukommen zu lassen, der es in seiner äusseren Form und seinem Charakter bestehen lasse. Angesichts der restriktiven Vorschriften für Bauten ausserhalb der Bauzonen gemäss Art. 24c RPG (SR 700) und <ref-law> (SR 700.1) sei dieser Schutz jedoch genügend gewährleistet. Zudem sei das Innere des Gebäudes offensichtlich erst vor Kurzem renoviert worden, sodass auch unter diesem Aspekt ein Abbruch oder eine wesentliche Umgestaltung unwahrscheinlich scheine.
Eine in der Folge vom Zürcher Heimatschutz erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Zürich mit Urteil vom 5. Oktober 2017 gut. Es hob den Beschluss des Gemeinderats und den Entscheid des Baurekursgerichts auf und wies die Sache im Sinne der Erwägungen an den Gemeinderat zurück. Wie das Baurekursgericht ging auch das Verwaltungsgericht davon aus, das Gebäude sei schutzwürdig. Es kam jedoch zum Schluss, Art. 24c RPG und <ref-law> seien nicht geeignet, diesen Schutz zu gewährleisten. Es ordnete deshalb an, das Objekt sei im kommunalen Inventar zu belassen und der Schutzumfang sei bezüglich des Situationswerts durch die Gemeinde neu zu umschreiben.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 15. November 2017 beantragt die Gemeinde Hirzel die Aufhebung des verwaltungsgerichtlichen Urteils und die Bestätigung des Beschlusses des Gemeinderats vom 20. Juni 2016 (Verfahren 1C_626/2017).
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 16. November 2017 stellen A._ und Eva-B._ denselben Antrag wie die Gemeinde (Verfahren 1C_628/2017).
C.
Mit Präsidialverfügung vom 7. Dezember 2017 hat das Bundesgericht die beiden Verfahren vereinigt und angeordnet, dass bis zu deren Abschluss bauliche Veränderungen der streitbetroffenen Liegenschaft, die der Schutzverordnung vom 21. Dezember 1987 widersprechen, zu unterbleiben haben. Zudem hat es festgestellt, dass der Gemeinderat Hirzel nicht verpflichtet sei, die Neuumschreibung des Situationswerts gemäss dem angefochtenen Urteil des Verwaltungsgerichts bereits während des laufenden Verfahrens an die Hand zu nehmen.
D.
Das Verwaltungsgericht beantragt die Abweisung der beiden Beschwerden, soweit darauf einzutreten sei. Der Zürcher Heimatschutz beantragt, auf die Beschwerden sei nicht einzutreten, eventualiter seien sie abzuweisen. Das Baurekursgericht und die weiteren Verfahrensbeteiligten C._ (Neuhus 2) und D._ (Neuhus 4) haben sich nicht vernehmen lassen. Die privaten Beschwerdeführer und der Zürcher Heimatschutz haben weitere Vernehmlassungen eingereicht.
E.
Die Gemeinde Hirzel wurde per 1. Januar 2018 in die Gemeinde Horgen eingemeindet. Gemäss Art. 18 Abs. 1 des Zusammenschlussvertrags vom 25. September 2016 (genehmigt vom Regierungsrat des Kantons Zürich am 20. September 2017 und vom Kantonsrat des Kantons Zürich am 27. November 2017) ist die erweiterte Gemeinde Horgen nach dem Zusammenschluss Rechtsnachfolgerin und tritt in sämtliche Rechte und Pflichten der politischen Gemeinde Hirzel ein. Dementsprechend ist seit dem 1. Januar 2018 die Gemeinde Horgen Verfahrenspartei (<ref-law> i.V.m. <ref-law> [SR 273]; vgl. auch Urteil 1C_517/2017 vom 18. Dezember 2017).

Erwägungen:
1.
1.1. Der angefochtene, kantonal letztinstanzliche Entscheid betrifft eine Massnahme des Denkmalschutzes und damit eine öffentlich-rechtliche Angelegenheit. Dagegen steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen (Art. 82 lit. a und Art. 86 Abs. 1 lit. d BGG). Zu prüfen ist indessen, ob es sich beim Urteil des Verwaltungsgerichts um einen anfechtbaren Entscheid gemäss <ref-law> handelt.
1.2. Im angefochtenen Urteil wird die Sache an die Gemeinde zurückgewiesen, damit diese den Schutzumfang des Objekts Neuhus 2, 4 und 6/8 bezüglich des Situationswerts neu umschreibe. Das kantonale Verfahren ist somit noch nicht abgeschlossen. Zudem kann nicht gesagt werden, der Gemeinde verbleibe keinerlei Entscheidungsspielraum mehr, was gemäss der Rechtsprechung ausnahmsweise die Gleichstellung mit einem Endentscheid (<ref-law>) zur Folge hätte (<ref-ruling> E. 1.2 S. 148; <ref-ruling> E. 1.3 S. 127; je mit Hinweisen). Es liegt vielmehr ein selbstständig eröffneter Zwischenentscheid im Sinne von <ref-law> vor. Nach Abs. 1 lit. a dieser Bestimmung ist die Beschwerde zulässig, wenn der angefochtene Entscheid einen nicht wieder gutzumachenden Nachteil bewirken kann (lit. a). Nach ständiger Rechtsprechung nimmt das Bundesgericht einen solchen Nachteil an, wenn eine Gemeinde durch einen Rückweisungsentscheid gezwungen wird, eine ihrer Ansicht nach rechtswidrige Verfügung zu erlassen. Wehrt sich die Gemeinde dagegen, so ist auch die gleichzeitige Beschwerde von betroffenen privaten Beschwerdeführern zulässig (<ref-ruling> E. 1.2 S. 412; Urteil 1C_499/2014 vom 25. März 2015 E. 2.1, nicht publ. Erwägung in: ZBl 117/2016 S. 609; je mit Hinweisen).
1.3. Weiter ist das Beschwerderecht gemäss <ref-law> zu prüfen.
1.3.1. Die Gemeinde wird durch die Aufhebung des Beschlusses vom 20. Juni 2016 in ihrer Stellung als Hoheitsträgerin berührt und ist daher gemäss <ref-law> befugt, die Verletzung ihrer Autonomie mit Beschwerde geltend zu machen. Ob ihr Autonomie zukommt, ist eine Frage der Begründetheit der Beschwerde (Urteil 2C_1021/2016 vom 18. Juli 2017 E. 2.2, nicht publ. in <ref-ruling>).
1.3.2. Die privaten Beschwerdeführer leiten ihr Beschwerderecht aus <ref-law> ab. Danach ist zur Beschwerde in öffentlich-rechtlichen Angelegenheiten berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen hat oder keine Möglichkeit zur Teilnahme erhalten hat (lit. a), durch den angefochtenen Entscheid oder Erlass besonders berührt ist (lit. b) und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung hat (lit. c). Die privaten Beschwerdeführer erfüllen zweifellos die Voraussetzungen von lit. b und c (materielle Beschwer). Umstritten ist die Voraussetzung der formellen Beschwer gemäss lit. a. Der Zürcher Heimatschutz macht geltend, die privaten Beschwerdeführer hätten am Verfahren vor dem Verwaltungsgericht nicht teilgenommen. Dies trifft zu, ist jedoch nicht ausschlaggebend. Gemäss der Rechtsprechung ist von diesem Erfordernis abzusehen, wenn die besondere Berührtheit durch den vorinstanzlichen Entscheid überhaupt erst entsteht (Urteile 1C_134/2010 vom 28. September 2010 E. 3.2; 1C_176/2007 vom 24. Januar 2008 E. 2.2.2 mit Hinweis), was hier der Fall ist: Die Gemeinde hob die das Gebäude der privaten Beschwerdeführer betreffende Schutzverfügung auf und entliess das Objekt aus dem kommunalen Inventar; das Baurekursgericht bestätigte diesen Entscheid. Erst das Verwaltungsgericht entschied im Sinne des Zürcher Heimatschutzes und gegen die privaten Beschwerdeführer. Deren Beschwerderecht ist somit zu bejahen.
1.4. Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerden ist einzutreten.
2.
2.1. Die Gemeinde begründet die Rüge der Verletzung ihrer Autonomie damit, dass das Verwaltungsgericht in ihren Entscheidungsspielraum bei der Auslegung von § 203 Abs. 1 lit. c des Planungs- und Baugesetzes des Kantons Zürich vom 7. September 1975 (PBG; LS 700.1) eingegriffen habe. Diese Bestimmung hat folgenden Wortlaut:
"[Schutzobjekte sind:] Ortskerne, Quartiere, Strassen und Plätze, Gebäudegruppen, Gebäude und Teile sowie Zugehör von solchen, die als wichtige Zeugen einer politischen, wirtschaftlichen, sozialen oder baukünstlerischen Epoche erhaltenswürdig sind oder die Landschaften oder Siedlungen wesentlich mitprägen, samt der für ihre Wirkung wesentlichen Umgebung[.]"
2.2. <ref-law> gewährleistet die Gemeindeautonomie nach Massgabe des kantonalen Rechts. Nach der Rechtsprechung sind Gemeinden in einem Sachbereich autonom, wenn das kantonale (oder eidgenössische) Recht diesen nicht abschliessend ordnet, sondern ihn ganz oder teilweise der Gemeinde zur Regelung überlässt und ihr dabei eine relativ erhebliche Entscheidungsfreiheit einräumt. Der geschützte Autonomiebereich kann sich auf die Befugnis zum Erlass oder Vollzug eigener kommunaler Vorschriften beziehen oder einen entsprechenden Spielraum bei der Anwendung kantonalen oder eidgenössischen Rechts betreffen. Der Schutz der Gemeindeautonomie setzt eine solche nicht in einem ganzen Aufgabengebiet, sondern lediglich im streitigen Bereich voraus. Im Einzelnen ergibt sich der Umfang der kommunalen Autonomie aus dem für den entsprechenden Bereich anwendbaren kantonalen Verfassungs- und Gesetzesrecht (<ref-ruling> E. 2 S. 180 mit Hinweisen).
2.3. Wie das Bundesgericht bereits wiederholt festgehalten hat, kommt den Gemeinden des Kantons Zürich bei der Beurteilung, ob eine Baute im Sinne von § 203 Abs. 1 lit. c PBG als wichtiger Zeuge einer Epoche erhaltenswürdig ist oder die Landschaften oder Siedlungen wesentlich mitprägt, ein erheblicher Beurteilungsspielraum und damit Autonomie zu (Urteile 1C_595/2013 vom 21. Februar 2014 E. 4.1.1; 1P.504/2005 vom 2. Februar 2006 E. 3.3 mit Hinweisen).
2.4. Ist die Autonomie zu bejahen, kann sich die Gemeinde dagegen zur Wehr setzen, dass eine kantonale Behörde im Autonomiebereich ihre Prüfungsbefugnis überschreitet oder die einschlägigen Vorschriften unrichtig auslegt und anwendet. Nur wenn die Gemeinde ihren Handlungsspielraum bei der Auslegung der fraglichen Bestimmungen in unvertretbarer Weise ausgeübt hat, darf das Verwaltungsgericht eingreifen und sein Ermessen an die Stelle desjenigen der Gemeinde setzen. Gemäss ständiger Rechtsprechung des Bundesgerichts kann sich eine Gemeinde zudem in Verbindung mit der Rüge der Verletzung ihrer Autonomie auf weitere Verfassungsrechte und -grundsätze berufen, namentlich auf die Rechtsgleichheit (<ref-law>), den Schutz vor Willkür bzw. die Wahrung von Treu und Glauben (<ref-law>) sowie die Grundsätze staatlichen Handelns gemäss <ref-law> (zur Publ. vorgesehenes Urteil 1C_221/2017 vom 18. April 2018 E. 7.4.1; Urteil 1C_578/2016 28. Juni 2017 E. 3.4 mit Hinweisen).
Das Bundesgericht prüft frei, ob die kantonale Rechtsmittelinstanz einen in den Anwendungsbereich der Gemeindeautonomie fallenden Beurteilungsspielraum respektiert hat (<ref-ruling> E. 5.4 S. 43 mit Hinweisen).
3.
Dem vorliegenden Verfahren liegt folgender Sachverhalt zugrunde: Mitte der 80er-Jahre beauftragte der Gemeinderat Hirzel ein privates Unternehmen mit der Erstellung eines einstweiligen kommunalen Inventars. Am 5. Januar 1987 stimmte der Gemeinderat Hirzel dem 30 Objekte umfassenden einstweiligen Inventar zu und teilte den betroffenen Eigentümern die Eintragung ihres Objektes mit. Damit wurde die einjährige Frist ausgelöst, nach welcher die Grundeigentümer keine Veränderungen am Objekt mehr vornehmen durften und die Behörde innert gleicher Frist die Anordnung von definitiven Schutzmassnahmen vorzunehmen hatte (§ 209 PBG). Am 19. Oktober 1987 beauftragte der Gemeinderat einen Lehrer und Lokalhistoriker mit der Abklärung und Vorbereitung von definitiven Schutzmassnahmen. Das streitbetroffene Gebäude wurde - wie auch die übrigen Objekte des einstweiligen Inventars - mit Beschluss des Gemeinderats vom 21. Dezember 1987 unter Schutz gestellt. Das Schutzziel wurde dabei wie folgt festgelegt:
"Assek.-Nr. 147: Integrale Erhaltung als Ost- (und vermutlich ältester) Teil des Flarzhauses (samt Anbauten) aussen sowie der alten Bausubstanz im Innern, insbesondere Täfer und Einbaukästen, alte Türen, Kachelofen in Südstube und Rest von Bohlenständerbau. Bei Fassadenrenovation ist die Freilegung des Holzwerkes zu prüfen.
Assek.-Nr. 148: Integrale Erhaltung als Mittelteil des Flarzhauses (samt bestehenden Anbauten) aussen sowie der alten Bausubstanz im Innern, insbesondere Stubentäfer, Kachelofen, alte Türen und Rest von Bohlenständerbau.
Assek.-Nr. 149: Integrale Erhaltung als Westteil des Flarzhauses aussen sowie der alten Bausubstanz im Innern, insbesondere Täfer in beiden Stuben, Kachelofen und Reste von Bohlenwerk oben. Veränderung bzw. Vergrösserung des Anbaues durch Aufbau eines Satteldaches anstelle des Pultdaches denkbar."
Die das Objekt betreffenden Erhebungsblätter des einstweiligen kommunalen Inventars wurden zum integrierenden Bestandteil der Unterschutzstellungsverfügung erklärt. Am 11. Januar 1988 beschloss der Gemeinderat in Form eines "Nachtrags", die in den Unterschutzstellungsverfügungen aufgeführten Schutzziele würden nicht absolut gelten, sondern seien als Richtlinien im Zusammenhang mit allfälligen baulichen Veränderungen am Schutzobjekt zu verstehen. Die Verwirklichung der Schutzziele habe auch unter dem Gesichtspunkt der Verhältnismässigkeit und nach Lagebeurteilung durch die dannzumalige zuständige Behörde zusammen mit dem Besitzer zu erfolgen.
Die Gemeinderatsbeschlüsse vom 21. Dezember 1987 und vom 11. Januar 1988 wurden im Grundbuch bei den betroffenen Liegenschaften angemerkt.
Im März 2013 betraute die Gemeinde Hirzel den Gutachter E._ mit der Überarbeitung des Inventars. Am 29. Januar 2016 reichten die privaten Beschwerdeführer als Eigentümer des Hausteils Neuhaus 6 ein Baugesuch für den Ersatz eines Sprossenfensters durch eine Sprossentüre an der Südfassade des Wohngebäudes sowie die Erstellung einer Treppe in den Garten ein. Daraufhin wurde E._ mit der Begutachtung des streitbetroffenen Objekts betraut. Dieser empfahl dem Gemeinderat in seinem Gutachten vom Mai 2016, die Schutzverfügung von 1987 aufgrund des Verlusts an historischer Substanz und Authentizität aufzuheben und das Objekt aus dem Schutzinventar zu entlassen. Die Wahrung des besonderen Lagewerts, der Gebäudeform und des generellen Charakters sei durch die Bestimmungen für altrechtliche Wohnbauten ausserhalb der Bauzonen (Art. 24c RPG und <ref-law>) garantiert.
4.
4.1. Das Verwaltungsgericht legt dar, es sei davon auszugehen, dass das Wohnhaus am 21. Dezember 1987 rechtskräftig unter Schutz gestellt worden sei. Dies entspreche auch der Auffassung des Gemeinderats, da trotz des erwähnten "Nachtrags" seither Änderungen an geschützten Objekten jeweils nicht nur baurechtlich, sondern auch unter dem Gesichtswinkel des Denkmalschutzes geprüft und bei einem Teil der Schutzobjekte auch Beiträge an bauliche Massnahmen ausgerichtet worden seien. Die Aufhebung der Schutzmassnahme sei nach den Regeln über den Widerruf von Verwaltungsverfügungen zu beurteilen. Bereits eine wesentliche Veränderung der Interessenlage könne bewirken, dass die Unterschutzstellung dem Gesetz nicht mehr entspreche. Die Aufhebung oder Änderung einer Schutzmassnahme sei deshalb nicht ausgeschlossen, falls sie auf einer mindestens ebenso umfassenden und eingehenden Interessenermittlung und -abwägung beruhe. Dies sei vorliegend der Fall. Die Unterschutzstellungsverfügung sei ohne detaillierte Schutzabklärung und ohne Interessenabwägung zustande gekommen. Die Ausführungen in der Verfügung seien äusserst knapp. Berücksichtige man ausserdem die Umstände, unter denen sie zustande gekommen sei, sei nicht zu beanstanden, dass der Gemeinderat eine Überprüfung vorgenommen habe. Die zuständigen Behörden seien zudem nach § 8 der kantonalen Natur- und Heimatschutzverordnung vom 20. Juli 1977 (KNHV; LS 702.11) gehalten, die Inventare bei Bedarf nachzuführen.
4.2. Zur Schutzwürdigkeit führt das Verwaltungsgericht aus, in der Praxis würden die in § 203 Abs. 1 lit. c PBG genannten Eigenschaften zuweilen als Eigenwert und als Situationswert bezeichnet. Während sich der Eigenwert auf die Bedeutung des Bauwerks selbst beziehe, bezeichne der Lage- respektive Situationswert den Wert eines Objekts, der sich in Bezug auf seine Stellung in der gesamten Umgebungsstruktur ergebe.
4.3. Gestützt auf das Gutachten vom Mai 2016 hielt das Verwaltungsgericht hinsichtlich des Eigenwerts fest, die nach Durchführung eines Augenscheins erfolgte Würdigung des Baurekursgerichts, es lasse sich aufgrund der nicht fachmännischen Abklärung nicht mehr feststellen, wie viel schützenswerte Substanz im Zeitpunkt der Unterschutzstellung noch vorhanden gewesen sei, erscheine nicht als rechtsverletzend. Dies verdeutliche auch die Stellungnahme des Gutachters, wonach die unsensiblen und mit denkmalpflegerischen Normen nicht zu vereinbarenden Eingriffe der letzten Jahrzehnte gerade auch die historische Gewachsenheit verunklärt und getilgt hätten.
4.4. Zu prüfen bleibe damit, ob der unbestritten hohe Situationswert mit den geltend gemachten Bestimmungen des Raumplanungsgesetzes genügend geschützt werde. Die besondere Stellung und Lage einer Baute begründe für sich alleine grundsätzlich keinen besonderen Situationswert. Die zu schützende Baute müsse vielmehr auch von ihrer besonderen Gestaltung und Erscheinung her (Fassaden, Fenster, Dachflächen usw.) sowie hinsichtlich der vorhandenen Bausubstanz zur prägenden Wirkung beitragen. An diese zusätzlichen Voraussetzungen dürften indessen keine übermässig strengen Anforderungen gestellt werden. So dürfe insbesondere nicht verlangt werden, dass die äusseren Teile der Baute einen besonderen Eigenwert aufwiesen. Denn dies liefe im Ergebnis darauf hinaus, dass die Baute nur noch aufgrund ihres Eigenwerts unter Schutz gestellt werden könnte. Solches wäre mit § 203 Abs. 1 lit. c PBG nicht zu vereinbaren, lasse doch diese Bestimmung den Situationswert für eine Unterschutzstellung genügen.
4.5. Das Baurekursgericht habe in dieser Hinsicht ausgeführt, es sei aufgrund der durch das Gutachten attestierten und anlässlich des Augenscheins festgestellten landschaftsprägenden Wirkung des Streitobjekts zwingend, dem an exponierter Lage prägnant in Erscheinung tretenden Gebäude den Schutz zukommen zu lassen, der es in seiner äusseren Form und seinem Charakter bestehen lasse. Wenn das Baurekursgericht allerdings in der Folge zum Schluss komme, der Schutz sei durch Art. 24c RPG und <ref-law> hinreichend gewährleistet, sei ihm nicht zu folgen. Wohl habe die seit 2012 in Kraft stehende Teilrevision dieser Bestimmungen unter anderem zum Ziel gehabt, die Anforderungen an Erweiterungen ausserhalb des sichtbaren Gebäudevolumens zu erhöhen, doch seien Erweiterungen unter der Voraussetzung der Wesensgleichheit nach wie vor zulässig. Zudem sei zu berücksichtigen, dass die raumplanungsrechtliche Interessenabwägung zwar anders ausfalle, wenn denkmalschutzrechtliche Vorgaben bestünden, Art. 24c RPG jedoch nicht darauf ausgerichtet sei, Baudenkmäler zu schützen, weder zur Erhaltung des Eigen- noch des Situationswerts. Es widerspreche dem Sinn und Zweck des Denkmalschutzes, diese Aufgabe an das Raumplanungsrecht zu delegieren. Art. 24c RPG vermöge den Denkmalschutz deshalb nicht zu gewährleisten.
Anzumerken sei zudem, dass auch die kantonalen Bestimmungen diesbezüglich klar seien. Gemäss § 205 PBG erfolge der dauernde Schutz von Objekten des Heimatschutzes durch Massnahmen des Planungsrechts (lit. a), Verordnung (lit. b), Verfügung (lit. c) und Vertrag (lit. d). Schutzmassnahmen nach lit. b, lit. c und lit. d seien anzuordnen, wenn und soweit planungsrechtliche Massnahmen und die Bauvorschriften einen fachgerechten Schutz sowie Pflege und Unterhalt nicht sicherstellten (§ 9 Abs. 1 KNHV). Unter planungsrechtlichen Massnahmen werde beispielsweise der Erlass von Kernzonenbestimmungen verstanden. Allerdings ermögliche auch eine Kernzone keinen Schutz der Bausubstanz oder ein eigentliches Abbruchverbot. Seien solche Massnahmen notwendig, so sei eine formelle Unterschutzstellung erforderlich (CHRISTOPH FRITZSCHE/PETER BÖSCH/THOMAS WIPF, Zürcher Planungs- und Baurecht, 5. Aufl. 2011, S. 216).
Abschliessend sei festzuhalten, dass das öffentliche Interesse am Schutz des streitbetroffenen Objekts als hoch zu gewichten sei. Die Durchsetzung der richtigen Anwendung des Rechts, nämlich des Schutzes der Baute aufgrund des hohen Situationswertes, überwiege das Interesse am Vertrauensschutz. Die Beschwerdeführer hätten nicht darauf vertrauen dürfen, dass ihnen entgegen der rechtskräftigen Schutzverfügung von 1987 eine Baubewilligung erteilt werde. Der Gestaltungsspielraum bei einem Objekt ausserhalb der Bauzone sei ausserdem von vornherein begrenzt. Der Vertrauensschutz könne angesichts der denkmalschutzrechtlichen Ausgangslage und der jahrelang geübten Praxis, welche die Schutzanordnung nicht beachtete, nicht als hoch gewichtet werden. Die Inventarentlassung und der Widerruf der Schutzverfügung seien demzufolge unrechtmässig erfolgt. Das streitbetroffene Objekt Neuhus 2, 4 und 6/8 sei im kommunalen Inventar zu belassen und der Schutzumfang bezüglich des Situationswerts neu zu umschreiben.
5.
5.1. Die Beschwerdeführer rügen eine willkürliche Feststellung des Sachverhalts und eine willkürliche Anwendung von § 203 Abs. 1 lit. c PBG. Zudem habe das Verwaltungsgericht in den Beurteilungsspielraum der Gemeinde eingegriffen und dadurch deren Autonomie verletzt. Die privaten Beschwerdeführer machen darüber hinaus eine Verletzung ihres Anspruchs auf rechtliches Gehör geltend (<ref-law>). Zur Begründung führen sie aus, das Gebäude sei auch hinsichtlich des Situationswerts nicht schutzwürdig. Zwar betone das Verwaltungsgericht zu Recht, dass die Voraussetzungen der besonderen Gestaltung und Erscheinung des Gebäudes sowie der vorhandenen Bausubstanz nicht dazu führen dürften, dass der Situationswert nur bei ebenfalls gegebenem Eigenwert bejaht werde. Jedoch übergehe es in krass sachverhaltswidriger Weise den springenden Punkt, wonach dem dreiteiligen Wohnhaus zwar ein gewisser Situationswert zukomme, dieser sich aber im Lagewert, in der Gebäudeform und im generellen Charakter als Wohnhaus erschöpfe. Ein qualifizierter Situationswert im Sinne von § 203 Abs. 1 lit. c PBG sei insbesondere dann zu verneinen, wenn die historisch bedeutungsvolle Bausubstanz nur noch marginal vorhanden sei. Dies treffe vorliegend zu, wie sich aus dem Gutachten ergebe. Abgesehen vom hohen bzw. besonderen Lagewert verfüge das Gebäude weder über eine besondere Gestaltung und Erscheinung noch trage es hinsichtlich der vorhandenen Bausubstanz zur prägenden Wirkung bei.
5.2. Der Umstand, dass das Verwaltungsgericht die Schutzwürdigkeit bejahte, bedeutet keine Verletzung des Anspruchs auf rechtliches Gehör. Dass dieser verfassungsrechtliche Anspruch aus einem anderen Grund verletzt sein sollte, machen die Beschwerdeführer nicht hinreichend substanziiert geltend (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG). Die betreffende Rüge ist somit unbegründet, soweit darauf einzutreten ist.
Nicht einzutreten ist auf die Rüge, die vorinstanzliche Sachverhaltsfestellung sei willkürlich (<ref-law>). Die Beschwerdeführer legen nicht dar, inwiefern das Verwaltungsgericht von einem offensichtlich unzutreffenden Sachverhalt ausgegangen sein soll. Vielmehr richtet sich ihre Kritik gegen die rechtliche Würdigung durch das Verwaltungsgericht, das entgegen ihrer Auffassung die Schutzwürdigkeit des Situationswerts im Sinne von § 203 Abs. 1 lit. c PBG bejaht hat. Ob das Verwaltungsgericht in dieser Hinsicht Bundesrecht verletzte, ist im Folgenden zu prüfen.
5.3. Dem Gutachten vom Mai 2016 lässt sich entnehmen, dass die Siedlung Neuhus abgelegen auf einer gegen Nordosten abfallenden Geländeterrasse an der Nebenstrasse von Hirzel nach Horgen via Wüeribach liegt. Die kleine Baugruppe bestehe aus dem grossen, dreiteiligen Reihenwohnhaus im Zentrum, der langgezogenen Sennhütte der Genossenschaftssennerei Neuhus von 1879 auf der gegenüberliegenden Strassenseite und einer Handvoll kleinerer Feldscheunen und Schöpfe im Süden. Die Umgebung sei landwirtschaftlich geprägt. Vor allem hangwärts hätten sich Reste der einst dominierenden Baumgärten erhalten.
Der mutmasslich im frühen 17. Jahrhundert begründete Hof sei ursprünglich ein wesentlich kleineres Gebäude gewesen. Tiefgreifende Umbauten um die Mitte des 19. Jahrhunderts hätten zur heutigen Form und Grösse geführt, weitere Umgestaltungen seien bis in die jüngste Zeit erfolgt. Keiner der drei Hausteile könne deshalb einer bestimmten Bauepoche zugeordnet werden und die noch vorhandene historische Substanz sei marginal. Der historische Zeugniswert sei infolge der Eingriffe in den letzten Jahrzehnten weitgehend verloren gegangen.
Zur Lage und Umgebung hält der Gutachter fest, das grosse, freistehende und von weitem sichtbare Haus dominiere die umgebenden, wesentlich kleineren Ökonomiegebäude in markanter Art und Weise. Die Stellung am Rand einer ausgedehnten, von Weitem einsehbaren Hangterrrasse verleihe dem Anwesen zweifellos eine landschaftsprägende Bedeutung.
Der Gutachter kommt zum Schluss, der hohe Lagewert des landschaftsprägenden Gebäudes sei unbestritten. Hingegen sei die schon zuvor mehrfach erneuerte Bausubstanz auch nach der Unterschutzstellung von 1987 weiter und teilweise stark verändert worden. Das Haus könne deshalb nicht mehr als authentischer und wichtiger Bauzeuge einer besonderen Epoche eingestuft werden. Die Schutzwürdigkeit sei damit nicht mehr gegeben. Dem Gemeinderat werde empfohlen, die Schutzverfügung von 1987 aufgrund des inzwischen weiter erfolgten Verlustes an historischer Substanz und Authentizität aufzuheben und das Objekt aus dem Schutzinventar zu entlassen. Die Wahrung des besonderen Lagewerts, der Gebäudeform und des generellen Charakters sei durch die Bestimmungen für altrechtliche Wohnbauten ausserhalb der Bauzonen garantiert (Art. 24c RPG und <ref-law>).
5.4. Gutachten unterliegen der freien richterlichen Beweiswürdigung. In Fachfragen darf das Gericht jedoch nur aus triftigen Gründen von einer Expertise abweichen. Die Beweiswürdigung und die Beantwortung der sich stellenden Rechtsfragen ist Aufgabe des Gerichts (<ref-ruling> E. 3.2 S. 547 f. mit Hinweisen).
Im vorliegenden Fall hat der Gutachter der Gemeinde zwar empfohlen, das Objekt ganz aus dem Schutzinventar zu entlassen. Gleichzeitig hat er deutlich zum Ausdruck gebracht, dass der Lagewert, die Gebäudeform und der generelle Charakter schutzwürdig sind. Ansonsten hätte kein Anlass bestanden, speziell darauf hinzuweisen, dass zur Wahrung dieser Merkmale Art. 24c RPG und <ref-law> ausreichend seien. Für diese Interpretation spricht auch die Einschätzung des Gutachters, der hohe Lagewert des landschaftsprägenden Gebäudes sei unbestritten. Die in diesem Zusammenhang angeführte Behauptung der Beschwerdeführer, der Lagewert dürfe nicht dem Situationswert im Sinne des Gesetzes gleichgestellt werden, überzeugt nicht. Für eine derartige Unterscheidung enthält § 203 Abs. 1 lit. c PBG keine Anhaltspunkte (vgl. auch die synonyme Verwendung dieser Begriffe bei WALTER ENGELER, Das Baudenkmal im schweizerischen Recht, 2008, S. 133 und 139; ähnlich bezüglich schützenswerter Ortsbilder Art. 18 lit. a der Weisungen vom 1. Dezember 2017 des Eidgenössischen Departements des Innern über das Bundesinventar der schützenswerten Ortsbilder der Schweiz von nationaler Bedeutung ISOS [WISOS]).
Wenn das Verwaltungsgericht die Schutzwürdigkeit in Bezug auf den Situationswert des strittigen Wohnhauses grundsätzlich bejaht und damit die gegenteilige Auffassung der Gemeinde als nicht mehr vertretbar erachtet hat, ist dies aus den genannten Gründen nicht zu beanstanden. Eine Verletzung der Gemeindeautonomie ist in dieser Hinsicht zu verneinen.
6.
6.1. Damit bleibt zu prüfen, ob der Schutz durch Art. 24c RPG und <ref-law> hinreichend gewährleistet wird, sodass keine Unterschutzstellung durch Verfügung erforderlich ist. Die Beschwerdeführer berufen sich in dieser Hinsicht auf § 205 PBG und auf § 9 Abs. 1 KNHV. Diese Bestimmungen haben folgenden Wortlaut:
"§ 205 PBG
Der Schutz erfolgt durch:
a. Massnahmen des Planungsrechts,
b. Verordnung, insbesondere bei Schutzmassnahmen, die ein grösseres Gebiet erfassen,
c. Verfügung,
d. Vertrag."
"§ 9 Abs. 1 KNHV
Schutzmassnahmen gemäss § 205 lit. b, c und d PBG sind anzuordnen, wenn oder soweit planungsrechtliche Massnahmen und die Bauvorschriften einen fachgerechten Schutz sowie Pflege und Unterhalt nicht sicherstellen."
6.2. Die Beschwerdeführer bringen vor, zwischen Raumplanungsrecht und Denkmalschutzrecht könne nicht kategorisch unterschieden werden. Aus den zitierten Bestimmungen gehe hervor, dass eine Schutzverfügung nur dann zulässig sei, wenn planungsrechtliche Massnahmen und die Bauvorschriften einen fachgerechten Schutz nicht sicherzustellen vermöchten. Art. 24c RPG und <ref-law> reichten aus, um den Lagewert, die Gebäudeform und den generellen Charakter des Wohnhauses zu bewahren. Selbst wenn das Gebäude abgerissen würde, müsste ein Ersatzbau wesensgleich sein.
6.3. Gemäss Art. 24c Abs. 1 RPG werden bestimmungsgemäss nutzbare Bauten und Anlagen ausserhalb der Bauzonen, die nicht mehr zonenkonform sind, in ihrem Bestand grundsätzlich geschützt. Solche Bauten und Anlagen können mit Bewilligung der zuständigen Behörde erneuert, teilweise geändert, massvoll erweitert oder wiederaufgebaut werden, sofern sie rechtmässig erstellt oder geändert worden sind (Art. 24c Abs. 2 RPG). Dies gilt auch für landwirtschaftliche Wohnbauten sowie angebaute Ökonomiebauten, die rechtmässig erstellt oder geändert worden sind, bevor das betreffende Grundstück Bestandteil des Nichtbaugebiets im Sinn des Bundesrechts wurde (Art. 24c Abs. 3 RPG). Veränderungen am äusseren Erscheinungsbild müssen für eine zeitgemässe Wohnnutzung oder eine energetische Sanierung nötig oder darauf ausgerichtet sein, die Einpassung in die Landschaft zu verbessern (Art. 24c Abs. 4 RPG). In jedem Fall bleibt die Vereinbarkeit mit den wichtigen Anliegen der Raumplanung vorbehalten (Art. 24c Abs. 5 RPG).
Der Bundesrat hat in <ref-law> die zulässigen Änderungen im Sinne von Art. 24c Abs. 2 RPG weiter konkretisiert. Als Grundregel für alle Bauvorhaben gilt, dass die Identität der Baute einschliesslich ihrer Umgebung in den wesentlichen Zügen gewahrt bleiben muss, wobei Verbesserungen gestalterischer Art zulässig sind (<ref-law>). Massgeblicher Vergleichszustand für die Beurteilung der Identität ist der Zustand, in dem sich die Baute oder Anlage im Zeitpunkt der Zuweisung zum Nichtbaugebiet befand (<ref-law>). Ob die Identität der Baute im Wesentlichen gewahrt bleibt, ist unter Würdigung der gesamten Umstände zu beurteilen (<ref-law>). In Art. 42 Abs. 3 lit. a und b RPV sind feste quantitative Obergrenzen verankert, bei deren Überschreitung die Identität der Baute in jedem Fall als nicht mehr gewahrt gilt. Des Weiteren bestimmt <ref-law>, dass bauliche Veränderungen keine wesentlich veränderte Nutzung ursprünglich bloss zeitweise bewohnter Bauten ermöglichen dürfen.
Nach der Rechtsprechung des Bundesgerichts ist darauf abzustellen, ob die Änderung bei einer Gesamtbetrachtung von untergeordneter Natur ist. Die Wesensgleichheit der Baute muss hinsichtlich Umfang, äusserer Erscheinung sowie Zweckbestimmung gewahrt werden und es dürfen keine wesentlichen neuen Auswirkungen auf die Nutzungsordnung, Erschliessung und Umwelt geschaffen werden (<ref-ruling> E. 3a und b S. 218 f.). Die Identität einer Baute wird in massgeblicher Weise durch die Umgebung mitgeprägt. Gefordert ist nicht völlige Gleichheit von Alt und Neu, sondern die Identität bezieht sich auf die "wesentlichen Züge", also die aus raumplanerischer Sicht wichtigen Merkmale des Objekts. Ob die so verstandene Identität noch gewahrt wird, beurteilt sich unter Würdigung aller raumrelevanten Gesichtspunkte in ihrem Zusammenwirken. In die Gesamtbeurteilung einzubeziehen sind namentlich das äussere Erscheinungsbild, die Nutzungsart und das Nutzungsmass, die Anzahl Wohneinheiten, die Erschliessung, die wirtschaftliche Zweckbestimmung sowie die Auswirkungen auf die Raumordnung und die Umwelt. Bei der Beurteilung des äusseren Erscheinungsbilds ist entscheidend, ob das geplante Bauprojekt bezüglich Gebäudeform, Stil und Gestaltung wesentlich vom bestehenden Gebäude abweicht. Fehlt es an der Identität, liegt eine vollständige Änderung vor und die Erteilung einer Ausnahmebewilligung nach Art. 24c RPG fällt ausser Betracht (zum Ganzen: Urteil 1C_99/2017 vom 20. Juni 2017 E. 3.1 mit Hinweis).
6.4. Gestützt auf Art. 24c RPG und <ref-law> wären somit ein Abbruch und ein Wiederaufbau des Wohnhauses zulässig, was der gutachterlich bestätigten Schutzwürdigkeit diametral zuwiderliefe. Möglich wären weiter auch eine teilweise Änderung und massvolle Erweiterung. Veränderungen am äusseren Erscheinungsbild wären nicht ausgeschlossen, sofern sie insbesondere für eine zeitgemässe Wohnnutzung oder eine energetische Sanierung nötig sind (vgl. zu Letzterem Urteil 1C_345/2014 vom 17. Juni 2015 E. 3 mit Hinweisen, in: URP 2015 S. 706). Die allgemeine Voraussetzung, dass die Identität der Baute einschliesslich ihrer Umgebung in den wesentlichen Zügen gewahrt bleiben muss, erscheint zudem nicht geeignet, der vorliegend bejahten Schutzwürdigkeit hinsichtlich des Situationswerts hinreichend Rechnung zu tragen. Wie die Vorinstanz in dieser Hinsicht zu Recht dargelegt hat, ist zwar bei der Beurteilung eines Baugesuchs unter dem Gesichtswinkel von Art. 24c RPG zu berücksichtigen, ob ein Objekt unter Denkmalschutz steht (vgl. z.B. Urteil 1C_555/2013 vom 28. März 2014 E. 7.1 mit Hinweisen, in: ZBl 117/2016 S. 261), doch vermag die Bestimmung eine denkmalschutzrechtliche Massnahme nicht zu ersetzen. Hinzu kommen grundsätzliche Bedenken, wenn über eine bundesrechtliche Bestimmung, auf deren Revision der kantonale Gesetzgeber keinen Einfluss hat, eine kantonalrechtliche Massnahme des Denkmalschutzes sichergestellt werden soll. Der Auffassung der Vorinstanz, Art. 24c RPG sei ungeeignet, den Schutz des Situationswerts des Wohnhauses zu gewährleisten, ist deshalb nicht zu beanstanden.
6.5. Aus dem Dargelegten folgt, dass die Gemeinde ihren Handlungsspielraum auch in dieser Hinsicht in einer Weise ausgeübt hat, die nicht mehr vertretbar erscheint. Das Verwaltungsgericht durfte deshalb, ohne die Gemeindeautonomie zu verletzen, in diesen Handlungsspielraum eingereifen und sein Ermessen an die Stelle desjenigen der Gemeinde setzen.
7.
Die privaten Beschwerdeführer machen in diesem Zusammenhang ergänzend eine Verletzung der Eigentumsgarantie (<ref-law>) geltend, wobei sie mit den bereits dargelegten Argumenten das Bestehen eines öffentlichen Interesses an einer Einschränkung dieses Grundrechts und deren Verhältnismässigkeit in Frage stellen. In dieser Hinsicht kann auf die vorangehenden Erwägungen verwiesen werden. Daraus geht hervor, dass das öffentliche Interesse zu bejahen ist (E. 5 hiervor) und dass die bundesrechtlichen Bestimmungen über Bauten ausserhalb der Bauzonen nicht als mildere Massnahme gegenüber einer Unterschutzstellungsverfügung in Betracht kommen (E. 6 hiervor). Eine darüber hinausgehende Prüfung der Verhältnismässigkeit ist derzeit nicht möglich, da das Verwaltungsgericht lediglich einen Grundsatzentscheid zur Schutzwürdigkeit gefällt hat und die geforderte neue Umschreibung des Schutzumfangs bezüglich des Situationswerts noch aussteht.
8.
8.1. Die privaten Beschwerdeführer berufen sich schliesslich auf den erwähnten "Nachtrag", wonach die in den Unterschutzstellungsverfügungen von 1987 aufgeführten Schutzziele nicht absolut gelten sollen, sondern als Richtlinien im Zusammenhang mit allfälligen baulichen Veränderungen am Schutzobjekt zu verstehen seien. Sie erblicken darin eine behördliche Zusicherung, die für ihren Eigentumserwerb entscheidend gewesen sei. Sie betonen, der Nachtrag sei im Grundbuch eingetragen worden und habe den Schutz mehr als nur relativiert.
8.2. Der in <ref-law> verankerte Grundsatz von Treu und Glauben verleiht einer Person Anspruch auf Schutz des Vertrauens in behördliche Zusicherungen oder sonstiges behördliches Verhalten, auf das sie berechtigterweise vertrauen durfte, sofern sie gestützt darauf nachteilige Dispositionen getroffen hat, die sie nicht mehr rückgängig machen kann (<ref-ruling> E. 2.5.1 S. 72 f. mit Hinweisen).
8.3. Es ist gemäss den Ausführungen der Vorinstanz unbestritten, dass der Gemeinderat durch die vorzeitige Inventareröffnung im Jahr 1987 wohl unbeabsichtigt die einjährige Frist von § 209 Abs. 2 PBG auslöste und dadurch unter Zugzwang geriet. Der Gutachter führt aus, die Gemeinde scheine sich über die Bedeutung der Formulierung nicht im Klaren gewesen zu sein, als sie eine "integrale Erhaltung aussen" angeordnet habe. Vor diesem Hintergrund ist offensichtlich auch die kurz darauf folgende Relativierung zu verstehen, mit welcher der Umschreibung des Schutzumfangs eine Art Richtliniencharakter verliehen werden sollte.
Über die genaue rechtliche Bedeutung dieses gesetzlich nicht vorgesehenen Vorgehens ist vorliegend nicht zu entscheiden. Massgeblich erscheint insofern einzig, dass die privaten Beschwerdeführer gestützt auf die Relativierung der integralen Unterschutzstellung nicht darauf vertrauen durften, dass das Wohnhaus überhaupt keinem Schutz mehr unterlag, mithin die Schutzverfügung vom 21. Dezember 1987 mit dem Nachtrag vom 11. Januar 1988 aufgehoben wurde. Dies ist offensichtlich nicht der Fall. Damit ist auch eine entsprechende Vertrauensgrundlage zu verneinen und erweist sich die Rüge der Verletzung von <ref-law> als unbegründet.
9.
Die Beschwerden sind aus den genannten Erwägungen abzuweisen, soweit darauf einzutreten ist.
Bei diesem Verfahrensausgang sind die Gerichtskosten den privaten Beschwerdeführern aufzuerlegen (Art. 66 Abs. 1 und 4 BGG). Der Zürcher Heimatschutz wurde nicht anwaltlich vertreten, weshalb ihm keine Parteientschädigung zuzusprechen ist (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerden werden abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 4'000.-- werden den privaten Beschwerdeführern auferlegt.
3.
Es wird keine Parteientschädigung zugesprochen.
4.
Dieses Urteil wird den Parteien, C._, D._, dem Baurekursgericht und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 16. August 2018
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Der Gerichtsschreiber: Dold