Sachverhalt:
A.
Mit Beschluss vom 23. April 2012 entliess der Gemeinderat von Berg am Irchel das auf dem Grundstück Kat.-Nr. 1164 gelegene Bauernhaus samt Ökonomiebauten aus dem Inventar der kunst- und kulturhistorischen Schutzobjekte von kommunaler Bedeutung. Gleichentags erteilte er A._ und B._ die Bewilligung für den Abbruch des Bauernhauses, den Neubau eines Mehrfamilienhauses als Ersatzneubau und den Bau eines neuen Mehrfamilienhauses im südöstlichen Teil des Baugrundstücks. Gleichzeitig wurde die ortsbildschutzrechtliche Bewilligung der Baudirektion des Kantons Zürich vom 20. März 2012 eröffnet.
Berg am Irchel ist als Ortsbild von nationaler Bedeutung im Bundesinventar der schützenswerten Ortsbilder der Schweiz (ISOS) verzeichnet. Das streitige Bauernhaus befindet sich in einem Gebiet mit Erhaltungsziel A (Substanzerhalt). Im Ortsbildschutzplan der Gemeinde Berg am Irchel wird es als prägendes oder strukturbildendes Gebäude bezeichnet.
B.
Gegen beide Beschlüsse der Gemeinde rekurrierte der Zürcher Heimatschutz ZVH am 29. Mai 2012 mit zwei separaten Eingaben an das Baurekursgericht des Kantons Zürich. In erster Linie beantragte er die Aufhebung der angefochtenen Beschlüsse und die Rückweisung zu weiterer Abklärung an die Gemeinde. Eventualiter, falls das Gericht die Frage der Unterschutzstellung selbst entscheide, ersuchte er um Beizug eines geeigneten Gutachtens und/oder Durchführung eines Augenscheins.
Das Baurekursgericht führte am 11. Januar 2013 einen Augenschein durch und wies die Rekurse am 23. Mai 2013 ab. Es ging davon aus, dass der bauliche Zustand offensichtlich schlecht sei. Eine Sanierung wäre ausserordentlich aufwendig; bei einem Ersatzbau sei mit rund einem Drittel weniger finanziellem Aufwand zu rechnen. Die entscheidende Qualität des Gebäudekomplexes liege in der ortsbildlichen Wirkung und erfordere nicht zwingend den Erhalt der alten Substanz, sondern könne auch mit einem geeigneten Neubauprojekt erhalten werden.
C.
Die dagegen erhobene Beschwerde des ZVH hiess das Zürcher Verwaltungsgericht am 5. Februar 2014 teilweise gut: Die Verneinung des Eigenwerts und die Qualifikation des Situationswerts des streitbetroffenen Gebäudes seien weder von der Gemeinde noch vom Baurekursgericht nachvollziehbar begründet worden; zudem fehle auch eine fundierte Abklärung des Zustands der bestehenden Bausubstanz. Es hob deshalb den Rekursentscheid auf und wies die Sache zum Neuentscheid im Sinne der Erwägungen über die Inventarentlassung bzw. den Ersatzbau an das Baurekursgericht zurück. Abgewiesen wurde die Beschwerde hinsichtlich des zusätzlich geplanten Mehrfamilienhauses.
D.
In der Folge liess das Baurekursgericht durch seinen Referenten einen Fachbericht erarbeiten und stellte diesen den Parteien zur Stellungnahme zu. Mit Eingabe vom 5. Januar 2015 beantragte der ZVH, der Referent habe in den Ausstand zu treten und dessen Fachbericht sei aus dem Recht zu weisen. Überdies seien die Rekursgegner darüber zu befragen, von wem das Gutachten von Peter und Helen Albertin-Eicher, Büro für historische Bauforschung, vom Juli 2009 (im Folgenden: Gutachten Albertin) in Auftrag gegeben und von wem es bezahlt worden sei. Mit Entscheid vom 5. März 2015 wies das Baurekursgericht die Beschwerde ab.
E.
Dagegen führte der ZVH abermals Beschwerde an das Verwaltungsgericht. Dieses wies die Beschwerde am 1. Oktober 2015 ab.
F.
Gegen den verwaltungsgerichtlichen Entscheid hat der ZVH am 11. November 2015 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Er beantragt, das angefochtene Urteil sei aufzuheben.
G.
A._ (nachfolgend: die Beschwerdegegnerin) und das Verwaltungsgericht beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Gemeinde Berg am Irchel schliesst auf Abweisung der Beschwerde.
H.
Im weiteren Schriftenwechsel halten die Parteien an ihren Anträgen und Vorbringen fest, soweit sie sich noch äussern.
I.
Mit Verfügung vom 11. Dezember 2015 wurde der Beschwerde die aufschiebende Wirkung erteilt.

Erwägungen:
1.
Gegen den kantonal letztinstanzlichen Endentscheid des Verwaltungsgerichts, der eine Baubewilligung samt Inventarentlassung und damit eine öffentlich-rechtliche Angelegenheit betrifft, steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (<ref-law>).
1.1. Der ZVH kann sich als kantonal (und nicht gesamtschweizerisch) tätige Heimatschutzorganisation nicht auf das Verbandsbeschwerderecht nach Art. 12 Abs. 1 lit. b des Bundesgesetzes vom 1. Juli 1966 über den Natur- und Heimatschutz (NHG; SR 451) berufen. Dagegen ist er nach <ref-law> zur Beschwerde legitimiert, soweit er eine Verletzung seiner Parteirechte im vorinstanzlichen Verfahren rügt (vgl. Urteile 1C_195/2011 vom 27. Juli 2011 E. 1.2; 1C_367/2009 vom 27. Oktober 2009 E. 3; 1C_374/2010 vom 21. Dezember 2010 E. 1). Allerdings kann er auf diesem Weg keine (indirekte) Überprüfung des Entscheids in der Hauptsache erlangen, insbesondere ist er nicht befugt, die Begründung des Verwaltungsgerichts als unvollständig, zu wenig differenziert oder materiell unzutreffend zu rügen (vgl. <ref-ruling> E. 3c S. 313; <ref-ruling> E. 1.4 S. 222 mit Hinweisen; zur Weiterführung dieser so genannten "Star-Praxis" unter der Herrschaft des Bundesgerichtsgesetzes <ref-ruling> E. 3.2 S. 436 f.).
1.2. Einzutreten ist daher nur auf die formellen Rügen, namentlich der Verletzung des Anspruchs auf ein unabhängiges Gericht (<ref-law>) und auf rechtliches Gehör (<ref-law>), soweit diese unabhängig vom Entscheid in der Sache beurteilt werden können. Dies ist nicht der Fall, soweit die Begründung des Verwaltungsgerichts (namentlich in Zusammenhang mit den Sanierungskosten oder der Schutzwürdigkeit des Kopfbaus) als offensichtlich unrichtig bzw. willkürlich gerügt wird.
Nicht einzutreten ist auch auf die materielle Rüge, bei der Inventarentlassung und der Baubewilligung sei den Vorgaben des ISOS nicht (genügend) Rechnung getragen worden.
2.
Der Beschwerdeführer rügt zunächst, der Referent des Baurekursgerichts, der im zweiten Umgang den Fachbericht erstellte, sei wegen Vorbefassung befangen gewesen; dies verletze den Anspruch auf ein unabhängiges Gericht und auf rechtliches Gehör (Art. 29 Abs. 2 und <ref-law>).
2.1. Das Baurekursgericht erachtete die erst am 5. Januar 2015 vorgebrachte Rüge der Befangenheit als verspätet; überdies sei sie unbegründet.
Das Verwaltungsgericht liess offen, ob die Rüge im Rekursverfahren rechtzeitig erhoben wurde, weil praxisgemäss die erneute Befassung derselben Richter nach einer Rückweisung keine Ausstandspflicht begründe (REGINA KIENER in: Alain Griffel [Hrsg.], Kommentar zum Verwaltungsrechtspflegegesetz des Kantons Zürich, 3. Aufl., Zürich 2014 [Kommentar VRG], § 5a N. 27). Gegenüber dem Regelfall einer Rückweisung liege hier insoweit eine Besonderheit vor, als der Referent zusätzlich einen Fachbericht verfasst habe. Mit dieser Tätigkeit rücke er bis zu einem gewissen Grad in die Nähe eines Sachverständigen. Bei der Bestellung eines Sachverständigen sei darauf zu achten, dass dieser mit der Sache nicht bereits befasst gewesen sei. Dem Fachrichter am Baurekursgericht komme indes nicht die formale Stellung eines Gutachters zu. Das Institut des Fachberichts am Baurekursgericht entspreche vielmehr dem zivilprozessualen Fachvotum, wie es gestützt auf <ref-law> zulässig sei. Der Referent habe den Fachbericht in seiner Funktion als Gerichtsmitglied und nicht in der Funktion eines beigezogenen Gutachters erstattet. Ähnlich wie beim "normalen" Richter sei auch beim Richter, der einen Fachbericht verfasse, davon auszugehen, dass er offen sei, seine Auffassung bei erneuter und vertiefter Auseinandersetzung mit dem Prozessgegenstand zu hinterfragen und allenfalls auch zu revidieren. Es bestünden vorliegend keine Anhaltspunkte dafür, dass diese Offenheit beim Referenten hätte fehlen können, zumal er für die Erstattung des Fachberichts einen erneuten Augenschein am Objekt vorgenommen habe.
2.2. Die Beschwerdeführerin hält dem entgegen, dass der Fachreferent schon im ersten Umgang Tatsachen als erwiesen erachtet habe, obwohl die diesbezüglichen Abklärungen noch gefehlt hätten. In dieser Situation bestünden nach <ref-ruling> E. 3.6 S. 119 f. begründete Zweifel, ob er im zweiten Umgang noch zu einer anderen Bewertung hätte kommen können. Im Fachbericht würden lediglich die - schon im ersten Entscheid - angenommenen Tatsachen noch einmal, mit ausführlicherer Beschreibung und Bebilderung, dargelegt. Das Argument des Verwaltungsgerichts, wonach der Fachbericht kein Gutachten sei, sondern einem Fachvotum nach <ref-law> vergleichbar sei, gehe ins Leere, da nach ZPO für sachverständige Personen die gleichen Ausstandsgründe gälten wie für Gerichtspersonen.
2.3. Nach ständiger Rechtsprechung stellt der Umstand, dass ein Gericht schon einmal in gleicher Besetzung über die Streitsache entschieden hat, über die es - nach Rückweisung der Sache durch die Rechtsmittelinstanz - wiederum urteilen muss, grundsätzlich keinen Befangenheitsgrund dar (vgl. zuletzt Urteil 1B_67/2014 vom 31. März 2014 E. 2 mit Hinweisen und Urteil 1C_138/2014 vom 3. Oktober 2014 E. 3 betr. einen Entscheid des Zürcher Baurekursgerichts). Ein Ausstandsgrund besteht nur unter besonderen Umständen, insbesondere wenn aufgrund des früheren Verhaltens oder von Äusserungen eines Richters davon ausgegangen werden muss, dass er nicht in der Lage sein werde, seine ursprüngliche Auffassung zu revidieren (<ref-ruling> E. 2.3 S. 146). Solche Umstände werden hier nicht geltend gemacht und sind auch nicht ersichtlich. Die in <ref-ruling> E. 3.6 S. 119/120 genannte Fallgruppe eines Richters, der eine durch den Prozess erst noch abzuklärende Tatsache schon als erwiesen ansieht, bezieht sich nicht auf den hier vorliegenden Fall der Rückweisung zu erneuter Sachverhaltsabklärung.
2.4 Die Frage, ob ein strengerer Massstab anzusetzen ist, wenn - wie hier - ein Richter zusätzlich einen Fachbericht erstellt, der ein externes Sachverständigengutachten (ganz oder teilweise) ersetzt, kann offenbleiben, weil das Baurekursgericht den Ausstandsantrag als verspätet betrachten durfte. Praxisgemäss müssen Ausstandsgründe unverzüglich nach Kenntnis geltend gemacht werden, ansonsten sie als verwirkt gelten (<ref-ruling> E. 8.4.3 S. 275 mit Hinweisen); eine Ausnahme wird nur bei offensichtlichen Befangenheitsgründen gemacht (<ref-ruling> E. 4.3.2 S. 22). Vorliegend hatte das Verwaltungsgericht im Rückweisungsentscheid (E. 4.4.2) ausdrücklich auf die Möglichkeit hingewiesen, den Feststellungs- bzw. Begründungsmangel durch einen "Fachbericht des Referenten" zu beheben. Da das Baurekursgericht praxisgemäss nach Rückweisung in derselben Besetzung entscheidet wie zuvor, mussten die - mit Bauprozessen vertrauten - Rechtsvertreter des Beschwerdeführers damit rechnen, dass ein Fachbericht beim Referent des ersten Rekursentscheids eingeholt werden würde. Sie hätten ihren Ablehnungsantrag daher schon bei Wiederaufnahme des Verfahrens durch das Baurekursgericht (angezeigt mit Verfügung vom 19. April 2014) stellen können und müssen, anstatt das Vorliegen des Fachberichts abzuwarten.
3. Der Beschwerdeführer rügt ferner eine Verletzung des rechtlichen Gehörs, weil die Fachkenntnisse des Referenten nicht offengelegt worden seien. Das Baurekursgericht habe - trotz Nachfrage mit Stellungnahme vom 5. Januar 2015 - keine Auskunft zu den Fachkenntnissen des Referenten gegeben und sei auf diese Frage auch im zweiten Rekursentscheid nicht eingegangen. Das Verwaltungsgericht habe einzig darauf verwiesen, dass der Verfasser des Berichts diplomierter Architekt ETH sei und folglich während mehrerer Semester (Pflicht-) Vorlesungen zur Kunst- und Architekturgeschichte "besucht haben dürfte". Über die Qualifikationen des Fachrichters auf dem Gebiet der Bauarchäologie sei daher bis heute nichts Näheres bekannt.
Bereits aus dem Fachbericht selbst geht aber hervor, dass der Verfasser dipl. Architekt ETH/SIA ist. Zusatzqualifikationen oder -erfahrungen im Bereich der Denkmalpflege werden weder im Bericht noch im Rekursentscheid erwähnt. Damit wurde zum Ausdruck gebracht, dass der Referent nur (aber immerhin) über architektonisches Fachwissen verfügt. Dies wurde auch vom Verwaltungsgericht bestätigt. Insofern wurden dem Beschwerdeführer keine Informationen vorenthalten.
4.
Fraglich ist dagegen, ob das Fachwissen des Referenten im hier interessierenden Kontext für die Erstellung des Fachberichts ausreichte und das Baurekursgericht daher ohne Verletzung des rechtlichen Gehörs auf das vom Beschwerdeführer beantragte externe Gutachten verzichten durfte. Dies ist unstreitig der Fall, soweit es um den baulichen Zustand und die Kosten der Instandsetzung geht. Der Fachbericht beschränkt sich aber nicht auf diese Aspekte, sondern äussert sich ausdrücklich auch zur Schutzwürdigkeit der Hofstätte. Insbesondere wird in Abschnitt 6 der Situationswert gewürdigt und zur Frage Stellung genommen, ob dieser den Erhalt der historischen Substanz erfordere.
4.1. Das Verwaltungsgericht ging davon aus, dass für die Beurteilung der Schutzwürdigkeit eines Gebäudes nicht in jedem Fall ein externes Gutachten, insbesondere der Denkmalpflegekommission KDK, eingeholt werden müsse; dies sei nur erforderlich, wenn sich heikle Fachfragen stellten, zu deren Beurteilung der im Spruchkörper vorhandene Sachverstand nicht ausreiche. Der Verfasser des vorliegenden Fachberichts sei diplomierter Architekt ETH und werde folglich während mehreren Semestern Pflichtvorlesungen zur Kunst- und Architekturgeschichte besucht haben (mit Hinweis auf www.arch.ethz.ch - Studien- und Stundenplan). Er verfüge somit über eine solide bauhistorische Ausbildung, die zwar nicht an das Wissen von denkmalpflegerischen Fachspezialisten heranreiche. Gleichwohl sei ein Architekt in der Regel fähig, zumindest einfache ältere Gebäude architekturhistorisch korrekt zu würdigen. Vorliegend stehe kein besonders komplexes Gebäude zur Diskussion. Zwar sei es mehrfach mit Anbauten ergänzt worden, so dass seine Entstehung nicht ohne Weiteres ablesbar sei. Indessen liege ein baugeschichtliches Gutachten bei den Akten, welches genau die Entstehungsgeschichte nachzeichne. Insofern habe sich das Fachreferat auch zu denkmalpflegerischen Fragen äussern können und sollen.
4.2. Der Beschwerdeführer hält diese Begründung für willkürlich: Der Besuch von Pflichtvorlesungen an der ETHZ, der 20 bis 30 Jahre zurückliege, befähige nicht zu bauarchäologischen Untersuchungen, zumal bei komplexen, verschachtelten Gebäudestrukturen, die über mehrere Bauetappen bis ins 16. Jahrhundert zurückreichten. Ersetze ein Fachbericht ein beantragtes unabhängiges Gutachten, müssten vergleichbare Qualifikationen des Fachrichters verlangt werden (SVEN RÜETSCHI, in: Berner Kommentar, Schweizerische Zivilprozessordnung, 2012, N. 3 zu Art. 183 mit Hinweis).
4.3. Diese Kritik erscheint nicht völlig unberechtigt. Ein Architekt ist zwar regelmässig in der Lage, sich fachkundig zu bautechnischen Fragen zu äussern. Ohne entsprechende Zusatzausbildung fehlt ihm dagegen die Qualifikation für Fachfragen des Denkmalschutzes oder der Baugeschichte, die sich bei der Beurteilung von Eigen- und Situationswert eines historischen Gebäudekomplexes stellen können. Hier ist daher in der Regel eine Fachperson des Denkmalschutzes beizuziehen.
Im vorliegenden Fall besteht allerdings die Besonderheit, dass mit dem Gutachten Albertin bereits ein baugeschichtliches Gutachten aus dem Jahr 2009 in den Akten liegt. Auch wenn dieses von den Vorinstanzen als Parteigutachten qualifiziert wurde (was angesichts des auf S. 2 des Gutachtens erwähnten Auftrags der Bauherrschaft nicht zu beanstanden ist), wurde es doch inhaltlich von keiner Seite in Frage gestellt. Es beschreibt eingehend die Bauteile und die historische Entwicklung der Liegenschaft und hält zusammenfassend fest, die Hofstätte berge eine Vielfalt an historischen Zeugnissen. Zum baulichen Zustand der Baute äussert sich das Gutachten nicht, ebenso wenig zur Frage eines allfälligen Abbruchs.
In Kenntnis dieses baugeschichtlichen Gutachtens und nach einer Besichtigung des Objekts befand die kantonale Denkmalpflege 2010, dass die Fragmente der historischen Bausubstanz in solch schlechtem Zustand seien, dass ein Aufstufen bzw. Erhalten des Gebäudes nicht als sinnvoll erscheine, und sprach sich dementsprechend gegen eine überregionale Unterschutzstellung aus. 2012 bestätigte sie nochmals, dass dem Abbruch aus Sicht der Denkmalpflege keine Hindernisse im Wege stünden.
Das Baurekursgericht konnte sich somit zum einen auf ein eingehendes Fachgutachten zur baugeschichtlichen Bedeutung des Objekts stützen, zum andern auf die Einschätzung der kantonalen Denkmalpflege zum (nicht überwiegenden) Erhaltungsinteresse aus denkmalschützerischer Sicht. Schliesslich konnten sich die Parteien zu den Erkenntnissen des Fachrichters äussern, bevor die Baurekurskommission ihren Entscheid gefällt hat. Unter diesen Umständen erscheint es verfassungsrechtlich vertretbar, wenn das Baurekursgericht auf die Einholung eines externen Gutachtens zum Eigen- und Situationswert der Hofstätte verzichtete. Es erübrigt sich daher, näher auf den Stellenwert des Referentenberichts in diesem Kontext einzugehen.
5.
Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 und 68 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer (ZVH) auferlegt.
3.
Der Beschwerdeführer hat die Beschwerdegegnerin A._ für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Gemeinderat Berg am Irchel, der Baudirektion des Kantons Zürich und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 25. Mai 2016
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Die Gerichtsschreiberin: Gerber