Sachverhalt: A. Mit Beschluss vom 23. April 2012 entliess der Gemeinderat von Berg am Irchel das auf dem Grundstück Kat.-Nr. 1164 gelegene Bauernhaus samt Ökonomiebauten aus dem Inventar der kunst- und kulturhistorischen Schutzobjekte von kommunaler Bedeutung. Gleichentags erteilte er A._ und B._ die Bewilligung für den Abbruch des Bauernhauses, den Neubau eines Mehrfamilienhauses als Ersatzneubau und den Bau eines neuen Mehrfamilienhauses im südöstlichen Teil des Baugrundstücks. Gleichzeitig wurde die ortsbildschutzrechtliche Bewilligung der Baudirektion des Kantons Zürich vom 20. März 2012 eröffnet. Berg am Irchel ist als Ortsbild von nationaler Bedeutung im Bundesinventar der schützenswerten Ortsbilder der Schweiz (ISOS) verzeichnet. Das streitige Bauernhaus befindet sich in einem Gebiet mit Erhaltungsziel A (Substanzerhalt). Im Ortsbildschutzplan der Gemeinde Berg am Irchel wird es als prägendes oder strukturbildendes Gebäude bezeichnet. B. Gegen beide Beschlüsse der Gemeinde rekurrierte der Zürcher Heimatschutz ZVH am 29. Mai 2012 mit zwei separaten Eingaben an das Baurekursgericht des Kantons Zürich. In erster Linie beantragte er die Aufhebung der angefochtenen Beschlüsse und die Rückweisung zu weiterer Abklärung an die Gemeinde. Eventualiter, falls das Gericht die Frage der Unterschutzstellung selbst entscheide, ersuchte er um Beizug eines geeigneten Gutachtens und/oder Durchführung eines Augenscheins. Das Baurekursgericht führte am 11. Januar 2013 einen Augenschein durch und wies die Rekurse am 23. Mai 2013 ab. Es ging davon aus, dass der bauliche Zustand offensichtlich schlecht sei. Eine Sanierung wäre ausserordentlich aufwendig; bei einem Ersatzbau sei mit rund einem Drittel weniger finanziellem Aufwand zu rechnen. Die entscheidende Qualität des Gebäudekomplexes liege in der ortsbildlichen Wirkung und erfordere nicht zwingend den Erhalt der alten Substanz, sondern könne auch mit einem geeigneten Neubauprojekt erhalten werden. C. Die dagegen erhobene Beschwerde des ZVH hiess das Zürcher Verwaltungsgericht am 5. Februar 2014 teilweise gut: Die Verneinung des Eigenwerts und die Qualifikation des Situationswerts des streitbetroffenen Gebäudes seien weder von der Gemeinde noch vom Baurekursgericht nachvollziehbar begründet worden; zudem fehle auch eine fundierte Abklärung des Zustands der bestehenden Bausubstanz. Es hob deshalb den Rekursentscheid auf und wies die Sache zum Neuentscheid im Sinne der Erwägungen über die Inventarentlassung bzw. den Ersatzbau an das Baurekursgericht zurück. Abgewiesen wurde die Beschwerde hinsichtlich des zusätzlich geplanten Mehrfamilienhauses. D. In der Folge liess das Baurekursgericht durch seinen Referenten einen Fachbericht erarbeiten und stellte diesen den Parteien zur Stellungnahme zu. Mit Eingabe vom 5. Januar 2015 beantragte der ZVH, der Referent habe in den Ausstand zu treten und dessen Fachbericht sei aus dem Recht zu weisen. Überdies seien die Rekursgegner darüber zu befragen, von wem das Gutachten von Peter und Helen Albertin-Eicher, Büro für historische Bauforschung, vom Juli 2009 (im Folgenden: Gutachten Albertin) in Auftrag gegeben und von wem es bezahlt worden sei. Mit Entscheid vom 5. März 2015 wies das Baurekursgericht die Beschwerde ab. E. Dagegen führte der ZVH abermals Beschwerde an das Verwaltungsgericht. Dieses wies die Beschwerde am 1. Oktober 2015 ab. F. Gegen den verwaltungsgerichtlichen Entscheid hat der ZVH am 11. November 2015 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Er beantragt, das angefochtene Urteil sei aufzuheben. G. A._ (nachfolgend: die Beschwerdegegnerin) und das Verwaltungsgericht beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Gemeinde Berg am Irchel schliesst auf Abweisung der Beschwerde. H. Im weiteren Schriftenwechsel halten die Parteien an ihren Anträgen und Vorbringen fest, soweit sie sich noch äussern. I. Mit Verfügung vom 11. Dezember 2015 wurde der Beschwerde die aufschiebende Wirkung erteilt.