Sachverhalt: A. Der Abteilungsvorsteher Bau der Stadt Uster erteilte D. und E. F._ am 10. September 2012 die baurechtliche Bewilligung für den Abbruch des ehemaligen Schweinestalls und den Neubau eines Wohnhauses auf der Parzelle H863 an der Hintergasse 3/Kleinjogg-Strasse 7 in Wermatswil. Zugleich eröffnete er ihnen die von der Baudirektion am 3. April 2012 erteilte heimatschutzrechtliche Bewilligung. Das schmale, langgezogene Baugrundstück erstreckt sich von der Hintergasse im Süden in nördlicher Richtung bis zur Kleinjogg-Strasse. Von der Hintergasse aus gesehen kommt das geplante Wohnhaus hinter das bestehende Gujer-Haus zu liegen. Letzteres ist im Inventar der überkommunalen Schutzobjekte des Kantons Zürich sowie im kommunalen Inventar der schützenswerten Bauten eingetragen. Es beansprucht sowohl die Parzelle H863 als auch die westliche Nachbarparzelle H1052. Das Baugrundstück befindet sich bis zur nördlichen Gebäudeseite des projektierten Neubaus in der Dorfzone D2, nördlich davon kommt es in die Reservezone zu liegen. Einen Rekurs, den die Nachbarn A. und B. C._ gegen die Baubewilligung und die heimatschutzrechtliche Bewilligung erhoben hatten, wies das Baurekursgericht des Kantons Zürich am 17. April 2013 ab. Hiergegen gelangten A. und B. C._ ans Verwaltungsgericht des Kantons Zürich. Dieses hiess ihre Beschwerde am 8. Mai 2014 teilweise gut, hob die Baubewilligung auf und wies die Sache zur ergänzenden Untersuchung und Neuentscheidung an die kommunale Baubehörde zurück. Am 22. August 2014 erteilte die Baudirektion wiederum ihre heimatschutzrechtliche Zustimmung zum nämlichen Projekt, ebenso der Abteilungsvorsteher Bau der Stadt Uster am 20. Oktober 2014 die baurechtliche Bewilligung. Wiederum fochten A. und B. C._ diese Verfügungen beim Baurekursgericht an. Dieses wies den Rekurs am 29. April 2015 ab, soweit es darauf eintrat. Eine dagegen erhobene Beschwerde wies das Verwaltungsgericht mit Urteil vom 22. Oktober 2015 ab, soweit es darauf eintrat. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 2. Dezember 2015 beantragen A. und B. C._ im Wesentlichen die Aufhebung des Urteils des Verwaltungsgerichts. Eventualiter sei die Sache an das Verwaltungsgericht zurückzuweisen und die Vorinstanzen seien anzuweisen, ein Gutachten der kantonalen Denkmalschutzkommission einzuholen und einen förmlichen Entscheid über die Unterschutzstellung von Gebäude und Gartenbereich an der Hintergasse 3 zu fällen. Das Verwaltungsgericht und die Beschwerdegegner beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Der Abteilungsvorsteher Bau der Stadt Uster hat auf eine Vernehmlassung verzichtet. Die Baudirektion schliesst auf Abweisung der Beschwerde.