Sachverhalt:
A.
Der Abteilungsvorsteher Bau der Stadt Uster erteilte D. und E. F._ am 10. September 2012 die baurechtliche Bewilligung für den Abbruch des ehemaligen Schweinestalls und den Neubau eines Wohnhauses auf der Parzelle H863 an der Hintergasse 3/Kleinjogg-Strasse 7 in Wermatswil. Zugleich eröffnete er ihnen die von der Baudirektion am 3. April 2012 erteilte heimatschutzrechtliche Bewilligung.
Das schmale, langgezogene Baugrundstück erstreckt sich von der Hintergasse im Süden in nördlicher Richtung bis zur Kleinjogg-Strasse. Von der Hintergasse aus gesehen kommt das geplante Wohnhaus hinter das bestehende Gujer-Haus zu liegen. Letzteres ist im Inventar der überkommunalen Schutzobjekte des Kantons Zürich sowie im kommunalen Inventar der schützenswerten Bauten eingetragen. Es beansprucht sowohl die Parzelle H863 als auch die westliche Nachbarparzelle H1052. Das Baugrundstück befindet sich bis zur nördlichen Gebäudeseite des projektierten Neubaus in der Dorfzone D2, nördlich davon kommt es in die Reservezone zu liegen.
Einen Rekurs, den die Nachbarn A. und B. C._ gegen die Baubewilligung und die heimatschutzrechtliche Bewilligung erhoben hatten, wies das Baurekursgericht des Kantons Zürich am 17. April 2013 ab. Hiergegen gelangten A. und B. C._ ans Verwaltungsgericht des Kantons Zürich. Dieses hiess ihre Beschwerde am 8. Mai 2014 teilweise gut, hob die Baubewilligung auf und wies die Sache zur ergänzenden Untersuchung und Neuentscheidung an die kommunale Baubehörde zurück.
Am 22. August 2014 erteilte die Baudirektion wiederum ihre heimatschutzrechtliche Zustimmung zum nämlichen Projekt, ebenso der Abteilungsvorsteher Bau der Stadt Uster am 20. Oktober 2014 die baurechtliche Bewilligung. Wiederum fochten A. und B. C._ diese Verfügungen beim Baurekursgericht an. Dieses wies den Rekurs am 29. April 2015 ab, soweit es darauf eintrat. Eine dagegen erhobene Beschwerde wies das Verwaltungsgericht mit Urteil vom 22. Oktober 2015 ab, soweit es darauf eintrat.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 2. Dezember 2015 beantragen A. und B. C._ im Wesentlichen die Aufhebung des Urteils des Verwaltungsgerichts. Eventualiter sei die Sache an das Verwaltungsgericht zurückzuweisen und die Vorinstanzen seien anzuweisen, ein Gutachten der kantonalen Denkmalschutzkommission einzuholen und einen förmlichen Entscheid über die Unterschutzstellung von Gebäude und Gartenbereich an der Hintergasse 3 zu fällen.
Das Verwaltungsgericht und die Beschwerdegegner beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Der Abteilungsvorsteher Bau der Stadt Uster hat auf eine Vernehmlassung verzichtet. Die Baudirektion schliesst auf Abweisung der Beschwerde.

Erwägungen:
1.
Dem angefochtenen Entscheid liegt ein Beschwerdeverfahren über eine baurechtliche Bewilligung zu Grunde. Dagegen ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach <ref-law> das zutreffende Rechtsmittel. Die Beschwerdeführer haben am vorinstanzlichen Verfahren teilgenommen, sind als Nachbarn durch den angefochtenen Entscheid besonders berührt und haben ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung (<ref-law>). Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist unter Vorbehalt der nachfolgenden Erwägungen einzutreten.
2.
Nach <ref-law> ist in der Begründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Der Beschwerdeführer muss sich wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzen. Zwar wendet das Bundesgericht das Recht grundsätzlich von Amtes wegen an (<ref-law>). Das setzt aber voraus, dass auf die Beschwerde überhaupt eingetreten werden kann, diese also wenigstens die Begründungsanforderungen von <ref-law> erfüllt. Strengere Anforderungen gelten, wenn die Verletzung von Grundrechten (einschliesslich der willkürlichen Anwendung von kantonalem Recht und Willkür bei der Sachverhaltsfeststellung) geltend gemacht wird. Dies prüft das Bundesgericht nicht von Amtes wegen, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen (<ref-ruling> E. 1.4 S. 176 mit Hinweisen).
3.
3.1. Die Beschwerdeführer sind der Auffassung, dass in einem separaten Entscheid über die Schutzwürdigkeit des hinteren Teils der Parzellen, auf denen das Gujer-Haus stehe, hätte entschieden werden müssen. Angesichts der Häufung von Schutzobjekten im umliegenden Gebiet wäre dazu zwingend ein Fachgutachten einzuholen gewesen. Gemäss § 207 Abs. 1 Satz 2 des Planungs- und Baugesetzes des Kantons Zürich vom 7. September 1975 (PBG; LS 700.1) bedürfe eine Schutzverfügung einer örtlich und sachlich genauen Umschreibung. Ein Schutzzweck sei nie näher definiert worden. Zudem hätten die Vorinstanzen es unterlassen, eine Interessenabwägung vorzunehmen. Durch die bloss projektbezogene Beurteilung und die negative Schutzverfügung würden die §§ 203 ff. PGB umgangen, insbesondere § 205 PBG. Dies verletze das Willkürverbot (<ref-law>). Zudem beruhe der angefochtene Entscheid auf einer ungenügenden Sachverhaltsfeststellung im Sinne von <ref-law>.
3.2. § 205 PBG zählt die Arten von Schutzmassnahmen auf, wozu Massnahmen des Planungsrechts, Verordnung, Verfügung und Vertrag gehören. Die Bestimmung schliesst nicht aus, dass eine Behörde im Rahmen eines Baubewilligungsverfahrens feststellt, dass keine Schutzmassnahmen erforderlich sind. Die Praxis des Verwaltungsgerichts, wonach gemäss § 205 PBG nicht zwingend ein selbständiger Entscheid über Schutzmassnahmen erforderlich ist, erscheint deshalb nicht als willkürlich. Auch der Hinweis der Beschwerdeführer auf § 207 Abs. 1 Satz 2 PBG vermag daran nichts zu ändern. Gemäss dieser Bestimmung ist der Umfang von Schutzmassnahmen örtlich und sachlich genau zu umschreiben. Zur Frage, ob Schutzmassnahmen anzuordnen sind bzw. in welchem Verfahren dies zu geschehen hat, äussert sich § 207 PBG nicht. Die Rüge ist somit auch in dieser Hinsicht unbegründet. Insofern, als die Beschwerdeführer zudem pauschal auf §§ 203 ff. PBG verweisen, genügen sie den Begründungsanforderungen von Art. 42 Abs. 2 und <ref-law> nicht. Darauf ist nicht einzutreten.
3.3. Entgegen der Auffassung der Beschwerdeführer hat sich das Verwaltungsgericht zudem durchaus mit der Frage der Schutzwürdigkeit des rückwärtigen Teils der Parzelle H863 auseinandergesetzt. Diese prüfte es unter dem Gesichtswinkel von § 203 Abs. 1 lit. c und f. Danach sind Schutzobjekte:
"c. Ortskerne, Quartiere, Strassen und Plätze, Gebäudegruppen, Gebäude und Teile sowie Zugehör von solchen, die als wichtige Zeugen einer politischen, wirtschaftlichen, sozialen oder baukünstlerischen Epoche erhaltenswürdig sind oder die Landschaften oder Siedlungen wesentlich mitprägen, samt der für ihre Wirkung wesentlichen Umgebung;"
"f. wertvolle Park- und Gartenanlagen, Bäume, Baumbestände, Feldgehölze und Hecken[.]"
Das Verwaltungsgericht schloss sich in dieser Hinsicht den Ausführungen des Baurekursgerichts an. Dieses führte aus, es möge zutreffen, dass ein Baumgarten gewöhnlich zu einem Bauernhof gezählt und ein solcher sich ursprünglich bis zum Gebäude Hintergasse 1/3 erstreckt habe. Solche Hauswiesen und Baumgärten bildeten seit dem 16. Jahrhundert einen festen Bestandteil der Güterbeschreibungen und gehörten zum Umschwung einer Hofgruppe. Auch in Wermatswil seien zahlreiche Baumgärten nachgewiesen. Dies bedeute jedoch nicht, dass das Schutzobjekt ohne Baumgarten - soweit dieser überhaupt noch vorhanden sei - nicht mehr als typisches Vollbauernhaus zu erkennen wäre, oder dass die Aussagekraft dieses Zeugen aufgrund der partiellen Überstellung durch den Neubau geschwächt würde. Im gegenwärtigen Zustand mit einer Wiese und einzelnen Bäumen könne auch nicht von einem besonders gut erhaltenen und anschaulichen Beispiel eines Gehöfts mit Baumgarten gesprochen werden. Somit komme Letzterem für die Zeugenschaft des Doppelhauses keine besondere Bedeutung zu. Unter diesen Umständen bilde der rückwärtige Teil der Parzelle H863 weder für sich noch zusammen mit dem Gujer-Haus einen wichtigen Zeugen im Sinn von § 203 Abs. 1 lit. c Halbsatz 1 PBG. Der fragliche Bereich lasse sich auch nicht als für die Wirkung des Gujer-Hauses wesentliche Umgebung im Sinn von Halbsatz 2 der erwähnten Bestimmung würdigen. Schliesslich komme dem Baumgarten auch nach § 203 Abs. 1 lit. f PBG keine Schutzwürdigkeit zu, denn diese Norm bewahre nur das gegenwärtige Erscheinungsbild und nicht einen früheren Zustand.
Zwar wies das Baurekursgericht auch darauf hin, dass aus denkmalpflegerischer und ortsbaulicher Sicht die Bewahrung der Struktur (Abfolge von Süd nach Nord von Hauptgebäude, Hof mit Nebengebäuden, Freiflächen) ein konzeptionelles Schutzziel darstelle, und erscheint in dieser Hinsicht fraglich, ob das geplante Haus trotz seiner bescheidenen Dimensionen (vgl. E. 4.2 hiernach) als Nebengebäude des Gujer-Hauses bezeichnet werden kann. Die Baudirektion wies indessen gemäss dem angefochtenen Entscheid weiter darauf hin, dass die geltende Bau- und Zonenordnung die erwähnte Struktur insofern sichere, als sie die Wiese mit Obstbäumen einer Reservezone zuweise und damit deren Freibleiben sichere. Das Gujer-Haus enthalte darüber hinaus keine Elemente eines Gartens, die in einer noch vorhandenen historischen Substanz zu schützen wären.
Wenn das Verwaltungsgericht gestützt auf diese Erwägungen zum Schluss kam, dass keine zusätzlichen Schutzmassnahmen geboten seien, ist dies unter Willkürgesichtspunkten nicht zu beanstanden.
Ebensowenig erscheint willkürlich, wenn das Verwaltungsgericht in antizipierter Beweiswürdigung davon absah, ein Fachgutachten einzuholen. Dass sich in der betroffenen Umgebung mehrere Schutzobjekte befinden, macht eine Begutachtung nicht unabdingbar.
Die Beschwerdeführer weisen in diesem Zusammenhang schliesslich konkret auf das Schutzobjekt Hintergasse 5 und den Ortsbildschutz hin und kritisieren die vorinstanzliche Sachverhaltsfeststellung als willkürlich. Sie legen jedoch nicht dar, inwiefern die Berücksichtigung dieser Gesichtspunkte die Beurteilung hätte beeinflussen müssen. Die Rüge ist damit nicht hinreichend begründet (<ref-law> E. 2 hievor).
4.
4.1. Gemäss § 238 PBG sind Bauten, Anlagen und Umschwung für sich und in ihrem Zusammenhang mit der baulichen und landschaftlichen Umgebung im ganzen und in ihren einzelnen Teilen so zu gestalten, dass eine befriedigende Gesamtwirkung erreicht wird (Abs. 1). Auf Objekte des Natur- und Heimatschutzes ist besondere Rücksicht zu nehmen (Abs. 2).
4.2. Das Verwaltungsgericht führte zur Gestaltung aus, der projektierte Neubau messe giebelseitig 7,62 m (Süd) bzw. 7,79 m (Nord) und traufseitig 15,98 m (West) bzw. 17,62 m (Ost); die Gebäudehöhe betrage 7,75 m und die Firsthöhe 10,75 m. Mit diesen Abmessungen weise das zweigeschossige und mit einem ausgebauten Dachgeschoss versehene Wohnhaus vergleichsweise bescheidene Dimensionen auf; die Fassaden seien - in Absprache mit der kommunalen Stadtbildkommission und der kantonalen Denkmalpflege - eher unauffällig gestaltet. Eine Besonderheit stelle einzig der trapezförmige Grundriss dar, der sich durch die Abschrägung der Nordfassade ergebe. Der Gebäudeabschluss müsse in dieser Weise konzipiert werden, damit die Zufahrt gewährleistet sei. Für sich selbst betrachtet könne dem Projekt eine gute Gestaltung zuerkannt werden.
Dasselbe gelte mit Bezug auf die Würdigung des Vorhabens im Verhältnis zu seiner Umgebung. Weil die Gebäude in der Nachbarschaft des Baugrundstücks sehr unterschiedlich ausgestaltet seien, falle der projektierte Neubau keineswegs nachteilig auf. Ebenso wenig wirke sich das vergleichsweise bescheidene Bauvolumen störend aus. Sodann halte der Neubau zur Nordfassade des Gujer-Hauses mit knapp 11 m einen respektablen Gebäudeabstand ein, der das Schutzobjekt nicht als beeinträchtigt erscheinen lasse. Dabei gelte es zu berücksichtigen, dass die Qualität des Gujer-Hauses weit weniger durch die Nord- als durch dessen auf die Hintergasse ausgerichtete malerische Südfassade bestimmt werde.
4.3. Die Beschwerdeführer gehen auf diese Ausführungen kaum ein. Sie bezeichnen es als willkürlich, dass die Vorinstanz aufgrund der unvollständigen und rein projektbezogenen Schutzabklärungen feststelle, der massige Baukubus nehme genügend Rücksicht auf die Schutzobjekte Hintergasse 1-5. Wie aus der vorangehenden Wiedergabe der betreffenden Erwägung im angefochtenen Entscheid hervorgeht, hat sich das Verwaltungsgericht indessen nicht nur isoliert mit dem Projekt, sondern auch mit dessen Umgebung auseinandergesetzt. Die pauschale Kritik der Beschwerdeführer ist nicht geeignet, eine Bundesrechtsverletzung darzutun. Die Rüge ist abzuweisen, soweit sie hinreichend substanziiert wurde.
5.
5.1. Schliesslich bringen die Beschwerdeführer vor, die Gebäudetiefe betrage lediglich 7.6 m statt der in Art. 19 Abs. 1 der Bau- und Zonenordnung der Stadt Uster vom 1. April 1999 (BZO) vorgesehenen 10 m. Es sei somit unzutreffend, dass die BZO diese Neubaute ermöglichen wolle. Die Bewilligung sei willkürlich.
5.2. Das Verwaltungsgericht hat in seinem Rückweisungsentscheid vom 8. Mai 2014 in Erwägung 5 ausführlich begründet, weshalb vorliegend für die Unterschreitung der minimalen Gebäudetiefe eine Ausnahmebewilligung gestützt auf § 220 PBG erteilt werden könne. Die Beschwerdeführer setzen sich weder damit noch mit § 220 PBG auseinander. Auf ihre Kritik ist nicht einzutreten (<ref-law> E. 2 hievor).
6.
Die Beschwerde ist somit abzuweisen, soweit darauf eingetreten werden kann.
Bei diesem Ausgang des Verfahrens tragen die Beschwerdeführer die Gerichtskosten (<ref-law>). Sie haben den anwaltlich vertretenen Beschwerdegegnern eine angemessene Parteientschädigung auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern auferlegt.
3.
Die Beschwerdeführer haben den Beschwerdegegnern eine Parteientschädigung von Fr. 2'000.-- auszurichten.
4.
Dieses Urteil wird den Parteien, dem Abteilungsvorsteher Bau der Stadt Uster, der Baudirektion und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 25. Februar 2016
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold