Sachverhalt:
A.
Mit Zivilurteil vom 18. Dezember 2017 verpflichtete das Bezirksgericht Zürich A.C. und B.C._, die auf ihrem Grundstück an der X._strasse xxx in Zürich entlang der Grenze zum Grundstück an der X._strasse yyy stehende Hainbuchenhecke zu entfernen. Geklagt hatte E._, Miteigentümer letzterer Liegenschaft mit Sonderrecht an einer Maisonettewohnung. Das Obergericht des Kantons Zürich bestätigte den bezirksgerichtlichen Entscheid am 27. September 2018. Sein Urteil erwuchs in Rechtskraft.
Mit Urteil vom 14. Januar 2019 wies das Bezirksgericht Zürich das Stadtammannamt Zürich zzz an, das Zivilurteil vom 18. Dezember 2017 zu vollstrecken. Die dagegen erhobenen Beschwerden der Stockwerkeigentümergemeinschaft D._ sowie von A.C. und B.C._ wies das Obergericht am 8. bzw. 9. Juli 2019 ab. Am 16. Juli 2019 erliess das Stadtammannamt Zürich zzz einen Vollstreckungsbefehl.
B.
Am 30. Juli 2019 reichten A.C. und B.C._ sowie die Stockwerkeigentümergemeinschaft D._ beim Amt für Baubewilligungen der Stadt Zürich ein Gesuch ein. Sie beantragten, den heutigen Standort der konzeptionell unter Schutz gestellten Hainbuchenhecke zu genehmigen. E._ und dem Stadtammannamt Zürich zzz sei weiter im Sinne einer vorsorglichen Massnahme zu verbieten, die Hecke zu beseitigen oder beseitigen zu lassen. Mit E-Mail vom 31. Juli 2019 verneinte das Amt seine Zuständigkeit und teilte mit, es werde das Gesuch an die Gartendenkmalpflege der Stadt Zürich weiterleiten. Diese erklärte mit E-Mail vom 12. August 2019, sie sehe keine Veranlassung, in der Sache tätig zu werden.
Dagegen gelangten A.C. und B.C._ sowie die Stockwerkeigentümergemeinschaft D._ an das Baurekursgericht des Kantons Zürich. Neben der Genehmigung des heutigen Standorts der Hecke beantragten sie die Anordnung des erwähnten vorsorglichen Beseitigungsverbots gegenüber E._, dem Stadtammannamt Zürich zzz und der Stadt Zürich. Mit Verfügung vom 14. August 2019 lehnte das Baurekursgericht die vorsorgliche Massnahme ab.
C.
Gegen den Entscheid des Baurekursgerichts erhoben A.C. und B.C._ sowie die Stockwerkeigentümergemeinschaft D._ Beschwerde beim Verwaltungsgericht des Kantons Zürich. Sie beantragten die Anordnung der vom Baurekursgericht abgelehnten vorsorglichen Massnahme. Mit Urteil vom 4. November 2019 wies das Gericht das Rechtsmittel ab.
D.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 27. Dezember 2019 an das Bundesgericht beantragen A.C. und B.C._ sowie die Stockwerkeigentümergemeinschaft D._, den Entscheid des Verwaltungsgerichts aufzuheben und das vorsorgliche Beseitigungsverbot für die Hecke anzuordnen.
E._, die Stadt Zürich und das Verwaltungsgericht schliessen auf Abweisung der Beschwerde, soweit darauf eingetreten werden könne. Ersterer hat zudem am 23. Juni 2020 das Urteil 5D_178/2019, 5D_179/2019 des Bundesgerichts vom 26. Mai 2020 eingereicht, mit dem die II. zivilrechtliche Abteilung des Bundesgerichts die subsidiären Verfassungsbeschwerden von A.C. und B.C._ sowie der Stockwerkeigentümergemeinschaft D._ gegen die obergerichtlichen Urteile vom 8. und 9. Juli 2019 betreffend Vollstreckung abgewiesen hat, soweit sie darauf eingetreten ist. Letztere haben auf eine weitere Stellungnahme verzichtet.
Mit Verfügung vom 19. Februar 2020 hat das präsidierende Mitglied der I. öffentlich-rechtlichen Abteilung den Verfahrensbeteiligten vorläufig untersagt, die Hecke zu beseitigen bzw. beseitigen zu lassen.

Erwägungen:
1.
1.1. Das Bundesgericht prüft seine Zuständigkeit und die weiteren Eintretensvoraussetzungen von Amtes wegen und mit freier Kognition (<ref-law>; <ref-ruling> E. 1 S. 116; <ref-ruling> E. 1 S. 96).
1.2. Angefochten ist ein kantonal letztinstanzlicher Entscheid über eine vorsorgliche Massnahme in einer Angelegenheit des öffentlichen Rechts (Art. 82 lit. a sowie Art. 86 Abs. 1 lit. d und Abs. 2 BGG). Es handelt sich um einen selbstständig eröffneten Zwischenentscheid im Sinne von <ref-law>, gegen den die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht zulässig ist, wenn er einen nicht wieder gutzumachenden Nachteil bewirken kann (<ref-law>). Grundsätzlich setzt die Beschwerde in öffentlich-rechtlichen Angelegenheiten einen nicht wieder gutzumachenden Nachteil rechtlicher Natur voraus, wobei die Möglichkeit eines solchen Nachteils genügt. Unter gewissen Umständen kann jedoch ein rein tatsächlicher Nachteil ausreichen (vgl. <ref-ruling> E. 1.3.4 S. 36 f. mit Hinweisen; Urteil 1C_175/2013 vom 11. September 2013 E. 1.3, nicht publ. in <ref-ruling>). Der Beschwerdeführer hat darzutun, dass die Voraussetzung von <ref-law> erfüllt ist, es sei denn, dies sei offensichtlich (vgl. <ref-ruling> E. 1.2 S. 28 mit Hinweisen). Das gilt auch, soweit es um eine vorsorgliche Massnahme geht (vgl. <ref-ruling> E. 1.1 S. 329 f.; Urteil 2C_645/2018 vom 28. September 2018 E. 1.3.1).
1.3. Die mit dem angefochtenen Entscheid geschützte Weigerung des Baurekursgerichts, das strittige vorsorgliche Beseitigungsverbot für die Hecke anzuordnen, mag zwar zu deren Beseitigung führen. Damit würde jedoch nur das rechtskräftige Zivilurteil des Bezirksgerichts Zürich vom 18. Dezember 2017 vollstreckt, mit dem die Beschwerdeführer 1 zur Entfernung der Hecke verpflichtet wurden und bezüglich dessen ein in Rechtskraft erwachsener Vollstreckungsentscheid desselben Gerichts vorliegt. Zur Vollstreckung dieses Urteils käme es weiter auch dann, wenn der heutige Standort der Hecke, wie von den Beschwerdeführern in ihrem Gesuch vom 30. Juli 2019 an die Stadt Zürich beantragt, nach den öffentlich-rechtlichen Vorgaben der Gartendenkmalpflege genehmigt werden könnte. Ob dieser Standort - gemäss der Gesuchseingabe der Beschwerdeführer wurde die Hecke erweitert und auf die gemeinsame Grenze der Parzellen X._strasse xxx und yyy gesetzt - mit den Vorgaben der Gartendenkmalpflege vereinbar ist, betrifft weder die Frage, ob die Hecke aus zivilrechtlichen Gründen entfernt werden muss, noch jene, ob ihre Entfernung gartendenkmalrechtlich unzulässig ist. Diese Fragen bildeten Gegenstand der Zivilverfahren, in denen erstere Frage bejaht und letztere unter Einholung einer schriftlichen Auskunft der Gartendenkmalpflege verneint wurde. Sie wären hingegen nicht Gegenstand des Genehmigungsverfahrens, dessen Durchführung die Beschwerdeführer mit ihrem Rekurs beim Baurekursgericht erreichen wollen.
Unter diesen Umständen ist nicht ersichtlich, dass der angefochtene Entscheid für die Beschwerdeführer einen nicht wieder gutzumachenden rechtlichen Nachteil zur Folge haben könnte. Ebenso wenig ergibt sich solches aus ihren Vorbringen. Ein Fall, in dem gemäss der bundesgerichtlichen Rechtsprechung ausnahmsweise ein rein tatsächlicher Nachteil genügen würde, liegt zudem nicht vor. Ein nicht wieder gutzumachender rechtlicher Nachteil war weiter auch bei Beschwerdeeinreichung auszuschliessen, hatte das Bundesgericht doch den subsidiären Verfassungsbeschwerden der Beschwerdeführer gegen die obergerichtlichen Urteile vom 8. und 9. Juli 2019 betreffend Vollstreckung zu einem früheren Zeitpunkt die aufschiebende Wirkung erteilt. Der angefochtene Entscheid ist somit kein Anfechtungsobjekt im Sinne von <ref-law>, die Beschwerde daher unzulässig.
2.
Demnach kann auf die Beschwerde nicht eingetreten werden.
Bei diesem Ausgang des Verfahrens werden die Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1 und 5 BGG). Sie haben zudem den Beschwerdegegner für das bundesgerichtliche Verfahren zu entschädigen (<ref-law>). Die Stadt Zürich hat keinen Anspruch auf eine Parteientschädigung.

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 4'000.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
3.
Die Beschwerdeführer haben den Beschwerdegegner für das bundesgerichliche Verfahren mit Fr. 2'500.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, der Stadt Zürich und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 14. Januar 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Baur