Erwägungen:
1. 1.1 A.X._ (geb. 1934), seit 1992 im Range eines Generaldirektors bei den Z._-Versicherungen tätig, wurde auf Ende 1997 pensioniert und bezog ab dem 1. Januar 1998 eine Rente der beruflichen Vorsorge. Auf diesen Zeitpunkt hin nahm das Kantonale Steueramt Zürich eine Zwischenveranlagung vor, die in Rechtskraft erwuchs. Da A.X._ weiterhin Erwerbseinkommen erzielte und auch einen Lohnausweis für das Steuerjahr 1998 eingereicht hatte, eröffnete das Steueramt am 12. April 2002 ein Nachsteuer- und Bussenverfahren; mit Einsprache-Entscheid vom 10. September 2003 setzte es betreffend die Staats- und Gemeindesteuer die Nachsteuer auf Fr. 418'516.05 fest, wobei es gegenüber der ursprünglich ergangenen diesbezüglichen Verfügung (vom 5. November 2002) zu Ungunsten der Einsprecher entschied (reformatio in peius). Das Verwaltungsgericht des Kantons Zürich hiess den hiegegen erhobenen Rekurs am 28. April 2004 wegen Verletzung des rechtlichen Gehörs gut. Im zweiten Rechtsgang erhöhte das Steueramt das der Nachsteuer unterliegende Einkommen noch weiter, so dass eine Nachsteuer von nunmehr Fr. 511'926.35 resultierte. Mit Urteil vom 10. Dezember 2008 hiess das Verwaltungsgericht den hiegegen erhobenen Rekurs wiederum teilweise gut (wegen Verletzung des Anspruchs auf rechtliches Gehör) und wies die Sache zur weiteren Untersuchung und zum Erlass eines neuen Einsprache-Entscheides an das Steueramt zurück.
1.2 In der Folge erhoben A. und B.X._ bei der Finanzdirektion des Kantons Zürich Aufsichtsbeschwerde und stellten gegen den bisher in dieser Sache tätig gewesenen Sachbearbeiter des Steueramtes, Dr. W._, ein Ausstandsbegehren. Sie verlangten, dass "das Verfahren einer anderen Person als Herrn Dr. W._ zuzuteilen" sei. Noch während der Beschwerdeinstruktion teilte die Chefin der zuständigen Dienstabteilung des Steueramtes am 27. März 2009 mit, von einer Befangenheit des Dr. W._ könne zwar keine Rede sein, die Angelegenheit werde aus verfahrensökonomischen Gründen aber ab sofort von Dr. Y._ bearbeitet. Mit Verfügung vom 21. April 2009 schrieb die Finanzdirektion sodann das Aufsichtsbeschwerdeverfahren als gegenstandslos ab.
1.3 Schon zuvor, am 16. April 2009, hatte der neue Sachbearbeiter des Steueramtes, Dr. Y._, unter Hinweis auf die "per 8. Jan. 2009 zugestellten Nachsteuergrundlagen und Nachsteuerberechnungen" den Steuerpflichtigen Frist gesetzt, um eine Stellungnahme einzureichen. Diese Frist wurde auf Begehren des Vertreters der Eheleute X._ zwei Mal erstreckt, letztmals bis zum 22. Juni 2009.
1.4 Am 19. Juni 2009 liessen die Eheleute X._ bei der Finanzdirektion wiederum "Aufsichtsbeschwerde (Ausstandsbegehren)" erheben mit den Anträgen, das Verfahren einer anderen Dienstabteilung des Steueramtes, eventuell "zumindest einer anderen Person als Herrn Dr. Y._" zuzuteilen.
Mit Entscheid vom 9. September 2009 trat die Finanzdirektion auf das Ausstandsbegehren gegen die Dienstabteilung Spezialdienste nicht ein und wies das Ausstandsbegehren gegen Y._ ab. Eine hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich mit Urteil vom 20. Januar 2010 ebenfalls ab, soweit es darauf eintrat.
2. Mit Eingabe vom 29. März 2010 führen A. und B.X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht mit dem Antrag, es "sei festzustellen, dass Herr Dr. Y._ in den Ausstand zu treten habe, (...).". Y._ sei befangen, weil er - gleich wie sein Vorgänger und entgegen den Begehren der Steuerpflichtigen - weiterhin unverständliche Abkürzungen und Berechnungen verwende. Y._ habe das Verfahren sodann aufgenommen, ohne den Entscheid der Finanzdirektion im laufenden Ausstandsverfahren gegen W._ überhaupt abzuwarten. Es entstehe der Eindruck, dass die Beschwerdeführer auf diese Weise in möglichst viele parallele Verfahren verwickelt werden sollten, damit "sie irgendeinmal aufgeben". Solches Verhalten sei "einer rechtsstaatlichen Behörde in keiner Weise würdig".
Das Kantonale Steueramt Zürich und das Verwaltungsgericht des Kantons Zürich beantragen Abweisung der Beschwerde.
3. 3.1 Das Urteil des Verwaltungsgerichts vom 20. Januar 2010 ist ein selbständig eröffneter Zwischenentscheid über ein Ausstandsbegehren: Tritt er in Rechtskraft, wird das kantonale Steueramt als Einsprachebehörde - unter Mitwirkung von Y._ - erneut im Nachsteuerverfahren gegenüber den Eheleuten X._ befinden (vgl. Urteil des Verwaltungsgerichts vom 10. Dezember 2008, S. 5). Gegen einen solchen Entscheid ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig (vgl. <ref-law>).
3.2 Nach <ref-law> hat der Einzelne Anspruch darauf, dass seine Sache von einem durch Gesetz geschaffenen, zuständigen, unabhängigen und unparteiischen Gericht ohne Einwirken sachfremder Umstände entschieden wird (<ref-ruling> E. 5.2 S. 3 mit Hinweisen). Der Anspruch ist verletzt, wenn bei einem Richter - objektiv betrachtet - Gegebenheiten vorliegen, die den Anschein der Befangenheit und die Gefahr der Voreingenommenheit zu begründen vermögen (<ref-ruling> E. 6.2 S. 6; <ref-ruling> E. 3.4 S. 116 mit Hinweisen). Solche Umstände können entweder in einem bestimmten Verhalten des betreffenden Richters oder in gewissen äusseren Gegebenheiten funktioneller und organisatorischer Natur begründet sein. Für den Ausstand wird nicht verlangt, dass der Richter tatsächlich befangen ist. Es genügt, wenn Umstände vorliegen, die bei objektiver Betrachtung den Anschein der Befangenheit und Voreingenommenheit erwecken (<ref-ruling> E. 6.2 S. 6; <ref-ruling> E. 1.1 S. 25 mit Hinweisen).
Für nichtgerichtliche Behörden enthält <ref-law> eine analoge Garantie. Die Rechtsprechung zur Unabhängigkeit und Unparteilichkeit von Gerichtsbehörden kann jedoch nicht ohne Weiteres auf erstinstanzliche Verwaltungsverfahren übertragen werden. Vielmehr müssen die Anforderungen an die Unparteilichkeit von Verwaltungs- und Exekutivbehörden unter Berücksichtigung ihrer gesetzlich vorgegebenen Funktion und Organisation ermittelt werden (<ref-ruling> E. 3f S. 124 f., 209 E. 8a S. 217 f.).
3.3 Eine in den Augen des Betroffenen angeblich falsche Rechtsauffassung begründet für sich allein noch keinen Anschein der Befangenheit (<ref-ruling>, E. 3.3.2, am Ende). Selbst prozessuale Fehler und materiell fehlerhafte Entscheide begründen nicht den Anschein der Befangenheit; sie sind in dem dazu vorgesehenen Rechtsmittelverfahren zu korrigieren. Anders kann es sich nur verhalten, wenn besonders krasse oder wiederholte Fehler vorliegen, die als eigentliche Amtspflichtverletzungen qualifiziert werden müssten und auf diese Weise auf Parteilichkeit schliessen liessen (<ref-ruling> E. 3b S. 404).
Vor dem Hintergrund, dass das mit der Sache befasste Steueramt zwei Mal den Anspruch auf rechtliches Gehör verletzt hatte (vorne E. 1.1), lässt sich nachvollziehen, dass bei den Steuerpflichtigen der Eindruck entsteht, nicht ernst genommen zu werden. Daraus, dass Y._ das Nachsteuerverfahren wieder aufgenommen hat, bevor die Finanzdirektion das Ausstandsverfahren gegen W._ abgeschlossen hatte, erwuchs den Beschwerdeführern aber kein Nachteil, wurde ihrem Hauptantrag in diesem Verfahren - nämlich die Übertragung der Angelegenheit an einen anderen Sachbearbeiter - doch entsprochen (vorne E. 1.2). Y._ - dieser andere Sachbearbeiter - hat in der Folge im Sinne der Anweisung des Verwaltungsgerichts im Rückweisungsentscheid vom 10. Dezember 2008 gehandelt und den Beschwerdeführern das rechtliche Gehör eingeräumt; dass er hierbei den formellen Abschreibungsbeschluss der Finanzdirektion nicht abgewartet hatte, stellt jedenfalls keinen besonders krassen Fehler im Sinne der Rechtsprechung dar. Gleiches gilt für die angeblich unverständlichen Berechnungen und Abkürzungen, die Y._ verwendet haben soll; über die Richtigkeit dieser Berechnungen zur Ermittlung der allfälligen Nachsteuer ist nicht hier, sondern gegebenenfalls im dafür vorgesehenen Rechtsmittelverfahren zu befinden. Jedenfalls genügen diese Umstände nicht, Y._ als befangen abzulehnen.
4. Dies führt zur Abweisung der Beschwerde.
Dem Ausgang entsprechend sind die Gerichtskosten den Beschwerdeführern unter solidarischer Haftung aufzuerlegen (Art. 65/66 BGG). Parteientschädigungen sind nicht geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern auferlegt, unter solidarischer Haftung.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, schriftlich mitgeteilt.
Lausanne, 6. Juli 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Klopfenstein