Sachverhalt:
A. A.X._ ist Vertriebsleiter der Zweigniederlassung Volketswil der C._ GmbH + Co. KG. Er erhielt im Jahr 2005 beim Kauf eines Fertighauses von seiner Arbeitgeberin auf dem Kaufpreis von Fr. 697'440.-- einen Rabatt von 15 %. Das kantonale Steueramt Zürich würdigte den Rabatt als Lohnbestandteil und schätzte auf dieser Grundlage die Eheleute A.X._ und B.X._ am 3. September 2008 für die Staats- und Gemeindesteuern 2005 mit einem steuerbaren Einkommen von Fr. 454'200.-- und einem steuerbaren Vermögen von Fr. 335'000.-- ein, ferner am 19. September 2008 für die direkte Bundessteuer 2005 mit einem steuerbaren Einkommen von Fr. 456'300.--. Dagegen erhoben die Steuerpflichtigen Rekurs bzw. Beschwerde, welche von der Steuerrekurskommission des Kantons Zürich (ab 1. Januar 2011: Steuerrekursgericht) am 8. September 2009 abgewiesen wurden.
B. Das von A.X._ und B.X._ angerufene Verwaltungsgericht des Kantons Zürich hiess deren Beschwerden am 3. März 2010 teilweise gut, indem es die Sache an die Steuerrekurskommission zur weiteren Untersuchung und zum Neuentscheid im Sinne der Erwägungen zurückwies. Nach erfolglosen Vergleichsverhandlungen wies die Rekurskommission ihrerseits am 23. September 2010 die Sache zur weiteren Untersuchung und zum Neuentscheid an das kantonale Steueramt zurück.
Die Steuerpflichtigen erhoben gegen diese Rückweisungsentscheide am 19. November 2010 Beschwerden beim Verwaltungsgericht des Kantons Zürich. Dieses trat mit Beschlüssen vom 20. April 2011 auf die Beschwerden nicht ein.
C. A.X._ und B.X._ erheben in Bezug auf die Staats- und Gemeindesteuern (Verfahren 2C_475/2011) sowie in Bezug auf die direkte Bundessteuer (Verfahren 2C_476/2011) Beschwerden in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, es sei der angefochtene Beschluss aufzuheben und die Sache an das Steuerrekursgericht des Kantons Zürich zurückzuweisen.
Das Kantonale Steueramt und das Verwaltungsgericht des Kantons Zürich beantragen die Abweisung der Beschwerden, soweit darauf einzutreten sei. Die Eidgenössische Steuerverwaltung verzichtet auf eine Vernehmlassung (in Bezug auf die Staats- und Gemeindesteuern) bzw. beantragt die Abweisung der Beschwerde (in Bezug auf die direkte Bundessteuer).
Erwägungen:
1. Die Beschwerden betreffen die gleichen Parteien, richten sich gegen praktisch übereinstimmende Entscheide und werfen identische Rechtsfragen auf. Es rechtfertigt sich deshalb, die Verfahren zu vereinigen und die Beschwerden in einem einzigen Urteil zu erledigen (vgl. Art. 71 BGG in Verbindung mit Art. 24 BZP; BGE 131 V 59 E. 1 S. 60 f. mit Hinweis).
2. 2.1 Die Beschwerde an das Bundesgericht ist zulässig gegen End- und Teilentscheide (Art. 90 und 91 BGG), gegen Vor- und Zwischenentscheide nur unter den in Art. 92 und 93 BGG genannten Voraussetzungen. Sodann kann gegen das unrechtmässige Verweigern oder Verzögern eines anfechtbaren Entscheids Beschwerde geführt werden (Art. 94 BGG). Ein Rückweisungsentscheid gilt nach der Regelung des BGG als Zwischenentscheid (BGE 133 V 477 E. 4.2 S. 481 f.). Rechtsmittelentscheide betreffend Zwischenentscheide sind ihrerseits Zwischenentscheide, ausser wenn sie den Abschluss des Hauptverfahrens bilden (RHINOW/KOLLER/KISS/THURNHERR/BRÜHL-MOSER, Öffentliches Prozessrecht, 2. Aufl. 2010, Rz. 1870). Das gilt auch, wenn mit dem angefochtenen Entscheid auf eine Beschwerde gegen eine Zwischenverfügung nicht eingetreten wird (Urteile 4A_542/2009 vom 27. April 2010 E. 3; 9C_740/2008 vom 30. Oktober 2008 E. 1).
2.2 Vorliegend ist die Vorinstanz auf die Beschwerde gegen einen Rückweisungsentscheid nicht eingetreten. Auch wenn sie eingetreten wäre, hätte ihr Entscheid - ob gutheissend oder abweisend - das Hauptverfahren nicht beendet. Der angefochtene Entscheid ist deshalb ein Zwischenentscheid, der grundsätzlich nur unter den Voraussetzungen von Art. 92 oder 93 BGG anfechtbar ist.
2.3 Ein selbständig eröffneter Zwischenentscheid über die Zuständigkeit (Art. 92 Abs. 1 BGG) liegt nicht vor. Anders als im Fall eines Steuergerichts, das vom Bundesgericht angewiesen worden ist, auf ein bei ihm eingereichtes Rechtsmittel einzutreten, dies aber verweigerte und die Angelegenheit zuständigkeitshalber an die Steuerverwaltung überwies (Urteil 2C_266/2011 vom 28. November 2011 E. 1.2), verneint das Verwaltungsgericht seine Zuständigkeit hier auch nicht in funktioneller Hinsicht. Ebenso wenig liegt ein Zwischenentscheid im Sinne von Art. 93 Abs. 1 lit. b BGG (sofortige Herbeiführung eines Endentscheids mit Kosten- und Zeitersparnis für ein weitläufiges Beweisverfahren) vor. In Frage kommt demnach einzig Art. 93 Abs. 1 lit. a BGG, wonach die Beschwerde gegen selbständig eröffnete Zwischenentscheide zulässig ist, wenn sie einen nicht wieder gut zu machenden Nachteil bewirken können. Der Nachteil in diesem Sinne muss rechtlicher Natur sein (BGE 133 IV 139 E. 4 S. 141; 134 III 188 E. 2.1 S. 190). Die blosse Verlängerung des Verfahrens gilt nicht als derartiger Nachteil (BGE 136 II 165 E. 1.2.1 S. 170; 134 III 188 E. 2.2 S. 191; 133 V 477 E. 5.2.1 S. 483).
2.4 Nach der Rechtsprechung entfallen bei der Beschwerde gegen die Sistierung eines Verfahrens die Voraussetzungen gemäss Art. 93 BGG, soweit der Beschwerdeführer (hinreichend klar) rügt, die Sistierung verletze das Beschleunigungsgebot bzw. stelle eine Verfahrensverzögerung oder Rechtsverweigerung dar, da gemäss Art. 94 und Art. 100 Abs. 7 BGG eine aus diesen Gründen erhobene Beschwerde jederzeit zulässig ist (BGE 134 IV 43 E. 2.5 S. 47; Urteil des Bundesgerichts 4A_542/2009 vom 27. April 2010 E. 4.2; 2C_442/2011 vom 7. Juli 2011 E. 2.1). Grundsätzlich bezieht sich aber Art. 94 BGG auf Fälle, in denen die Behörde stillschweigend untätig bleibt oder es ausdrücklich ablehnt, innert einer angemessenen Frist einen Entscheid zu fällen; fällt sie einen formellen Entscheid, so richtet sich dessen Anfechtbarkeit nach den Art. 92 f. BGG (Urteil 1C_433/2008 vom 16. März 2009 E. 1.4). Das gilt namentlich auch bei einem Rückweisungsentscheid, selbst wenn dieser zu einer möglicherweise unnötigen Verlängerung des Verfahrens führt (Urteil 8C_1012/2010 vom 31. März 2011 E. 3.2). Immerhin muss sichergestellt werden, dass das Verfahren insgesamt dem verfassungsrechtlichen Gebot genügt, im Rahmen eines fairen Verfahrens innert angemessener Frist einen wirksamen Rechtsschutz zu gewähren (Art. 29 Abs. 1 BV; Art. 6 Ziff. 1 EMRK). Unter diesem Aspekt kann es ausnahmsweise verfassungsrechtlich geboten sein, bereits auf eine Beschwerde gegen einen Zwischenentscheid einzutreten, wenn eine Behörde mit einem Nichteintretens- oder Rückweisungsentscheid die ihr obliegende Rechtsgewährleistungspflicht verletzt und damit eine formelle Rechtsverweigerung begeht (Art. 29 Abs. 1 BV; BGE 135 I 6 E. 2.1 S. 9; RHINOW/KOLLER/KISS/THURNHERR/BRÜHL-MOSER, a.a.O., Rz. 286; GEROLD STEINMANN, in: Die schweizerische Bundesverfassung, St. Galler Kommentar, 2. Aufl. 2008, Rz. 10 zu Art. 29 BV) oder wenn es sonst wie rechtsstaatlich unzumutbar wäre, die Parteien auf die Anfechtung des Endentscheids zu verweisen (BGE 136 II 165 E. 1.2.1 S. 171, 370 E. 1.5 S. 374; Urteil 2C_57/2011 vom 3. Mai 2011 E. 1.2; vgl. auch BGE 135 I 261 E. 1.4 S. 264; 135 II 30 E. 1.3.4 S. 36).
3. 3.1 Das Verwaltungsgericht hat erwogen, es habe bisher Rückweisungsentscheide in der Regel Endentscheiden gleichgestellt und sei auch auf Beschwerden gegen Rückweisungsentscheide eingetreten. An dieser Rechtsprechung könne aber nicht festgehalten werden; das Steuergesetz ordne die Anfechtung von Rückweisungsentscheiden nicht. Diese Lücke sei entsprechend Art. 1 Abs. 2 ZGB richterlich zu füllen, wobei es sich aufdränge, die Frage in gleicher Weise zu regeln, wie dies der Bundesgesetzgeber in Art. 90 ff. BGG sowie der kantonale Gesetzgeber in § 41 Abs. 3 in Verbindung mit § 19a Abs. 2 des Verwaltungsrechtspflegegesetzes [des Kantons Zürich] vom 24. Mai 1959 (VRG/ZH; LS 175.2; in der Fassung vom 22. März 2010) getan habe. Demgemäss seien Rückweisungsentscheide nur unter den analogen Voraussetzungen von Art. 93 BGG beim Verwaltungsgericht anfechtbar.
3.2 Die Beschwerdeführer rügen eine Verletzung des Beschleunigungsgebots und eine Rechtsverweigerung (Art. 29 Abs. 1 BV): Die Vorinstanz habe durch eine willkürliche Anwendung des kantonalen Verfahrensrechts zugelassen, dass die Rekurskommission die Sache an die Verwaltung zurückweise anstatt sie selber zu entscheiden; die Vorinstanz habe damit § 149 Abs. 3 des Steuergesetzes [des Kantons Zürich] vom 8. Juni 1997 (StG/ZH; LS 631.1) nicht zur Anwendung gebracht und das Beschleunigungsgebot verletzt. Zudem habe die Rekurskommission eine formelle Rechtsverweigerung begangen, indem sie entgegen der Anweisung im ersten Urteil des Verwaltungsgerichts (vom 3. März 2010) die Sache nicht selber entschieden habe; indem das Verwaltungsgericht diese Rechtsverweigerung nicht geahndet habe, habe es selber eine Rechtsverweigerung begangen.
3.3 § 149 Abs. 3 StG/ZH lautet (in der bis Ende 2010 in Kraft gewesenen Fassung): "Ausnahmsweise kann sie [die Rekurskommission] zwecks Wahrung des gesetzlichen Instanzenzugs die Sache zur Neubeurteilung an die Vorinstanz zurückweisen, namentlich wenn zu Unrecht noch kein materieller Entscheid getroffen wurde oder dieser an einem schwerwiegenden Mangel leidet". Daraus leiten die Beschwerdeführer an sich mit Recht ab, dass im Normalfall die Rekurskommission selber reformatorisch entscheiden soll. Die Bestimmung gibt aber der Rekurskommission ein gewisses Ermessen. Weist sie zurück, begeht sie damit nicht ohne Weiteres eine formelle Rechtsverweigerung, auch wenn sie allenfalls auch reformatorisch hätte entscheiden können. Unter diesen Umständen begeht auch das Verwaltungsgericht keine formelle Rechtsverweigerung, wenn es auf Beschwerden gegen Rückweisungsentscheide der Rekurskommission nicht eintritt: In der Hauptsache entsteht in aller Regel kein nicht wieder gut machender Nachteil, sondern höchstens eine Verzögerung des Verfahrens, was für sich allein keinen solchen Nachteil darstellt (vgl. E. 2.3 hiervor). Zudem steht hier gar nicht fest, dass ein Eintreten des Verwaltungsgerichts zu einer Beschleunigung führen würde: Zwar wird das Verfahren verlängert, wenn die Rekurskommission an die Verwaltung zurückweist, anstatt selber reformatorisch zu entscheiden. Aber zu einer Verfahrensverlängerung führt auch die selbständige Anfechtung solcher Rückweisungsentscheide. Heisst das Verwaltungsgericht die Beschwerde gut und verpflichtet es die Rekurskommission, selber zu entscheiden, so entfällt zwar der Umweg über die Verwaltung mit neuem Einsprache- und Rekursentscheid, wobei aber von diesem Zeitgewinn der Verlust durch die Dauer des verwaltungsgerichtlichen Verfahrens abzuziehen ist. Weist umgekehrt das Verwaltungsgericht die Beschwerde ab, so ist insgesamt durch das Beschwerdeverfahren beim Verwaltungsgericht nur zusätzliche Zeit verloren worden. Das Argument des Zeitgewinns ist also durchaus ambivalent und spricht keineswegs eindeutig für die selbständige Anfechtbarkeit von Rückweisungsentscheiden (vgl. BGE 133 V 477 E. 5.2.1 S. 483). Dem Verwaltungsgericht kann somit keine formelle Rechtsverweigerung vorgeworfen werden, wenn es auf solche Beschwerden nicht eintritt.
Ebenso wenig ist ein nicht wieder gut zu machender Nachteil darin zu erblicken, dass die Rekurskommission entgegen der Vorgabe des Verwaltungsgerichts in seinem ersten Entscheid vom 3. März 2010 die Sache an die Steuerverwaltung zurückgewiesen hat, weil auch in diesem Fall dadurch bloss eine Verzögerung entsteht. Es liegt daher weder ein nicht wieder gut zu machender Nachteil im Sinne von Art. 93 Abs. 1 lit. a BGG noch eine sonstige Verletzung der verfassungsrechtlichen Rechtsgewährleistungspflicht (vgl. E. 2.4 hiervor) vor, wenn das Verwaltungsgericht dieses Vorgehen nicht sanktioniert.
3.4 Soweit schliesslich die Beschwerdeführer einen nicht wieder gut zu machenden Nachteil darin erblicken, dass sie bisher bereits Rekurskosten getragen haben oder infolge der Rückweisung weitere Verfahrenskosten entstehen werden, ist daran zu erinnern, dass auch Kostenentscheide im Rahmen von Zwischenentscheiden ihrerseits Zwischenentscheide sind und in jedem Fall im Anschluss an den Endentscheid in der Hauptsache anfechtbar sein werden (BGE 135 III 329 E. 1.2 S. 331 ff.; 133 V 645 E. 2.1 S. 647), so dass auch insoweit kein nicht wieder gut machender Nachteil vorliegt oder droht.
4. Aus diesen Gründen kann auf die Beschwerden nicht eingetreten werden. Die unterliegenden Beschwerdeführer tragen die Kosten des bundesgerichtlichen Verfahrens (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Verfahren 2C_475/2011 und 2C_476/2011 werden vereinigt.
2. Auf die Beschwerden wird nicht eingetreten.
3. Die Gerichtskosten von insgesamt Fr. 2'000.-- werden den Beschwerdeführern auferlegt.
4. Dieses Urteil wird den Beschwerdeführern, dem Kantonalen Steueramt Zürich, dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 13. Dezember 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Winiger