Sachverhalt:
A.
A.A._ erwarb im Jahre 2005 von seiner Arbeitgeberin ein Fertighaus, wobei er auf dem Kaufpreis von Fr. 697'440.-- einen Rabatt von 15 % erhielt. Das kantonale Steueramt Zürich würdigte den Rabatt als Lohnbestandteil und schätzte auf dieser Grundlage die Eheleute A.A._ und B.A._ am 3. September 2008 für die Staats- und Gemeindesteuern 2005 mit einem steuerbaren Einkommen von Fr. 454'200.-- und einem steuerbaren Vermögen von Fr. 335'000.-- ein, ferner am 19. September 2008 für die direkte Bundessteuer 2005 mit einem steuerbaren Einkommen von Fr. 456'300.--. Mit Einspracheentscheiden vom 28. Februar 2009 setzte es das steuerbare Einkommen auf Fr. 427'000.-- (Staats- und Gemeindesteuer) bzw. Fr. 429'000.-- (direkte Bundessteuer) herab. Dagegen erhoben die Steuerpflichtigen Rekurs bzw. Beschwerde, welche von der Steuerrekurskommission des Kantons Zürich (ab 1. Januar 2011: Steuerrekursgericht) am 8. September 2009 abgewiesen wurden. Das von A.A._ und B.A._ angerufene Verwaltungsgericht des Kantons Zürich hiess deren Beschwerden am 3. März 2010 teilweise gut, indem es die Sache an die Steuerrekurskommission zur weiteren Untersuchung und zum Neuentscheid im Sinne der Erwägungen zurückwies. Es erwog, Mitarbeiterrabatte stellten keine geldwerten Leistungen dar, soweit sie einem Drittvergleich standhielten, was die Rekurskommission unter Mitwirkung der Pflichtigen abzuklären habe. Nach erfolglosen Vergleichsverhandlungen wies die Rekurskommission ihrerseits am 23. September 2010 die Sache zur weiteren Untersuchung und zum Neuentscheid an das kantonale Steueramt zurück.
Die Steuerpflichtigen erhoben gegen diese Rückweisungsentscheide am 19. November 2010 Beschwerden beim Verwaltungsgericht des Kantons Zürich. Dieses trat mit Beschlüssen vom 20. April 2011 auf die Beschwerden nicht ein. Auch das Bundesgericht trat auf die dagegen erhobenen Beschwerden (Verfahren 2C_475/2011 und 2C_476/2011) mit Urteil vom 13. Dezember 2011 nicht ein.
B.
In der Folge schätzte das kantonale Steueramt die Pflichtigen am 13. Juli 2012 für die Staats- und Gemeindesteuern erneut mit einem steuerbaren Einkommen von Fr. 454'200.-- ein und veranlagte sie für die direkte Bundessteuer mit einem steuerbaren Einkommen von Fr. 456'300.--.
C.
Die dagegen erhobenen Rechtsmittel hiess das Steuerrekursgericht am 30. Januar 2013 teilweise gut, schätzte die Pflichtigen für die Staats- und Gemeindesteuern mit einem steuerbaren Einkommen von Fr. 375'000.-- und einem steuerbaren Vermögen von Fr. 335'000.-- ein und veranlagte sie für die direkte Bundessteuer mit einem steuerbaren Einkommen von Fr. 377'100.-. Zudem sprach es ihnen eine Parteientschädigung von insgesamt Fr. 1'600.-- zu.
D.
Die Pflichtigen erhoben Beschwerden beim Verwaltungsgericht und beantragten, die Sache sei an das Steuerrekursgericht, eventualiter an das kantonale Steueramt zurückzuweisen. Subeventualiter beantragten sie eine angemessene Parteientschädigung für das Verfahren vor dem Steuerrekursgericht. Mit Urteil vom 18. Dezember 2013 wies das Verwaltungsgericht die Beschwerden ab, soweit es darauf eintrat.
E.
A.A._ und B.A._ erheben mit Eingabe vom 17. Februar 2014 beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, das Urteil des Verwaltungsgerichts sei aufzuheben und die Sache an das kantonale Steueramt zurückzuweisen.
Das Verwaltungsgericht beantragt, auf die Beschwerde nicht einzutreten. Das kantonale Steueramt beantragt, sie sei abzuweisen, soweit darauf einzutreten sei. Die Eidgenössische Steuerverwaltung schliesst in Bezug auf die direkte Bundessteuer auf Abweisung der Beschwerde und verzichtet in Bezug auf die Staats- und Gemeindesteuer auf einen Antrag.

Erwägungen:
1.
Die Vorinstanz hat für die direkte Bundessteuer und die Staats- und Gemeindesteuer einen gemeinsamen Entscheid gefällt, und die Beschwerdeführer haben diesen in einer einzigen Beschwerde bezüglich beider Steuern angefochten. Praxisgemäss eröffnet das Bundesgericht in solchen Fällen zwei Dossiers, vereinigt jedoch die beiden Verfahren (<ref-law> in Verbindung mit <ref-law>).
2.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht (inklusive Bundesverfassungsrecht) und Völkerrecht gerügt werden (Art. 95 lit. a und b BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden (<ref-ruling> E. 1.4.1 S. 254). In Bezug auf die Verletzung von Grundrechten gilt eine qualifizierte Rüge- und Substanziierungspflicht (<ref-law>; <ref-ruling> E. 1.4.2 S. 254).
Sofern der Vorinstanz eine Missachtung formeller Verfahrensgarantien vorgeworfen werden muss, bildet die Kassation ihres Entscheids weiterhin die Regel, zumal die Rechtsunterworfenen grundsätzlich Anspruch auf Einhaltung des Instanzenzugs haben (<ref-ruling> E. 2.7 S. 199). Solche Verfahrensgarantien (u. a. Anspruch auf rechtliches Gehör, Rechtsverweigerung, vgl. Art. 29 Abs. 1 und 2 BV ) sind nach feststehender Rechtsprechung formeller Natur mit der Folge, dass deren Verletzung ungeachtet der materiellen Erfolgsaussichten des Rechtsmittels grundsätzlich zur Aufhebung des mit dem Verfahrensmangel behafteten Entscheids führt (<ref-ruling> E. 2.2 S. 197).
3.
Zulässigkeitsvoraussetzung für eine Beschwerde an das Bundesgericht ist hingegen unter anderem ein aktuelles, praktisches Rechtsschutzinteresse an den gestellten Begehren (<ref-law>; <ref-ruling> E. 2.1 S. 41 f.; <ref-ruling> E. 1.1 S. 81).
3.1. Die Beschwerdeführer beantragen nicht eine Änderung ihrer vom Steuerrekursgericht vorgenommenen und vom Verwaltungsgericht bestätigten Einschätzung bzw. Veranlagung, sondern die Rückweisung an das kantonale Steueramt. Sie begründen dieses Begehren mit drei Argumenten: Entgegen der Anweisung der Steuerrekurskommission in ihrem Urteil vom 23. September 2010 habe das Steueramt in der Folge nicht einen Einschätzungs- bzw. Veranlagungsentscheid, sondern direkt einen Einspracheentscheid gefällt; es fehle damit an einem Einschätzungs- bzw. Veranlagungsentscheid als Prozessvoraussetzung für die nachfolgenden Rechtsmittelentscheide. Sodann habe das Steueramt mit seinen Einspracheentscheiden eine Rechtsverweigerung begangen, indem es sich nicht an die Vorgaben im Rückweisungsentscheid vom 3. März 2010 gehalten habe. Schliesslich sei durch das Verfahren vor den kantonalen Instanzen das Beschleunigungsgebot verletzt worden, da die Rekurskommission die Sache an die Steuerverwaltung zurückgewiesen habe anstatt selber zu entscheiden.
3.2. Es ist unerfindlich, worin ein schutzwürdiges praktisches Rechtsschutzinteresse der Beschwerdeführer an einer antragsgemässen Aufhebung des angefochtenen Entscheids und Zurückweisung an das Steueramt liegen soll: Ein anfänglicher Einschätzungs- bzw. Veranlagungsentscheid als Sachurteilsvoraussetzung des gesamten nachfolgenden Rechtsmittelverfahrens liegt mit den Entscheiden des Steueramtes vom 3. September 2008 (Staats- und Gemeindesteuer) bzw. 19. September 2008 (direkte Bundessteuer) vor. Die Zurückweisung an das Steueramt zum Erlass eines erneuten Einschätzungs- bzw. Veranlagungsentscheids anstatt eines Einspracheentscheids wäre ein prozessualer Leerlauf. Der Antrag erstaunt umso mehr, als die Beschwerdeführer gleichzeitig rügen, das kantonale Verfahren habe das Beschleunigungsgebot verletzt; die Gutheissung ihres Antrags würde zu einer erneuten sinnlosen Verzögerung führen. Im Übrigen besteht kein praktisches Rechtsschutzinteresse mehr an einer Rüge der Verletzung des Beschleunigungsgebots, nachdem der Entscheid in der Sache ergangen ist (vgl. <ref-ruling> E. 5.3 S. 333 sowie Urteil 8C_244/2013 vom 30. September 2013 E. 2). Ebenso gegenstandslos ist die Kritik, das Steueramt habe bei seinem erneuten Entscheid die Vorgaben im Rückweisungsentscheid missachtet: Dieser Entscheid wurde durch den reformatorischen Entscheid des Steuerrekursgerichts vom 30. Januar 2013 ersetzt und steht nicht mehr zur Diskussion.
4.
Auf die Beschwerden ist daher nicht einzutreten. Die Beschwerdeführer tragen die Kosten des Verfahrens (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Verfahren 2C_182/2014 und 2C_183/2014 werden vereinigt.
2.
Auf die Beschwerden wird nicht eingetreten.
3.
Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern auferlegt.
4.
Dieses Urteil wird den Beschwerdeführern, dem Kantonalen Steueramt Zürich, dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 26. Juli 2014
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Klopfenstein