Sachverhalt: A. X.a._ (geb. 1945) ist selbständiger Kaufmann mit der Einzelfirma "X._ Consulting" mit Geschäftssitz in Zug. Für die Steuerperioden 2004 - 2007 ordnete das Steueramt Zürich eine Bücherrevision an und erliess am 17. August 2009 eine erste Auflage zur Einreichung diverser Unterlagen; einverlangt wurden u.a. eine "detaillierte Aufstellung über sämtliche Einnahmen und Ausgaben 2004 - 2007 aus selbständiger Erwerbstätigkeit", ebenso der "Nachweis des effektiven Geschäftssitzes in Zug für 2004 - 2007 anhand der Telefonrechnungen, Stromrechnungen, Geschäftskorrespondenzen, Mietverträge etc.". Am 22. Februar 2010 erliess das Steueramt eine zweite, detailliertere Auflage und verlangte weitere Unterlagen. Nach reger Korrespondenz, in deren Verlauf X.a._ vom Steueramt zwei Mal gemahnt wurde, erliess das Amt am 21. November 2010 hinsichtlich der Staats- und Gemeindesteuern für die Steuerjahre 2004, 2005, 2006 und 2007 die Einschätzungsverfügungen. Dabei veranlagte es die selbständigen Erwerbseinkünfte "mangels vollständigem Erfüllen der Auflage des Bücherrevisors vom 22. Februar 2010" gestützt auf § 139 Abs. 2 des kantonalen Steuergesetzes (StG) nach pflichtgemässem Ermessen. Identisch, aber auf bundesrechtlicher Grundlage, verfuhr das Steueramt hinsichtlich der Direkten Bundessteuer. Gegen sämtliche Ermessenstaxationen erhoben die Eheleute X._ mit Eingaben vom 28. Dezember 2010 und 12. Januar 2011 Einsprache. B. Mit teilweise gutheissenden Einspracheentscheiden vom 6. Juni 2011 schätzte das kantonale Steueramt Zürich die Eheleute X._ hinsichtlich der Staats- und Gemeindesteuern 2004 - 2007 mit einem steuerbaren Einkommen von Fr. 167'200.--, Fr. 152'000.--, Fr. 150'300.-- bzw. Fr. 145'700.-- und einem steuerbaren Vermögen von Fr. 638'000.--, Fr. 653'000.--, Fr. 535'000.-- bzw. Fr. 333'000.-- ein. Die Einsprachen hinsichtlich der Direkten Bundessteuer wies es gleichentags ab. Hiegegen erhoben die Eheleute X._ am 18. Juli 2011 (persönlich überbracht) die ihnen zustehenden Rechtsmittel beim kantonalen Steuerrekursgericht, auf welche dieses - nachdem es den Steuerpflichtigen die Gelegenheit eingeräumt hatte, sich zur Fristwahrung zu äussern - mit Beschluss vom 28. Oktober 2011 nicht eintrat, weil die Rechtsmittel - ohne entschuldbaren Grund - verspätet erhoben worden seien. Mit zwei Urteilen vom 11. April 2012 (SB.2011.00168 hinsichtlich der Staats- und Gemeindesteuern bzw. SB.2011.00169 hinsichtlich der Direkten Bundessteuer) wies das Verwaltungsgericht des Kantons Zürich die gegen den Beschluss des Steuerrekursgerichtes vom 28. Oktober 2011 erhobene Beschwerde ab. C. Mit gemeinsamer Eingabe vom 8. Juni 2012 führen die Eheleute X._ gegen "ein Urteil des Verwaltungsgerichts des Kantons Zürich vom 11. April 2012" Beschwerde beim Bundesgericht. Sie legen ihrer Eingabe das Urteil SB.2011.001168 bei und beantragen, dieses sei aufzuheben und das Verfahren zur Neuentscheidung im Sinne der Beschwerde an die Vorinstanz zurückzuweisen. Das Steueramt beantragt Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Verwaltungsgericht stellt denselben Antrag; die Eidgenössische Steuerverwaltung verzichtet auf Antragstellung. Mit Verfügung vom 13. Juni 2012 hat der Abteilungspräsident das gleichzeitig mit der Beschwerdeerhebung gestellte Gesuch um aufschiebende Wirkung abgewiesen. Mit Eingabe vom 2. Oktober 2012 haben sich die Eheleute X._ noch einmal geäussert. D. Am 18. Juli 2012 trat das Bundesgericht auf die am 13. Juli 2012 erhobene Beschwerde gegen das Urteil SB.011.00169 hinsichtlich der Direkten Bundessteuer (vorne lit. B) nicht ein; das entsprechende Fristwiederherstellungsgesuch wies es ab (Verfahren 2C_700/2012).