Sachverhalt:
A. A.a X._ wurde vom kantonalen Steueramt Zürich hinsichtlich der Staats- und Gemeindesteuern mit Einschätzungsentscheiden vom 1. Februar 2008 (Steuerperiode 2005), vom 23. Mai/5. Juni 2008 (Steuerperiode 2006), vom 9. September 2009 (Steuerperiode 2007) und vom 8. März/22. April 2010 (Steuerperiode 2008) infolge nicht eingereichter Steuererklärung trotz öffentlichen Aufforderungen (im kantonalen Amtsblatt) und entsprechenden Mahnungen nach pflichtgemässem Ermessen veranlagt.
Am 30. Januar 2009 teilte X._ dem kantonalen Steueramt mit, dass ihm seit dem Jahre 2005 keine Steuerentscheide mehr zugestellt worden seien und dass er deswegen "vorsorglich" gegen "die Steuern 2005 bis 2007" Einsprache erhebe.
A.b Mit Veranlagungsverfügungen vom 29. Mai 2009 (Steuerperiode 2005), vom 9. Juni 2009 (Steuerperiode 2006), vom 17. Februar 2010 (Steuerperiode 2007) und vom 20. April 2010 (Steuerperiode 2008) veranlagte das kantonale Steueramt Zürich X._ aus denselben Gründen hinsichtlich der Direkten Bundessteuer ebenfalls nach pflichtgemässem Ermessen.
B. Am 10. Dezember 2010 erhob X._ gegen die Einschätzungsentscheide/Veranlagungsverfügungen 2005-2008 Einsprache und machte geltend, er habe von den entsprechenden Dokumenten erst am 1. Dezember 2010 Kenntnis erhalten, nachdem er sie persönlich beim kantonalen Steueramt abgeholt habe.
C. Gegen die in der Folge ergangenen abschlägigen Einspracheentscheide ergriff X._ erfolglos die ihm zur Verfügung stehenden Rechtsmittel; zuletzt trat das Verwaltungsgericht des Kantons Zürich mit Urteil vom 22. August 2012 hinsichtlich der Staats- und Gemeindesteuern auf die Beschwerde betreffend die Steuerperioden 2005 und 2006 nicht ein; betreffend die Steuerperioden 2007 und 2008 wies es sie ab. Mit Urteil vom selben Tag hinsichtlich der Direkten Bundessteuer wies es die Beschwerde ab, soweit es darauf eintrat.
D. Mit zwei - überwiegend gleichlautenden - Eingaben vom 19. Oktober 2012 führt X._ Beschwerde beim Bundesgericht mit den Anträgen, die beiden letztgenannten Urteile aufzuheben und das Verfahren zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Das kantonale Steueramt Zürich beantragt, die Beschwerden abzuweisen, soweit darauf einzutreten sei. Das Verwaltungsgericht des Kantons Zürich stellt denselben Antrag. Die Eidgenössische Steuerverwaltung verzichtet hinsichtlich der Staats- und Gemeindesteuern auf Antragstellung. Hinsichtlich der Direkten Bundessteuer schliesst sie auf Abweisung der Beschwerde, soweit darauf einzutreten sei.

Erwägungen:
1. 1.1 Die beiden angefochtenen Urteile betreffen einerseits die Kantons- und Gemeindesteuern 2005-2008, anderseits die direkte Bundessteuer 2005-2008. Es stellen sich dieselben Rechtsfragen, die der Beschwerdeführer denn auch in zwei überwiegend gleich lautenden Eingaben aufwirft. Es rechtfertigt sich daher, die Verfahren zu vereinigen und die Beschwerde in einem einzigen Urteil zu erledigen (vgl. <ref-law> i.V.m. <ref-law>; <ref-ruling> E. 1.2 S. 465, 59 E. 1 S. 60 f.).
1.2 Die Beschwerden richten sich gegen zwei (End-)Entscheide einer letzten kantonalen Instanz in einer Angelegenheit des öffentlichen Rechts. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist zulässig (Art. 82 lit. a, Art. 83, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 89 Abs. 1 und Art. 90 BGG i.V.m. Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG; SR 642.11] sowie Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG; SR 642.14]). Die Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerden ist einzutreten.
1.3 Mit der Beschwerde kann eine Rechtsverletzung nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde vorgebrachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann die Beschwerde aus einem anderen als dem angerufenen Grund gutheissen, und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (Motivsubstitution; <ref-ruling> E. 2.2 S. 540; <ref-ruling> E. 3 S. 386; <ref-ruling> E. 2.2. S. 550).
1.4 Fragen des Bundesrechts klärt das Bundesgericht mit freier Kognition (<ref-law>; Urteile 2C_708/2012 vom 21. Dezember 2012 E. 1.4; 2C_92/2012 vom 17. August 2012 E. 1.4, in: StR 67/2012 S. 828). Besteht kein Gestaltungsspielraum zugunsten des kantonalen Gesetzgebers, der die sog. Willkürkognition nach sich zöge, prüft das Bundesgericht die Anwendung des harmonisierten kantonalen Steuerrechts mit freier Kognition, ebenso, wie es dies im Fall von Bundesrecht täte (<ref-ruling> E. 2 S. 210).
1.5 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen oder auf hinreichend substantiierte (<ref-law>) Rüge hin berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
2. Was den Einschätzungsentscheid hinsichtlich der Staats- und Gemeindesteuer vom 1. Februar 2008 für das Steuerjahr 2005 betrifft, hat das Verwaltungsgericht verbindlich festgestellt, dass dieser Entscheid per Post eingeschrieben versandt, der Vertreterin des Beschwerdeführers effektiv zugestellt und von dieser auch abgeholt worden ist. Der Beschwerdeführer setzt sich damit nicht auseinander. Damit erscheint klar, dass die Einsprache vom 10. Dezember 2010, soweit sie sich gegen den Einschätzungsentscheid vom 1. Februar 2008 richtete, offensichtlich verspätet war.
3. 3.1 Die übrigen hinsichtlich der Staats- und Gemeindesteuer ergangenen Einschätzungsentscheide (2006, 2007 und 2008) wurden gemäss den verbindlichen Sachverhaltsfeststellungen der Vorinstanz alle je zwei Mal mit eingeschriebener Post verschickt, aber vom Beschwerdeführer nicht abgeholt. Sämtliche umstrittenen Veranlagungsverfügungen hinsichtlich der Direkten Bundessteuer (2005, 2006, 2007 und 2008) wurden demgegenüber gemäss kantonalem Verfahrensrecht amtlich - über das Stadtammannamt - zugestellt und vom Beschwerdeführer ebenfalls nicht abgeholt.
3.2 Diesen Sachverhalt unterwarf die Vorinstanz zunächst den Bestimmungen über die Verpflichtung zur Einreichung der Steuererklärung:
<ref-law> lautet:
1 Die Steuerpflichtigen werden durch öffentliche Bekanntgabe oder Zustellung des Formulars aufgefordert, die Steuererklärung einzureichen. Steuerpflichtige, die kein Formular erhalten, müssen es bei der zuständigen Behörde verlangen.
§ 133 des kantonalen Steuergesetzes vom 8. Juni 1997 (StG) stimmt mit <ref-law> fast wörtlich überein:
1 Die Steuerpflichtigen werden vom Gemeindesteueramt durch öffentliche Bekanntgabe oder Zustellung des amtlichen Formulars aufgefordert, die Steuererklärung einzureichen. Steuerpflichtige, die kein Formular erhalten, müssen es bei der zuständigen Behörde verlangen.
Die Aufforderung zur Einreichung der Steuererklärung im kantonalen Amtsblatt gilt als Allgemeinverfügung (MARTIN ZWEIFEL, in: Zweifel/ Athanas [Hrsg], Kommentar zum Schweizerischen Steuerrecht, I/2b, 2. Auflage 2008, Rz. 46 zu <ref-law>).
Das Verwaltungsgericht stellte fest, dass für alle hier betroffenen Steuerperioden solche Allgemeinverfügungen im Amtsblatt publiziert worden waren. Sodann griff es zur so genannten "Zustellungsfiktion" (auch: "Zustellfiktion"): Stellt die Behörde eine Vorladung, eine Verfügung oder einen Entscheid durch eingeschriebene Postsendung zu und wird die Postsendung nicht abgeholt, so gilt die Zustellung am siebten Tag nach dem erfolglosen Zustellungsversuch als erfolgt, sofern der Adressat mit einer Zustellung rechnen musste (<ref-ruling> E. 3.1; <ref-ruling> E. 4; <ref-ruling> E. 1.2.3; vgl. auch <ref-law> [SR 272], in Kraft seit 1. Januar 2011). Die Geltung der Zustellungsfiktion setzt ein hängiges bzw. laufendes Verfahren voraus; d.h. das relevante Prozessrechtsverhältnis entsteht erst mit Rechtshängigkeit (<ref-ruling> E. 3.1; <ref-ruling> E. 1.2.3; Urteil 5D_130/2011 E. 2.1).
Das Verwaltungsgericht erwog im Wesentlichen, aufgrund der ergangenen Allgemeinverfügungen habe sich der Beschwerdeführer in einem solchen Prozessverhältnis befunden. Somit gälten alle hier streitbetroffenen Einschätzungsentscheide bzw. Veranlagungsverfügungen aufgrund der Zustellungsfiktion als gültig zugestellt und der Beschwerdeführer müsse hinnehmen, dass die 30-tägige Einsprachefrist (<ref-law>, § 140 Abs. 1 StG) gegen diese Entscheide und Verfügungen am Tag seiner Eingabe vom 10. Dezember 2010 längst abgelaufen sei.
3.3 Der Beschwerdeführer stellt die Sachverhaltsfeststellungen der Vorinstanz nicht in Frage. Er macht aber geltend, eine blosse, an die Allgemeinheit gerichtete öffentliche Bekanntmachung der Pflicht zur Einreichung der Steuererklärung vermöge bei ihm noch kein hängiges Verfahren im Sinne eines relevanten Prozessrechtsverhältnisses zu begründen, so dass er sich die vom Verwaltungsgericht angewendete Zustellungsfiktion nicht entgegenhalten lassen müsse. Er sieht sich durch die angefochtenen Entscheide diesbezüglich in seinem Anspruch auf rechtliches Gehör (<ref-law>) verletzt.
Streitig ist also, ob - wie die Vorinstanz annimmt -, bereits die öffentliche Aufforderung zur Einreichung der Steuererklärung ein Prozessrechtsverhältnis begründet mit der Folge, dass die Zustellungsfiktion Geltung beanspruchen kann.
4. 4.1 Weder das DBG noch das StHG regeln die Form der Zustellung steuerlicher Verfügungen oder Entscheide. Nach der Rechtsprechung gilt die Zustellungsfiktion aber auch im Steuerrecht (Urteile 2C_780/2010 vom 21. März 2011 E. 2.3, 2P.120/2005 vom 23. März 2006 E. 3, 2P.210/1999 vom 27. Oktober 2000 E. 2b). Die Zustellungsfiktion ist auch dem Beschwerdeführer bekannt (vgl. die ihn betreffenden Urteile 5A_859/2011 vom 21. Mai 2012 E. 3.3.2, 2A.429/2002 vom 8. Oktober 2002). Diese Rechtsprechung gilt mithin während eines hängigen Verfahrens, wenn die Verfahrensbeteiligten mit der Zustellung eines behördlichen oder gerichtlichen Entscheides oder einer Verfügung mit einer gewissen Wahrscheinlichkeit rechnen mussten (BGE <ref-ruling> E. 1.2.3 S. 399; <ref-ruling> E. 4b/aa S. 94; <ref-ruling> E. 2a S. 92; <ref-ruling> E. 3a S. 15).
Sowohl die Zustellpflicht der Behörden wie auch die Empfangspflicht des Verfahrensbeteiligten sind Pflichten prozessualer Natur. Diese sind weder mit übertriebener Strenge noch mit ungerechtfertigtem Formalismus zu handhaben: In der Tat setzt die Zustellungsfiktion ein hängiges bzw. laufendes Verfahren voraus ("Prozessrechtsverhältnis", vorne E. 3.2); vom Betroffenen kann aber nicht erwartet werden, dass er bei einem hängigen Verfahren über Jahre hinweg in jedem Zeitpunkt erreichbar sein und auch kürzere Ortsabwesenheiten der Behörde melden muss, um keinen Rechtsnachteil zu erleiden. Bei der Anwendung der Regeln über die Zustellungsfiktion ist daher auch der Verfahrensdauer Rechnung zu tragen. Als Zeitraum, während welcher die Zustellfiktion aufrecht erhalten werden darf, werden in der Literatur mehrere Monate bis etwa ein Jahr genannt; dauert die Untätigkeit der Behörde länger an, kann nach dieser Meinung die Zustellfiktion nicht mehr greifen (YVES DONZALLAZ, La notification en droit interne suisse, Berne 2002 S. 501, s. auch KÖLZ/BOSSHART/RÖHL, Verwaltungsrechtspflegegesetz des Kantons Zürich, 2. Auflage 1999, Rz. 28 zu Art. 10). Ein Zeitraum bis zu einem Jahr seit der letzten verfahrensbezogenen Handlung erscheint in der Tat noch als vertretbar. Liegt der letzte Kontakt mit der Behörde indessen längere Zeit zurück, so kann von einer Zustellfiktion nicht mehr ausgegangen werden, sondern nur noch von einer Empfangspflicht des am Verfahren Beteiligten in dem Sinne, dass dieser für die Behörde erreichbar sein muss. Was vom Verfahrensbeteiligten in diesem Fall verlangt werden kann, ist, dass er Adressänderungen und länger dauernde Abwesenheiten der Behörde meldet. Hingegen kann ihm eine Abwesenheit von wenigen Wochen nicht mehr entgegengehalten werden. Die Regeln über die Zustellfiktion sind in diesem Sinne "vernünftig" zu handhaben (vgl. Urteil 2P.120/2005 vom 23. März 2006 E. 4.2).
Das Bundesgericht hat verschiedentlich einen Zeitraum von bis zu einem Jahr seit der letzten verfahrensrechtlichen Handlung der Behörde als vertretbar erachtet (vgl. Urteil 6B_511/2010 vom 13. August 2010 E. 3 mit Hinweisen), aber als willkürlich erkannt, ein Prozessrechtsverhältnis in diesem Sinne während einer Dauer von fast drei Jahren seit der letzten Mitteilung der Behörde anzunehmen (genanntes Urteil 2P.120/2005 E. 5). Auch das Verfahren auf Konkurseröffnung ist ein neues Verfahren gegenüber vorangegangenen Verfahrensschritten (<ref-ruling> E. 3.2). Rechtsmissbräuchliche Berufung des Schuldners auf das noch nicht begründete Prozessrechtsverhältnis findet allerdings keinen Schutz (<ref-ruling> E. 3.1, Urteil 5D_130/2011 vom 22. September 2011 E. 2.2; vgl. auch Urteil 5A_172/2009 vom 26. Januar 2010 E. 5, in: BlSchK 2010 S. 210, zu den diversen Möglichkeiten des Gläubigers zur Schaffung von Indizien, die auf effektiven Zugang schliessen lassen).
4.2 Angesichts der dargelegten Praxis ist es in der Tat zweifelhaft, ob mit der öffentlichen Bekanntmachung der Pflicht zur Einreichung der Steuererklärung mittels Allgemeinverfügung (vorne E. 3.3) ein Prozessrechtsverhältnis im dargelegten Sinne entsteht. Dies jedenfalls dann, wenn der Steuerpflichtige seine Verfahrenspflichten erfüllt und die Steuererklärung eingereicht hat: Zwar muss der Steuerpflichtige wissen, dass zu einem bestimmten Zeitpunkt eine Steuererklärung einzureichen ist. Nach gesetzlicher Regelung (vorne E. 3.2) muss derjenige, der kein Steuerformular erhalten hat, gar selber aktiv werden und dieses Formular bei der zuständigen Behörde verlangen. Hat der Steuerpflichtige die Steuererklärung aber einmal eingereicht, so kann nicht während unbegrenzter Dauer ein fortdauerndes Prozessrechtsverhältnis angenommen werden mit der Folge, dass dem Steuerpflichtigen bei der Eröffnung behördlicher Verfügungen oder Entscheide für die betreffende Steuerperiode die Zustellfiktion unbegrenzt entgegengehalten werden könnte, zumal wenn - wie hier - die Veranlagungen teilweise mehrere Jahre nach Ablauf der betreffenden Steuerjahre zugestellt wurden.
4.3 Der hier zu beurteilende Fall liegt aber anders: Die streitigen Einschätzungsentscheide und Veranlagungsverfügungen betrafen allesamt so genannte "Ermessensveranlagungen" im Sinne von <ref-law> und § 139 Abs. 2 StG (vorne lit. A.a und A.b). Sie ergingen, weil der Beschwerdeführer seine Verfahrenspflichten nicht erfüllt und für die betroffenen Steuerjahre keine Steuererklärungen eingereicht hatte. Ob in einem solchen Fall mit der öffentlichen Bekanntmachung der Pflicht zur Einreichung der Steuererklärung die Begründung des für die Geltung der Zustellfiktion erforderlichen Prozessrechtsverhältnisses ebenfalls zweifelhaft erscheint, ist deutlich weniger evident, kann hier aber dahingestellt bleiben: Beim Beschwerdeführer fällt auf, dass ihm während Jahren regelmässig die Steuerveranlagungen sowie andere behördliche Dokumente (namentlich aus dem Gebiet des Schuldbetreibungs- und Konkursrechts) nicht zugestellt werden konnten mit der Folge, dass er jeweils rechtsmittelweise geltend macht, er habe nicht mit einer Zustellung rechnen müssen oder die Zustellung sei auf andere Weise unkorrekt gewesen. Diese gerichtsnotorisch seit Jahren bekannte Verhaltensweise zeigt sich auch in Fällen, die vor das Bundesgericht getragen wurden (vgl. Urteile 5A_500/2011 vom 20. Dezember 2011 [Zahlungsbefehle], 5A_859/2011 vom 21. Mai 2012 [Rechtsöffnungsentscheid], 5A_448/2011 vom 31. Oktober 2011 [Ediktalzustellung], 2A. 429/2002 vom 8. Oktober 2002 [Einspracheentscheid betreffend Mehrwertsteuer], 7B.56/2002 vom 10. April 2002 [Pfändungsankündigung], 7B.236/2001 vom 20. Dezember 2001 [Pfändungsankündigung]). Dieses Verhalten lässt nun aber keinen anderen Schluss zu, als dass sich der Beschwerdeführer bewusst und systematisch regelmässig auf angeblich fehlerhafte Zustellungen behördlicher Akte beruft. Ein solches Verhalten ist - wie im vorliegenden Fall auch - rechtsmissbräuchlich und verdient keinen Rechtsschutz (vgl. ebenso vorne E. 4.1, am Ende).
5. Dies führt zur Abweisung der Beschwerden.
Bei diesem Ausgang sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (Art. 65 und 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Verfahren 2C_1040/2012 und 2C_1041/2012 werden vereinigt.
2. Die Beschwerde betreffend die Staats- und Gemeindesteuern wird abgewiesen.
3. Die Beschwerde betreffend die Direkte Bundessteuer wird abgewiesen.
4. Die Gerichtskosten von insgesamt Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
5. Dieses Urteil wird dem Beschwerdeführer, dem Kantonalen Steueramt Zürich, dem Verwaltungsgericht des Kantons Zürich, 2. Abteilung, Einzelrichter, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 21. März 2013
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Klopfenstein