Erwägungen:
1. Am 9. Juni 2010 trat der Einzelrichter der Steuerrekurskommission I des Kantons Zürich auf die Einsprache von X._ gegen die Veranlagung zur direkten Bundessteuer 2008 wegen Verspätung nicht ein. Die gegen den diesen Nichteintretensentscheid schützenden Entscheid des Verwaltungsgerichts des Kantons Zürich vom 25. August 2010 erhobene Beschwerde in öffentlich-rechtlichen Angelegenheiten hiess das Bundesgericht mit Urteil 2C_780/2010 vom 21. März 2011 gut, weil die ordnungsgemässe Eröffnung des Einspracheentscheids nicht als erwiesen gelten konnte. Die Entscheide des Verwaltungsgerichts und der Steuerrekurskommission I wurden aufgehoben und die Sache zur weiteren Behandlung an die Steuerrekurskommission sowie zur Neuregelung der Kosten- und Entschädigungsfolgen des kantonalen Verfahrens an das Verwaltungsgericht zurückgewiesen.
Mit Beschluss vom 20. April 2011 traf das Verwaltungsgericht einen neuen Kostenentscheid. Es auferlegte die Kosten der Verfahren vor Verwaltungsgericht und vor der Steuerrekurskommission den Parteien hälftig und sprach dem Steuerpflichtigen keine Parteientschädigung zu.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 6. Juni 2011 beantragt X._ dem Bundesgericht, der Beschluss des Verwaltungsgerichts sei aufzuheben und es seien die Kosten des kantonalen Beschwerdeverfahrens der Steuerbehörde aufzuerlegen, welche zudem zur Bezahlung einer Parteientschädigung zu verpflichten sei.
Es ist weder ein Schriftenwechsel noch sind andere Instruktionsmassnahmen angeordnet worden.
2. 2.1 Die Beschwerde an das Bundesgericht ist einzig gegen End- und Teilentscheide ohne Weiteres zulässig (Art. 90 und 91 BGG), gegen Zwischenentscheide jedoch nur unter bestimmten Voraussetzungen (Art. 92 und 93 BGG). Ein Rückweisungsentscheid gilt als Zwischenentscheid (BGE 133 V 477 E. 4 S. 480-482). Ein solcher liegt auch dann vor, wenn eine Vorinstanz des Bundesgerichts im Rahmen eines Rückweisungsentscheids über Kostenfolgen befindet (BGE 133 V 645 E. 2.1 S. 647; 135 III 329). Ein derartiger Zwischenentscheid verursacht keinen nicht wieder gutzumachenden Nachteil (Art. 93 Abs. 1 lit. a BGG), weil der Kostenentscheid im Anschluss an den aufgrund des Rückweisungsentscheids neu ergehenden Endentscheid in der Sache angefochten werden kann (Art. 93 Abs. 3 BGG; BGE 135 III 329; 133 V 645 E. 2; Urteil 2C_759/2008 vom 6. März 2009 E. 2, in: ASA 79 S. 575 und StR 64/2009 S. 608). Entscheidet die Instanz, an welche die Sache zurückgewiesen wurde, in der Hauptsache voll zu Gunsten der beschwerdeführenden Person, so dass diese keinen Anlass mehr hat, diesen Entscheid in der Sache anzufechten, so kann die Kosten- oder Entschädigungsregelung im Rückweisungsentscheid direkt innerhalb der Frist von Art. 100 BGG ab Rechtskraft des Endentscheids mit ordentlicher Beschwerde beim Bundesgericht angefochten werden (BGE 133 V 645 E. 2.2 S. 648; 122 I 39 E. 1a/bb S. 42 f.; 117 Ia 251 E. 1b S. 254 f.; Urteile 9C_688/2009 vom 19. November 2009 E. 1.1, in: SVR 2010 IV Nr. 27, und 2C_759/2008 vom 6. März 2009 E. 2, in: ASA 79 S. 575 und StR 64/2009 S. 608). Dasselbe gilt, wenn das Bundesgericht einen Entscheid aufhebt, die Sache zur Neubeurteilung an die Verwaltung zurückweist und zugleich die Vorinstanz anweist, die Kosten für das vorangegangene Verfahren neu festzulegen, und in der Folge die Vorinstanz, bevor ein Endentscheid in der Sache vorliegt, diesen neuen Kostenentscheid fällt; auch in dieser Konstellation ist der vorinstanzliche Entscheid über die Kostenverlegung nur ein Zwischenschritt im gesamten Verfahrensablauf und kann erst im Nachgang zum Endentscheid in der Sache angefochten werden (zum Ganzen zuletzt Urteil 2C_60/2011 vom 12. Mai 2011 E. 1 mit zusätzlichen Hinweisen).
2.2 Der vorliegend angefochtene Beschluss des Verwaltungsgerichts stellt nach dem vorstehend Ausgeführten einen Zwischenentscheid, einen blossen Zwischenschritt im gesamten Verfahrensverlauf dar, sodass er erst im Nachgang zum Endentscheid in der Sache angefochten werden kann. Besondere Gründe, die ausnahmsweise für eine andere Vorgehensweise sprechen und ein sofortiges Handeln des Bundesgerichts als notwendig erscheinen liessen (trotz späterer Anfechtbarkeit nicht wieder gutzumachender Nachteil), nennt der Beschwerdeführer nicht, womit er seiner Begründungspflicht, die ungeachtet von Art. 29 Abs. 1 BGG auch hinsichtlich von nicht ohne Weiteres gegebenen Eintretensvoraussetzungen besteht (Art. 42 Abs. 2 BGG, dazu BGE 134 II 45 E. 2.2.3 S. 48 mit Hinweisen), nicht genügt.
Auf die Beschwerde ist mit Entscheid des Einzelrichters im vereinfachten Verfahren gemäss Art. 108 BGG nicht einzutreten.
2.3 Die Gerichtskosten (Art. 65 BGG) sind dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 erster Satz BGG).
Demnach erkennt der Präsident:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, schriftlich mitgeteilt.
Lausanne, 15. Juni 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Feller