Erwägungen:
1. X._ ersuchte anfangs November 2010 die Oberstaatsanwaltschaft des Kantons Zürich um ein Wahlfähigkeitszeugnis für Staatsanwältinnen und Staatsanwälte unter Erlass der Fähigkeitsprüfung. Die Oberstaatsanwaltschaft bescheinigte ihm am 25. November 2010 die Wahlfähigkeit als Staatsanwalt befristet bis Ende 2010 und wies ihn in einem Begleitschreiben vom gleichen Tag "unpräjudiziell" darauf hin, dass er die Voraussetzungen für die Ausstellung des Wahlfähigkeitszeugnisses ohne erfolgreich absolvierte Kandidatur oder Prüfung nicht erfüllen dürfte.
2. Am 10. Dezember 2010 reichte X._ dem Bezirksrat Uster einen auf sich lautenden Vorschlag betreffend Ersatzwahl eines Staatsanwalts für den Rest der Amtsdauer 2009 - 2013 ein. Der Bezirksrat setzte X._ eine (erstreckte) Frist bis 14. Februar 2011, um ein ab Anfang des neuen Jahres gültiges Wahlfähigkeitszeugnis beizubringen, ansonsten die Ungültigkeit des Vorschlages festgestellt werden müsste.
3. Am 2. Januar 2011 reichte X._ der Aufforderung der Oberstaatsanwaltschaft entsprechend Zeugnisse seiner Tätigkeit als militärischer Untersuchungsrichter ein. Die Oberstaatsanwaltschaft wies in der Folge das Gesuch um Erteilung eines Wahlfähigkeitszeugnisses für Staatsanwältinnen und Staatsanwälte mit Beschluss vom 12. Januar 2011 ab. Dagegen erhob X._ Rekurs und ersuchte zudem im Rahmen superprovisorischer bzw. vorsorglicher Massnahmen bis spätestens am 10. Februar 2011 um Erteilung eines mindestens bis 31. Juli 2011 gültigen Wahlfähigkeitszeugnisses. Mit Zwischenverfügung vom 28. Januar 2011 wies die Direktion der Justiz und des Innern des Kantons Zürich das Gesuch um einstweiligen Rechtsschutz ab.
Gegen die Zwischenverfügung vom 28. Januar 2011 erhob X._ Beschwerde beim Verwaltungsgericht des Kantons Zürich und ersuchte dabei im Rahmen einer superprovisorischen bzw. vorsorglichen Massnahme bis spätestens 12. Februar 2011 um Erteilung eines mindestens bis 31. Juli 2011 gültigen Wahlfähigkeitszeugnisses. Mit Präsidialverfügung vom 7. Februar 2011 wies das Verwaltungsgericht das Gesuch um Erlass einer (super)provisorischen Massnahme ab. Mit Verfügung des Einzelrichters vom 21. Februar 2011 schrieb das Verwaltungsgericht das Verfahren als gegenstandslos geworden ab und auferlegte X._ die Gerichtskosten von Fr. 1'100.--. Zur Begründung führte das Verwaltungsgericht zusammenfassend aus, dass die durch den Bezirksrat Uster eingeräumte Frist zur Einreichung eines gültigen Wahlfähigkeitszeugnisses am 14. Februar 2011 abgelaufen sei. Dadurch sei das zunächst vorhandene Rechtsschutzinteresse an der Aufhebung des vorinstanzlichen Zwischenentscheids nachträglich weggefallen. Hinsichtlich der Kostenfolge sei zu berücksichtigen, dass der Beschwerdeführer das verwaltungsgerichtliche Verfahren verursacht und bloss geringe Erfolgschancen habe. Entsprechend den Bestimmungen des Verwaltungsrechtspflegegesetzes seien dem Beschwerdeführer die Gerichtskosten aufzuerlegen.
4. X._ führt mit Eingaben vom 21. und 22. März 2011 Beschwerde gegen die Verfügung des Verwaltungsgerichts des Kantons Zürich vom 21. Februar 2011. Er beantragt die Aufhebung der angefochtenen Verfügung einzig im Kostenpunkt. Das Bundesgericht verzichtet auf die Einholung von Vernehmlassungen.
5. Bei der angefochtenen Verfügung des Verwaltungsgerichts handelt es sich nicht um einen Endentscheid im Sinne des BGG, sondern um einen Zwischenentscheid. Ob gegen diesen Zwischenentscheid die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) oder bloss die subsidiäre Verfassungsbeschwerde (Art. 113 ff. BGG) gegeben ist, kann vorliegend offen bleiben, da beide Rechtsmittel die Voraussetzungen von Art. 93 BGG erfüllen müssen (vgl. Art. 117 BGG).
5.1 Gegen Vor- und Zwischenentscheide, die weder die Zuständigkeit noch den Ausstand betreffen (s. dazu Art. 92 BGG), ist die Beschwerde ans Bundesgericht gemäss Art. 93 Abs. 1 BGG zulässig, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können (lit. a) oder - was indes hier von vornherein ausser Betracht fällt - wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b).
5.2 Dabei ist es Sache des Beschwerdeführers, die Eintretensvoraussetzungen von Art. 93 BGG darzulegen. Es ist nicht Aufgabe des Bundesgerichts, von Amtes wegen Nachforschungen anzustellen, inwiefern ein nicht wieder gutzumachender Nachteil im Sinne von Art. 93 Abs. 1 lit. a BGG gegeben sein sollte (BGE 134 III 426 E. 1.2; 133 III 629 E. 2.3.1).
Der Beschwerdeführer legt nicht ansatzweise dar und es ist denn auch nicht ersichtlich, inwiefern die angefochtene Verfügung einen solchen Nachteil gemäss Art. 93 Abs. 1 lit. a BGG bewirken könnte. Auf die Beschwerde ist somit nicht einzutreten. Da diese in Bezug auf Art. 93 BGG offensichtlich keine hinreichende Begründung enthält, kann über sie im vereinfachten Verfahren nach Art. 108 Abs. 1 BGG entschieden werden.
6. Dem Ausgang des Verfahrens entsprechend sind die bundesgerichtlichen Kosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG).
Demnach erkennt der Präsident:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer sowie der Oberstaatsanwaltschaft, der Direktion der Justiz und des Innern und dem Verwaltungsgericht des Kantons Zürich, 4. Abteilung, Einzelrichter, schriftlich mitgeteilt.
Lausanne, 30. März 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Fonjallaz Pfäffli