Sachverhalt: A. A.a Am 20. Oktober 2009 erliess die Direktion der Justiz und des Inneren des Kantons Zürich eine Weisung an das Handelsregisteramt des Kantons Zürich, in der sie sich zu Art. 165 Abs. 2 der auf 1. Januar 2008 in Kraft getretenen Handelsregisterverordnung vom 17. Oktober 2007 äusserte. Gemäss dieser Bestimmung haben die Kantone ein oberes kantonales Gericht zu bezeichnen, das als einzige Beschwerdeinstanz Beschwerden gegen Verfügungen der Handelsregisterämter behandelt. Dazu blieb den Kantonen bis am 31. Dezember 2009 Zeit (Art. 181 HRegV). Nach Auffassung der Justizdirektion ist die in Art. 165 Abs. 2 HRegV vorgesehene Regelung "gesetzes- und verfassungswidrig" und im Kanton Zürich "folglich nicht umzusetzen". Gegen Verfügungen des Handelsregisteramts Zürich stehe daher auch ab 1. Januar 2010 wie bis anhin der Rekurs an die Justizdirektion offen, worauf in den Rechtsmittelbelehrungen des Handelsregisteramts Zürich hinzuweisen sei. Mit Schreiben vom 2. Dezember 2009 ersuchte das Bundesamt für Justiz den Vorsteher der Justizdirektion darum, es an sämtlichen Rekursverfahren zu beteiligen, in denen die Justizdirektion nach dem 1. Januar 2010 über Verfügungen des Handelsregisteramts Zürich befindet. A.b Am 22. Februar 2010 verfügte das Handelsregisteramt Zürich von Amtes wegen die Löschung des Einzelunternehmens "X._, A._" im Handelsregister und auferlegte dessen Inhaber A._ eine Ordnungsbusse. Gegen diese Verfügung legte A._ am 18. März 2010 entsprechend der Rechtsmittelbelehrung bei der Justizdirektion des Kantons Zürich Rekurs ein. Mit Verfügung vom 29. April 2010 wies die Justizdirektion den Rekurs ab. Diese Verfügung wurde dem Bundesamt für Justiz am 4. Mai 2010 zugestellt, ohne dass dieses vorher am Verfahren beteiligt worden wäre. B. B.a Am 1. Juni 2010 erhob das Bundesamt für Justiz Beschwerde beim Verwaltungsgericht des Kantons Zürich mit dem Antrag, es sei die Verfügung der Justizdirektion aufzuheben und vom Verwaltungsgericht selbst in der Sache zu entscheiden, eventualiter sei die Angelegenheit zur weiteren Abklärung des Sachverhalts an das Handelsregisteramt Zürich zurückzuweisen. Zur Begründung führte das Bundesamt für Justiz aus, die Justizdirektion des Kantons Zürich sei aufgrund von Art. 165 Abs. 2 HRegV nicht zur Behandlung des Rekurses zuständig. Deren Verfügung sei deshalb aufzuheben, sofern sie sich nicht bereits als nichtig erweise. Die Justizdirektion habe zudem gegen § 5 Abs. 2 des Zürcher Verwaltungsrechtspflegegesetzes vom 24. Mai 1959 (VRG) verstossen, wonach Eingaben an eine unzuständige Verwaltungsbehörde von Amtes wegen an die zuständige Verwaltungsbehörde weiterzuleiten sind. A._ ergriff gegen die Verfügung der Justizdirektion kein Rechtsmittel. B.b Mit Entscheid vom 8. September 2010 wies das Verwaltungsgericht die Beschwerde des Bundesamts für Justiz ab, soweit es darauf eintrat. Es kam zum Schluss, dass Art. 165 Abs. 2 HRegV nicht auf die Delegationsnorm von Art. 929 Abs. 1 OR abgestützt werden könne und für die rechtsanwendenden Behörden folglich nicht massgebend sei. Die Justizdirektion habe daher zu Recht ihre Zuständigkeit zur Behandlung des Rekurses gegen die Verfügung des Handelsregisteramts Zürich bejaht. Als zuständige Rechtsmittelinstanz habe sie die Eingabe von A._ nicht an das Verwaltungsgericht weiterleiten müssen. In der Sache sei nicht ersichtlich und werde mit der Beschwerde auch nicht geltend gemacht, dass die Vorinstanz eine Rechtsverletzung begangen oder den Sachverhalt unrichtig oder ungenügend festgestellt hätte. Es könne deshalb auf die entsprechenden Erwägungen der Vorinstanz verwiesen werden. C. Mit Beschwerde in Zivilsachen beantragt das Eidgenössische Amt für das Handelsregister (EHRA) dem Bundesgericht, es sei der Entscheid des Verwaltungsgerichts aufzuheben und das Verwaltungsgericht sei anzuweisen, als einzige kantonale Beschwerdeinstanz in der Sache zu entscheiden oder die Sache dem zuständigen oberen kantonalen Gericht zu überweisen. Die Justizdirektion des Kantons Zürich schliesst in ihrer Vernehmlassung auf Abweisung der Beschwerde. Die Vorinstanz, das Handelsregisteramt Zürich und A._ liessen sich nicht vernehmen.