Sachverhalt: Mit Verfügung vom 17. Februar 2003 forderte die Arbeitslosenkasse SMUV von S._ (geb. 1935) bereits erbrachte Leistungen im Betrag von Fr. 8554.45 zurück. Hierauf stellte S._ ein Erlassgesuch, welches das Amt für Wirtschaft und Arbeit (AWA) des Kantons Zürich mit Verfügung vom 15. Oktober 2003 ablehnte. Daran hielt das AWA mit Einspracheentscheid vom 25. November 2004 fest. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 11. Januar 2006 ab. S._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, die Rückforderung sei ihm zu erlassen. Das AWA und das Staatssekretariat für Wirtschaft (seco) verzichten auf eine Vernehmlassung.