Sachverhalt: Mit Verfügung vom 8. Januar 2004 forderte die Durchführungsstelle für Zusatzleistungen zur AHV/IV der Gemeinde X._ von A._ und B._ (geb. 1949 und 1953) Ergänzungsleistungen im Betrag von Fr. 15'840.- zurück. Am 16. März 2004 verfügte die Durchführungsstelle zusätzlich die Rückzahlung von bereits ausgerichteten kantonalen Beihilfen und Gemeindezuschüssen. In beiden Fällen ersuchten die Eheleute um Erlass der Rückforderung. Mit Verfügungen vom 14. Juli 2004 lehnte die Durchführungsstelle diese Gesuche ab. Daran hielt sie mit Einspracheentscheid vom 18. Oktober 2004 fest. Der Bezirksrat X._ bestätigte die Ablehnung der Erlasse mit Einspracheentscheid vom 2. März 2005. Die dagegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 22. Dezember 2005 ab. A._ und B._ lassen Verwaltungsgerichtsbeschwerde führen und beantragen, die Rückforderungen seien zu erlassen. Die Durchführungsstelle, der Bezirksrat und das Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung.