Sachverhalt: Sachverhalt: A. Der 1955 geborene Z._ bezog seit 1. Februar 1997 Ergänzungsleistungen zur Invalidenrente. Mit Verfügung vom 10. Januar 2006 setzte die Ausgleichskasse des Kantons Bern aufgrund eines Erbschaftsanfalles die Ergänzungsleistungen rückwirkend ab 1. Januar 2001 neu fest und forderte seither zu viel bezogene Beträge in der Höhe von Fr. 19'301.- zurück. Das Gesuch um Erlass der Rückforderung wies die Ausgleichskasse mit Verfügung vom 23. März 2006 ab, da es an der Voraussetzung des guten Glaubens fehle. An ihrem Standpunkt hielt sie mit Einspracheentscheid vom 29. Mai 2006 fest. A. Der 1955 geborene Z._ bezog seit 1. Februar 1997 Ergänzungsleistungen zur Invalidenrente. Mit Verfügung vom 10. Januar 2006 setzte die Ausgleichskasse des Kantons Bern aufgrund eines Erbschaftsanfalles die Ergänzungsleistungen rückwirkend ab 1. Januar 2001 neu fest und forderte seither zu viel bezogene Beträge in der Höhe von Fr. 19'301.- zurück. Das Gesuch um Erlass der Rückforderung wies die Ausgleichskasse mit Verfügung vom 23. März 2006 ab, da es an der Voraussetzung des guten Glaubens fehle. An ihrem Standpunkt hielt sie mit Einspracheentscheid vom 29. Mai 2006 fest. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 27. September 2006 ab. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 27. September 2006 ab. C. Mit Verwaltungsgerichtsbeschwerde lässt Z._ die Gutheissung des Erlassgesuchs beantragen. Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.