Sachverhalt: Sachverhalt: A. Der 1964 geborene G._ erlitt am 4. Februar 1995 bei einem Sturz schwere Verletzungen. Die Invalidenversicherung ermittelte einen Invaliditätsgrad von 85 % und sprach dem Versicherten ab 1. Mai 1996 eine Rente für ihn, seine Ehefrau und die vier Kinder zu. Mit Verfügung vom 26. November 1999 gewährte die "Zürich" Versicherungs-Gesellschaft (nachfolgend Zürich) als obligatorische Unfallversicherung ab dem 1. August 1999 eine monatliche Komplementärrente. Die Invalidenversicherung änderte die zugesprochene Rente mit Verfügungen vom 28. September 2001, 21. und 28. November 2003. Nachdem die Zürich von diesen Verfügungen Kenntnis erhalten hatte, passte sie die Komplementärrenten rückwirkend an diese Veränderungen an. Sie teilte G._ mit Verfügung vom 20. August 2004 mit, es seien ihm Fr. 28'494.- zu viel ausgerichtet worden, was mit dem künftigen Rentenanspruch verrechnet werde. G._ erhob gegen die Verfügung Einsprache und stellte gleichzeitig ein Erlassgesuch. Mit Einspracheentscheid vom 16. März 2005 wies die Zürich das Gesuch um Erlass der Rückforderung ab, reduzierte aber den Rückforderungsbetrag auf Fr. 27'035.-. A. Der 1964 geborene G._ erlitt am 4. Februar 1995 bei einem Sturz schwere Verletzungen. Die Invalidenversicherung ermittelte einen Invaliditätsgrad von 85 % und sprach dem Versicherten ab 1. Mai 1996 eine Rente für ihn, seine Ehefrau und die vier Kinder zu. Mit Verfügung vom 26. November 1999 gewährte die "Zürich" Versicherungs-Gesellschaft (nachfolgend Zürich) als obligatorische Unfallversicherung ab dem 1. August 1999 eine monatliche Komplementärrente. Die Invalidenversicherung änderte die zugesprochene Rente mit Verfügungen vom 28. September 2001, 21. und 28. November 2003. Nachdem die Zürich von diesen Verfügungen Kenntnis erhalten hatte, passte sie die Komplementärrenten rückwirkend an diese Veränderungen an. Sie teilte G._ mit Verfügung vom 20. August 2004 mit, es seien ihm Fr. 28'494.- zu viel ausgerichtet worden, was mit dem künftigen Rentenanspruch verrechnet werde. G._ erhob gegen die Verfügung Einsprache und stellte gleichzeitig ein Erlassgesuch. Mit Einspracheentscheid vom 16. März 2005 wies die Zürich das Gesuch um Erlass der Rückforderung ab, reduzierte aber den Rückforderungsbetrag auf Fr. 27'035.-. B. Die dagegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Freiburg mit Entscheid vom 17. März 2006 teilweise gut, indem es den geschuldeten Rückerstattungsbetrag auf Fr. 27'418.- festsetzte und davon den Betrag von Fr. 4316.- erliess. B. Die dagegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Freiburg mit Entscheid vom 17. März 2006 teilweise gut, indem es den geschuldeten Rückerstattungsbetrag auf Fr. 27'418.- festsetzte und davon den Betrag von Fr. 4316.- erliess. C. Mit Verwaltungsgerichtsbeschwerde lässt G._ den vollumfänglichen Erlass des geschuldeten Rückerstattungsbetrages in der Höhe von Fr. 27'418.-, eventualiter den Erlass des Betrages von Fr. 9816.- beantragen. Die Zürich lässt auf Abweisung der Beschwerde schliessen. Das Bundesamt für Gesundheit verzichtet auf eine Vernehmlassung.