Sachverhalt: Sachverhalt: A. Mit Verfügung vom 13. Dezember 2005, bestätigt mit Einspracheentscheid vom 29. März 2006, lehnte das Amt für Wirtschaft und Arbeit des Kantons Solothurn (AWA) das Gesuch von M._ um Erlass der Rückerstattung von Taggeldern der Arbeitslosenversicherung im Betrag von Fr. 12'561.40 mangels guten Glaubens beim Leistungsbezug ab. A. Mit Verfügung vom 13. Dezember 2005, bestätigt mit Einspracheentscheid vom 29. März 2006, lehnte das Amt für Wirtschaft und Arbeit des Kantons Solothurn (AWA) das Gesuch von M._ um Erlass der Rückerstattung von Taggeldern der Arbeitslosenversicherung im Betrag von Fr. 12'561.40 mangels guten Glaubens beim Leistungsbezug ab. B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 10. Januar 2007 ab. B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 10. Januar 2007 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt M._ sein Erlassgesuch erneuern. Während das kantonale Gericht auf Abweisung der Beschwerde schliesst, verzichten das AWA und das Staatssekretariat für Wirtschaft auf eine Vernehmlassung.