Sachverhalt:
Sachverhalt:
A. Mit Verfügung vom 13. Dezember 2005, bestätigt mit Einspracheentscheid vom 29. März 2006, lehnte das Amt für Wirtschaft und Arbeit des Kantons Solothurn (AWA) das Gesuch von M._ um Erlass der Rückerstattung von Taggeldern der Arbeitslosenversicherung im Betrag von Fr. 12'561.40 mangels guten Glaubens beim Leistungsbezug ab.
A. Mit Verfügung vom 13. Dezember 2005, bestätigt mit Einspracheentscheid vom 29. März 2006, lehnte das Amt für Wirtschaft und Arbeit des Kantons Solothurn (AWA) das Gesuch von M._ um Erlass der Rückerstattung von Taggeldern der Arbeitslosenversicherung im Betrag von Fr. 12'561.40 mangels guten Glaubens beim Leistungsbezug ab.
B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 10. Januar 2007 ab.
B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 10. Januar 2007 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt M._ sein Erlassgesuch erneuern.
Während das kantonale Gericht auf Abweisung der Beschwerde schliesst, verzichten das AWA und das Staatssekretariat für Wirtschaft auf eine Vernehmlassung.

Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. 1.1 Weil der angefochtene Entscheid nach dem Inkrafttreten des Bundesgesetzes über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) auf den 1. Januar 2007 hin (AS 2006 1242) am 10. Januar 2007 ergangen ist, untersteht die Beschwerde dem neuen Recht (<ref-law>).
1.2 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>). Diese kognitionsrechtliche Ordnung führt bei Streitigkeiten um den Erlass der Rückerstattung unrechtmässig bezogener Leistungen gegenüber der bis 31. Dezember 2006 unter der Herrschaft des Bundesgesetzes über die Organisation der Bundesrechtspflege (OG) geltenden Rechtslage zu keinen grundlegenden Neuerungen, war doch die Frage nach dem Erlass einer Rückerstattungsschuld schon nach damaligem Recht nur mit eingeschränkter Kognition überprüfbar (Art. 132 in Verbindung mit 104 lit. a und b sowie Art. 105 Abs. 2 OG; <ref-ruling> E. 2 S. 223, ARV 2006 S. 313 f. E. 1.2, SVR 2007 IV Nr. 13 S. 49 E. 1).
1.2 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>). Diese kognitionsrechtliche Ordnung führt bei Streitigkeiten um den Erlass der Rückerstattung unrechtmässig bezogener Leistungen gegenüber der bis 31. Dezember 2006 unter der Herrschaft des Bundesgesetzes über die Organisation der Bundesrechtspflege (OG) geltenden Rechtslage zu keinen grundlegenden Neuerungen, war doch die Frage nach dem Erlass einer Rückerstattungsschuld schon nach damaligem Recht nur mit eingeschränkter Kognition überprüfbar (Art. 132 in Verbindung mit 104 lit. a und b sowie Art. 105 Abs. 2 OG; <ref-ruling> E. 2 S. 223, ARV 2006 S. 313 f. E. 1.2, SVR 2007 IV Nr. 13 S. 49 E. 1).
2. Streitig und zu prüfen ist, ob dem Beschwerdeführer die rechtskräftig festgestellte Rückerstattungsschuld über Fr. 12'561.40 erlassen werden kann.
2.1 Wie das kantonale Gericht zutreffend dargelegt hat, sind unrechtmässig bezogene Leistungen gemäss <ref-law>, auf welchen <ref-law> verweist, zurückzuerstatten (Satz 1); wer Leistungen in gutem Glauben empfangen hat, muss sie nicht zurückerstatten, wenn eine grosse Härte vorliegt (Satz 2).
Nach der vor Inkrafttreten des BGG ergangenen Rechtsprechung ist bei der Frage nach der Gutgläubigkeit beim Leistungsbezug hinsichtlich der Überprüfungsbefugnis des Gerichts zu unterscheiden zwischen dem guten Glauben als fehlendem Unrechtsbewusstsein und der Frage, ob sich jemand unter den gegebenen Umständen auf den guten Glauben berufen kann oder ob er bei zumutbarer Aufmerksamkeit den bestehenden Rechtsmangel hätte erkennen sollen. Die Frage nach dem Unrechtsbewusstsein gehört zum inneren Tatbestand und wird daher als Tatfrage von der Vorinstanz für das Bundesgericht verbindlich beurteilt. Demgegenüber gilt die Frage nach der gebotenen Aufmerksamkeit als frei überprüfbare Rechtsfrage, soweit es darum geht, festzustellen, ob sich jemand angesichts der jeweiligen tatsächlichen Verhältnisse auf den guten Glauben berufen kann (<ref-ruling> E. 3 S. 223, ARV 1998 Nr. 41 S. 234 E. 3, je mit Hinweisen).
2.2 Das kantonale Gericht ist - auch wenn es sich dazu nicht ausdrücklich und in für das Bundesgericht verbindlicher Weise (E. 2.1 hievor) geäussert hat - offenbar davon ausgegangen, dass sich der Beschwerdeführer der Unrechtmässigkeit seiner Taggeldbezüge nicht bewusst war. Da es das Vorliegen des guten Glaubens primär unter dem Aspekt der groben Fahrlässigkeit untersucht hat, steht einer freien Überprüfung im letztinstanzlichen Verfahren nichts im Wege.
2.3 Dass die Gewerkschaft SYNA den Beschwerdeführer an die Arbeitslosenkasse verwiesen und ihm auch die Anmeldung zum Bezug von Arbeitslosenentschädigung ausgefüllt hat, mag zwar ebenso für dessen Gutgläubigkeit beim Leistungsbezug sprechen wie die zunächst vorbehaltlose Auszahlung von Taggeldern durch die Arbeitslosenkasse der Gewerkschaft. Zu beachten ist dabei immerhin, dass die nur beratend tätig gewesene Gewerkschaft für den Entscheid über die Anspruchsberechtigung nicht zuständig war. Des Weitern ist aktenkundig, dass dem Beschwerdeführer insofern keine Verletzung seiner Melde- oder Auskunftspflicht vorgehalten werden kann, als er die Arbeitslosenkasse schon in seinem Anmeldeformular über sein ungekündigtes Arbeitsverhältnis informiert hat.
Auf der andern Seite ist nicht zu verkennen, dass - wie das AWA bereits in seiner Verfügung vom 13. Dezember 2005 ausführte - als grundlegende Voraussetzung für die Anspruchsberechtigung eine Arbeitslosigkeit vorliegen muss, welche nicht als gegeben betrachtet werden kann, solange ein noch gültiger Arbeitsvertrag besteht. Dies darf auch ohne Rechtskenntnisse als bekannt gelten. Daran vermögen Sprachschwierigkeiten ebenso wenig zu ändern wie der Umstand, dass die Arbeitgeberfirma angeblich nicht in der Lage gewesen sein soll, gesundheitlich noch zumutbare Tätigkeiten zuzuweisen.
2.4 Wenn die Vorinstanz unter den gegebenen Umständen eine grobfahrlässige Sorgfaltspflichtverletzung angenommen und deshalb die Gutgläubigkeit beim Leistungsbezug verneint hat, ist darin jedenfalls keine Verletzung von Bundesrecht zu erblicken. Auch kann nicht von einer offensichtlich unrichtigen Sachverhaltsfeststellung im Sinne von <ref-law> gesprochen werden. Der kantonale Entscheid hält daher einer Überprüfung durch das Bundesgericht stand.
2.4 Wenn die Vorinstanz unter den gegebenen Umständen eine grobfahrlässige Sorgfaltspflichtverletzung angenommen und deshalb die Gutgläubigkeit beim Leistungsbezug verneint hat, ist darin jedenfalls keine Verletzung von Bundesrecht zu erblicken. Auch kann nicht von einer offensichtlich unrichtigen Sachverhaltsfeststellung im Sinne von <ref-law> gesprochen werden. Der kantonale Entscheid hält daher einer Überprüfung durch das Bundesgericht stand.
3. Die Gerichtskosten sind vom unterliegenden Beschwerdeführer zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 1200.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
2. Die Gerichtskosten von Fr. 1200.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn, der Arbeitslosenkasse SYNA, Zürich, und dem Staatssekretariat für Wirtschaft zugestellt.
Luzern, 13. August 2007
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: