Sachverhalt: A. A._ hatte ab dem 1. Mai 2008 bis Dezember 2009 Arbeitslosenentschädigung bezogen. Der Krankenversicherer sprach ihm gemäss Abrechnung vom 6. April 2011 rückwirkend ebenfalls ab dem 1. Mai 2008 Krankentaggelder in der Höhe von insgesamt 95'868 Franken zu. Die Arbeitslosenkasse Graubünden forderte mit Verfügung vom 8. März 2012 zu Unrecht ausgerichtete Leistungen von 44'278 Franken zurück. Das Amt für Industrie, Gewerbe und Arbeit Graubünden (KIGA) bestätigte diese Verfügung mit Einspracheentscheid vom 14. Dezember 2012. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 17. Dezember 2013 ab. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, der angefochtene Entscheid und der Einspracheentscheid vom 14. Dezember 2012 seien aufzuheben. Das Bundesgericht hat die vorinstanzlichen Akten eingeholt und auf einen Schriftenwechsel verzichtet.