Sachverhalt: A. A._, geboren 1966, italienischer Staatsangehöriger mit Aufenthaltsbewilligung B zur Ausübung einer Erwerbstätigkeit in der Schweiz, ersuchte am 29. April 2019 beim Amt für Wirtschaft und Arbeit des Kantons Glarus (AWA), Arbeitslosenkasse, um Arbeitslosenentschädigung ab dem 25. April 2019 unter Hinweis auf seine bisherige Beschäftigung bei der B._ GmbH vom 1. Oktober 2016 bis zum 31. Mai 2019. Das AWA lehnte die Anspruchsberechtigung mit Verfügung vom 13. Juni 2019 und Einspracheentscheid vom 29. Januar 2020 ab. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Glarus mit Entscheid vom 23. April 2020 ab mit der Begründung, dass es an der Anspruchsvoraussetzung des Wohnens in der Schweiz fehle. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des angefochtenen Entscheides sei ihm eine Arbeitslosenentschädigung zuzusprechen, eventualiter sei die Sache zu weiteren Abklärungen an die Vorinstanz zurückzuweisen. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege. Das AWA und das Staatssekretariat für Wirtschaft (SECO) verzichten auf eine Vernehmlassung.