Sachverhalt: A. Der 1964 geborene C._ war vom 1. Dezember 1994 bis 30. Juni 2003 als Projektmanager für die X._ AG angestellt gewesen. Im Anschluss daran war er bis Ende Dezember 2003 für die gleiche Gesellschaft als Freelancer tätig. Am 4. März 2003 (recte: 2004) stellte C._ Antrag auf Arbeitslosenentschädigung ab 3. März 2004 und gab an, er sei bereit und in der Lage, Vollzeit zu arbeiten. Die damals zuständige Arbeitslosenkasse eröffnete ab 3. März 2004 eine Rahmenfrist für den Leistungsbezug und richtete Taggelder, gestützt auf einen anrechenbaren Arbeitsausfall von 100 %, aus. Nachdem C._ seinen Wohnsitz nach Y._ verlegt hatte, meldete er sich am 26. Oktober 2004 beim Regionalen Arbeitsvermittlungszentrum (RAV) zur Vermittlung einer Teilzeitstelle im Umfang eines 60 %-Pensums an. Die ab 1. November 2004 zuständige Arbeitslosenkasse GBI (ab 1. Januar 2005: Unia Arbeitslosenkasse, nachfolgend: Kasse) erbrachte für die Monate November und Dezember 2004 Arbeitslosenentschädigung, nach wie vor basierend auf einem anrechenbaren Arbeitsausfall von 100 %. C._ hatte sich ausserdem am 28. Januar 2002 bei der Invalidenversicherung zum Leistungsbezug angemeldet. Die damals zuständige IV-Stelle verneinte einen Leistungsanspruch mit Verfügung vom 4. Februar 2005 (bestätigt mit Einspracheentscheid vom 17. Januar 2006) unter Hinweis darauf, dass kein invalidisierender Gesundheitsschaden vorliege. Mit Verfügung vom 20. April 2005 forderte die Kasse für die Monate November und Dezember 2004 zu Unrecht ausgerichtete Arbeitslosentaggelder im Umfang von gesamthaft Fr. 4'576.20 zurück, da der Versicherte sich für diese Kontrollperioden nur "im Ausmass von 60 %" der Arbeitsvermittlung zur Verfügung gestellt, sie aber "Leistungen im Ausmass von 100 %" erbracht habe. Daran hielt sie auf Einsprache hin fest (Einspracheentscheid vom 7. Juni 2005). B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich ab (Entscheid vom 31. Januar 2007). C. C._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, es sei festzustellen, dass gegen ihn keine Rückforderung bestehe. Die Arbeitslosenkasse lässt sich nicht vernehmen. Das Staatssekretariat für Wirtschaft (seco) verzichtet auf eine Stellungnahme.