Sachverhalt: Mit Verfügung vom 8. April 2002 forderte die Kantonale Arbeitslosenkasse Schaffhausen (nachfolgend: Kasse) von S._ zu Unrecht ausbezahlte Arbeitslosenentschädigung in der Höhe von Fr. 4491.75 zurück. Die Kantonale Rekurskommission für die Arbeitslosenversicherung Schaffhausen wies eine dagegen erhobene Beschwerde mit Entscheid vom 13. November 2002 ab. In den Erwägungen wies sie den Antrag der Kasse, den zurückzuzahlenden Betrag um Fr. 1080.75 zu erhöhen, ebenfalls ab. S._ führt Verwaltungsgerichtsbeschwerde mit dem Rechtsbegehren, es seien der kantonale Entscheid und die Verwaltungsverfügung aufzuheben, eventuell sei die Sache an die Vorinstanz zurückzuweisen; für das Verfahren vor der kantonalen Rekursbehörde sei ihm eine Entschädigung nach kantonalem Recht zuzusprechen. Die Kasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Staatssekretariat für Wirtschaft (seco) auf Vernehmlassung verzichtet. Am 17. März 2004 reichte S._ nach Abschluss des ordentlichen Schriftenwechsels beim Eidgenössischen Versicherungsgericht eine Beschwerdeergänzung (mit neuen Rechtsbegehren 4-9 und Beilagen) ein.