Sachverhalt: A. A._, geboren 1962, ist seit längerer Zeit arbeitslos und bezieht seit dem 1. Januar 1990 Leistungen der Arbeitslosenversicherung. Die Öffentliche Arbeitslosenkasse des Kantons Solothurn setzte für die vierte Rahmenfrist für den Leistungsbezug (1. Januar 1996 bis 31. Dezember 1997) den versicherten Verdienst auf Fr. 3'883.-- fest und richtete Taggelder aus. Nachdem sie erfahren hatte, dass A._ mit Wirkung ab dem 1. Dezember 1991 eine halbe Rente der Invalidenversicherung erhält, forderte sie mit Verfügung vom 7. Januar 1998 für die Zeit vom 1. März bis zum 31. August 1997 zu viel ausbezahlte Taggelder im Umfang von Fr. 7'122.15 zurück. B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 24. August 1998 ab. C. A._ führt Verwaltungsgerichtsbeschwerde mit dem sinngemässen Antrag, den vorinstanzlichen Entscheid und die Verwaltungsverfügung aufzuheben. Die Arbeitslosenkasse schliesst sinngemäss auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Wirtschaft und Arbeit (heute Staatssekretariat für Wirtschaft) auf eine Vernehmlassung verzichtet. D. Im Instruktionsverfahren zog das Eidgenössische Versicherungsgericht die - A._ bereits bekannten - Akten der Invalidenversicherung bei. E. Das Eidgenössische Versicherungsgericht hat A._ mit Schreiben vom 20. Oktober 2004 auf die Möglichkeit einer Verschlechterung seiner Rechtslage und eines Rückzugs der Verwaltungsgerichtsbeschwerde aufmerksam gemacht. F. Mit Brief vom 23. Oktober 2004 hält A._ an seiner Verwaltungsgerichtsbeschwerde fest.