Sachverhalt: A. A.a Der 1950 geborene G._ war vom 1. Juni 1999 bis 31. März 2001 als Vorarbeiter in den Bereichen Gussputzerei und Formerei der Firma E._ angestellt gewesen. Die Arbeitgeberin hatte die Kündigung des Arbeitsverhältnisses ausgesprochen, nachdem die Schweizerische Unfallversicherungsanstalt am 4. Januar 2001 eine Nichteignungsverfügung bezüglich Arbeiten mit Exposition zu Giessereirauch und -staub erlassen hatte. Am 5. März 2001 stellte G._ Antrag auf Arbeitslosenentschädigung, wobei er erklärte, bereit und in der Lage zu sein, vollzeitig erwerbstätig zu sein. Die Kantonale Arbeitslosenkasse St. Gallen richtete ihm in der Folge für die am 1. April 2001 eröffnete Rahmenfrist Taggelder auf der Basis eines versicherten Verdienstes von Fr. 6391.- aus. A.b Auf die Anmeldung zum Leistungsbezug vom 7./8. Februar 2001 hin klärte die IV-Stelle St. Gallen die gesundheitlichen und beruflich-erwerblichen Verhältnisse ab, um mit Verfügung vom 15. Oktober 2002, entsprechend dem Vorbescheid vom 22. April 2002, ab 1. Oktober 2001 bei einem Invaliditätsgrad von 61 % eine halbe Invalidenrente zuzusprechen. Das Versicherungsgericht des Kantons St. Gallen stellte auf Beschwerde hin fest, dass G._ ab 1. Oktober 2001 bis 30. April 2002 Anspruch auf eine halbe und ab 1. Mai 2002 Anspruch auf eine ganze Rente habe (unangefochten gebliebener Entscheid vom 16. April 2003). A.c Mit Verfügung vom 16. September 2002 verpflichtete die Kantonale Arbeitslosenkasse St. Gallen G._, für die Zeit vom 1. Oktober 2001 bis 27. Juni 2002 zuviel ausgerichtete Arbeitslosenentschädigung im Betrag von insgesamt Fr. 25'218.95 zurückzubezahlen, wobei ein Teilbetrag von Fr. 15'654.05 mit Rentennachzahlungen der Eidgenössischen Invalidenversicherung verrechnet werde. Zur Begründung führte die Arbeitslosenkasse aus, der der Leistungszusprechung zu Grunde gelegte versicherte Verdienst von Fr. 6391.- sei ab Oktober 2001 (Beginn der IV-rechtlichen Leistungszusprechung) um die im Vorbescheid vom 22. April 2002 auf 61 % bezifferte Erwerbsunfähigkeit zu kürzen. B. Das von G._ gegen die Verfügung vom 16. September 2002 eingereichte Beschwerdeverfahren sistierte das Versicherungsgericht des Kantons St. Gallen nach Eingang der Replik (vom 21. Januar 2003) bis zum rechtskräftigen Abschluss des IV-rechtlichen Verfahrens (durch den unangefochten gebliebenen Entscheid vom 16. April 2003). Nachdem die Arbeitslosenkasse ihre Rückforderung gestützt auf die gerichtliche Zusprechung einer ganzen statt der verfügten halben Rente ab Mai 2002 um Fr. 3917.20 erhöht hatte (Verfügung vom 25. September 2003), gab das kantonale Gericht G._ am 3. Oktober 2003 Gelegenheit, sich zum "neuen Antrag der Arbeitslosenkasse" zu äussern. G._ enthielt sich einer Stellungnahme, worauf das Versicherungsgericht des Kantons St. Gallen in teilweiser Gutheissung der Beschwerde die Verfügung vom 16. September 2002 aufhob und die Sache zur Neuberechnung der Rückforderung im Sinne der Erwägungen an die Arbeitslosenkasse zurückwies (Entscheid vom 10. März 2004, Dispositiv-Ziff. 1). Die am 25. September 2003 beantragte Ergänzung der Rückforderung von Fr. 3917.20 bestätigte das Gericht (zitierter Entscheid, Dispositiv-Ziff. 2). C. Das Staatssekretariat für Wirtschaft (seco) führt Verwaltungsgerichtsbeschwerde mit dem Rechtsbegehren, der kantonale Gerichtsentscheid sei aufzuheben. G._ und die Arbeitslosenkasse verzichten auf eine Vernehmlassung. Das Versicherungsgericht des Kantons St. Gallen schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde.