Sachverhalt: Die Kantonale Arbeitslosenkasse St. Gallen (nachfolgend: Kasse) verneinte mit Verfügung vom 16. September 2003 einen Anspruch auf Taggelder des E._ ab 13. Juni 2003, woran sie im Einspracheentscheid vom 21. Oktober 2003 festhielt. In teilweiser Gutheissung einer dagegen eingereichten Beschwerde hob das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 21. April 2004 den Einspracheentscheid vom 21. Oktober 2003 auf und wies die Sache zur Abklärung der weiteren Anspruchsvoraussetzungen an die Kasse zurück. Mit Verwaltungsgerichtsbeschwerde beantragt die Kasse die Aufhebung des kantonalen Entscheides. E._ und das Versicherungsgericht schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Staatssekretariat für Wirtschaft (seco) auf Vernehmlassung verzichtet.