Sachverhalt: Mit Verfügung vom 17. Juni 2003 stellte das Kantonale Amt für Wirtschaft und Arbeit des Kantons Zug (KWA) A._ für fünf Tage in der Anspruchsberechtigung ein, da er einem Kontrolltermin unentschuldigt fern geblieben war. Die dagegen erhobene Einsprache hiess das KWA am 9. September 2003 teilweise gut, indem es die Einstelltage auf deren drei reduzierte. Die von A._ erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug am 29. April 2004 ab. Mit Verwaltungsgerichtsbeschwerde beantragt A._ die Aufhebung des vorinstanzlichen Entscheides mit der Feststellung, dass die Einstellungsvoraussetzungen nicht erfüllt seien. Das kantonale Gericht und das KWA schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Staatssekretariat für Wirtschaft verzichtet auf eine Vernehmlassung.