Густав Кемп дебютировал в составе «красных львов» 26 апреля 1936 года в матче с Бельгией (1-3). Принял участие в олимпийском футбольном турнире 1936 года, в котором провел лишь одну игру (поражение от Германии со счётом 0-9). Густав Кемп сыграл два матча и забил два мяча в отборочном турнире чемпионата мира. Последний матч за сборную нападающий сыграл 27 мая 1945 года против второй сборной Франции. Матч закончился победой французов со счётом 3-2, а Густав Кемп забил гол. Всего за сборную Кемп сыграл 21 матч и забил 15 голов. Нападающий занимает 2 место в списке бомбардиров сборной Люксембурга, уступая лишь Лиону Марту.