В 1976 году Румменигге дебютировал за сборную ФРГ, а уже через два года отправился на свой первый чемпионат мира. На турнире ему удалось отличиться дублем в матче с Мексикой, а также поразить ворота австрийцев в матче известном как Кордовский позор. В 1980 году в составе сборной он стал чемпионом Европы.