Рольфф дебютировал за сборную Германии в 1983 году. Вместе со сборной он участвовал на чемпионатах Европы 1984 и 1988 годов. На каждом из чемпионатов он сыграл дважды. Также Рольфф сыграл 2 матча за сборную на чемпионате мира 1986 года, где немцы выиграли серебро. Всего он сыграл 37 игр за сборную с 1983 по 1989 год.