Rolff debuterade i västtyska landslaget 1983 och var med i truppen till både EM 1984 och EM 1988 där han spelade två matcher i både mästerskapen. Han spelade även två matcher i VM 1986 där Västtyskland förlorade mot Argentina i finalen.